SvenskehandelBot

Svenskehandel.se är en katalog över svensk e-handel. För varje listad butik hämtar boten ett fåtal offentliga sidor från butikens egen webbplats: startsidan, och de sidor startsidan länkar till om frakt, leverans, retur, ångerrätt, köpvillkor, kundservice, kontakt och butiker. Den läser också robots.txt och, om den finns, butikens sitemap.

Ur de sidorna läser den av uppgifter som butiken själv publicerar: vilken e-handelsplattform som används, vilka betalmetoder och fraktbolag som erbjuds, gräns för fri frakt, leveranstid, returvillkor, vilka länder butiken levererar till, och om det finns en digital funktion för att utöva ångerrätten. Varje uppgift sparas med tidpunkt och länk till sidan den kom ifrån.

Den hämtar inte produktsidor, laddar inte ned bilder, fyller inte i formulär och lägger inget i varukorgen.

• Följer robots.txt. Regler för SvenskehandelBot gäller före regler för *.
• Högst en förfrågan per sekund per domän.
• Backar av exponentiellt vid fel, och respekterar 429 och Retry-After.
• Besöker en butik ungefär en gång per vecka, med som mest ett tiotal sidor per besök.
• Sparar sidorna den hämtat så att den kan läsa om dem utan att besöka butiken igen.

Lägg till detta i din robots.txt, så slutar boten hämta sidor från domänen:

User-agent: SvenskehandelBot
Disallow: /

Boten läser robots.txt vid varje besök, så ändringen slår igenom nästa gång den kommer förbi. Vill du att butikens sida i katalogen också tas bort, eller att en uppgift rättas, använd formuläret för rättelse och borttagning.

Frågor om boten skickas via kontaktformuläret. Ange gärna din domän och tidpunkten du såg den.