kodekaBot
kodekaBot er crawleren vår
Ser du kodekaBot i loggene, er det oss. Den leser nettsider for kundene våre, slik at vi kan finne tekniske feil og se hvordan sidene står i søk.
Hvordan du kjenner den igjen
Brukeragenten er:
kodekaBot/1.0 (+https://kodeka.no/bot)
Hva den gjør
kodekaBot henter de offentlige sidene på et nettsted, slik en nettleser gjør, og ser etter det som stopper Google og AI-tjenestene: brutte lenker, manglende titler og beskrivelser, sider som ikke kan indekseres, og annet av samme slag. Den logger ikke inn, fyller ikke ut skjemaer og henter ingenting bak passord.
Den leser robots.txt før den starter, og venter alltid minst et halvt sekund mellom to forespørsler til samme nettsted. Svarer serveren at den har for mye å gjøre, trekker den seg tilbake.
Slik stenger du den ute
Legg dette i robots.txt, så kommer den ikke inn på noen sider:
User-agent: kodekaBot
Disallow: /
Vil du bare holde den unna deler av nettstedet, skriver du stiene i
Disallow-linjene som for en hvilken som helst annen crawler. kodekaBot følger
også reglene du har satt for alle under User-agent: *.
Spørsmål
Lurer du på noe, eller oppfører den seg dårlig på nettstedet ditt, send en e-post til team@kodeka.no, så svarer vi.
In English
kodekaBot is the crawler of kodeka, a studio in Stavanger, Norway. It reads
public pages for our clients to find technical issues, follows robots.txt
for both kodekaBot and *, and waits at least half a
second between requests to the same site. To block it, add
User-agent: kodekaBot and Disallow: / to your
robots.txt. Questions go to team@kodeka.no.