Crawlers och indexering: hur Google läser din webbplats

Innan Google ens bestämmer om det ska visa dig måste det kunna hitta dig och förstå vad som finns på dina sidor. Om det här steget inte fungerar är det som om din webbplats inte existerade — även om den är online och ser fantastisk ut.

Vad en crawler är

En crawler (eller "spider", "bot") är ett program som sökmotorer använder för att utforska webben. Den hoppar från länk till länk, läser sidorna den stöter på och gör anteckningar. Googles crawler heter Googlebot.

Tänk dig en outtröttlig bibliotekarie som vandrar längs världens hyllor, öppnar böcker, läser innehållet och antecknar vad var och en handlar om. Den "läsrundsturen" är crawling.

Vad indexering är

Efter att ha läst en sida bestämmer sökmotorn om den ska lägga till den i sitt enorma arkiv: indexet. Det här steget är indexering. Bara indexerade sidor kan visas i resultaten: om en sida inte finns i indexet kan den aldrig dyka upp i en sökning.

Vägen är alltid densamma: crawlern hittar → sökmotorn indexerar → sidan kan rankas. Hoppa över det första steget och ingenting annat sätter igång.

Varför vissa sajter "inte existerar" för Google

Det händer oftare än man tror. Några typiska anledningar:

• Isolerade sidor — inga länkar pekar mot dem, så crawlern hittar dem aldrig.
• Svårläst innehåll — text dold i bilder eller laddad på sätt som boten knappt kan tolka.
• Webbplats för långsam — om sidor tar för lång tid att ladda läser crawlern färre av dem.
• Ofrivilliga blockeringar — inställningar som, utan att man vill det, säger till sökmotorn "titta inte här".

Vad man kan göra

Den goda nyheten: en välordnad, snabb webbplats med tydligt skrivet innehåll är också en webbplats som är lätt för en crawler att läsa. Nästa steg är att förstå vilka ord dina kunder använder för att söka efter dig.