Crawlery i indeksowanie: jak Google czyta Twoją stronę

Zanim Google zdecyduje, czy Cię pokazać, musi móc Cię znaleźć i zrozumieć, co jest na Twoich stronach. Jeśli ten krok nie działa, to tak, jakby Twoja strona nie istniała — nawet jeśli jest online i wygląda świetnie.

Czym jest crawler

Crawler (lub "spider", "bot") to program, którego wyszukiwarki używają do eksplorowania sieci. Przeskakuje z linku na link, czyta napotkane strony i je zapamiętuje. Crawler Google nazywa się Googlebot.

Wyobraź sobie niezmordowanego bibliotekarza, który wędruje po półkach świata, otwiera książki, czyta ich zawartość i notuje, o czym każda jest. Ta "runda czytania" to właśnie crawling.

Czym jest indeksowanie

Po przeczytaniu strony wyszukiwarka decyduje, czy dodać ją do swojego ogromnego archiwum: indeksu. Ten krok to indeksowanie. Tylko zindeksowane strony mogą pojawiać się w wynikach: jeśli strona nie jest w indeksie, nigdy nie pojawi się w wyszukiwaniu.

Droga jest zawsze taka sama: crawler znajduje → wyszukiwarka indeksuje → strona może się pozycjonować. Pomiń pierwszy krok, a nic innego w ogóle nie ruszy.

Dlaczego niektóre strony "nie istnieją" dla Google

Zdarza się to częściej, niż myślisz. Kilka typowych powodów:

• Izolowane strony — żaden link do nich nie prowadzi, więc crawler ich nie znajduje.
• Trudno czytelna zawartość — tekst ukryty w obrazach lub ładowany w sposób, który bot ledwo potrafi zinterpretować.
• Strona zbyt wolna — jeśli strony ładują się zbyt długo, crawler czyta ich mniej.
• Niezamierzone blokady — ustawienia, które, nieintencjonalnie, mówią wyszukiwarce "tu nie patrz".

Co można zrobić

Dobra wiadomość: schludna, szybka strona z jasno napisanymi treściami jest też stroną łatwą do odczytania przez crawlera. Następnym krokiem jest zrozumienie, jakich słów klienci używają, żeby Cię znaleźć.