Czym jest crawl budget i kiedy ma znaczenie?
Google nie odwiedza każdej strony w internecie bez przerwy. Każdemu serwisowi poświęca ograniczoną uwagę, zależną od tego, jak szybko odpowiada serwer i jak wartościowe są jego treści. Ta „pula odwiedzin” to właśnie crawl budget, czyli budżet indeksowania.
Zaczyna mieć znaczenie przy dużych sklepach, portalach i serwisach, które generują tysiące adresów automatycznie.
Objawy marnowania crawl budgetu
Problem rzadko widać na pierwszy rzut oka. Pokazują go dane w Google Search Console i logi serwera.
- Nowe produkty lub artykuły długo nie pojawiają się w Google
- Zmiany na stronach są widoczne w wynikach z dużym opóźnieniem
- W raporcie indeksowania jest dużo adresów „odkrytych, ale niezindeksowanych”
- Google odwiedza głównie adresy z filtrów i parametrów
- W logach widać wizyty robotów na stronach z błędami i przekierowaniami
Najczęstsze przyczyny problemu
W większości serwisów winne są te same mechanizmy. Każdy z nich może tworzyć setki lub tysiące adresów, które nie mają wartości dla wyszukiwarki.
- Filtry, sortowanie i parametry w adresach
- Niekończąca się paginacja i kalendarze
- Łańcuchy przekierowań i błędy 404
- Duplikaty tej samej treści pod różnymi adresami
- Wolny serwer, który ogranicza tempo odwiedzin
- Słabe linkowanie wewnętrzne do ważnych stron
Analiza logów serwera – co z niej wynika
Logi serwera to zapis każdej wizyty na stronie, także wizyt robotów Google. Analiza logów serwera pokazuje, które adresy Google odwiedza najczęściej, które pomija i ile czasu traci na błędy.
To najdokładniejsze źródło danych przy optymalizacji crawl budgetu. Jeśli Twój hosting nie udostępnia logów, pracuję na danych z Search Console i pełnego skanu strony – to też daje dobry obraz sytuacji.

