Co to jest Crawl budget i jak go optymalizować?
Zastanawiałeś się kiedyś, ile czasu spędzają boty Google i jak często ją odwiedzają?
Wskaźniki te reguluje tzw. Crawl budget. Czym właściwie jest budżet indeksowania? Czy jako administratorzy stron WWW mamy nad nim kontrolę? Jak go optymalizować? Odpowiedź w dzisiejszym artykule.
Co to jest Crawl budget — definicja
Termin Crawl budget, czyli budżet indeksowania lub budżet na indeksowanie, jest ściśle związany z odwiedzinami botów na stronach internetowych, ich częstotliwością oraz czasem, jaki boty indeksujące spędzają w witrynie. Budżet na indeksowanie nie dotyczy jedynie witryn internetowych, ale praktycznie każdego pliku w sieci: PDF, CSS czy JavaScript. Mówiąc o Crawl budge, należy wspomnieć o trzech kluczowych wskaźnikach — Crawl demand, Crawl rate limit oraz Crawl health.
- Crawl health — to ocena stanu techniczny indeksowanej witryny. Jeśli jest “zdrowa” i ładuje się błyskawicznie, bot Google, w czasie jednej wizyty, będzie mógł zaindeksować więcej podstron.
- Crawl rate limit — to rodzaj ograniczenia; maksymalny czas, jaki może spędzić bot Google na stronie, którą indeksuje. Istnieje zależność między Crawl rate limi a Crawl health. Im wolniejsza strona, tym mniej podstron bot Google, doda do indeksu w czasie jednej witryny.
- Crawl demand — to częstotliwość, z jaką roboty Google odwiedzają stronę internetową. W polskich tłumaczeniu spotyka się termin popyt na indeksowanie lub planowanie indeksowania.
Crawl Rate Limit — jak działa
Limit indeksowania lub obciążenie hosta, to istotny element budżetu na indeksowanie. Boty Google zostały zaprojektowane tak, aby zapobiegać przeciążeniu serwera internetowego żądaniami. Jak wyszukiwarki określają limit indeksowania witryny? Istnieje wiele czynników, które wpływają na crawl rate limit. Poniżej wymieniliśmy te najważniejsze:
- Sygnały, że witryna jest w złym stanie; zwraca błędy serwera, przekracza limit wywołania adresów URL.
- Strona WWW na serwerze współdzielonym; jeśli Twoja witryna działa na platformie hostingowej z setkami innych witryn, a Twój serwis jest rozbudowany (np. sklep internetowy) , limit indeksowania Twojej witryny zostanie bardzo ograniczony. ponieważ wskaźnik ten jest określany na podstawie wszystkich witryn na serwerze. Dlatego w takim przypadku lepszym rozwiązaniem będzie serwer dedykowany. Dzięki temu znacznie skróci się czas ładowania dla odwiedzających, a tym samym — dla botów. To oznacza, że będą mogły zindeksować więcej podstron w krótszym czasie.
Chcesz wiedzieć więcej? Napisz do nas
Crawl budget — skąd te ograniczenia
Pamiętasz, jak wyglądał internet 20 lat temu? Stron internetowych było wtedy nieporównywalnie mniej niż dzisiaj. Stąd właśnie Crawl budget i związane z nim ograniczenia — czas, jaki mogą spędzić na danej witrynie oraz częstotliwość wizyt. Wszystko po to, żeby roboty Google nadążały z dodawaniem do indeksu Google nowych stron. Biorąc pod uwagę, że każdego dnia powstają tysiące witryn, nie jest to łatwe zadanie. Druga kwestia to ochrona samych witryn. Chodzi o to, by zbyt długie wizyty botów indeksujących nie obciążały za bardzo serwera, na którym znajduję się dana strona internetowa.
Crawl budget — jak go sprawdzić
Podstawowe informacje na temat indeksowania, znajdziesz w Google Search Console. W zakładce “Ustawienia”, a dokładniej w sekcji “Indeksowanie” i “Statystyki indeksowania”. Znajdziesz tam takie informacje jak:
- łączną liczbę żądań robotów,
- łączny rozmiar plików pobranych w czasie indeksowania,
- średni czas reakcji, czyli odpowiedzi strony na prośbę o zindeksowani,
- żądania indeksowania według odpowiedzi,
- żądanie indeksowania według typu pliku,
- żądanie indeksowania według przeznaczenia,
- według typu Googlebota.
Crawl budget — częste problemy
Typowe błędy i problem, które mogą zmniejszyć Crawl budget Twojej firmowej strony to:
- dostępność adresów URL z parametrami, np. color=black; pojawia się w przypadku filtrowania produktów w sklepie internetowym,
- zduplikowane treści, np. wyniki wyszukiwania, podstrony z tagami,
- teksty niskiej jakości
- linki, do stron, które nie istnieją (błąd 404),
- przekroczenie limitu wczytywania strony,
- nieprawidłowe adresy URL w site mapie (np. z zablokowanym dostępem dla robotów, czyli noindex),
- nieprawidłowa struktura linków,
- duża liczba podstron, których nie można zindeksować.
Kolejny błąd to zgłaszanie do ponownego zaindeksowania podstron, na których pojawiły się nieistotne zmiany. Jeśli będziesz robić to nagminnie, to uzyskasz odwrotny efekt. Dlaczego? Odpowiedź jest prosta. Zmuszanie botów Google do częstych odwiedzin, a co za tym idzie — indeksowania, to marnotrawienie budżetu na indeksowanie
Crawl budget — jak go optymalizować
Oto kilka rzeczy, o które musisz zadbać, w kontekście budżetu indeksowania:
Budżet na indeksowanie jest związany z autorytetem witryny. A co za tym idzie z backlinkami, które odsyłają do Twojej strony. Dbaj o to, by takie linki pochodziły z wartościowych portali, które same cieszą się uznaniem Google. Dodatkowo, serwisy te powinny być tematycznie powiązane z Twoim.
Mapa strony
Dobrze stworzona mapa witryny ułatwi botom indeksującym nawigację oraz indeksację Twojej strony. Zadbaj o to, by nie znalazły się w niej podstrony z noindex lub z błędem 404.
Jeśli chcesz sprawdzić ręcznie, które podstrony znalazły się w indeksie Google, wpisz w okno wyszukiwarki komendę: site:adresdomeny, np. site:lepszymarketing.pl
Wydajność strony
Chodzi tutaj zarówno o możliwości serwera, jak i optymalizację elementów na stronie WWW.
Im szybciej Twoja strona “odpowie”, tym lepiej.
Adres kanoniczny
Jeśli masz rozbudowany serwis, mnóstwo tagów lub filtrów, które tworzą adresy niskiej jakości, pamiętaj o ustawieniu adresu kanonicznego.
Świeże treści wysokiej jakości
Jeśli chcesz “zachęcić” boty do częstych odwiedzin, dodawaj do strony nowe treści i to cyklicznie, np. raz w tygodniu. Jak to zrobić? Najłatwiejszym sposobem jest dodanie do firmowej witryny sekcji “blog”.
Crawl budget — podsumowanie
Być może, po przeczytaniu tego artykułu zacząłeś się martwić o Crawl budget swojej firmowej strony. Spokojnie. Jeśli Twoja witryna ma kilkadziesiąt podstron, nie masz powodu do obaw. Roboty Google na pewno dają sobie radę z jej indeksowaniem. Problemy zaczynają się przy rozbudowanych serwisach, które mają tysiące podstron, takich jak portale informacyjne czy sklepy internetowe.
Popularne wpisy:
pozycjonowanie czy google adwords ctr content grupa docelowa backlinks google cache canonical frazy kluczowe google panda pingwin google posty na fb crawler pozycjonowanie stron pozycjonowanie stron Toruń marketing szeptany reklama na facebooku data center agencja seo pozycjonowanie wrocław pozycjonowanie rzeszów pozycjonowanie stron ile kosztuje jak wypozycjonować stronę pozycja strony w google google seo pozycjonowanie długi ogon filtr google pozycjonowanie stron Radom internal wyszukiwanie głosowe google pozycjonowanie stron za granicą pozycjonowanie Białystok trust rank pozycjonowanie google maps blog o marketingu tanie pozycjonowanie poznań znaczenie emotikon jak wyszkiwać w google spam blog narzędzia do analityki internetowej metatag black hat seo pozycjonowanie opole optymalizacja pod wyszukiwarki pozycjonowanie stron firmowych pozycjonowanie szerokie