Co to jest Crawl budget i jak go optymalizować?

Co to jest Crawl budget i jak go optymalizować?

Zapytaj o ofertę

 

Zastanawiałeś się kiedyś, ile czasu spędzają boty Google i jak często ją odwiedzają? 

Wskaźniki te reguluje tzw. Crawl budget. Czym właściwie jest budżet indeksowania? Czy jako administratorzy stron WWW mamy nad nim kontrolę? Jak go optymalizować? Odpowiedź w dzisiejszym artykule. 

Co to jest Crawl budget — definicja 

Termin Crawl budget, czyli budżet indeksowania lub budżet na indeksowanie, jest ściśle związany z odwiedzinami botów na stronach internetowych, ich częstotliwością oraz czasem, jaki boty indeksujące spędzają w witrynie. Budżet na indeksowanie nie dotyczy jedynie witryn internetowych, ale praktycznie każdego pliku w sieci: PDF, CSS czy JavaScript. Mówiąc o Crawl budge, należy wspomnieć o trzech kluczowych wskaźnikach — Crawl demand, Crawl rate limit oraz Crawl health.

  • Crawl health — to ocena stanu techniczny indeksowanej witryny. Jeśli jest “zdrowa” i ładuje się błyskawicznie, bot Google, w czasie jednej wizyty, będzie mógł zaindeksować więcej podstron.
  • Crawl rate limit — to rodzaj ograniczenia; maksymalny czas, jaki może spędzić bot Google na stronie, którą indeksuje. Istnieje zależność między Crawl rate limi a Crawl health. Im wolniejsza strona, tym mniej podstron bot Google, doda do indeksu w czasie jednej witryny.
  • Crawl demand — to częstotliwość, z jaką roboty Google odwiedzają stronę internetową. W polskich tłumaczeniu spotyka się termin popyt na indeksowanie lub planowanie indeksowania.

Crawl budget — jak go optymalizować
Zapytaj o ofertę

 Crawl Rate Limit — jak działa

Limit indeksowania lub obciążenie hosta, to istotny element budżetu na indeksowanie. Boty Google zostały zaprojektowane tak, aby zapobiegać przeciążeniu serwera internetowego żądaniami. Jak wyszukiwarki określają limit indeksowania witryny? Istnieje wiele czynników, które wpływają na crawl rate limit. Poniżej wymieniliśmy te najważniejsze:

  • Sygnały, że witryna jest w złym stanie; zwraca błędy serwera, przekracza limit wywołania adresów URL.
  • Strona WWW na serwerze współdzielonym; jeśli Twoja witryna działa na platformie hostingowej z setkami innych witryn, a Twój serwis jest rozbudowany (np. sklep internetowy) , limit indeksowania Twojej witryny zostanie bardzo ograniczony. ponieważ wskaźnik ten jest określany na podstawie wszystkich witryn na serwerze. Dlatego w takim przypadku lepszym rozwiązaniem będzie serwer dedykowany. Dzięki temu znacznie skróci się czas ładowania dla odwiedzających, a tym samym — dla botów. To oznacza, że będą mogły zindeksować więcej podstron w krótszym czasie. 

Crawl Rate Limit — jak działa

Chcesz wiedzieć więcej? Napisz do nas

 

Crawl budget — skąd te ograniczenia 

Pamiętasz, jak wyglądał internet 20 lat temu? Stron internetowych było wtedy nieporównywalnie mniej niż dzisiaj. Stąd właśnie Crawl budget i związane z nim ograniczenia — czas, jaki mogą spędzić na danej witrynie oraz częstotliwość wizyt. Wszystko po to, żeby roboty Google nadążały z dodawaniem do indeksu Google nowych stron. Biorąc pod uwagę, że każdego dnia powstają tysiące witryn, nie jest to łatwe zadanie. Druga kwestia to ochrona samych witryn. Chodzi o to, by zbyt długie wizyty botów indeksujących nie obciążały za bardzo serwera, na którym znajduję się dana strona internetowa.

Crawl budget — jak go sprawdzić

Podstawowe informacje na temat indeksowania, znajdziesz w Google Search Console. W zakładce “Ustawienia”, a dokładniej w sekcji “Indeksowanie” i “Statystyki indeksowania”. Znajdziesz tam takie informacje jak:

  • łączną liczbę żądań robotów,
  • łączny rozmiar plików pobranych w czasie indeksowania, 
  • średni czas reakcji, czyli odpowiedzi strony na prośbę o zindeksowani, 
  • żądania indeksowania według odpowiedzi, 
  • żądanie indeksowania według typu pliku, 
  • żądanie indeksowania według przeznaczenia,
  • według typu Googlebota.

Crawl budget — częste problemy

Typowe błędy i problem, które mogą zmniejszyć Crawl budget Twojej firmowej strony to:

  • dostępność adresów URL z parametrami, np. color=black; pojawia się w przypadku filtrowania produktów w sklepie internetowym,
  • zduplikowane treści, np. wyniki wyszukiwania, podstrony z tagami, 
  • teksty niskiej jakości
  • linki, do stron, które nie istnieją (błąd 404),
  • przekroczenie limitu wczytywania strony,
  • nieprawidłowe adresy URL w site mapie (np. z zablokowanym dostępem dla robotów, czyli noindex),
  • nieprawidłowa struktura linków,
  • duża liczba podstron, których nie można zindeksować.

Kolejny błąd to zgłaszanie do ponownego zaindeksowania podstron, na których pojawiły się nieistotne zmiany. Jeśli będziesz robić to nagminnie, to uzyskasz odwrotny efekt. Dlaczego? Odpowiedź jest prosta. Zmuszanie botów Google do częstych odwiedzin, a co za tym idzie — indeksowania, to marnotrawienie budżetu na indeksowanie

Co to jest Crawl budget — definicja

Dowiedz się więcej!

Crawl budget — jak go optymalizować

Oto kilka rzeczy, o które musisz zadbać, w kontekście budżetu indeksowania:

Budżet na indeksowanie jest związany z autorytetem witryny. A co za tym idzie z backlinkami, które odsyłają do Twojej strony. Dbaj o to, by takie linki pochodziły z wartościowych portali, które same cieszą się uznaniem Google. Dodatkowo, serwisy te powinny być tematycznie powiązane z Twoim.

Mapa strony

Dobrze stworzona mapa witryny ułatwi botom indeksującym nawigację oraz indeksację Twojej strony. Zadbaj o to, by nie znalazły się w niej podstrony z noindex lub z błędem 404.

Jeśli chcesz sprawdzić ręcznie, które podstrony znalazły się w indeksie Google, wpisz w okno wyszukiwarki komendę: site:adresdomeny, np. site:lepszymarketing.pl

Wydajność strony 

Chodzi tutaj zarówno o możliwości serwera, jak i optymalizację elementów na stronie WWW. 

Im szybciej Twoja strona “odpowie”, tym lepiej.

Adres kanoniczny

Jeśli masz rozbudowany serwis, mnóstwo tagów lub filtrów, które tworzą adresy niskiej jakości, pamiętaj o ustawieniu adresu kanonicznego. 

Świeże treści wysokiej jakości

Jeśli chcesz “zachęcić” boty do częstych odwiedzin, dodawaj do strony nowe treści i to cyklicznie, np. raz w tygodniu. Jak to zrobić? Najłatwiejszym sposobem jest dodanie do firmowej witryny sekcji “blog”.

Crawl budget — podsumowanie

Być może, po przeczytaniu tego artykułu zacząłeś się martwić o Crawl budget swojej firmowej strony. Spokojnie. Jeśli Twoja witryna ma kilkadziesiąt podstron, nie masz powodu do obaw. Roboty Google na pewno dają sobie radę z jej indeksowaniem. Problemy zaczynają się przy rozbudowanych serwisach, które mają tysiące podstron, takich jak portale informacyjne czy sklepy internetowe. 

Popularne wpisy:

pozycjonowanie czy google adwords  ctr content  grupa docelowa backlinks google cache canonical frazy kluczowe google panda pingwin google posty na fb crawler pozycjonowanie stron pozycjonowanie stron Toruń marketing szeptany reklama na facebooku data center agencja seo pozycjonowanie wrocław pozycjonowanie rzeszów pozycjonowanie stron ile kosztuje jak wypozycjonować stronę pozycja strony w google google seo pozycjonowanie długi ogon filtr google pozycjonowanie stron Radom internal wyszukiwanie głosowe google pozycjonowanie stron za granicą pozycjonowanie Białystok trust rank pozycjonowanie google maps blog o marketingu tanie pozycjonowanie poznań znaczenie emotikon jak wyszkiwać w google spam blog narzędzia do analityki internetowej metatag  black hat seo pozycjonowanie opole optymalizacja pod wyszukiwarki pozycjonowanie stron firmowych pozycjonowanie szerokie

5 1 vote
Ocena artykułu
Subscribe
Powiadom o
guest
0 komentarzy
Inline Feedbacks
View all comments