Crawler (bot wyszukiwarki, robot, pająk, pełzacz, web crawler) — program komputerowy, rodzaj sztucznej inteligencji, używany przez wyszukiwarki internetowe do wyszukiwania, odczytywania zawartości oraz indeksowania stron internetowych. Najpopularniejszymi botami tego typu są roboty indeksujące Google.
Crawler, nazywany też pająkiem lub (ro)botem to program, który zbiera informacje na temat zawartości i struktury stron internetowych w internecie. Najpopularniejszym tego typu programem są Googleboty.
Działania Google botów są bardzo ważne, ponieważ wpływają na pozycje strony w wynikach wyszukiwania. Roboty te wykonują:
Google’s fresh crawli odbywa się codziennie, a nawet kilka razy na dzień. Tak częste odwiedziny botów na stronach internetowych mają pomóc w dostarczaniu użytkownikom najbardziej aktualnych odpowiedzi. Jest to szczególnie ważne, w przypadku nowych stron internetowych oraz często aktualizowanych witryn, takich jak, np. serwisy informacyjne.
Google’s deep crawli, czyli tzw. pełzanie głębokie, polega na dokładnym sprawdzeniu zawartości strony www, jej kodu, profilu linków oraz contentu (treści oraz grafiki), w poszukiwaniu nowych elementów. Takie wizyty robotów odbywają się najprawdopodobniej co miesiąc. Chociaż wszystko zależy od tego, jak często dana witryna jest aktualizowana.
Google’s main crawli dotyczy natomiast głównych, kluczowych podstron danej witryny internetowej.
Chociaż nie mamy 100% wpływu, na to, kiedy roboty indeksujące odwiedzą stronę, możemy im w tym trochę pomóc. Jeśli strona jest zweryfikowana przez Google Search Console, należy przejść do zakładki “indeksowanie”, a następnie wybrać opcję “pobierz jako Google” (pobierz->dodaj do indeksu). Co więcej — Google Search Console pozwala również na zgłaszanie nowych treści. Pomocne w przyspieszeniu indeksowania może być również przesłanie mapy witryny. Można ją stworzyć w kilka sekund, dzięki generatorom dostępnym w internecie.