Bot-robot internetowy, który może wykonywać pewne czynności w zastępstwie człowieka. Chatboty służą do komunikacji między człowiekiem a maszyną. Natomiast zadaniem botów Google jest indeksowanie stron internetowych.
Bot (robot wyszukiwarki, Pająk, Googlebot, Crawler) – specjalne roboty Google, których zadaniem jest wyszukiwanie, odczytywanie, analiza oraz dodawanie stron internetowych do indeksu Google, czyli ich indeksowanie. Roboty Google trafiają na kolejne witryny, dzięki linkom.
Roboty Google przeszukują sieć oraz indeksują strony internetowe na dwa sposoby. Jeden z nich to fresh crawl, a drugi – deep crawl. Fresh crawl, czyli przeszukiwanie na świeżo, dotyczy witryn internetowych, na których często wprowadzane są zmiany. W takim przypadku robot bardzo często odwiedza stronę i wprowadza zmiany do indeksu. Częstotliwość odwiedzin botów może być regulowana w Centrum Google dla Webmasterów.
Deep crawl to z kolei, tzw. przeszukiwanie głębokie. Roboty Gogle przechodzą od strony do strony, zbierając informacje — zarówno te już istniejące, jak i nowe. Należy zauważyć, że sposób przeszukiwania stron przez boty wciąż się zmienia, jedna procesy te nie zostały jeszcze nazwane.
Mapa witryny pozwala do pewnego stopnia nawigować robotami Google i przyspieszyć proces indeksowania. Plik robots.txt blokuje botowi dostęp do danej podstrony. To sygnał dla robotów, że nie powinny jej indeksować. Z kolei atrybut nofollow w linku sprawia, że nie przekazuje on mocy witrynie, do której link odsyła.
Każdy robot Google jest odpowiedzialny za coś innego. Oto inne rodzaje botów: