Crawler, bot, Googlebot. Jest to oprogramowanie, którego celem jest wędrówka po stronach internetowych, ich analiza i indeksowanie. Robot Google odwiedza zarówno istniejące od jakiegoś czasu, jak i nowe strony, analizuje ich treści oraz linki, które do nich prowadzą. Następnie pobiera dane i segreguje je tematycznie. Aktualizuje indeks wyszukiwarki i indeksuje nowe witryny, co oznacza, że dobrze zaplanowana struktura strony i jej odnośniki mają ogromny wpływ na pozycjonowanie.