Googlebot (auch Spider, Webcrawler) bezeichnet die Webcrawler von Google, die unter anderem den Inhalt, Aufbau und die Aktualität einer Webseite auslesen – ein Programm, das nach einem Algorithmus Milliarden von Webseiten im Internet ausliest.

Googlebots sammeln HTML-Dokumente samt Meta-Informationen, auf denen Webseiten basieren. Beim Aussenden der Spider bekommen diese eine Antwort des Servers, auf dem die Webseite bzw. URL hinterlegt ist. Alle frei zugänglichen Dokumente im World Wide Web werden heruntergeladen und in den Index von Google aufgenommen. Dies kann auch über eine Sitemap im XML-Dateiformat erfolgen, die der User über die Google Webmaster Tools einreicht. Um Milliarden von Webseiten im Netz via Googlebot fast zeitgleich zu scannen, wird diese enorme globale Rechenleistung auf mehrere Rechenzentren verteilt.

Das Google-System und die Technologie der Googlebots nutzt verschieden Arten von Bots, um Inhalte von Webseiten auszulesen. Einige Webcrawler fokussieren sich dabei nur auf Suchmaschinenwerbeanzeigen, Bilder oder Mobilgeräte.

Googlebots & Suchmaschinenoptimierung

Wie Googlebots arbeiten ist eine zentrale Frage in der Suchmaschinenoptimierung von Webseiten. Mit Hilfe von Dofollow sowie Nofollow-Attributen ist es Webmastern möglich bestimmte Webseiten zu priorisieren und den Googlebots zu wichtigeren Seiten den Zugang zu gewähren oder zu verwehren. Hilfreich ist eine Sitemap über die Webmaster Tools einzureichen oder die robot.txt- Datei einzurichten, um den Googlebots die erforderlichen Webseiten indexieren zu lassen. Über die Webmaster Tools ist es auch möglich den Crawling-Vorgang zu initiieren, so dass Fehler in der Sitemap oder der robot.txt-Datei frühzeitig erkannt werden. Werden wichtige URLs blockiert, so kann das schwerwiegende Probleme mit sich bringen.

Googlebots zeigen Schwierigkeiten beim Auslesen und Indexieren von dynamischen Inhalten wie etwa bei Flash-basiertem Content, JavaScript Codes oder Ajax aufgrund mangelnder Variablen. Hinsichtlich SEO ist es von elementarer Bedeutung sich über Veränderungen des Algorithmus von Google und der sich ständig ändernden Funkionsweise von GoogleBots auf dem Laufenden zu halten. Denn Google arbeitet daran auch dynamische Inhalte in Zukunft besser auslesen zu können.

Quellen & Nachweise:


Starten Sie noch heute mit uns durch

Hier Kontakt aufnehmen!