Ansicht Bot-Abbildung auf der alto. Internetpräsenz am Laptop

Was ist ein Web Crawler?

Funktion und Bedeutung für Such­maschinen­optimierung

Ein Web Crawler ist ein Computerprogramm, welches das World Wide Web ganz automatisch nach Daten und Informationen auf unzähligen von öffentlichen Websites in der ganzen Welt durchsucht, diese Inhalte nach Merkmalen sortiert und in einem Index speichert. Dieser automatisierte Vorgang (auch Crawling genannt) wiederholt sich andauernd, denn auch bereits gefundene Webseiten werden vom Web Crawler immer wieder besucht, um Veränderungen festzustellen und so den Index einer Suchmaschine wie Google (auch Search Engine genannt) dauerhaft aktuell zu halten. So werden neue Seiten dem Index hinzugefügt oder nicht mehr vorhandene Urls aus diesem entfernt. Crawler werden auch Searchbots, Spider, Suchmaschinenbots, oder Robots genannt. Sie analysieren den Content (Inhalte einer Website) und finden für die Suchmaschine heraus, worum es auf einer Internetseite genau geht.

Der Googlebot ist auch ein Web Crawler

Auch die Suchmaschine Google mit einem Suchindex von Milliarden an Websites hat natürlich Web Crawler, welche man unter anderem Googlebots nennt. Diese Robots werden für unterschiedliche Zwecke eingesetzt, beispielsweise der Googlebot für Computer oder der für Smartphones. Es gibt darüber hinaus noch viele weitere Crawler, wie den Googlebot für Bilder oder den für News. Der Crawler für Computer zum Beispiel simuliert einen Nutzer, der mit einem Computer eine Suchanfrage stellt. Der Smartphone-Crawler hingegen simuliert einen Nutzer, der mit einem Mobilgerät unterwegs auf eine Website zugreift.

Ein Webcrawler erfasst die Inhalte einer Internetseite

Mobile-First – Darum hat die mobile Version Ihrer Webseite Priorität

Da heute bereits sehr viele Menschen mobil im Internet unterwegs sind und diese Nutzungsweise des Internets in Zukunft noch viel mehr zunehmen wird, hat Google bereits vor einiger Zeit die Mobile-First-Indexierung implementiert. Somit wird die mobile Version einer Website für die Indexierung und das Ranking der hauptsächlich mobil-suchenden Nutzer vorrangig herangezogen und in den Suchergebnissen präsentiert.

Wurde Ihre Internetpräsenz bei Google auf Mobile-First umgestellt, so wird diese hauptsächlich vom mobilen Googlebot und nur noch zu einem kleinen Teil vom Computer-Googlebot besucht. Daher sind schnelle Ladezeiten und eine mobilfreundliche Darstellung Ihrer Website-Inhalte einerseits für das Ranking Ihrer Webseiten bei Google und andererseits für ein tolles Nutzererlebnis besonders wichtig.

So findet der Crawling-Prozess einer Such­maschine statt

Der Robot, wie auch der Googlebot, durchsucht während des Crawlings das Internet. Er beginnt mit einer bestimmten Auflistung von Websites und folgt dabei den darauf veröffentlichten Links, die auf den Internetseiten eingebunden sind, von einer zur nächsten Website. Zu dieser Auflistung gehören einerseits bereits bekannte Internetseiten vorhergehender Crawling-Vorgänge und andererseits Webseiten, die von Webseiteninhabern per Sitemap über die Google Search Console eingereicht wurden. Jede Website hat allerdings ein bestimmtes Crawling-Budget, denn es ist festgelegt

  • wann und wie lange,
  • wie oft und
  • wie viele einzelne URLs einer Internetseite

durch die Bots besucht werden. Unsere Empfehlung an dieser Stelle: Mit einer Optimierung Ihrer Navigation sowie der Struktur Ihrer Internetseite und der Bereinigung von Fehlerseiten können Sie das Crawling-Budget Ihrer Webpräsentation viel besser ausnutzen.

Was passiert bei einer Google-Suchanfrage eines Nutzers?

Bei einer Suchanfrage eines Nutzers greift Google auf seinen Suchindex zurück, der diese ganzen gesammelten Informationen der Webcrawler beinhaltet. Ein Suchalgorithmus vergleicht diese Informationen unter vielen verschiedenen Gesichtspunkten sowie nach definierten Qualitätsmerkmalen und spielt die Ergebnisse schlussendlich nach Relevanz für den Suchenden aus.

Suchmaschinen wie Google verwenden somit Webcrawler, um möglichst alle Webseiten inklusive ihrer Inhalte zu erfassen und diesen Content in den Suchindex aufzunehmen. Denn Suchmaschinenanbieter möchten Ihren Nutzer für eine Suchanfrage immer das beste Ergebnis liefern – User sollen genau das finden, was sie suchen.

Darstellung einer Google Suchanfrage auf dem Laptop

Indexierung und Crawling Ihrer Website steuern

Natürlich ist es auch möglich, einem Web Crawler, beispielsweise zum Schutz Ihrer Daten, zu untersagen eine bestimmte URL, spezifische Dateien oder einen Bereich einer Website zu besuchen. Ebenso können dem Web Crawler Anweisungen erteilt werden, ob eine Seite in den Index einer Suchmaschine aufgenommen (indexiert) werden soll oder nicht. Bei jedem Webprojekt gibt es schließlich Bereiche, bei denen eine Seitenindexierung oder das Crawling bestimmter Seiten keinen Sinn macht. All diese Maßnahmen fallen in den Bereich der Suchmaschinenoptimierung von Websites – auch SEO (Search Engine Optimization) genannt.

Senden Sie korrekte Anweisungen an Web Crawler

Mit korrekten Crawler-Anweisungen, als eine vieler sinnvoller SEO-Maßnahmen, ist es möglich, dass sich der Web Crawler nur auf Ihre wichtigen Inhalte konzentriert und auch nur gewünschte Urls in den Suchergebnissen ausgeliefert werden. Seriöse Web Crawler, wie auch der Googlebot, respektieren und befolgen diese Anweisungen. Leider gibt es aber auch unseriöse Crawler im Internet, die keine Rücksicht auf Ihre Anweisungen nehmen. Daher sollten Sie sensible Informationen, auf die unter keinen Umständen zugegriffen werden soll, grundsätzlich mit geeigneten Sperrmethoden, wie zum Beispiel einem Passwortschutz auf Ihrem Server, verwalten.

Die robots.txt-Datei und Meta-Tags

Über die robots.txt-Datei steuern Sie zum Beispiel den Crawling-Traffic Ihrer Webseite und teilen den Robots mit, welche Ihrer Web-Pages oder Dateien dieser anfordern darf und vor allem auch welche nicht. Da es neben Google selbstverständlich auch noch andere Suchmaschinen, wie beispielsweise Bing gibt, werden über die robots.txt-Datei alle Anweisungen in Datensätzen für die unterschiedlichsten Bots übermittelt. Über Meta-Tags steuern Sie demgegenüber, ob Ihre Seite in den Suchindex aufgenommen (index) werden soll oder nicht (noindex).

Webcrawler und Such­maschinen­optimierung

Als Unternehmen haben Sie sicher ein großes Interesse daran, dass Ihr Content – also Inhalte wie Firmeninformationen, Produktbeschreibungen, Angebote oder auch Presseinformationen und andere News, die Sie auf Ihren Seiten präsentieren – von Suchenden bei Google und Co. gut gefunden werden. Die jeweiligen Suchmaschinenplatzierungen haben somit Einfluss auf den Traffic Ihrer Webseite. Umso höher Sie in den Suchmaschinenergebnissen vertreten sind, umso mehr Besucher werden Sie auf Ihren jeweiligen Zielseiten verzeichnen, wenn Ihr Content der Suchintention des Nutzers entspricht und hilft die Frage des Suchenden zu beantworten oder das Gesuchte zu finden.

Ihre Webseiteninhalte müssen allerdings für eine Aufnahme in die Suchergebnisse und für hohe Platzierungen bestimmte Qualitätskriterien erfüllen, den Richtlinien der jeweiligen Suchmaschinen entsprechen, absolut relevant, einzigartig, optimal aufbereitet sowie zugänglich sein und die richtigen Anweisungen zur Indexierung senden. Die letzten beiden Punkte betreffen den Web Crawler.

Warum taucht meine URL nicht in den Such­ergebnissen auf?

Bei der Suchmaschinenoptimierung ist für die Indexierung und das Crawling absolut wichtig, dass eine Seite, die Sie in den Suchergebnissen wünschen, nicht für Webcrawler blockiert wird oder versehentlich auf „noindex“ steht. Ebenfalls ist es auch möglich, dass Ihr Inhalt im Vergleich zu vielen anderen Internetseiten nicht relevant genug für die Suchanfrage ist oder Ihre Webpräsenz im Technikbereich nicht fehlerfrei programmiert wurde.

Welche Ursachen und Fehler zugrunde liegen, warum Ihre URL nicht in den Suchergebnissen zu finden ist, kann in einer SEO Analyse ans Tageslicht gebracht werden.

Das Crawling der Internetseite ist für den Bot nicht erlaubt

Interne Verlinkung

Damit ein Crawler alle URLs Ihrer Webpräsenz finden und zuordnen kann, sollten alle Inhalte, die für Ihre Suchmaschinenoptimierung wichtig sind, ohne Umwege einfach und übersichtlich zu finden sein. Verlinken Sie also interne Seiten sinnvoll miteinander und halten Sie Ihre Navigation nutzerfreundlich. Dies hilft auch Ihren Besuchern, sich optimal auf Ihren Webseiten zurechtzufinden und weiterführenden Content zu entdecken.

Darstellung einer internen Verlinkung

Bedeutung von Backlinks

Eine Webseite, die über einzigartige und qualitativ hochwertige Inhalte verfügt, wird gern auch von anderen Internetseiten erwähnt. Diese Links von anderen Websites, welche auf Ihre verweisen, nennt man Backlinks.

Über diese erhalten Sie Besucher und Traffic sowie positive Signale für die Relevanz Ihrer Website. Umso mehr Relevanz Ihr Content hat, umso größer ist die Wahrscheinlichkeit, dass Ihre URL indexiert wird und die Rankings steigen. Die Crawler werden Ihre Seite daraufhin voraussichtlich öfter und länger besuchen – das Crawling-Budget erhöht sich – und somit gelangen auch Content-Aktualisierungen schneller in den Suchmaschinenindex.

Achten Sie jedoch stets darauf, dass Sie nur thematisch passende und qualitative Backlinks erhalten. Backlinks beispielsweise von themenfremden Websites oder im schlimmsten Fall auch Spamseiten bringen keine Vorteile für Ihre Unternehmenswebseite und können sogar negative Auswirkungen haben.

Darstellung eins Backlinks

Benötigen Sie SEO-Unterstützung?

Mit den richtigen Anweisungen an Web Crawler können Sie die Indexierung und das Crawling Ihrer einzelnen Seiten individuell steuern. Sie haben Fragen, möchten Ihre Seite für Google optimieren oder benötigen technische Unterstützung in diesem Bereich? Dann nehmen Sie Kontakt zu uns auf. Wir helfen Ihnen gern kompetent weiter.

Alexandra Helmke

Autor:

Alexandra Helmke

Content Marketing Expert. Identifiziert treffsicher alle Optimierungsmaßnahmen, um bei Suchmaschinen erfolgreich gefunden zu werden. Schreibt auf dem alto. Experten-Blog über Content-Marketing, Suchmaschinenoptimierung (SEO) und Web-Analysen.

Sie haben Fragen?
Alexander Burchard, Digitalberater

Alexander Burchard

Digitalberater Vertrieb

* Pflichtfelder

Jetzt teilen