Als Crawler (Webbot, Web Crawler, Suchmaschinenbot, Bot) werden Software-Programme bezeichnet, die selbstständig das Internet durchsuchen. Sie lesen Webseiten, ihre Inhalte und Links aus, um sie zu speichern, analysieren und zu indexieren. Am bekanntesten sind die Crawler großer Suchmaschinen. Kleinere Crawler mit vergleichbaren Funktionen lassen sich für Clouds oder persönliche Webseiten einsetzen. Welche Arbeitsschritte das Programm genau durchführt, wird vor Beginn des Crawls festgelegt. Die Bezeichnung stammt von der ersten öffentlich nutzbaren Suchmaschine namens WebCrawler und bezieht sich auf die Vorgehensweise der Programme. Sie arbeiten sich systematisch von Link zu Link durch das Internet, bis sie entweder auf eine Seite ohne Links oder auf eine Schleife treffen.
Crawler sind die Voraussetzung dafür, dass es SERPs gibt. Die ersten Versionen von Suchmaschinen entstanden Anfang der 90er-Jahre. Sie dienten zunächst dem schnellen Auffinden von Dateien und Ordnern in FTP-Verzeichnissen. Später durchsuchten die Programme Datenbanken, Archive und das Internet nach Informationen. Die Idee, Suchmaschinen-Ergebnisse nach Relevanz zu sortieren, stammt von den Entwicklern von Google.
Mit der wachsenden Bedeutung des Internets für Marketingzwecke wurde das Ranking des eigenen Internetauftritts immer wichtiger. Suchmaschinenoptimierte Seiten sind ein entscheidender Faktor, um das eigene Unternehmen, seine Produkte und Dienstleistungen zu präsentieren. Damit potenzielle Kunden Unternehmensseiten bei einer Anfrage weit oben angezeigt bekommen, muss der Algorithmus der Suchmaschine die Seiten als aktuell, relevant und zuverlässig einstufen.
Um einen Internetauftritt optimal im Internet zu platzieren, muss er von den führenden Suchmaschinen gecrawlt und indexiert werden. Crawler investieren nur einen begrenzten Zeitaufwand in eine Website, das sogenannte Crawl Budget. Es ist wichtig, dem Programm die bestmöglichen technischen Bedingungen und eine optimierte Struktur zu bieten, um möglichst viel von einer Website erfassen zu lassen. Textlängen, Keyword-Verteilung, externe sowie interne Links spielen für das Ranking eine Rolle. Wie wichtig die einzelnen Faktoren sind, hängt vom aktuellen Suchmaschinen-Algorithmus ab und kann sich beim nächsten Update ändern.
Die Aktivität der Crawler auf der eigenen Webseite lässt sich steuern. Es besteht die Möglichkeit, unerwünschte Programme zu sperren. Die Aktivitäten eines Webcrawlers mit noindex oder nofollow über die Robots.txt Datei einzuschränken, kann sinnvoll sein. Diese URLs werden dann nicht bei der Gesamtbewertung berücksichtigt.
Die genaue Interpretation und Analyse des Crawlerverhaltens, ist eine der wichtigsten Aufgaben im Technical SEO und gehört zu den grundständigen SEO Services. Mittels Anwendung von spezieller SEO Software, kann das Crawlingverhalten der Bots nachempfunden werden. Darauf baut dann letztlich die SEO Betreuung und die Entwicklung einer SEO Strategie auf.