XML Sitemaps sind Dateien im XML-Format, die eigens für den Web Bot erstellt werden. Hierbei handelt es sich um eine Liste aller URLs einer Website enthalten, die einen 200er Status Code aufweisen. Man kann die XML Sitemap mit einem Inhaltsverzeichnis vergleichen, die dem Crawler signalisiert, welche URLs indexiert werden sollen. Aber was für den Web Bot interessant ist, ist dem User meist unbekannt. Die XML Sitemap ist übrigens nicht über die Navigation der Website erreichbar. Für die Suchmaschinenoptimierung spielen XML Sitemaps ebenfalls eine wichtige Rolle. Denn durch dieses Dateiformat steuert man das Crawling gezielt.
XML Sitemaps ermöglichen Suchmaschinen eine vollständige Erfassung und Indexierung aller relevanten URLs einer Website. Auch URLs, die suboptimal in der Website eingebunden sind - und somit schwer erreichbar sind - können in die XML Sitemap aufgenommen werden.
Für Websites mit häufigen Änderungen ist die regelmäßige Aktualisierung der XML Sitemap sehr zielführend. Ein typischer Anwendungsfall sind E-Commerce Shops. Hier ändern sich Produktdetailseiten und weiterer Content am laufenden Band. Die regelmäßige Aktualisierung der XML Sitemap gibt den Suchmaschinen wichtige Signale. Ein wenig kann man das beschleunigen, in dem die aktuelle Version der XML Sitemap in der Google Search Console oder in den Bing Webmaster Tools hinterlegt wird.
Der Unterschied zwischen XML Sitemaps und HTML Sitemaps besteht darin, dass XML Sitemaps nur für Suchmaschinen entwickelt wurden. Eine HTML Sitemap ist ein Relikt aus der Zeit als es noch keine ausgefeilten Navigationen gab. Mit Hilfe der HTML Sitemap könnten die Benutzer dank eines Baumdiagramms, die Struktur einer Website zu verstehen. Es gibt immer noch Websites, die eine HTML Sitemap im Footer mitführen. Denn ab und an schaut auch hier der Bot vorbei. Genauso wie bei der XML Sitemap darf das HTML Format nur indexierbare URLs mit Status Code 200 aufführen.
Bestimmte URLs sollten nicht in die XML Sitemap aufgenommen werden.