Sitemap und robots.txt erklärt: Google richtig steuern

Sitemaps und die robots.txt sind zwei unscheinbare Dateien mit großer Wirkung. Sie steuern, wie Suchmaschinen Ihre Website durchsuchen und welche Seiten in den Index gelangen. Für Magdeburger Unternehmen, deren Website wachsen soll, sind diese Grundlagen entscheidend — denn was Google nicht findet oder finden soll, beeinflusst direkt Ihre Sichtbarkeit.

Was eine Sitemap leistet

Eine XML-Sitemap ist im Grunde ein Inhaltsverzeichnis Ihrer Website für Suchmaschinen. Sie listet alle wichtigen URLs auf und teilt Google mit, welche Seiten existieren und wann sie zuletzt aktualisiert wurden. Gerade bei umfangreichen Websites — etwa dem Produktkatalog eines Magdeburger Herstellers oder mehreren Leistungsseiten — hilft die Sitemap, dass keine wichtige Seite übersehen wird.

Warum das zählt: Google findet Seiten zwar auch über interne Links, doch eine Sitemap beschleunigt und vervollständigt diesen Prozess. Neue oder tief verschachtelte Seiten werden so zuverlässiger erfasst.

Was die robots.txt steuert

Die robots.txt liegt im Stammverzeichnis Ihrer Website und gibt Suchmaschinen Anweisungen, welche Bereiche sie crawlen dürfen und welche nicht. Damit lassen sich etwa interne Such- oder Login-Bereiche vom Crawling ausschließen, die im Index nichts verloren haben.

Wichtig zu verstehen: Die robots.txt verhindert das Crawling, aber nicht zwingend die Indexierung. Eine Seite, die per robots.txt gesperrt, aber anderweitig verlinkt ist, kann trotzdem in den Index gelangen — ohne Inhalt. Wer eine Seite sicher aus dem Index halten will, nutzt dafür das Meta-Robots-Tag „noindex”.

Sitemap und robots.txt im Vergleich

Datei	Aufgabe	Wirkung
XML-Sitemap	URLs auflisten	Findbarkeit verbessern
robots.txt	Crawling steuern	Bereiche aus-/einschließen
Meta-noindex	Indexierung verhindern	Seite aus Index halten

So setzen Sie beides richtig ein

Erstellen Sie eine aktuelle XML-Sitemap und reichen Sie sie in der Google Search Console ein. Achten Sie darauf, dass nur indexierbare, relevante Seiten enthalten sind — keine Weiterleitungen oder gesperrten URLs. In der robots.txt sollten Sie auf die Sitemap verweisen und nur das Nötige ausschließen. Ein häufiger und folgenschwerer Fehler ist es, versehentlich die gesamte Website zu sperren.

Häufige Fehler

• Die ganze Website per robots.txt sperren: Ein falsch gesetztes Disallow: / kann Ihre komplette Seite aus der Suche entfernen. Prüfen Sie diese Datei besonders sorgfältig.
• Crawling mit Indexierung verwechseln: Wer eine Seite sicher aus dem Index halten will, braucht „noindex”, nicht nur einen robots.txt-Eintrag.
• Veraltete Sitemap: Eine Sitemap mit gelöschten oder weitergeleiteten URLs verwirrt Google. Halten Sie sie aktuell.
• CSS und JavaScript blockieren: Werden diese Ressourcen gesperrt, kann Google die Seite nicht korrekt rendern und bewerten.

Häufig gestellte Fragen

Braucht jede Website eine Sitemap?

Kleine Seiten kommen oft ohne aus, doch eine Sitemap schadet nie und beschleunigt die Erfassung. Bei größeren Websites ist sie dringend zu empfehlen.

Wo finde ich meine robots.txt?

Sie liegt unter Ihrer Domain mit dem Zusatz /robots.txt. Dort können Sie sie jederzeit aufrufen und prüfen.

Kann ich mit robots.txt Seiten aus Google entfernen?

Nicht zuverlässig. Für eine sichere Entfernung nutzen Sie das „noindex”-Tag oder das Entfernungstool der Search Console.

Wie reiche ich eine Sitemap ein?

Über die Google Search Console im Bereich „Sitemaps”. Dort tragen Sie die URL Ihrer Sitemap ein.

Fazit