Wie Google deine Website findet
Googles Crawler (auch Googlebot genannt) durchsucht das Internet systematisch nach neuen und aktualisierten Seiten. Dieser Prozess heißt Crawling. Der Crawler folgt Links von bereits bekannten Seiten, um neue zu entdecken. Sobald er eine Seite gefunden und gelesen hat, wird sie in Googles Index aufgenommen — und kann in den Suchergebnissen erscheinen.
Für eine neue Website bedeutet das: Ohne aktive Maßnahmen kann es Wochen dauern, bis Google dich überhaupt findet. Mit den richtigen technischen Grundlagen beschleunigst du diesen Prozess auf wenige Tage.
Crawling ist der erste Schritt zur Sichtbarkeit. Wenn Google deine Seiten nicht finden und lesen kann, existierst du für die Suchmaschine nicht — egal wie gut dein Inhalt ist.
XML-Sitemap: Dein Inhaltsverzeichnis für Google
Eine XML-Sitemap ist eine Datei, die alle wichtigen URLs deiner Website in einem maschinenlesbaren Format auflistet. Sie ist wie ein Inhaltsverzeichnis, das du Google direkt überreichst — damit der Crawler keine Seite verpasst.
Wie eine Sitemap aussieht
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://proofofreach.de/</loc>
<lastmod>2026-03-25</lastmod>
<priority>1.0</priority>
</url>
<url>
<loc>https://proofofreach.de/blog/was-ist-aio.html</loc>
<lastmod>2026-03-25</lastmod>
<priority>0.8</priority>
</url>
</urlset>
Wie du eine Sitemap erstellst
Für eine statische Website wie unsere erstellst du die Sitemap manuell: Eine XML-Datei mit allen URLs, gespeichert als sitemap.xml im Hauptverzeichnis deiner Website. Jedes Mal, wenn du einen neuen Artikel veröffentlichst, fügst du die URL hinzu. Bei größeren Websites gibt es Tools und CMS-Plugins, die das automatisch erledigen.
Sitemap bei Google einreichen
Gehe in die Google Search Console, wähle deine Website, und navigiere zu „Sitemaps". Dort gibst du die URL deiner Sitemap ein (z.B. https://proofofreach.de/sitemap.xml) und klickst „Senden". Google beginnt dann, deine Seiten systematisch zu crawlen und zu indexieren.
Robots.txt: Crawling-Anweisungen
Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Sie steuert das Crawling — nicht die Indexierung.
Eine einfache robots.txt
User-agent: * Allow: / Sitemap: https://proofofreach.de/sitemap.xml
Diese robots.txt sagt: Alle Crawler dürfen alle Bereiche besuchen, und hier ist der Link zur Sitemap. Für die meisten Websites ist das ausreichend.
Bereiche blockieren
Du kannst bestimmte Verzeichnisse oder Dateien vom Crawling ausschließen. Zum Beispiel interne Entwürfe, doppelte Inhalte oder technische Dateien. Achte aber darauf, nicht versehentlich wichtige Seiten zu blockieren — und vermeide Duplicate Content — das ist einer der häufigsten technischen SEO-Fehler.
Wichtig: robots.txt verhindert keine Indexierung
Ein verbreiteter Irrtum: Die robots.txt blockiert nur das Crawling, nicht die Indexierung. Wenn eine blockierte Seite von einer anderen Seite verlinkt wird, kann Google sie trotzdem in den Index aufnehmen — nur ohne den Inhalt zu kennen. Wenn du eine Seite wirklich aus dem Index entfernen willst, nutze ein noindex-Meta-Tag.
Crawl-Budget und Crawl-Frequenz
Google hat für jede Website ein sogenanntes Crawl-Budget — die Anzahl der Seiten, die der Crawler in einem bestimmten Zeitraum besucht. Für kleine Websites mit unter 1.000 Seiten ist das Crawl-Budget selten ein Problem. Für große Websites mit Zehntausenden von Seiten wird es zum strategischen Faktor.
Die Crawl-Frequenz — wie oft Google deine Seiten besucht — hängt von mehreren Faktoren ab: Wie oft aktualisierst du deine Inhalte? Wie viel Autorität hat deine Domain? Wie gut ist deine technische Infrastruktur? Websites, die regelmäßig neue oder aktualisierte Inhalte veröffentlichen, werden häufiger gecrawlt.
Praktische Checkliste für neue Websites
1. Robots.txt erstellen. Erstelle eine robots.txt im Hauptverzeichnis mit Allow: / und dem Verweis auf deine Sitemap.
2. XML-Sitemap erstellen. Liste alle veröffentlichten Seiten auf, speichere als sitemap.xml im Hauptverzeichnis.
3. Google Search Console einrichten. Verifiziere deine Website, reiche die Sitemap ein, und prüfe auf Crawling-Fehler.
4. Interne Verlinkung prüfen. Jede wichtige Seite sollte von mindestens einer anderen Seite verlinkt werden. Verwaiste Seiten (ohne interne Links) werden von Google schwerer gefunden.
5. Indexierung überwachen. Prüfe in der Search Console unter „Seiten", welche deiner Seiten indexiert sind und welche nicht. Reagiere auf Probleme sofort.
Quellen
- Google Search Central: Offizielle Dokumentation zu Best Practices für Suchmaschinenoptimierung. developers.google.com
Häufige Fragen
Eine XML-Sitemap ist eine Datei, die alle wichtigen URLs deiner Website auflistet. Sie hilft Suchmaschinen, deine Seiten schneller zu finden und zu indexieren. Du reichst sie über die Google Search Console ein.
Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie besuchen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung.
Die Crawl-Frequenz hängt von Größe, Autorität und Aktualisierungsfrequenz deiner Website ab. Regelmäßige Content-Updates und eine saubere Sitemap erhöhen die Crawl-Frequenz.
Zuletzt aktualisiert: 25. März 2026