Robots.txt-Generator
Baut eine robots.txt aus Regeln zusammen: User-Agent, Allow, Disallow und Sitemap. Fertig zum Kopieren ins Webroot.
Deine Eingaben werden in deinem Browser verarbeitet und nicht an unsere Server übertragen. Hinweis: Drittanbieter-Ressourcen (z. B. Werbung und Analyse von Google/Cloudflare) sowie ein freiwilliger PayPal-Spendenlink können beim Laden bzw. Anklicken Daten übertragen. Browser-Erweiterungen oder -Plugins können sichtbare Inhalte in den Eingabefeldern mitlesen.
Ergebnis erscheint hier …
Robots.txt-Generator: robots.txt einfach erstellen
Die robots.txt ist eine kleine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen mitteilt, welche Bereiche sie durchsuchen dürfen und welche nicht. Mit dem Robots.txt-Generator stellen Sie User-Agent, Allow- und Disallow-Regeln sowie die Sitemap-Adresse zusammen, ohne die Syntax auswendig zu kennen. Das Ergebnis ist eine fertige, kopierfertige robots.txt.
Sie geben an, für welche Suchmaschinen (User-Agent) die Regeln gelten, welche Pfade erlaubt (Allow) und welche gesperrt (Disallow) werden sollen, und tragen gegebenenfalls den Pfad zu Ihrer Sitemap ein. Der Generator erzeugt daraus eine gültige robots.txt, die Sie direkt in das Stammverzeichnis Ihrer Website legen können.
So funktioniert der Aufbau
Eine robots.txt besteht aus Regeln, die mit der Zeile User-Agent beginnen und angeben, für welchen Suchroboter sie gelten. Darauf folgen Allow- und Disallow-Anweisungen, die festlegen, welche Pfade durchsucht werden dürfen. Der Generator setzt Ihre Einträge in diese Struktur um und erzeugt am Ende den Verweis auf die Sitemap.
- User-Agent festlegen, etwa alle Suchmaschinen mit einem Sternchen.
- Pfade als Allow oder Disallow eintragen.
- Optional die Adresse der Sitemap ergänzen.
- Die fertige robots.txt kopieren und ins Webroot legen.
Was sie kann und was nicht
Der Robots.txt-Generator eignet sich für die typischen Zugriffsregeln einer Website und macht die Syntax verständlich. Er hilft, unbeabsichtigt gesperrte Bereiche zu vermeiden, weil Sie jede Regel sehen und prüfen können. Wichtig zu wissen: Die robots.txt ist eine Empfehlung an kooperative Suchmaschinen und keine Absicherung gegen unerwünschte Zugriffe. Vertrauliche Inhalte gehören stattdessen hinter eine echte Zugriffssperre, etwa eine Anmeldung. Zudem darf die robots.txt nicht das HTML der Seiten ersetzen: Wollen Sie eine Seite aus dem Index nehmen, verwenden Sie einen Robots-Tag oder noindex.
Häufige Fragen
Was ist eine robots.txt?
Die robots.txt ist eine Textdatei im Stammverzeichnis einer Website. Sie teilt Suchmaschinen mit, welche Verzeichnisse oder Dateien sie durchsuchen dürfen. Sie ist eine Empfehlung, keine technische Sperre.
Was bedeutet User-Agent in der robots.txt?
Der User-Agent legt fest, für welchen Suchroboter die folgenden Regeln gelten. Ein Sternchen als User-Agent steht für alle Suchmaschinen. So können Sie einzelne Roboter unterschiedlich behandeln.
Was ist der Unterschied zwischen Allow und Disallow?
Disallow sperrt einen Pfad für die Suche, Allow erlaubt ihn ausdrücklich. Eine Disallow-Regel verhindert, dass Suchmaschinen den betreffenden Bereich durchsuchen und indexieren. Allow wird vor allem verwendet, um innerhalb eines gesperrten Bereichs einzelne Pfade wieder freizugeben.
Soll die Sitemap in die robots.txt?
Ja, das ist empfehlenswert. Ein Verweis auf die Sitemap hilft Suchmaschinen, Ihre wichtigen Seiten zu finden. Die Zeile beginnt mit „Sitemap:" und enthält die vollständige URL Ihrer Sitemap-Datei.
Sperrt die robots.txt unerwünschte Zugriffe?
Nein. Sie ist ausschließlich eine Empfehlung an kooperative Suchmaschinen und wird von böswilligen Zugriffen nicht beachtet. Vertrauliche Inhalte sollten Sie stattdessen durch eine echte Zugriffssperre wie eine Anmeldung schützen.