robots.txt-Generator
Seitentyp und gesperrte Pfade konfigurieren – das Tool erstellt eine fertige robots.txt-Datei zum direkten Einsatz.
robots.txt-Generator
Fertige robots.txt-Datei konfigurieren und kopieren.
Pfade sperren (Disallow)
Generierte robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /staging/ User-agent: GPTBot Disallow: / User-agent: Claude-Web Disallow: / User-agent: CCBot Disallow: /
Datei als robots.txt im Stammverzeichnis Ihrer Domain speichern.
Wie wird berechnet?
Datei speichern: Legen Sie die generierte Datei als robots.txt im Wurzelverzeichnis Ihrer Domain ab.
Prüfen: Google Search Console unter "URL-Prüfung" zeigt, ob Ihre robots.txt korrekt ausgeliefert wird.
AI-Crawler: GPTBot, Claude-Web und CCBot werden im generierten Template standardmässig gesperrt.
Was ist eine robots.txt?
Die robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Bereiche Ihrer Website sie crawlen dürfen und welche nicht. Sie liegt immer im Wurzelverzeichnis der Domain unter yourdomain.ch/robots.txt.
Wichtig: Disallow ≠ Deindex
Eine gesperrte URL wird nicht gecrawlt, kann aber trotzdem im Index erscheinen – wenn zum Beispiel externe Links auf sie verweisen. Zum vollständigen Ausschluss aus dem Index brauchen Sie zusätzlich ein noindex-Meta-Tag oder den X-Robots-Tag.