XML Sitemap URL
User-Agent Directives (2)
User-agent:
Disallowed Paths:
User-agent:
Disallowed Paths:
robots.txt Output
# robots.txt generated by MiniToolDesk - 100% Client-Side # Documentation: https://developers.google.com/search/docs/crawling-indexing/robots/intro User-agent: * Disallow: /admin/ Disallow: /api/private/ Disallow: /tmp/ Allow: / User-agent: GPTBot Disallow: / Sitemap: https://minitooldesk.com/sitemap.xml
Heften Sie dieses Tool an Ihre Browser-Seitenleiste
Jederzeit per Alt+M aufrufen, ohne den Tab zu wechseln. 100% offline und kostenlos.
So erstellen Sie robots.txt-Dateien
- 1Geben Sie die URL Ihrer XML-Sitemap ein.
- 2Konfigurieren Sie User-Agents und Sperrpfade.
- 3Speichern Sie robots.txt im Stammverzeichnis Ihrer Domain.
Suchmaschinen-Crawling-Steuerung
Leitet Suchmaschinen gezielt und schützt sensible Bereiche.
Häufig gestellte Fragen (FAQ)
Gefällt Ihnen Robots.txt Generator?Teilen Sie dieses private, werbefreie Tool mit Ihren Entwickler-Kollegen!
MiniToolDesk ist zu 100% kostenlos und client-seitig. Ihre Unterstützung hilft uns.
Verwandte Entwickler-Tools
Popular
Diff Checker (Textvergleich)
100% DSGVO-konformer Text- und Codevergleich im Browser ohne Server-Uploads
Launch tool→
Groß-/Kleinschreibung & Case-Konverter
Strings zwischen camelCase, snake_case, kebab-case, PascalCase und CONSTANT_CASE konvertieren
Launch tool→
Wörter- & Zeichenzähler
Wörter, Zeichen, Zeilen, Absätze und geschätzte Lesezeit in Echtzeit analysieren
Launch tool→
Duplikate aus Zeilen entfernen & Sortieren
Doppelte Textzeilen bereinigen, alphabetisch sortieren und Leerzeilen entfernen
Launch tool→