robots.txt
robots.txt ist eine Textdatei im Stammverzeichnis, die Crawlern mitteilt, welche Seiten sie abrufen dürfen.
Funktion
Unnötige Seiten vom Crawlen ausnehmen, KI-Crawler erlauben oder sperren, Sitemap angeben.
Achtung
Kein Sicherheitswerkzeug; zum Entfernen aus dem Index braucht es Noindex.
Häufige Fragen
KI-Crawler sperren?
Nicht, wenn Sie in KI-Antworten erscheinen wollen.