robots.txt
robots.txt, sitenin kökünde duran ve tarayıcılara hangi sayfaları taramalarına izin verildiğini söyleyen düz metin dosyasıdır.
Ne işe yarar?
Gereksiz sayfaların taranmasını önler, yapay zekâ tarayıcılarına izin verir ya da onları engeller, site haritasının yerini bildirir.
Dikkat
robots.txt bir güvenlik aracı değildir; herkes okuyabilir ve kötü niyetli tarayıcılar uymayabilir. Bir sayfayı dizinden çıkarmak için noindex gerekir.
Sık sorulan sorular
Yapay zekâ tarayıcılarını engellemeli miyim?
Yapay zekâ cevaplarında görünmek istiyorsanız hayır; içeriğinizin eğitimde kullanılmasını istemiyorsanız belirli tarayıcıları seçerek engelleyebilirsiniz.