Robots.txt Oluşturucu
Arama motoru botları için robots.txt dosyası oluşturun.
Sık Sorulan Sorular
Robots.txt nedir?+
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi sayfaları tarayıp taramayacaklarını söyleyen bir metin dosyasıdır.
Robots.txt nasıl yazılır?+
User-agent satırıyla hangi bota kural yazıldığı, Disallow ile engellenecek dizinler, Allow ile izin verilen yollar belirtilir. Sitemap URL'si de eklenebilir.
Robots.txt engellemesi indekslemeyi garantiler mi?+
Hayır, robots.txt sadece taramayı engeller. Başka siteler link verirse sayfa indekslenebilir. Tam engelleme için noindex meta etiketi kullanılmalıdır.
Robots.txt hataları SEO'yu nasıl etkiler?+
Yanlış robots.txt ile kritik sayfalar engellenebilir. Düzenli kontrol için Google Search Console'daki URL Denetleme aracı kullanılmalıdır.