Tarayıcı kurallarını hazır ayarlarla yazın; yapay zeka tarayıcılarını engelleyen bir ayar da var.
robots.txt tarayıcılardan bir yolu ziyaret etmemelerini rica eder. Hiçbir şeyi gizlemez; özel sayfaları korumak için asla kullanmayın.
User-agent: * Disallow: /admin/ Disallow: /api/ Sitemap: https://example.com/sitemap.xml
Çoğu site için doğru varsayılan her şeye izin vermektir. Tipik ayar genelde taranmaması gereken yolları engeller, ayrıca yapay zeka eğitim tarayıcılarını engelleyen bir ayar da var.
Her grup bir user-agent'ı hedefler. Allow ya da Disallow altına satır başına bir yol koyun. Adı geçen bir bot için daha özel bir grup, o bot açısından joker grubun yerini alır.
Sitemap satırı tarayıcıların URL'lerinizi bulmasına yardım eder. Dosyayı indirip alan adınızın kök dizinine koyun; robots.txt yalnızca oradan okunur.
Alan adının kök dizinine, yani ornek.com/robots.txt. Tarayıcılar yalnızca oraya bakar ve alt dizindeki bir dosya tamamen yok sayılır.
Hayır ve en yaygın yanlış anlama budur. İyi davranan tarayıcılardan bir yolu getirmemelerini rica eder. Dosya herkese açıktır, yani oraya gizli bir yol yazmak onu ilan etmektir. Özel her şey için kimlik doğrulaması kullanın.
Güvenilir biçimde hayır. Engellenmiş bir sayfa dış bağlantılardan yine dizine girebilir ve açıklamasız görünür. Bir sayfayı kaldırmak için noindex etiketi kullanın ve etiketin okunabilmesi için sayfanın engellenmediğinden emin olun.
Taramamalarını rica edebilirsiniz; GPTBot ve CCBot gibi büyükleri robots.txt'ye uyduklarını belgeliyor. Buradaki hazır ayar bu kuralları ekler ve arama tarayıcılarına izin vermeye devam eder.
Tarayıcılar her şeye izin verildiğini varsayar; çoğu site için bu sorun değildir. Dosyanın olmaması bir hata değildir.
Bir tarayıcı kendisini adıyla anan en özel tek grubu kullanır, diğerlerini yok sayar. Yani bir Googlebot grubu, Googlebot açısından joker grubun yerini tamamen alır, ona eklenmez.
Google yok sayar. Bing ve bazıları dikkate alır. Google fazla agresif tarıyorsa bunun yerine Search Console'dan tarama hızını ayarlayın.
Evet, tamamen ücretsiz ve üyeliksiz.
URL listenizi kopyalayıp indirebileceğiniz geçerli bir XML site haritasına çevirin.
Aracı AçHreflang etiketleri veya sitemap alternatifleri kurun; sessizce bozan hataları kontrol ederek.
Aracı AçÜcretsiz web sitesi SEO analiz aracı. Herhangi bir siteyi SEO, güvenlik, performans, erişilebilirlik ve mobil uyumluluk açısından denetleyin, uygulanabilir öneriler alın.
Aracı Aç