Arama motorlarının yanı sıra artık yapay zekâ modellerini eğitmek veya yanıt üretmek için içerik toplayan botlar da sitenizi ziyaret ediyor. Bu botlara izin vermek ya da vermemek tamamen sizin kararınız ve ilk adım, kök dizindeki robots.txt dosyasını doğru kullanmaktır.
Robots.txt neyi yapar, neyi yapmaz?
Robots.txt, tarayıcılara hangi yollara girebileceklerini bildiren bir metin dosyasıdır. Dosya sitenizin ana dizininde, yani alan adınızın hemen altında durmalıdır. Önemli nokta şudur: bu dosya bir erişim engeli değil, bir rica protokolüdür. Kurallara uyan botlar talimatı izler, uymayanlar ise sayfalarınıza yine de ulaşabilir. Gerçekten gizli kalması gereken içerikler için parola koruması veya sunucu düzeyinde engelleme gerekir.
Yapay zekâ botlarını hedefleme
Her botun kendine ait bir kullanıcı aracısı (user-agent) adı vardır. Kuralı bu isme göre yazarsınız. Örneğin belirli bir botu tüm siteden uzak tutmak için önce User-agent satırına botun adını, hemen altına Disallow: / satırını eklersiniz. Belirli bir klasörü kapatmak isterseniz eğik çizgiden sonra klasör yolunu yazarsınız. Birden fazla bot için her biri kendi User-agent satırıyla ayrı blok olarak tanımlanmalıdır. Eğitim amaçlı toplayan botlar ile kullanıcı sorusuna anlık yanıt vermek için sayfa çeken botlar çoğu zaman ayrı adlarla çalışır; bu ayrımı yapmak, hangisine izin vereceğinizi seçmenizi sağlar.
Karar verirken nelere bakmalı?
Tüm yapay zekâ botlarını engellemek, içeriğinizin bu sistemlerin yanıtlarında görünme şansını da azaltabilir. Marka bilinirliği istiyorsanız herkese açık blog ve rehber sayfalarına izin verip, üyelik alanlarını, ücretli içerikleri veya özgün araştırma verilerini kapatmak dengeli bir yaklaşımdır. Karar vermeden önce sunucu kayıtlarınızı inceleyin: hangi botların ne sıklıkla geldiğini görmek, gereksiz yükü fark etmenizi sağlar. Yoğun tarama sunucuyu yavaşlatıyorsa Crawl-delay desteği olan botlar için bu satırı deneyebilirsiniz, ancak her bot bunu dikkate almaz.
Doğrulama ve bakım
Dosyayı yayınladıktan sonra tarayıcıda alanadınız/robots.txt adresini açıp içeriğin göründüğünü kontrol edin. Yazım hatası, fazladan boşluk veya yanlış yol, kuralın hiç çalışmamasına yol açabilir. En tehlikeli hata ise yanlışlıkla tüm botlara Disallow: / vermektir; bu, arama motorlarından da çıkmanıza neden olur. Bot adları ve politikaları zamanla değiştiği için dosyayı birkaç ayda bir gözden geçirin. Ayrıca sayfa bazında kontrol için noindex ve benzeri meta etiketlerini tamamlayıcı olarak düşünebilirsiniz.
Kısacası robots.txt, yapay zekâ botlarına sınır çizmenin en basit ve ilk adımıdır. Net bir içerik stratejisiyle birlikte kullanıldığında hangi sayfaların açık, hangilerinin kapalı kalacağını kontrollü biçimde belirleyebilirsiniz.