Robots.txt, arama motoru botlarına sitenin hangi bölümlerini tarayabileceğini söyleyen basit bir metin dosyasıdır. Ancak alt alan adlarında bu dosyanın nasıl çalıştığı çoğu zaman yanlış anlaşılır. Blog, mağaza, destek ve test ortamı gibi bölümleri alt alan adlarında barındıran sitelerde tek bir dosyanın hepsini yönettiğini düşünmek, taranmaması gereken sayfaların açık kalmasına ya da önemli sayfaların yanlışlıkla kapanmasına yol açar.
Her alt alan kendi robots.txt dosyasına sahip olmalı
Botlar robots.txt dosyasını, taradıkları ana makinenin kök dizininde arar. Yani ana alan adındaki dosya, blog veya destek gibi alt alan adları için geçerli değildir. Her alt alan adı ayrı bir host sayılır ve kendi kökünde, örneğin blog.ornek.com/robots.txt adresinde, ayrı bir dosya barındırmalıdır. Dosya yoksa bot genellikle her şeyi taranabilir kabul eder. Bu yüzden yayındaki her alt alan için dosyanın var olduğunu ve 200 durum koduyla döndüğünü kontrol edin.
Test ve hazırlık ortamlarını doğru kapatın
Geliştirme veya staging alt alan adlarının indekslenmesi, yinelenen içerik sorununun en yaygın kaynaklarından biridir. Bu ortamlarda “User-agent: *” ve “Disallow: /” satırlarını kullanmak botları uzak tutar. Ancak robots.txt tek başına indekslemeyi garanti altına alarak engellemez; başka sitelerden gelen bağlantılar URL’nin yine de görünmesine neden olabilir. Daha güvenli yöntem, ortamı parola ile korumak ya da noindex yanıt başlığı kullanmaktır. Canlıya geçerken test dosyasındaki engelleyici satırın kopyalanıp ana siteye taşınmadığından emin olun; bu hata trafiği kısa sürede düşürebilir.
Tarama bütçesi ve site haritası yönetimi
Büyük sitelerde arama sonuçları, filtre parametreleri, sepet ve oturum sayfaları gibi değeri düşük adresler tarama kaynağını tüketir. Bunları ilgili alt alan adının dosyasında Disallow ile kapatabilirsiniz. Sitemap satırını da her alt alanın kendi dosyasına, tam URL olarak ekleyin. Her alt alan için ayrı bir site haritası hazırlamak, Search Console’da mülkleri ayrı izlemenizi kolaylaştırır. CSS ve JavaScript dosyalarını engellememeye dikkat edin; botlar sayfayı doğru işleyemezse sıralama zarar görebilir.
Yayına almadan önce test edin
Değişiklikten sonra dosyayı Search Console’daki robots.txt raporuyla ve tarayıcıda doğrudan açarak kontrol edin. Dosya UTF-8 kodlamalı olmalı, boyutu makul kalmalı ve sunucu hatası vermemelidir; 5xx yanıtı botların taramayı durdurmasına neden olabilir. Alt alan sayısı fazlaysa dosyaları tek bir depoda sürüm kontrolüyle tutmak, hatalı değişiklikleri hızla geri almanızı sağlar.
Kısacası her alt alan adını bağımsız bir site gibi düşünün: kendi dosyası, kendi kuralları ve kendi site haritası olsun. Düzenli aralıklarla yapılacak kısa bir kontrol, önemli sayfaların taranmasını sürdürürken gereksiz ve gizli kalması gereken alanların dışarıda kalmasını sağlar.