Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayabileceğini söyleyen küçük bir metin dosyasıdır. Boyutu küçük olsa da etkisi büyüktür. Tek satırlık hatalı bir kural, ürün sayfalarının ya da tüm sitenin taranmasını engelleyebilir. Bu yüzden dosyaya dokunmadan önce bir plan yapmak gerekir.
Önce değişikliğin amacını yazılı hale getirin
Dosyayı düzenlemeden önce neyi neden değiştirdiğinizi bir cümleyle not edin. Örneğin, filtre parametreli adreslerin tarama bütçesini tükettiğini tespit ettiyseniz hedef bellidir: parametreli URL kalıplarını engellemek. Amacı net olmayan kurallar zamanla kimsenin anlamadığı satırlara dönüşür. Mevcut dosyanın bir kopyasını tarihle birlikte saklayın. Sorun çıkarsa eski sürüme dakikalar içinde dönebilirsiniz.
Etkilenecek adresleri önceden listeleyin
Bir Disallow satırı yazdığınızda hangi adreslerin kapsandığını tahmin etmeyin, ölçün. Tarama aracıyla siteyi gezdirip çıkan adres listesini yeni kurallara göre süzün. Kalıbın yanlışlıkla önemli kategori, görsel, CSS veya JavaScript dosyalarını kapsayıp kapsamadığına bakın. Stil ve betik dosyalarını engellemek, botun sayfayı doğru görüntülemesini zorlaştırır. Ayrıca joker karakter (*) ve satır sonu işareti ($) kullanımına dikkat edin; küçük bir yazım farkı kapsamı çok genişletebilir.
Yayından önce test ortamında doğrulayın
Yeni dosyayı canlıya almadan önce arama motorlarının sunduğu robots.txt test araçlarında veya tarama yazılımlarının özel kural simülasyonunda deneyin. En az şu adresleri kontrol edin: ana sayfa, önemli kategori sayfaları, bir ürün veya yazı sayfası, site haritası adresi ve engellemek istediğiniz örnekler. Beklenen sonuç ile gerçek sonucu yan yana yazın. Test sitenizin robots.txt dosyasındaki tam engelleme kuralını canlıya taşımamaya özellikle dikkat edin; bu, sık görülen ve pahalıya mal olan bir hatadır.
Yayın sonrası izleme planı yapın
Dosyayı yayınladıktan sonra adresin gerçekten yeni sürümü gösterdiğini tarayıcıdan kontrol edin. Arama konsolundaki tarama istatistiklerini ve dizine eklenme raporlarını önümüzdeki iki üç hafta boyunca izleyin. Taranan sayfa sayısında ani düşüş, “robots.txt tarafından engellendi” uyarılarında artış ya da önemli sayfaların dizinden çıkması bir sorun işaretidir. Değişiklikleri trafiğin düşük olduğu saatlerde ve teknik ekip erişilebilirken yapmak, müdahale süresini kısaltır.
Robots.txt değişikliği küçük görünse de bir yayın süreci gibi ele alınmalıdır: amaç, ölçüm, test, yayın ve izleme. Bu sırayı korumak, tarama sorunlarını sonradan düzeltmeye çalışmaktan çok daha az maliyetlidir.