Robots.txt, birkaç satırdan oluşan küçük bir dosya olsa da yanlış bir kural sitenizin tamamını arama motorlarına kapatabilir. Üstelik hata çoğu zaman günler sonra, trafik düşmeye başladığında fark edilir. Dosyayı sıradan bir metin gibi değil, kod gibi yönetmek bu riski büyük ölçüde azaltır.
Dosyayı neden sürüm kontrolüne almalısınız?
Robots.txt dosyasını proje deposunda tutun ve her değişikliği açıklayıcı bir mesajla kaydedin. Örneğin “parametreli filtre adreslerini engelle” gibi bir not, aylar sonra bir kuralın neden eklendiğini hatırlamanızı sağlar. Sunucuda elle düzenleme yapmak yerine değişikliği depo üzerinden yapıp dağıtım sürecine bağlamak, yetkisiz ve izsiz düzenlemelerin önüne geçer. Geri dönmeniz gerektiğinde önceki sürüme tek adımda dönebilirsiniz. Ayrıca düzenli aralıklarla canlı dosyanın bir kopyasını arşivlemek, depo dışından yapılan müdahaleleri de yakalamanıza yardım eder.
Yayına almadan önce test edin
Her değişikliği önce hazırlık ortamında deneyin. Ancak hazırlık ortamının kendi robots.txt dosyasının tüm taramayı engellediğini ve bu dosyanın canlıya taşınmaması gerektiğini unutmayın; en sık görülen kaza budur. Canlıya çıkmadan önce şu kontrolleri yapın:
Önemli sayfa türlerinden her birinden birkaç örnek adres seçip yeni kurallara göre taranabilir olduklarını doğrulayın. Arama motorlarının sunduğu robots.txt test araçlarıyla sözdizimi hatalarını arayın. Disallow satırında tek bir eğik çizginin tüm siteyi kapattığını, boş bırakılan değerin ise her şeye izin verdiğini hatırlayın. Joker karakter ve satır sonu işaretlerini kullanan kuralları ayrıca deneyin, çünkü beklenmedik adresleri de kapsayabilirler.
Yayın sürecini otomatikleştirin
Dağıtım hattınıza basit bir otomatik denetim ekleyin. Bu denetim, dosyada tüm siteyi engelleyen bir kural olup olmadığına, site haritası adresinin bulunup bulunmadığına ve dosya boyutunun makul sınırlar içinde kalıp kalmadığına baksın. Kontrol başarısız olursa yayın durmalıdır. Değişiklikleri mümkünse trafiğin düşük olduğu saatlerde ve çalışma günlerinde yapın; böylece sorun çıkarsa ekip yerinde olur.
Yayından sonra izleme
Dosya yayına girdikten sonra canlı adresin doğru sürümü sunduğunu ve sunucunun başarılı bir yanıt kodu döndürdüğünü kontrol edin. Arama konsolundaki tarama istatistiklerini ve dizine eklenen sayfa sayısını birkaç gün boyunca izleyin. Tarama isteklerinde ani düşüş ya da engellenen adreslerde artış görürseniz önceki sürüme dönmek için beklemeyin. Sunucu hatası veren bir robots.txt de taramayı aksatabileceğinden, yanıt kodlarını uyarı sistemine bağlamak faydalıdır.
Kısacası robots.txt için kayıt, test, otomatik denetim ve izleme dörtlüsü yeterlidir. Bu alışkanlık birkaç dakikalık ek iş gibi görünse de görünürlüğünüzü beklenmedik kayıplardan korur.