Bir sayfayı robots.txt dosyasında engelledikten sonra arama sonuçlarında hâlâ görmek şaşırtıcı gelebilir. Oysa burada çoğu kişinin karıştırdığı iki ayrı kavram var: tarama ve dizine ekleme. Engelleme yalnızca birincisini kontrol eder, ikincisini değil.
Tarama ile dizine eklemenin farkı
Robots.txt, arama motoru botlarına bir adrese girip girmeyeceklerini söyler. Ancak bir adresin varlığını öğrenmek için sayfanın içeriğini okumak gerekmez. Başka bir sitedeki bağlantı, kendi sitenizdeki iç link ya da site haritasındaki bir kayıt, adresi botlara duyurmaya yeterlidir. Bot sayfaya giremese de URL’yi tanır ve bağlantı metinlerine bakarak onu dizine ekleyebilir. Sonuçta başlık ya da açıklama olmadan, yalnızca adresten oluşan bir kayıt ortaya çıkar. Bazen de “Bu sonuç için bilgi verilemiyor” gibi bir not görürsünüz.
Noindex etiketi neden çalışmaz hale gelir?
Sayfayı dizinden çıkarmak için meta robots etiketine noindex yazmak doğru yöntemdir. Fakat bu etiket sayfanın HTML kodunda durur ve botun onu görebilmesi için sayfayı tarayabilmesi gerekir. Aynı sayfayı robots.txt ile engellerseniz bot noindex talimatını hiç okuyamaz. Yani iki önlemi birlikte kullanmak, birbirini etkisiz kılar. Dizinden çıkmasını istediğiniz sayfada önce taramaya izin verin, noindex etiketinin işlenmesini bekleyin, sayfa dizinden düştükten sonra istiyorsanız engeli ekleyin.
Doğru yöntemi seçmek
Amaca göre farklı çözümler gerekir. Sayfa tamamen gizli kalmalıysa, örneğin bir yönetim paneli ya da özel içerikse, parola koruması en güvenli yoldur. Arama sonuçlarında görünmemesi yeterliyse noindex kullanın. PDF gibi HTML etiketi taşımayan dosyalar için sunucu başlığıyla gönderilen noindex talimatı işe yarar. Eski ve silinmiş sayfalar için 404 ya da 410 durum kodu verin, taşınan içerikte yönlendirme kullanın. Acil kaldırma gerekirse arama konsolundaki kaldırma aracı geçici bir çözüm sunar, ama kalıcı olması için yine yukarıdaki yöntemlerden biri uygulanmalıdır.
Kontrol ve temizlik adımları
Önce arama konsolunda hangi engelli adreslerin dizinde olduğuna bakın. Ardından bu adreslere kendi sitenizden verilen iç linkleri ve site haritasındaki kayıtları temizleyin, çünkü bunlar sinyali güçlendirir. Noindex gereken sayfalar için robots.txt engelini geçici olarak kaldırın ve botların sayfayı yeniden ziyaret etmesini bekleyin. Birkaç hafta sonra durumu tekrar denetleyin.
Kısacası robots.txt bir kapı kilidi değil, yalnızca bir yönlendirme tabelasıdır. Dizindeki görünürlüğü yönetmek için doğru aracı doğru sırayla kullanmak gerekir.