Bir sitede yüzlerce hatta binlerce adresle uğraşırken tek tek kural yazmak mümkün değildir. Joker karakterler ve satır sonu işaretleri bu noktada devreye girer. Doğru kullanıldığında taranmasını istemediğiniz sayfaları engeller, yönlendirmeleri kısaltır ve raporlarda doğru adresleri süzmenizi sağlar. Yanlış kullanıldığında ise önemli sayfaları yanlışlıkla dışarıda bırakabilir.
Yıldız işareti neyi temsil eder?
Yıldız (*), herhangi bir karakter dizisinin yerine geçer. Robots.txt dosyasında “Disallow: /arama*” yazarsanız, “/arama” ile başlayan tüm adresler engellenir. Ortada da kullanabilirsiniz: “/urun/*/yorumlar” kuralı, ürün adı ne olursa olsun yorum sayfalarını kapsar. Yıldızın sınırı yoktur, bu yüzden kuralı gereğinden geniş yazmamaya dikkat edin. Örneğin “Disallow: /*?” ifadesi soru işareti içeren her adresi kapatır; sayfalama veya kategori filtresi gibi gerekli adresler de bu yapıdadır ve bunlar da etkilenebilir.
Dolar işareti satır sonunu nasıl belirtir?
Dolar işareti ($), adresin burada bittiğini söyler. “Disallow: /*.pdf$” kuralı, adresi .pdf ile biten dosyaları engeller; ancak “/dosya.pdf?surum=2” gibi sonrasında parametre taşıyan adresler kapsam dışında kalır. İşaret olmasaydı, içinde “.pdf” geçen her adres etkilenirdi. Satır sonu işareti özellikle dosya türlerini, belirli uzantıları veya tam eşleşme isteyen adresleri ayırmak için işe yarar. “Allow: /blog/$” yazarak yalnızca blog ana sayfasına izin verip alt yazıları ayrıca yönetebilirsiniz.
Düzenli ifadelerle karıştırmayın
Robots.txt yalnızca yıldız ve dolar işaretini tanır. Nokta, artı veya köşeli parantez gibi düzenli ifade (regex) sembolleri burada özel anlam taşımaz. Buna karşılık Search Console filtreleri, analiz araçları ve sunucu yönlendirme dosyaları çoğunlukla regex kullanır. Orada nokta herhangi bir karakteri, yıldız ise önündeki karakterin tekrarını ifade eder; yani “^” satır başını, “$” satır sonunu belirtir. Aynı işaretin araçtan araca farklı davrandığını bilmek, hatalı kuralların önüne geçer.
Kuralı yayınlamadan önce test edin
Her yeni kuralı canlıya almadan önce birkaç örnek adresle deneyin. Search Console içindeki robots.txt test aracı ya da tarayıcı simülasyonları, bir adresin engellenip engellenmediğini gösterir. Önemli kategori, ürün ve blog sayfalarının açık kaldığını doğrulayın. Kuralları yorum satırlarıyla açıklayın ve değişiklik tarihini not edin; böylece trafikte ani bir düşüş olursa nedeni hızlıca bulursunuz. Dar bir kuralla başlayıp gerekirse genişletmek, geniş bir kuralı sonradan daraltmaktan çok daha güvenlidir.
Yıldız ne kadarını kapsayacağını, dolar işareti nerede duracağını belirler. İkisini küçük adımlarla ve test ederek kullanırsanız tarama bütçenizi korur, sitenizi daha düzenli yönetirsiniz.