Robots.txt dosyasına eklenen crawl-delay satırı, botların iki istek arasında kaç saniye bekleyeceğini belirtmek için kullanılır. Kâğıt üzerinde basit bir çözüm gibi görünür, ancak her arama motoru bu satıra aynı şekilde davranmaz. Sunucunuzu rahatlatmak için kullanacaksanız önce kimin bu kurala uyduğunu bilmeniz gerekir.
Hangi botlar bu satırı dikkate alır?
Google, crawl-delay yönergesini desteklemez. Dosyaya ne yazarsanız yazın Googlebot bu satırı yok sayar. Bing ve Yandex gibi bazı arama motorları ise satırı okur, ancak yorumları farklıdır. Bazı botlar değeri iki istek arasındaki bekleme süresi olarak görür, bazıları ise günü zaman aralıklarına bölüp her aralıkta tek sayfa tarar. Bu yüzden aynı değer farklı botlarda farklı sonuç doğurabilir. Her botun güncel belgelerini kontrol etmek en güvenli yoldur.
Google için tarama hızı nasıl sınırlanır?
Googlebot sunucunuzun yanıt süresine göre hızını kendisi ayarlar. Sunucu yavaşlar ya da 500 ve 503 gibi hatalar dönerse tarama otomatik olarak azalır. Acil bir durumda geçici olarak 503 veya 429 durum kodu döndürmek etkili bir yöntemdir. Bunu uzun süre sürdürmek ise sayfaların dizinden düşmesine yol açabilir. Search Console içindeki tarama istatistikleri raporu da hangi saatlerde ne kadar istek geldiğini görmenizi sağlar. Gerçek bir aşırı yük sorunu varsa önce bu verilere bakın.
Crawl-delay kullanırken nelere dikkat edilmeli?
Değeri gereğinden yüksek tutmak ters etki yaratır. Örneğin on saniyelik bir bekleme, botun günde en fazla yaklaşık sekiz bin altı yüz sayfa taramasına izin verir. Büyük bir sitede bu, yeni içeriklerin geç keşfedilmesi demektir. Küçük değerlerle başlayın, sunucu kayıtlarını izleyin ve gerekirse artırın. Satırı yalnızca ilgili botun bölümüne yazın, yani önce user-agent tanımını yapın, hemen altına crawl-delay ekleyin. Hatalı sıralama kuralın okunmamasına neden olabilir.
Gereksiz taramayı azaltmak için parametreli adresleri engellemek, kopya sayfaları kanonik etiketle birleştirmek ve sunucu önbelleğini iyileştirmek çoğu zaman crawl-delay satırından daha kalıcı sonuç verir. Bu satırı yalnızca destekleyen botlar için yardımcı bir araç olarak görmek doğru yaklaşımdır.