Tanım
Crawl bütçesi iki bileşenden oluşur: tarama hızı sınırı (crawl rate limit) ve tarama talebi (crawl demand). Tarama hızı sınırı sunucu kapasitesine göre belirlenir. Tarama talebi sayfaların güncellik ve popülerlik durumuna bağlıdır.
Nasıl çalışır
Googlebot sunucu yanıt süresine ve hata oranına bakarak tarama hızını otomatik ayarlar. Düşük değerli sayfalar (filtre URL'leri, oturum kimlikleri, çok boyutlu filtreli gezinme) bütçeyi tüketir. robots.txt, noindex ve canonical sinyalleriyle bütçe stratejik sayfalara yönlendirilir. XML site haritasındaki güncellik bilgisi tarama talebini destekler.
Scope Trends'te nerede karşılaşırsınız
Tarama Raporu > Crawl Verimliliği sekmesi günlük istek dağılımını gösterir. Site Yapısı raporu bütçeyi tüketen şablonları işaretler ve robots.txt önerisi sunar.
Sık sorulan sorular
Küçük sitede crawl bütçesi sorun olur mu?
Genelde olmaz. 10.000 URL altındaki sitelerde Googlebot tipik olarak gerekli kapsamı çeker.
Crawl bütçesini nasıl artırırım?
Sunucu yanıt süresini düşürün, 5xx hatalarını ortadan kaldırın, sitemap güncel tutun, düşük değerli sayfaları kapatın.