Tanım Crawl bütçesi crawl rate limit ve crawl demand olmak üzere iki bileşenden oluşur. Crawl rate limit sunucu kapasitesine göre belirlenir. Crawl demand sayfaların güncellik ve popülerlik durumuna bağlıdır.
Nasıl çalışır Googlebot sunucu yanıt süresine ve hata oranına bakarak crawl hızını otomatik ayarlar. Düşük değerli sayfalar (filtre URL'leri, oturum kimlikleri, faceted navigation) bütçeyi tüketir. robots.txt, noindex ve canonical sinyalleriyle bütçe stratejik sayfalara yönlendirilir. XML sitemap güncellik bilgisi crawl demand'i destekler.
Scope Trends'te nerede karşılaşırsınız **Tarama Raporu** > **Crawl Verimliliği** sekmesi günlük istek dağılımını gösterir. **Site Yapısı** raporu bütçeyi tüketen şablonları işaretler ve robots.txt önerisi sunar.
Sık sorulan sorular **Küçük sitede crawl bütçesi sorun olur mu?** Genelde olmaz. 10.000 URL altındaki sitelerde Googlebot tipik olarak gerekli kapsamı çeker.
**Crawl bütçesini nasıl artırırım?** Sunucu yanıt süresini düşürün, 5xx hatalarını ortadan kaldırın, sitemap güncel tutun, düşük değerli sayfaları kapatın.