Crawl Budget (Tarama Bütçesi) Nedir? Nasıl Optimize Edilir?

Siteniz yüzlerce sayfa içeriyor ama yeni yayınladığınız yazı günlerce Google'da görünmüyorsa sorun içerikte değil, taramada olabilir. Arama motoru botlarının sitenize ayırdığı zaman ve kaynak sınırlıdır. Crawl budget nedir sorusunun cevabı, bu sınırı anlamak ve doğru yönetmekle başlar.

Crawl budget optimization

Crawl budget optimization, arama motoru botlarının sınırlı tarama kaynağını sitenizin değerli sayfalarına yönlendirme çalışmasıdır. Amaç, gereksiz URL'lerde harcanan taramayı azaltıp önemli sayfaların daha hızlı keşfedilmesini ve güncellenmesini sağlamaktır.

Küçük sitelerde bu konu genellikle kritik değildir. Google'ın kendi yönergelerine göre tarama bütçesi optimizasyonu özellikle çok sayıda sayfası olan (yaklaşık bir milyon ve üzeri benzersiz sayfa) ya da içeriği sık güncellenen büyük siteler için önem taşır. Yine de birkaç bin URL'li e-ticaret siteleri filtre ve parametre kaynaklı şişkinlik nedeniyle benzer sorunlar yaşayabilir.

Optimizasyon için uygulanabilir adımlar

1. Yinelenen içeriği azaltın. Aynı sayfaya giden birden fazla URL varsa canonical etiketi veya 301 yönlendirmesi kullanın.
2. Parametreli URL'leri kontrol altına alın. Sıralama, filtre ve oturum parametreleri binlerce gereksiz URL üretebilir. Değeri olmayanları robots.txt ile tarama dışında bırakın.
3. Yönlendirme zincirlerini kısaltın. A'dan B'ye, oradan C'ye giden zincirler her adımda ek tarama isteği harcatır.
4. Soft 404 ve 404 sayfalarını temizleyin. İçi boş ama 200 kodu dönen sayfalar botu boşuna oyalar.
5. XML site haritasını güncel tutun. Yalnızca indekslenmesini istediğiniz, 200 kodu dönen URL'leri ekleyin.
6. Sunucu yanıt süresini iyileştirin. Yavaş yanıt veren sunucuda Googlebot tarama hızını kendiliğinden düşürür.
7. Dahili bağlantıları güçlendirin. Hiçbir sayfadan link almayan "yetim" sayfalar geç keşfedilir.

İpucu: robots.txt ile engellediğiniz bir sayfa tarama dışı kalır ama bağlantı alıyorsa yine de dizinde görünebilir. Dizinden çıkarmak istiyorsanız noindex etiketi kullanın; ancak bunun için sayfanın taranabilir olması gerekir.

Hangi çözüm hangi sorun için?

Crawl budget

Crawl budget, bir arama motorunun belirli bir sürede sitenizde tarayabileceği ve taramayı tercih ettiği URL sayısıdır. İki bileşenden oluşur: tarama hızı sınırı ve tarama talebi.

Bu iki kavram genellikle karıştırılır, oysa farklı şeyleri ölçerler.

Tarama hızı sınırı

Googlebot, sunucunuzu yormadan ne kadar istek gönderebileceğini hesaplar. Sunucu hızlı ve hatasız yanıt veriyorsa sınır yükselir. 5xx hataları veya zaman aşımları arttığında bot geri çekilir. Yani altyapı kalitesi doğrudan tarama kapasitesini etkiler.

Tarama talebi

Google'ın sitenizi ne kadar taramak istediğini ifade eder. Popüler URL'ler ve sık güncellenen sayfalar daha çok taranır. Uzun süre değişmeyen, düşük değerli sayfalar ise geri planda kalır. Site taşıma gibi büyük değişikliklerde talep geçici olarak artabilir.

Bilgi: Tarama, indekslemeyle aynı şey değildir. Bir sayfanın taranması dizine ekleneceği anlamına gelmez; Google kaliteyi ve özgünlüğü ayrıca değerlendirir.

Crawling budget

Crawling budget, crawl budget ifadesinin yaygın bir söyleniş varyasyonudur ve aynı kavramı anlatır. Türkçede "tarama bütçesi" olarak geçer. Pratikte mesele terimden çok, bütçenin nerede harcandığını doğru okumaktır.

Bütçenin nasıl kullanıldığını görmek için tahmin yürütmek yerine veriye bakmak gerekir.

Tarama harcamasını nasıl analiz edersiniz?

Google Search Console'daki Tarama İstatistikleri raporu, günlük tarama isteği sayısını, ortalama yanıt süresini ve yanıt kodlarının dağılımını gösterir. Burada 404 veya yönlendirme oranının yüksek olması bütçenin verimsiz kullanıldığına işaret eder.

Daha derin analiz için sunucu erişim loglarını inceleyebilirsiniz. Loglar, Googlebot'un hangi dizinleri sık, hangilerini hiç ziyaret etmediğini net biçimde ortaya koyar. Önemli sayfalar az taranırken arama sayfaları veya etiket arşivleri yoğun taranıyorsa önceliklendirme sorunu vardır.

Yaygın tarama israfı kaynakları

• Dahili site aramasının ürettiği sonuç sayfaları
• Takvim ya da sayfalama yapıları gibi sonsuz döngü üretebilen bölümler
• Oturum kimliği içeren URL'ler
• Eski kampanya ve test sayfaları
• Büyük/küçük harf veya sonda eğik çizgi farkıyla çoğalan URL'ler

Uyarı: robots.txt dosyasında yapacağınız hatalı bir kural, sitenin önemli bölümlerini tarama dışı bırakabilir. Değişiklikten önce Search Console'daki robots.txt aracıyla test edin.

Crawl budget google

Google, tarama bütçesini tek bir sayı olarak açıklamaz; Googlebot'un davranışı sitenizin sağlığına, popülerliğine ve sunucu yanıtlarına göre dinamik olarak değişir. Bütçeyi doğrudan artıracak bir ayar yoktur, ancak dolaylı etkenleri iyileştirebilirsiniz.

Google, Search Console'da bütçeyi artırmak için bir düğme sunmaz. Eskiden bulunan tarama hızı ayarı ise yalnızca düşürme amacıyla kullanılabiliyordu ve Google bu aracı kaldırdı; sunucu aşırı yüklenirse geçici olarak 503 veya 429 kodu döndürmek önerilen yöntemdir.

Googlebot'un tarama kararını etkileyen unsurlar

Hosting altyapısının rolü

Tarama hızı sınırı sunucu performansına bağlı olduğundan hosting seçimi dolaylı ama gerçek bir etkendir. Paylaşımlı kaynakların yoğun saatlerde yavaşladığı bir ortam, Googlebot'un istek sayısını kısıtlamasına neden olabilir. Büyük ve sık güncellenen siteler için yeterli CPU ve bellek sağlayan bir VPS veya özel sunucu, yanıt sürelerini dengede tutmaya yardımcı olur. Netlen'in sunucu ve web hosting seçenekleri arasında projenizin trafik ve sayfa hacmine uygun olanı değerlendirebilirsiniz.

Sık Sorulan Sorular

Crawl budget nedir, küçük siteler için önemli mi?

Crawl budget, Googlebot'un sitenizde tarayabileceği ve taramak istediği URL sayısıdır. Birkaç yüz ya da birkaç bin sayfalı sitelerde genellikle sorun yaratmaz. Asıl önem, çok büyük veya sürekli değişen sitelerde ortaya çıkar. Yine de temiz site yapısı her ölçekte faydalıdır.

Tarama bütçesini nasıl artırabilirim?

Doğrudan artıran bir ayar yoktur. Sunucu yanıt süresini kısaltmak, içerik kalitesini yükseltmek, gereksiz URL'leri azaltmak ve değerli sayfalara dahili link vermek Googlebot'un sitenizi daha fazla taramasına zemin hazırlar.

Tarama bütçesi israfını nereden görebilirim?

Google Search Console'daki Tarama İstatistikleri raporu ve sunucu erişim logları en güvenilir kaynaklardır. Yüksek 404, yönlendirme ya da parametreli URL taraması israfın işaretidir.

robots.txt ile engellenen sayfalar crawl budget'ı korur mu?

Engellenen URL'ler taranmadığı için bütçeyi tüketmez. Ancak bu sayfalar dışarıdan link alıyorsa dizinde görünmeye devam edebilir. Dizinden çıkarmak için noindex kullanmanız gerekir.

Sunucu hızı tarama bütçesini etkiler mi?

Evet. Sunucu hızlı ve kararlı yanıt verdiğinde Googlebot daha fazla eşzamanlı istek gönderebilir. Yavaşlık ve hata oranı arttığında ise tarama hızı otomatik olarak düşer.