Robots.txt Dosyası Nedir? Arama Motoru Botları Nasıl Yönlendirilir?

Sitenizin kök dizinindeki küçük bir metin dosyası, arama motoru botlarının hangi sayfalara uğrayacağını belirleyebilir. Robots.txt nedir sorusunun cevabı basit görünür, ancak yanlış yazılmış tek bir satır sitenizin tamamını aramalardan uzaklaştırabilir. Bu rehberde dosyanın ne yaptığını, nasıl oluşturulacağını ve nerede hata yapıldığını adım adım bulacaksınız.

Robots.txt file

Robots.txt file, web sitenizin kök dizininde bulunan ve tarayıcı botlara hangi URL'lerin taranıp taranmayacağını bildiren düz metin dosyasıdır. Robots Exclusion Protocol adlı standarda dayanır ve botlar siteye geldiklerinde ilk olarak bu dosyayı kontrol eder.

Dosya mutlaka alan adınızın kökünde, yani alanadiniz.com/robots.txt adresinde yer almalıdır. Alt klasöre koyarsanız botlar onu bulamaz ve yok sayar.

Temel komutlar

Dosya birkaç basit yönergeden oluşur:

Robots.txt oluşturma

Txt dosyası oluşturma işlemi için özel bir yazılıma ihtiyaç yoktur. Not Defteri gibi bir düz metin editörü yeterlidir. Adımlar şöyledir:

1. Boş bir metin dosyası açın ve adını tam olarak robots.txt yapın (küçük harf, UTF-8 kodlama).
2. Hedeflediğiniz bot ve kuralları yazın.
3. Dosyayı FTP, dosya yöneticisi veya hosting panelinizden sitenizin ana dizinine yükleyin.
4. Tarayıcıda alanadiniz.com/robots.txt adresini açıp dosyanın göründüğünü doğrulayın.

Basit bir örnek:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://alanadiniz.com/sitemap.xml

İpucu: WordPress gibi sistemlerde SEO eklentileri dosyayı panelden düzenlemenize izin verir. Yine de değişiklikten sonra canlı adresi mutlaka kontrol edin.

Txt nedir, ne işe yarar?

TXT, yalnızca biçimlendirmesiz karakterlerden oluşan metin dosyası uzantısıdır. Resim, renk veya tablo içermez; bu yüzden her işletim sistemi ve program okuyabilir. Robots.txt'nin bu uzantıyı kullanması, botların dosyayı hızlı ve sorunsuz ayrıştırmasını sağlar. Günlük notlar, yapılandırma bilgileri ve kayıt dosyaları da aynı biçimi kullanır.

Bir not: Televizyon kumandalarındaki "TXT" tuşu ise tamamen farklı bir şeydir. Teletext, yani yayın üzerinden gelen metin tabanlı haber ve bilgi servisi içindir. Web sitesi dosyalarıyla ilgisi yoktur.

Robots.txt google

Google, robots.txt dosyasını tarama kontrolü için kullanır; ancak dosya bir sayfanın dizine eklenmeyeceğini garanti etmez. Engellenen bir URL'ye başka sitelerden bağlantı varsa, Google içeriği taramadan yalnızca adresi sonuçlarda gösterebilir.**

Bu fark çoğu kişinin gözünden kaçar. Robots.txt tarama (crawl) davranışını yönetir, dizine ekleme (index) kararını değil.

Robots.txt, noindex ve sitemap farkı

Noindex nedir diye soruyorsanız: sayfanın arama sonuçlarında yer almamasını isteyen bir yönergedir. Sayfanın HTML kodunda meta etiketi olarak verilir:

<meta name="robots" content="noindex, nofollow">

Meta noindex nofollow birleşimi, sayfanın dizine eklenmemesini ve içindeki bağlantıların takip edilmemesini söyler. Burada kritik bir nokta var: Google'ın noindex etiketini görebilmesi için sayfayı tarayabilmesi gerekir. Aynı sayfayı robots.txt ile engellerseniz etiket okunmaz.

Sitemap nedir sorusuna gelince: site haritası, sitenizdeki önemli URL'leri listeleyen bir dosyadır. Sitemap XML nedir diye bakarsanız, bu listenin arama motorlarının okuyabileceği XML biçimindeki halidir. Site haritası nasıl oluşturulur sorusunun cevabı ise genellikle bir SEO eklentisi, CMS'nin yerleşik özelliği veya bir sitemap oluşturucu araçtır. Oluşan dosyanın adresini robots.txt içine Sitemap: satırıyla eklemek botların işini kolaylaştırır.

Uyarı: Robots.txt gizli bilgileri korumaz. Dosya herkese açıktır ve engellediğiniz yolları görünür kılar. Hassas içerikleri şifre veya yetkilendirme ile koruyun.

Google Search Console ile test

Dosyayı yükledikten sonra Google Search Console içindeki robots.txt raporunu kullanarak Google'ın dosyayı nasıl okuduğunu ve hata bulup bulmadığını görebilirsiniz. URL Denetimi aracı ise belirli bir adresin taramaya açık olup olmadığını gösterir. Düzenleme sonrası Google'ın dosyayı yeniden alması bir süre alabilir.

Robots.txt

Robots.txt dosyası doğru kullanıldığında tarama bütçesini önemli sayfalara yönlendirir, yanlış kullanıldığında ise sitenizi görünmez yapabilir. Dosyayı ne zaman kullanacağınızı ve nelerden kaçınacağınızı bilmek, yazım biçimi kadar önemlidir.

Kullanım senaryoları

Sık yapılan hatalar

• Tüm siteyi engellemek: Disallow: / satırı bütün siteyi kapatır. Geliştirme sürecinden kalan bu satır, canlıya geçişte sık unutulur.
• CSS ve JavaScript dosyalarını engellemek: Google sayfayı doğru görüntüleyemez ve değerlendirmesi zayıflayabilir.
• Büyük/küçük harf hatası: Yol kısmı büyük/küçük harfe duyarlıdır, /Admin/ ile /admin/ aynı değildir.
• Dosyayı yanlış konuma koymak: Kök dizin dışındaki robots.txt geçersizdir.
• Noindex ile birlikte engellemek: Bot etiketi okuyamaz.

Robots.txt, yalnızca kurallara uyan botlar için geçerlidir. Büyük arama motorları kurallara uyar; kötü niyetli botlar ise dosyayı umursamayabilir. Bu tür trafik için sunucu tarafında güvenlik önlemleri gerekir.

Sunucu ve hosting tarafında dikkat edilecekler

Dosyanın erişilebilir olması için sunucunun robots.txt isteğine 200 koduyla yanıt vermesi gerekir. Sunucu sürekli 5xx hatası dönerse Google taramayı geçici olarak yavaşlatabilir. Bu yüzden kararlı bir hosting altyapısı, tarama sağlığının da bir parçasıdır. Netlen'in sunucu ve web hosting hizmetlerinde dosyayı panelden veya FTP ile kök dizine yükleyip yönetebilirsiniz.

Robotify

Robotify, robots.txt ile doğrudan ilişkili standart bir terim değildir; "robot" kökünden türetilmiş bir ad olarak farklı ürün ve araçlarda karşımıza çıkar. Arama motoru botlarını yönlendirmek için resmî bir Robotify yönergesi veya dosyası yoktur.**

Bu başlığı arayanlar genellikle robots.txt oluşturan ya da denetleyen bir araç arıyor olabilir. Böyle bir araç kullanacaksanız şu noktalara bakın:

1. Üretilen dosyayı yüklemeden önce satır satır okuyun.
2. Aracın varsayılan olarak tüm siteyi engellemediğinden emin olun.
3. Canlıya aldıktan sonra Google Search Console'da test edin.
4. Sitemap adresinin doğru yazıldığını kontrol edin.

Bilgi: Otomatik araçlar başlangıç için yardımcı olur, ancak sitenizin yapısını bilen kişi sizsiniz. Üretilen kuralları kendi URL yapınıza göre gözden geçirmek, olası bir tarama kaybını önler.

Robots.txt nasıl yapılır?

Kısaca özetlemek gerekirse, dosyayı yapmak için bir metin editörü açıp kuralları yazmanız, robots.txt adıyla kaydetmeniz ve kök dizine yüklemeniz yeterlidir. Ardından tarayıcıdan adresi açıp Search Console üzerinden doğrulayın. Site büyüdükçe kuralları düzenli aralıklarla gözden geçirin; yeni eklenen bölümler eski kurallarla çakışabilir.

Sık Sorulan Sorular

Robots.txt nasıl oluşturulur?

Metin editöründe robots.txt adlı bir dosya açın, User-agent ve Disallow satırlarını yazın, sitemap adresini ekleyin. Dosyayı UTF-8 olarak kaydedip sitenizin kök dizinine yükleyin. Sonra alanadiniz.com/robots.txt adresinden erişimi kontrol edin.

Txt nedir, ne işe yarar?

TXT, biçimlendirme içermeyen düz metin dosyası uzantısıdır. Her cihaz ve program tarafından okunabildiği için notlar, ayar bilgileri ve robots.txt gibi sade yapılandırma dosyalarında yaygın kullanılır.

Txt nedir kumanda?

Kumandadaki TXT tuşu, televizyon yayınıyla gelen Teletext hizmetini açar. Haber, spor ve program bilgileri gibi metin tabanlı sayfalara erişim sağlar. Web sitelerindeki txt dosyalarıyla bir bağlantısı yoktur.

Txt dosyası oluşturma nasıl yapılır?

Bilgisayarda Not Defteri veya benzer bir editör açın, metni yazın ve "Farklı Kaydet" ile .txt uzantısıyla kaydedin. Robots.txt için dosya adını tam olarak robots.txt yapmalısınız.

Robots.txt ile noindex aynı şey mi?

Hayır. Robots.txt taramayı yönetir, noindex ise sayfanın arama sonuçlarında görünmesini engeller. Bir sayfayı sonuçlardan çıkarmak istiyorsanız, botun etiketi okuyabilmesi için o sayfayı robots.txt ile engellememelisiniz.

Sitemap robots.txt içine eklenmeli mi?

Zorunlu değildir ama önerilir. Sitemap: satırı, botların site haritanıza kolayca ulaşmasını sağlar. Aynı haritayı Google Search Console üzerinden de göndermek iyi bir uygulamadır.

Robots.txt dosyası olmazsa ne olur?

Dosya yoksa botlar siteyi kısıtlama olmadan tarayabilir. Küçük siteler için bu genellikle sorun yaratmaz. Ancak yönetim sayfaları veya parametreli URL'ler gibi taranmasını istemediğiniz alanlar varsa dosya oluşturmak mantıklıdır.

Robots.txt dosyanızı hazırladıysanız, güvenilir bir altyapıda barındırmak tarama sürecinin sağlıklı ilerlemesine katkı sağlar. Sunucu, web hosting ve alan adı çözümleri için netlen.com.tr adresindeki hizmetleri inceleyebilirsiniz.