Robots.txt Dosyası Nedir? Nasıl Oluşturulur?

Web sitenizdeki her sayfanın Google tarafından taranmasını istemeyebilirsiniz. Yönetim paneli, filtreli arama sayfaları, sepet adımları veya gereksiz parametreli URL’ler arama motoru botlarının zamanını boşa harcayabilir. Robots.txt dosyası, tam da bu noktada sitenizin tarama kurallarını arama motorlarına bildiren basit ama etkili bir dosyadır.

Robots.txt Dosyası Nedir?

Robots.txt dosyası nedir sorusunun en sade cevabı şudur: Web sitenizin kök dizininde bulunan ve arama motoru botlarına hangi alanların taranıp taranmayacağını söyleyen düz metin dosyasıdır.

Bu dosya genellikle şu adreste bulunur:

https://www.orneksite.com/robots.txt

Örneğin Google’ın kendi robots.txt dosyasına şu adresten erişilebilir:

https://www.google.com/robots.txt

Burada geçen Google com robots txt ifadesi, Google’ın botlara kendi alanlarında hangi kuralları uyguladığını gösteren gerçek robots.txt dosyasını ifade eder. Büyük sitelerde bu dosyalar daha karmaşık olabilir; küçük ve orta ölçekli sitelerde ise genellikle birkaç temel kural yeterlidir.

Robots TXT Dosyası Ne İşe Yarar?

Robots txt dosyası, arama motoru botlarına tarama izni veya kısıtlaması verir. Bu dosya doğrudan sıralama artıran bir SEO aracı değildir; fakat tarama bütçesinin daha verimli kullanılmasına yardımcı olur.

Robots.txt ile şunlar yapılabilir:

• Belirli klasörlerin taranması engellenebilir.
• Yönetim paneli gibi alanlar botlardan gizlenebilir.
• Site haritasının konumu arama motorlarına bildirilebilir.
• Parametreli veya yinelenen sayfaların taranması sınırlandırılabilir.
• Gereksiz kaynak tüketimi azaltılabilir.

Önemli bir ayrım var: Robots.txt, bir sayfanın Google dizininden kesin olarak kaldırılmasını garanti etmez. Bir URL başka sayfalardan bağlantı alıyorsa, Google o URL’yi içerik olmadan da dizinde gösterebilir.

Robots.txt Nasıl Olmalı?

İyi hazırlanmış bir robots.txt dosyası kısa, anlaşılır ve amaca uygun olmalıdır. Gereksiz engellemeler, sitenizin önemli sayfalarının taranmasını engelleyebilir.

Temel bir robots.txt yapısı şöyledir:

User-agent: *
Disallow:
Sitemap: https://www.orneksite.com/sitemap.xml

Bu yapı tüm botlara sitenin tamamını tarama izni verir ve sitemap adresini bildirir.

Daha kontrollü bir yapı ise şöyle olabilir:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Disallow: /arama/
Sitemap: https://www.orneksite.com/sitemap.xml

Burada /admin/, /sepet/ ve /arama/ dizinleri taramaya kapatılmıştır.

Robots.txt Dosyasında Sık Kullanılan Komutlar

User-agent: * ifadesi tüm botları kapsar. Belirli bir bot için özel kural yazmak da mümkündür; örneğin yalnızca Googlebot için farklı bir yönerge tanımlanabilir.

Robots TXT Dosyası Oluşturma

Robots txt dosyası oluşturma işlemi teknik olarak oldukça basittir. Dosya, düz metin formatında hazırlanır ve sitenin ana dizinine yüklenir.

Adımlar şu şekildedir:

1. Bilgisayarınızda yeni bir metin dosyası oluşturun.
2. Dosya adını tam olarak robots.txt yapın.
3. İçine gerekli tarama kurallarını yazın.
4. Dosyayı web sitenizin kök dizinine yükleyin.
5. Tarayıcıdan siteadiniz.com/robots.txt adresini kontrol edin.
6. Google Search Console üzerinden test edin.

Dosya adı büyük harf, Türkçe karakter veya farklı uzantı içermemelidir. Robots.txt, robots.TXT ya da robots.txt.txt gibi adlandırmalar sorun çıkarabilir. En doğru adlandırma küçük harfle robots.txt şeklindedir.

Robots TXT Dosyası Nasıl Oluşturulur?

Robots txt dosyası nasıl oluşturulur sorusunda dikkat edilmesi gereken asıl konu, dosyanın varlığından çok içinde yazan kurallardır. Yanlış bir satır, tüm sitenin taranmasını engelleyebilir.

Örneğin aşağıdaki kullanım çok risklidir:

User-agent: *
Disallow: /

Bu kural, tüm botlara sitenin tamamını taramamaları gerektiğini söyler. Test ortamlarında kullanılabilir; fakat canlı bir sitede yanlışlıkla bırakılırsa SEO görünürlüğünü ciddi şekilde etkileyebilir.

Canlı siteler için daha güvenli bir örnek:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.orneksite.com/sitemap_index.xml

WordPress altyapılı sitelerde bu yapı sık kullanılır. admin-ajax.php dosyasına izin verilmesi, bazı tema ve eklenti işlevlerinin doğru çalışması açısından önemlidir.

Örnek Robots TXT Dosyası

Aşağıda farklı senaryolara uygun örnek robots txt dosyası yapılarını görebilirsiniz.

Tüm Siteyi Taramaya Açık Bırakma

User-agent: *
Disallow:
Sitemap: https://www.orneksite.com/sitemap.xml

Belirli Klasörleri Engelleme

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /sepet/
Sitemap: https://www.orneksite.com/sitemap.xml

Test Sitesini Taramaya Kapatma

User-agent: *
Disallow: /

Bu örnek yalnızca geliştirme, demo veya test ortamlarında kullanılmalıdır. Yayındaki bir web sitesinde bu kuralın bulunması ciddi indeksleme sorunlarına yol açabilir.

Robots Txt Oluşturucu Kullanmak Mantıklı mı?

Robots txt oluşturucu araçlar, temel dosya yapısını hızlıca hazırlamak için kullanılabilir. Özellikle teknik bilgisi sınırlı kullanıcılar için başlangıçta yardımcıdır.

Ancak bu araçlardan çıkan dosyalar doğrudan yayına alınmadan önce mutlaka kontrol edilmelidir. Çünkü her web sitesinin yapısı, CMS altyapısı, URL düzeni ve SEO hedefleri farklıdır.

Robots txt oluşturucu kullanırken dikkat edilmesi gerekenler:

• Tüm sitenin engellenmediğinden emin olun.
• Sitemap adresinin doğru yazıldığını kontrol edin.
• Yönetim paneli dışında önemli sayfaları kapatmayın.
• Parametreli URL’leri bilinçsizce engellemeyin.
• Dosyayı Google Search Console ile test edin.

.TXT Ne Dosyasıdır?

.TXT ne dosyasıdır? sorusu robots.txt konusuyla sık karıştırılır. TXT, düz metin dosyası uzantısıdır. İçinde biçimlendirme, görsel, tablo veya karmaşık veri yapısı olmak zorunda değildir.

Robots.txt de aslında bir TXT dosyasıdır. Farkı, belirli kurallara göre adlandırılması ve web sitesinin kök dizininde yer almasıdır.

TXT dosyaları genellikle şu amaçlarla kullanılır:

• Not tutma
• Yapılandırma bilgisi saklama
• Basit veri paylaşımı
• Sunucu veya uygulama talimatları
• Robots.txt gibi bot yönergeleri

TXT Neyle Açılır?

TXT neyle açılır? sorusunun cevabı oldukça basittir: Hemen her metin düzenleyici ile açılabilir.

Kullanabileceğiniz araçlar:

• Not Defteri
• Notepad++
• Visual Studio Code
• Sublime Text
• macOS TextEdit
• Linux metin editörleri

Robots.txt hazırlarken Microsoft Word gibi kelime işlemciler yerine düz metin editörleri tercih edilmelidir. Word benzeri programlar dosyaya görünmeyen biçimlendirme karakterleri ekleyebilir.

TXT Dosyası Oluşturma

Txt dosyası oluşturma işlemi işletim sistemine göre değişse de mantık aynıdır. Yeni bir metin dosyası açılır, içerik yazılır ve .txt uzantısıyla kaydedilir.

Windows’ta:

1. Masaüstünde sağ tıklayın.
2. Yeni > Metin Belgesi seçin.
3. Dosya adını robots.txt yapın.
4. Kuralları yazıp kaydedin.

macOS’ta:

1. TextEdit’i açın.
2. Biçim > Düz Metin Yap seçeneğini seçin.
3. Dosyayı robots.txt adıyla kaydedin.

Dosyanın gerçekten .txt uzantılı olduğundan emin olun. Bazı sistemlerde dosya uzantıları gizli olduğu için robots.txt.txt gibi hatalı adlandırmalar fark edilmeyebilir.

Noindex Nofollow ile Robots.txt Arasındaki Fark

Noindex nofollow ve robots.txt aynı şey değildir. Bu iki kavram SEO’da sık karıştırılır.

Meta Noindex Nofollow Nedir?

Meta noindex nofollow, sayfanın HTML kodunda kullanılan bir robots meta etiketidir. Arama motorlarına sayfanın dizine eklenmemesini ve sayfadaki bağlantıların takip edilmemesini söyleyebilir.

Örnek kullanım:

<meta name="robots" content="noindex, nofollow">

Sadece dizine eklenmesini istemiyorsanız:

<meta name="robots" content="noindex, follow">

Buradaki önemli nokta şudur: Bir sayfayı robots.txt ile taramaya kapatırsanız, Google o sayfadaki meta noindex etiketini göremeyebilir. Bu yüzden indeks dışı bırakmak istediğiniz sayfalarda çoğu zaman robots.txt yerine noindex daha doğru çözümdür.

Google Robot Testi Nasıl Yapılır?

Google robot testi, robots.txt kurallarının doğru çalışıp çalışmadığını kontrol etmek için yapılır. Bunun için en güvenilir araç Google Search Console’dur.

Kontrol edilecek noktalar:

• Robots.txt dosyası erişilebilir mi?
• Engellenen URL gerçekten engellenmiş mi?
• Önemli sayfalar yanlışlıkla kapatılmış mı?
• Sitemap adresi doğru mu?
• Googlebot sayfayı tarayabiliyor mu?

Google Search Console’daki URL Denetleme aracı ile belirli bir sayfanın tarama ve indeksleme durumunu görebilirsiniz. Robots.txt değişikliklerinden sonra Google’ın dosyayı yeniden okuması biraz zaman alabilir.

Robots.txt Kullanırken Yapılan Yaygın Hatalar

Robots.txt küçük bir dosya gibi görünür; fakat yanlış yapılandırıldığında büyük SEO sorunlarına neden olabilir.

En sık yapılan hatalar:

• Canlı sitede Disallow: / kullanmak
• Sitemap adresini yanlış yazmak
• CSS ve JS dosyalarını gereksiz yere engellemek
• Noindex yerine robots.txt kullanmak
• Dosyayı alt dizine yüklemek
• Büyük/küçük harf duyarlılığını gözden kaçırmak
• Test ortamı kurallarını canlı siteye taşımak

Arama motorlarının sayfayı doğru yorumlayabilmesi için CSS ve JavaScript dosyalarına erişebilmesi gerekir. Bu nedenle tema, tasarım ve işlevsellik için gerekli dosyaları gereksiz yere kapatmamak önemlidir.

Netlen Blog İçin Robots.txt ve Teknik SEO Yaklaşımı

Netlen Blog gibi düzenli içerik üreten sitelerde robots.txt dosyası yalnızca teknik bir ayrıntı değildir; tarama verimliliğini etkileyen temel SEO yapı taşlarından biridir. Özellikle blog, kategori, etiket, arama ve yönetim sayfaları doğru planlanmalıdır.

Netlen internet hizmetleri kapsamında robots.txt tarafında dikkat edilmesi gereken teknik faydalar şunlardır:

• Gereksiz URL’lerin botlar tarafından taranması azaltılabilir.
• XML sitemap ile önemli içerikler daha net bildirilebilir.
• Blog içeriklerinin indekslenme süreci daha sağlıklı yönetilebilir.
• Yönetim ve sistem dizinleri tarama dışında bırakılabilir.
• SEO denetimlerinde teknik hatalar daha erken fark edilebilir.

Web sitenizin altyapısı WordPress, özel yazılım veya e-ticaret sistemi olabilir. Robots.txt dosyası her yapıda ayrı düşünülmeli; kopyala-yapıştır örnekler yerine sitenin gerçek URL mimarisine göre düzenlenmelidir.

Sık Sorulan Sorular

Robots.txt dosyası nedir?

Robots.txt, arama motoru botlarına sitenizde hangi alanların taranıp taranmayacağını bildiren düz metin dosyasıdır. Web sitesinin kök dizininde yer alır.

Robots.txt dosyası nerede olmalı?

Dosya ana dizinde bulunmalıdır. Doğru adres yapısı https://www.siteadi.com/robots.txt şeklindedir.

Robots.txt dosyası oluşturmak zorunlu mu?

Zorunlu değildir; fakat SEO ve tarama yönetimi açısından önerilir. Dosya yoksa arama motorları genellikle siteyi taramaya açık kabul eder.

Robots.txt ile sayfa Google’dan kaldırılır mı?

Kesin olarak kaldırılmaz. Bir sayfayı indeks dışı bırakmak için genellikle meta noindex veya HTTP header noindex daha doğru yöntemdir.

Noindex nofollow ne zaman kullanılmalı?

Bir sayfanın arama sonuçlarında görünmesini istemiyorsanız noindex kullanılabilir. Nofollow ise sayfadaki bağlantıların takip edilmemesi istendiğinde tercih edilir.

Robots.txt dosyasında sitemap olmalı mı?

Evet, sitemap adresini eklemek iyi bir uygulamadır. Bu, arama motorlarının site haritanızı daha kolay bulmasına yardımcı olur.

Google robots.txt dosyasını ne sıklıkla okur?

Google robots.txt dosyasını belirli aralıklarla yeniden kontrol eder. Değişikliklerin etkisi hemen görünmeyebilir.

Robots txt oluşturucu güvenilir mi?

Temel kullanım için faydalıdır; ancak oluşturulan dosya mutlaka manuel kontrol edilmelidir. Yanlış kural, önemli sayfaların taranmasını engelleyebilir.

TXT dosyası hangi programla açılır?

Not Defteri, Notepad++, Visual Studio Code, Sublime Text veya TextEdit gibi düz metin editörleriyle açılabilir.

Robots.txt dosyası boş olabilir mi?

Evet. Boş bir robots.txt dosyası, botlara özel bir kısıtlama olmadığını gösterir. Yine de sitemap satırı eklemek genellikle daha faydalıdır.

Web Sitenizin Tarama Kurallarını Kontrol Altına Alın

Robots.txt dosyası küçük görünür ama arama motorlarının sitenizi nasıl taradığını doğrudan etkiler. Doğru yapılandırıldığında gereksiz taramaları azaltır, önemli sayfaların daha sağlıklı keşfedilmesine yardımcı olur ve teknik SEO tarafında temiz bir temel oluşturur.

Netlen Blog’da teknik SEO, web altyapısı ve internet hizmetleriyle ilgili daha fazla rehber için www.netlen.com.tr adresini ziyaret edebilirsiniz.