robots.txt ve sitemap.xml Nedir?

robots.txt ve sitemap.xml Nedir sorusu, teknik SEO’nun en temel ama en sık karıştırılan konularından biridir. Biri arama motoru botlarına “nerelere girme” derken, diğeri “önemli sayfalarım burada” mesajı verir. Küçük bir dosya hatası, sayfaların taranmamasına ya da önemli URL’lerin geç keşfedilmesine neden olabilir.

İçindekiler

• robots txt sitemap xml
• robots txt vs sitemap xml
• robots txt and sitemap xml difference
• robots txt sitemap example
• Robots txt generator
• Robots TXT r=h:edu
• Robots txt example
• Robots txt tester
• Robots txt format
• Robots txt allow
• Free robots txt generator
• Robots txt r=h:gov
• Sıkça Sorulan Sorular

robots txt sitemap xml

robots txt sitemap xml, arama motorlarının bir web sitesini daha doğru anlaması için kullanılan iki ayrı dosya türünü ifade eder. robots.txt tarama kurallarını belirler; sitemap.xml ise arama motorlarına site içindeki önemli URL’leri listeler.

robots.txt dosyası genellikle sitenin kök dizininde yer alır:

https://example.com/robots.txt

sitemap.xml dosyası da çoğunlukla şu adreste bulunur:

https://example.com/sitemap.xml

Bu iki dosya aynı işi yapmaz. robots.txt, botların hangi alanlara erişebileceğini yönetir. sitemap.xml ise hangi sayfaların keşfedilmesini istediğinizi bildirir.

İpucu: Sitemap dosyasını robots.txt içine eklemek, arama motorlarının site haritasını daha kolay bulmasına yardımcı olur.

robots txt vs sitemap xml

robots txt vs sitemap xml karşılaştırmasında en önemli fark, birinin sınırlama diğerinin bildirim dosyası olmasıdır. robots.txt “şurayı tarama” diyebilir; sitemap.xml ise “şu URL’ler önemli” bilgisini verir.

robots.txt bir indeksleme garantisi vermez. Bir sayfayı robots.txt ile engellerseniz Google o sayfayı tarayamaz, ancak başka yerlerden bağlantı alıyorsa URL olarak dizinde görünebilir. Bir sayfanın dizinden çıkmasını istiyorsanız genellikle noindex gibi farklı yöntemler gerekir.

Yanlış yapılandırılmış bir robots.txt, CSS/JS dosyalarını engelleyerek Google’ın sayfayı doğru render etmesini zorlaştırabilir. Sitemap tarafında ise silinmiş, yönlenen veya noindex verilmiş URL’lerin listelenmesi kalite sinyallerini zayıflatır.

robots txt and sitemap xml difference

robots txt and sitemap xml difference, tarama kontrolü ile URL bildirimi arasındaki ayrımdır. robots.txt bot davranışını sınırlar veya yönlendirir; sitemap.xml ise taranması istenen URL’leri düzenli biçimde arama motorlarına sunar.

Bunu pratik bir örnekle düşünelim: E-ticaret sitenizde filtre parametreli yüzlerce URL olabilir. Bu URL’leri robots.txt ile sınırlandırabilir, kategori ve ürün sayfalarınızı sitemap.xml içinde listeleyebilirsiniz.

Uyarı: robots.txt güvenlik aracı değildir. Gizli alanları robots.txt ile “saklamak”, o yolları meraklı kullanıcılara açıkça göstermeye benzer.

robots txt sitemap example

robots txt sitemap example, en temel kullanımda tarama kurallarıyla sitemap konumunun aynı dosyada belirtilmesidir. Böylece botlar hem hangi alanlara erişebileceğini hem de site haritasının nerede olduğunu görebilir.

Basit bir örnek:

User-agent: *
Disallow: /admin/
Disallow: /sepet/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Bu örnekte tüm botlara bazı dizinler kapatılmış, belirli bir AJAX dosyasına izin verilmiş ve sitemap adresi bildirilmiştir.

Sitemap XML örneği

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/</loc>
    <lastmod>2026-08-13</lastmod>
  </url>
  <url>
    <loc>https://example.com/blog/robots-txt-ve-sitemap-xml-nedir</loc>
    <lastmod>2026-08-13</lastmod>
  </url>
</urlset>

Sitemap dosyasında yalnızca indekslenebilir, 200 durum kodu dönen ve canonical olarak kendisini işaret eden URL’lerin bulunması daha sağlıklıdır.

Robots txt generator

Robots txt generator, teknik bilgisi sınırlı kullanıcıların temel robots.txt dosyası oluşturmasına yardımcı olan araçlardır. Bu araçlar, user-agent, allow, disallow ve sitemap satırlarını daha hızlı hazırlamanızı sağlar.

Yine de generator araçlarına tamamen güvenmek doğru değildir. Özellikle WordPress, özel yazılım, e-ticaret altyapısı veya çok dilli sitelerde kuralların manuel kontrol edilmesi gerekir.

Generator kullanırken şu alanları kontrol edin:

• Sitemap adresi doğru mu?
• CSS ve JS dosyaları engelleniyor mu?
• Ödeme, sepet, kullanıcı paneli gibi alanlar uygun şekilde kapalı mı?
• Önemli kategori veya ürün sayfaları yanlışlıkla engellenmiş mi?

Robots TXT r=h:edu

Robots TXT r=h:edu ifadesi, standart robots.txt yönergeleri arasında yer alan resmi bir kural değildir. Büyük olasılıkla belirli araçlarda, log analizlerinde, eğitim alan adı filtrelerinde veya yanlış yazılmış sorgularda görülen bir ifadedir.

robots.txt dosyasında geçerli temel direktifler genellikle şunlardır:

• User-agent
• Disallow
• Allow
• Sitemap
• Crawl-delay bazı botlar tarafından desteklenebilir

.edu uzantılı siteler için farklı bir robots.txt standardı yoktur. Bir üniversite sitesi de, kurumsal site de aynı temel robots.txt söz dizimini kullanır.

Bilgi kutusu: Google’ın robots.txt yorumlamasında her özel ifade desteklenmez. Standart dışı satırlar çoğu bot tarafından yok sayılabilir.

Robots txt example

Robots txt example arayan kullanıcılar için en güvenli başlangıç, sade ve anlaşılır bir dosya yapısıdır. Karmaşık kurallar, özellikle büyük sitelerde bakım zorluğu ve yanlış engelleme riski oluşturabilir.

WordPress için basit örnek:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

E-ticaret sitesi için örnek:

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /*?sirala=
Disallow: /*?filtre=

Sitemap: https://example.com/sitemap.xml

Blog sitesi için sade örnek:

User-agent: *
Disallow: /arama/
Disallow: /etiket/

Sitemap: https://example.com/sitemap.xml

Robots txt tester

Robots txt tester, belirli bir URL’nin robots.txt kuralları nedeniyle taranıp taranamayacağını kontrol etmeye yarar. Teknik SEO denetimlerinde özellikle canlıya alınan yeni kurallar sonrası mutlaka test yapılmalıdır.

Google Search Console içindeki URL Denetleme aracı, bir sayfanın tarama ve indeksleme durumunu anlamak için kullanılabilir. Ayrıca farklı SEO crawler araçları da robots.txt engellerini raporlayabilir.

Test ederken şunlara bakın:

1. Önemli URL’ler engellenmiş mi?
2. CSS ve JS dosyaları taranabiliyor mu?
3. Sitemap adresi çalışıyor mu?
4. Engellenen sayfalar gerçekten engellenmesi gereken sayfalar mı?
5. Mobil ve masaüstü botlar için farklı sonuç oluşuyor mu?

Uyarı: robots.txt değişiklikleri bazen hemen etkisini göstermeyebilir. Arama motorları dosyayı yeniden aldığında yeni kurallar uygulanır.

Robots txt format

Robots txt format, düz metin tabanlı ve satır satır okunan basit bir yapıdadır. Dosya UTF-8 biçiminde hazırlanmalı, sitenin kök dizininde bulunmalı ve herkese açık erişilebilir olmalıdır.

Temel format şu şekildedir:

User-agent: *
Disallow: /ornek-dizin/
Allow: /ornek-dizin/izinli-sayfa.html

Sitemap: https://example.com/sitemap.xml

Dikkat edilmesi gereken kurallar:

• Her bot grubu User-agent ile başlar.
• Disallow taranmaması istenen yolu belirtir.
• Boş Disallow: satırı tüm siteye izin verebilir.
• Sitemap satırı genellikle dosyanın sonunda yer alır.
• Büyük/küçük harf ve URL yolu uyumu önemlidir.

Robots txt allow

Robots txt allow, engellenen bir dizin içinde belirli dosya veya yolların taranmasına izin vermek için kullanılır. Özellikle WordPress gibi sistemlerde bazı kaynak dosyalarının açık kalması gerekebilir.

Örnek:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Burada /wp-admin/ genel olarak kapatılırken, admin-ajax.php dosyasına izin verilir. Bu, bazı tema ve eklenti işlevlerinin Google tarafından doğru anlaşılması için gerekli olabilir.

Allow kullanırken aşırı karmaşık istisnalar oluşturmamaya dikkat edin. Kural sayısı arttıkça bakım zorlaşır ve yanlış eşleşme riski yükselir.

Free robots txt generator

Free robots txt generator araçları, ücretsiz şekilde temel robots.txt dosyası üretmek için kullanılabilir. Küçük sitelerde hızlı başlangıç sağlar; ancak dosyanın SEO etkisi olduğu için çıkan sonucu kontrol etmeden yayınlamak risklidir.

Ücretsiz araç seçerken şu özelliklere bakılabilir:

İpucu: Generator ile oluşturduğunuz dosyayı önce test ortamında deneyin. Canlı sitede yanlışlıkla tüm siteyi Disallow: / ile kapatmak ciddi görünürlük kaybına yol açabilir.

Robots txt r=h:gov

Robots txt r=h:gov ifadesi de robots.txt standardında yer alan resmi bir direktif değildir. .gov alan adları için özel bir robots.txt komutu bulunmaz; kamu siteleri de standart user-agent, allow, disallow ve sitemap yapısını kullanır.

.gov sitelerde robots.txt genellikle çok daha dikkatli yönetilmelidir. Çünkü kamuya açık bilgi sayfaları, arşivler, duyurular ve hizmet formları farklı tarama ihtiyaçlarına sahip olabilir.

Kamu veya büyük kurumsal sitelerde önerilen yaklaşım:

• Gizli veri robots.txt ile korunmamalı.
• Giriş gerektiren alanlar sunucu tarafında güvenceye alınmalı.
• Arşiv sayfaları indeksleme stratejisine göre değerlendirilmelidir.
• Sitemap dosyaları bölüm bazlı ayrılabilir.
• Kritik sayfalar düzenli olarak Search Console üzerinden kontrol edilmelidir.

Sıkça Sorulan Sorular

robots.txt ve sitemap.xml aynı şey mi?

Hayır, robots.txt ve sitemap.xml aynı şey değildir. robots.txt arama motoru botlarının hangi alanları tarayıp tarayamayacağını yönetir. sitemap.xml ise arama motorlarına sitedeki önemli URL’leri bildirir. Bir dosya erişim kurallarıyla ilgilenirken, diğeri URL keşfini kolaylaştırır. İkisi birlikte kullanıldığında teknik SEO daha düzenli hale gelir; ancak biri diğerinin yerine geçmez.

robots.txt dosyası indekslemeyi engeller mi?

robots.txt doğrudan indekslemeyi engellemez, taramayı engeller. Bir URL robots.txt ile kapatıldığında Google içeriği okuyamaz; fakat o URL başka sitelerden bağlantı alıyorsa dizinde yalnızca adres olarak görünebilir. Bir sayfanın dizinden çıkarılması gerekiyorsa noindex etiketi, kaldırma aracı veya uygun HTTP durum kodları değerlendirilmelidir. Bu yüzden robots.txt, indeks kontrol aracı gibi kullanılmamalıdır.

Sitemap.xml dosyasında hangi URL’ler olmalı?

Sitemap.xml içinde yalnızca indekslenmesi istenen, 200 durum kodu dönen, canonical olarak kendisini gösteren ve kullanıcı için değer taşıyan URL’ler yer almalıdır. Noindex sayfalar, yönlenen URL’ler, 404 veren sayfalar, filtre parametreleri veya kopya içerikler sitemap’e eklenmemelidir. Temiz bir sitemap, arama motorlarının önemli sayfaları daha hızlı ve doğru keşfetmesine yardımcı olur.

robots.txt içine sitemap eklemek gerekir mi?

Zorunlu değildir, fakat önerilir. robots.txt içine sitemap adresi eklemek, arama motoru botlarının site haritasını daha kolay bulmasını sağlar. Özellikle birden fazla sitemap dosyası veya sitemap index kullanılıyorsa bu satır faydalıdır. Yine de sitemap’in yalnızca robots.txt içinde belirtilmesi yeterli görülmemeli; Google Search Console gibi araçlara da gönderilmesi daha sağlıklı olur.

robots.txt dosyası nerede olmalı?

robots.txt dosyası sitenin kök dizininde bulunmalıdır. Örneğin https://example.com/robots.txt adresinden erişilebilmelidir. Alt klasörlerde yer alan robots.txt dosyaları genel site kuralları için geçerli kabul edilmez. Dosyanın herkese açık olması gerekir; çünkü arama motoru botları kuralları okumak için bu adrese erişir. Yanlış konumlandırılan dosya botlar tarafından dikkate alınmayabilir.

Sitemap.xml dosyası kaç URL içerebilir?

Standart sitemap dosyaları en fazla 50.000 URL içerebilir ve sıkıştırılmamış boyut sınırı 50 MB’tır. Daha büyük sitelerde sitemap index kullanılarak birden fazla sitemap dosyası gruplanır. Örneğin ürünler, kategoriler, blog yazıları ve görseller ayrı sitemap dosyalarında tutulabilir. Bu yapı hem yönetimi kolaylaştırır hem de Search Console raporlarının daha anlaşılır olmasını sağlar.

robots.txt dosyasında Disallow: / ne anlama gelir?

Disallow: / tüm sitenin ilgili user-agent tarafından taranmasını engeller. Eğer User-agent: * altında kullanılırsa çoğu bot siteyi tarayamaz. Bu kural test ortamlarında kullanılabilir; ancak canlı sitede yanlışlıkla yayınlanırsa organik görünürlük ciddi şekilde zarar görebilir. Yayına almadan önce robots.txt dosyasını mutlaka test etmek ve kritik URL’leri kontrol etmek gerekir.

robots.txt ile özel sayfalar güvenli hale gelir mi?

Hayır, robots.txt güvenlik sağlamaz. Bu dosya herkese açık olduğu için hangi dizinlerin engellendiğini herkes görebilir. Admin panelleri, kullanıcı verileri veya gizli belgeler robots.txt ile korunmamalıdır. Güvenlik için kimlik doğrulama, yetkilendirme, sunucu tarafı erişim kontrolleri ve doğru dosya izinleri kullanılmalıdır. robots.txt yalnızca bot davranışını yönlendirmek için uygundur.

robots.txt dosyasında Allow ne zaman kullanılır?

Allow, genel olarak engellenen bir dizin içinde belirli bir dosya veya yolun taranmasına izin vermek için kullanılır. Örneğin WordPress’te /wp-admin/ kapatılırken /wp-admin/admin-ajax.php açık bırakılabilir. Bu sayede botlar ihtiyaç duyulan kaynağa erişebilir. Allow kuralları dikkatli yazılmalıdır; çünkü yanlış istisnalar gereksiz URL’lerin taranmasına neden olabilir.

Robots txt generator kullanmak güvenli mi?

Robots txt generator araçları temel dosya oluşturmak için kullanışlıdır; fakat her site yapısını doğru analiz edemez. Özellikle e-ticaret, çok dilli yapı, filtre parametreleri ve özel yazılım kullanılan sitelerde manuel kontrol gerekir. Generator çıktısı doğrudan canlıya alınmamalıdır. Önce önemli URL’ler, kaynak dosyaları ve sitemap satırı test edilmelidir.

robots.txt dosyası hemen etkisini gösterir mi?

Her zaman hemen göstermez. Arama motorları robots.txt dosyasını belirli aralıklarla yeniden kontrol eder. Büyük ve sık taranan sitelerde değişiklikler daha hızlı algılanabilirken, küçük sitelerde bu süreç daha uzun sürebilir. Acil durumlarda Google Search Console üzerinden URL denetimi yapmak ve kritik sayfaların tarama durumunu kontrol etmek faydalıdır.

Sitemap.xml SEO sıralamasını doğrudan artırır mı?

Sitemap.xml doğrudan sıralama faktörü gibi çalışmaz; ancak önemli URL’lerin keşfedilmesini kolaylaştırır. Özellikle yeni, büyük, derin mimariye sahip veya sık güncellenen sitelerde faydalıdır. Temiz ve güncel sitemap, tarama verimliliğini artırabilir. Sıralama için yine içerik kalitesi, teknik sağlık, bağlantı yapısı, kullanıcı deneyimi ve arama niyeti uyumu gerekir.

İlgili içerikler

• Teknik SEO Kontrol Listesi
• Google Search Console Nasıl Kullanılır?
• Sitemap Nasıl Oluşturulur?
• Noindex ve Nofollow Nedir?
• Crawl Budget Nedir ve Nasıl Optimize Edilir?

Kapanış

robots.txt ve sitemap.xml, küçük görünen ama site görünürlüğünü doğrudan etkileyebilen iki teknik SEO dosyasıdır. robots.txt ile botların erişimini düzenler, sitemap.xml ile önemli URL’lerinizi daha net gösterirsiniz. Dosyaları yayına almadan önce test etmek, özellikle büyük ve gelir getiren sitelerde ciddi hataların önüne geçer.

Teknik SEO yapılandırmanızın doğru çalıştığından emin olmak isterseniz, Netlen’in SEO ve web altyapısı odaklı hizmetlerini inceleyerek sitenizin tarama, indeksleme ve performans tarafını daha sağlıklı değerlendirebilirsiniz.