Robots.txt Nedir? Site Haritası ve Meta Açıklama Rehberi

Robots.txt Nedir? Sitenizin Görünmeyen Üç Dosyası

Bir web sitesi yayında olabilir, düzgün açılabilir, ziyaretçiye güzel görünebilir. Ama arama motoru siteye geldiğinde ziyaretçinin hiç görmediği birkaç dosyaya bakar: robots.txt, site haritası ve her sayfanın meta açıklaması.

Üçü de ekranda görünmez. Bu yüzden yıllarca eksik ya da hatalı kalabilirler. Kimse bir sorun fark etmez, çünkü site açılmaya devam eder. Sorun ancak aylar sonra, beklenen trafiğin gelmediği anlaşıldığında konuşulur.

Bu yazıda robots.txt'nin ne olduğunu, site haritasının ne işe yaradığını ve meta açıklamanın nasıl yazılacağını, her birinde sık yapılan hatalarla birlikte anlatıyoruz.

Robots.txt Nedir?

Robots.txt, sitenin kök dizininde (sirketiniz.com/robots.txt) duran düz bir metin dosyasıdır. Arama motoru botlarına sitenin hangi bölümlerini tarayıp hangilerini taramayacaklarını söyler. Bir arama motoru siteye geldiğinde ilk okuduğu dosyalardan biridir.

Basit bir örnek:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Allow: /

Sitemap: https://www.sirketiniz.com/sitemap.xml

Satırların anlamı:

• User-agent: * Kural bütün botlar için geçerli. Belirli bir bot için kural yazılacaksa adı yazılır, örneğin User-agent: Googlebot.
• Disallow: /yonetim/ Bu klasörü tarama.
• Allow: / Geri kalan her yer taranabilir.
• Sitemap: Site haritasının adresi.

Robots.txt'nin yapmadığı şey

En çok karıştırılan nokta bu: robots.txt taramayı engeller, dizine eklenmeyi değil. Robots.txt ile engellediğiniz bir sayfaya başka bir siteden bağlantı verilmişse, Google o sayfanın içeriğini okumadan da adresini arama sonuçlarında gösterebilir.

Bir sayfanın arama sonuçlarında hiç görünmemesini istiyorsanız doğru araç sayfaya eklenen noindex etiketidir. Ve Google'ın bu etiketi görebilmesi için sayfanın taranabilir olması gerekir. Yani aynı sayfayı hem robots.txt ile engelleyip hem noindex eklemek, etiketin hiç okunmamasına yol açar.

Robots.txt bir güvenlik aracı da değildir. Dosya herkese açıktır; "gizli" klasörleri buraya yazmak, onları merak edenlere listelemek demektir. Korunması gereken alanlar şifreyle korunmalıdır.

Robots.txt'de sık yapılan hatalar

Test ortamından kalan Disallow: /. Site geliştirilirken arama motorları bütün siteden uzak tutulur. Yayına alırken bu satırın kaldırılması unutulursa, site yayında ama Google için tamamen kapalı kalır. Robots.txt hatalarının en pahalısı budur.

CSS ve JavaScript dosyalarını engellemek. Google sayfayı bir tarayıcı gibi görüntüleyerek değerlendirir. Tasarım ve işlev dosyaları engellenirse sayfayı eksik görür.

Sunucu hatası veren robots.txt. Dosya hiç yoksa ya da boşsa sorun yok; arama motorları her yeri taranabilir kabul eder. Ama dosyanın adresi sunucu hatası (5xx) veriyorsa Google taramayı geçici olarak durdurabilir.

Yapay zekâ botları

Son iki yılda robots.txt'ye yeni bir soru eklendi: yapay zekâ şirketlerinin botlarına izin verilecek mi? Burada iki tür botu ayırmak gerekiyor.

Eğitim botları, içeriği yapay zekâ modellerini eğitmek için toplar. OpenAI'ın GPTBot'u ve Anthropic'in ClaudeBot'u bu türdendir. Google'ın Google-Extended belirteci de içeriğin Gemini modellerinde kullanılıp kullanılmayacağını belirler; Google aramadaki görünürlüğü etkilemez.

Arama botları ise bir kullanıcı soru sorduğunda cevap için kaynak arar ve cevapta bağlantı verir. OpenAI'ın OAI-SearchBot'u, Anthropic'in Claude-SearchBot'u ve Perplexity'nin PerplexityBot'u bu türdendir.

Eğitim botlarını engellemek içeriğinizin modellerin eğitiminde kullanılmasını sınırlar ve yapay zekâ aramasındaki görünürlüğünüzü doğrudan etkilemez. Arama botlarını engellemek ise o servislerin cevaplarında kaynak olarak gösterilme ihtimalinizi azaltır. İkisi ayrı kararlardır. Yapay zekâ cevaplarında görünmenin diğer koşullarını yapay zekâ SEO rehberimizde anlattık.

Site Haritası Nedir?

Site haritası (sitemap), sitedeki sayfaların listesini arama motorlarına sunan bir XML dosyasıdır. Genelde sirketiniz.com/sitemap.xml adresinde bulunur. Her sayfa için adresini ve isteğe bağlı olarak son güncellenme tarihini içerir:

<url>
  <loc>https://www.sirketiniz.com/hizmetler/kurumsal-web-sitesi</loc>
  <lastmod>2026-10-15</lastmod>
</url>

Google sayfaları bağlantıları takip ederek de bulur. Site haritası bu keşfi hızlandırır. Yeni bir site, yeni eklenen sayfalar ya da başka sayfalardan az bağlantı alan sayfalar için fark yaratır.

İyi bir site haritasında neler olur?

• Sadece dizine eklenmesini istediğiniz sayfalar. Yönlendirilen adresler, noindex etiketli sayfalar, hata veren sayfalar ve başka bir sayfanın kopyası olan adresler site haritasında olmamalı. Site haritası "bu sayfalar önemli" demektir; listeye giren her gereksiz adres bu mesajı zayıflatır.
• Doğru güncellenme tarihi. lastmod sadece sayfa gerçekten değiştiğinde güncellenmeli. Her gün bütün sayfalara bugünün tarihini yazan site haritaları, Google'ın bu alana güvenmemesine yol açar.
• Otomatik üretim. Site haritası elle yazılırsa yeni sayfalar eklenmeyi unutur. Sayfalar eklendikçe kendiliğinden güncellenmelidir.

Site haritasında priority ve changefreq alanları da görürsünüz. Google bu iki alanı dikkate almadığını açıkça belirtiyor.

Bir site haritası dosyası en fazla 50.000 adres içerebilir. Daha büyük siteler birden fazla site haritası dosyası oluşturup bunları bir site haritası dizini dosyasında toplar.

Site haritasını Google'a bildirmek

İki yolu var ve ikisini birden yapmak en iyisi:

• Robots.txt dosyasının sonuna Sitemap: satırını eklemek.
• Google Search Console'da "Site haritaları" bölümünden adresi göndermek.

Search Console ayrıca site haritasındaki adreslerden kaçının dizine eklendiğini gösterir. Gönderilen sayfalarla dizine eklenen sayfalar arasında büyük fark varsa, bu incelenmesi gereken bir sinyaldir.

Meta Açıklama Nedir?

Meta açıklama, her sayfanın kodunda bulunan ve sayfayı kısaca özetleyen metindir:

<meta name="description" content="Sanayi firmaları için çok dilli kurumsal web sitesi: teknik ürün sayfaları, doğru dil ayarları ve ihracat odaklı içerik.">

Arama sonucunda başlığın altında görünen iki satırlık metin çoğu zaman budur. Google meta açıklamayı sıralama faktörü olarak kullanmıyor. Ama arayan kişinin hangi sonuca tıklayacağına karar verdiği metin o.

Meta açıklama yazarken:

• Her sayfa için ayrı yazın. Bütün sayfalarda aynı açıklama, hiç açıklama olmamasından pek farklı değildir.
• Sayfanın gerçekten ne sunduğunu söyleyin. Aranan kelimeyi doğal biçimde geçirin; Google aranan kelimeyi açıklamada kalın gösterir.
• Uzunluğu makul tutun. Kesin bir sınır yok, ama yaklaşık 150–160 karakterden uzun açıklamalar arama sonucunda kesilir.

Açıklama yoksa ya da Google aramayla örtüşmediğini düşünürse, sayfadaki başka bir metni seçip gösterir. Bu seçim her zaman isteyeceğiniz metin olmaz.

Kendi Sitenizi Nasıl Kontrol Edersiniz?

Bunun için teknik bilgi gerekmiyor:

1. Tarayıcıda sirketiniz.com/robots.txt adresini açın. Dosyada Disallow: / satırı varsa ve altında başka bir izin yoksa, siteniz arama motorlarına kapalı demektir.
2. sirketiniz.com/sitemap.xml adresini açın. Hata veriyorsa site haritanız yok ya da bozuk.
3. Google'da site:sirketiniz.com yazarak arayın. Sonuçlarda sayfalarınızın altında görünen açıklamalara bakın. Hepsi aynıysa ya da anlamsız metin parçalarıysa meta açıklamalar eksiktir.
4. Search Console hesabınız varsa "Sayfalar" raporunda dizine eklenmeyen sayfaları ve sebeplerini görebilirsiniz.

Sonuç

Robots.txt, site haritası ve meta açıklama, sitenin arama motoruyla konuştuğu üç kanal. Robots.txt nereye girilip nereye girilmeyeceğini, site haritası hangi sayfaların var olduğunu, meta açıklama ise her sayfanın arama sonucunda kendini nasıl tanıtacağını söyler.

Üçünü düzeltmek çoğu sitede bir saatlik iş. Eksik kalmalarının bedeli ise ölçülmesi zor bir kayıp: Google'ın siteyi geç keşfetmesi, önemsiz sayfalarla vakit kaybetmesi, arama sonucunda kimsenin tıklamak istemeyeceği bir açıklama göstermesi.

Sayfaların kodunda tanımlanabilecek diğer bilgileri yapılandırılmış veri rehberimizde anlattık. Sitenizin teknik SEO durumunu birlikte incelemek isterseniz SEO ve içerik yönetimi hizmetimize göz atabilir ya da teklif formumuzu doldurabilirsiniz.