Yapay Zekâ Botları ve robots.txt: GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot

"Yapay zekâ botlarını engelleyelim mi?" sorusu tek bir evet ya da hayırla cevaplanamaz, çünkü tek bir bot yoktur. Aynı şirket içeriğinizi model eğitmek için bir botla, arama sonuçlarında göstermek için başka bir botla, bir kullanıcının isteğini yerine getirmek için üçüncü bir botla ziyaret eder. Hepsini tek satırla kapatan site, istemediği bir sonuçla karşılaşır: eğitimden çıkmak isterken arama cevaplarından da çıkar.

Bu rehber botları işlerine göre ayırır ve üç yaygın karar için hazır robots.txt örnekleri verir. Bot adları ve davranışları OpenAI, Anthropic, Perplexity, Google ve Microsoft'un kendi belgelerinden alınmıştır (12 Ekim 2026'da okundu). Sağlayıcılar bu listeleri değiştirir; karar vermeden önce kaynaklardaki güncel sayfaya bakın.

Üç tür bot

Sağlayıcılara göre botlar

OpenAI: GPTBot ile OAI-SearchBot farkı

En çok karıştırılan ikili budur. OpenAI'nin tarayıcı belgesine göre:

• GPTBot, üretken modellerin eğitiminde kullanılabilecek içeriği tarar. Engellemek, içeriğinizin eğitimde kullanılmamasını istediğinizi bildirir.
• OAI-SearchBot arama içindir. Bu botu engelleyen siteler ChatGPT'nin arama cevaplarında gösterilmez; yalnızca gezinme bağlantısı olarak çıkabilirler.
• İki ayar birbirinden bağımsızdır. GPTBot'u kapatıp OAI-SearchBot'u açık bırakmak mümkündür ve belgede açıkça anlatılır.
• ChatGPT-User otomatik tarama yapmaz; kullanıcı ChatGPT'de ya da özel bir GPT'de bir şey istediğinde sayfayı ziyaret eder. Bu istekleri kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir.
• robots.txt değişikliğinin arama tarafına yansıması yaklaşık 24 saat sürebilir.

ChatGPT özelindeki adımlar ChatGPT'de görünür olmak yazısında.

Anthropic: üç Claude botu

Anthropic'in destek sayfası üç bot tanımlar: ClaudeBot eğitime katkı sağlayabilecek içeriği toplar; Claude-SearchBot arama sonuçlarının kalitesi için dizin oluşturur; Claude-User bir kullanıcı soru sorduğunda sayfaya gider. Sayfaya göre Claude-SearchBot ya da Claude-User'ı engellemek, sitenizin arama sonuçlarındaki ve kullanıcının yönlendirdiği aramalardaki görünürlüğünü azaltabilir.

Anthropic, botlarının robots.txt'deki standart yönergelere uyduğunu ve standart dışı Crawl-delay uzantısını desteklediğini yazar. Ayrıca IP adresi engellemenin güvenilir bir yöntem olmadığını, tercihin robots.txt ile ve her alt alan adı için ayrı ayrı bildirilmesi gerektiğini belirtir.

Eski robots.txt dosyalarında anthropic-ai satırına rastlarsınız. Bu ad Anthropic'in güncel sayfasında listelenmiyor; güncel adlar yukarıdaki üçüdür.

Perplexity: iki bot

Perplexity'nin belgesine göre PerplexityBot siteleri Perplexity'nin arama sonuçlarında göstermek ve bağlantı vermek içindir; temel modelleri eğitmek için içerik taramaz. Perplexity-User kullanıcı bir soru sorduğunda sayfayı ziyaret eder ve belge, isteği kullanıcı başlattığı için bu botun robots.txt kurallarını genellikle dikkate almadığını açıkça söyler. Değişikliklerin yansıması 24 saate kadar sürebilir.

Google: ayrı bir "yapay zekâ botu" yok

Google'ın yapay zekâ özetleri ve AI Modu, normal arama diziniyle çalışır. Bu yüzden geçerli bot Googlebot'tur; onu engelleyen site hem klasik sonuçlardan hem yapay zekâ cevaplarından çıkar.

Google-Extended ise bir bot değil, robots.txt'de kullanılan bir kontrol belirtecidir. Google'ın tarayıcı listesine göre içeriğinizin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarındaki dayandırmada kullanılıp kullanılmayacağını yönetir; sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama işareti olarak kullanılmaz. Yani Google-Extended'ı engellemek sizi yapay zekâ özetlerinden çıkarmaz. Onun için Search Console'daki ayrı ayar kullanılır; ayrıntı Google AI Overviews optimizasyonu yazısında.

Microsoft: Bingbot ve Copilot

Bing Web Yöneticisi Yönergeleri Bing aramasını, Copilot'u ve dayandırma sonuçlarını birlikte kapsar. Burada kontrol robots.txt'den çok meta etiketlerledir: yönergelere göre noindex sayfayı Bing aramasından, Copilot'tan ve dayandırmadan çıkarır; noarchive içeriğin Copilot cevaplarında ve dayandırma sonuçlarında kullanılmasını önler; nocache ise Copilot'un kullanabileceği bilgiyi adres, başlık ve snippet ile sınırlar.

Üç karar için hazır robots.txt

Aşağıdaki örnekler başlangıç noktasıdır. Mevcut dosyanızdaki diğer kuralları silmeden, ilgili blokları ekleyin.

A. Aramada görün, eğitime izin verme

En sık istenen düzen budur.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

B. Her şeye izin ver

Özel bir kural yazmanız gerekmez; engelleyen bir satır yoksa botlar izinli sayılır. Yine de dosyada eski bir User-agent: * / Disallow: / kalmadığını kontrol edin.

C. Hepsini engelle

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Google-Extended
Disallow: /

Bu düzende ChatGPT, Claude ve Perplexity arama cevaplarında kaynak gösterilmezsiniz. Kullanıcı kaynaklı botların bir kısmı (ChatGPT-User, Perplexity-User) robots.txt'ye bağlı olmadığı için tam engel isteyen sitenin sunucu ya da güvenlik duvarı düzeyinde de kural yazması gerekir.

robots.txt tek kapı değil: CDN ve güvenlik duvarı

robots.txt bir ricadır; botu fiilen durduran ya da geçiren şey sunucunuzun önündeki katmandır. İki yönde de sorun çıkar:

• Açık sanıp kapalı olmak. CDN ve güvenlik hizmetlerinde "yapay zekâ botlarını engelle" türünde tek tıklık ayarlar bulunur. Bu ayar açıksa robots.txt'de izin verseniz de bot 403 alır. OpenAI ve Perplexity bu yüzden arama botlarının yayımlanmış IP aralıklarına da izin verilmesini önerir.
• Kapalı sanıp açık olmak. robots.txt'de engellediğiniz bir kullanıcı kaynaklı bot yine de gelebilir. Kesin engel için kullanıcı aracısı ve IP aralığına göre kural gerekir.

Doğrulamak için sunucu erişim kayıtlarında bot adlarını arayın ve dönen durum koduna bakın: 200 geçiyor, 403 engelleniyor demektir. Kullanıcı aracısı adı taklit edilebildiği için şüpheli isteklerde sağlayıcının yayımladığı IP listesiyle karşılaştırın (OpenAI, Anthropic ve Perplexity bu listeleri JSON olarak yayımlar).

llms.txt nedir, ne değildir?

llms.txt, sitenin kök dizinine konan ve dil modellerine sitenin ne olduğunu, önemli sayfalarının hangileri olduğunu Markdown biçiminde anlatan bir dosya önerisidir. Eylül 2024'te Jeremy Howard tarafından önerildi; sitenin kendi ifadesiyle topluluk katkısına açık, gayriresmî bir tariftir.

Üç şeyi ayırmak gerekir:

• robots.txt değildir. Erişim izni vermez ya da kaldırmaz. Bir botu engellemek için llms.txt değil robots.txt kullanılır.
• Google Arama kullanmaz. Google'ın üretken yapay zekâ araması rehberi bunu açıkça yazar: dosyayı bulundurmak Google'daki görünürlüğe ne zarar ne yarar getirir.
• Diğer sağlayıcılar için kanıt yok. OpenAI, Anthropic ve Perplexity'nin tarayıcı belgelerinde llms.txt'nin cevaplarda yer almayı etkilediğine dair bir ifade yoktur.

Hazırlamak düşük maliyetlidir ve zararı yoktur; öneri, dosyanın model eğitiminden çok bir yapay zekâ aracının siteyi o an okuduğu durumlarda işe yaramasını bekler. Ama "llms.txt ekledik, artık yapay zekâ bizi görecek" bir sonuç değil, bir varsayımdır.

Kontrol listesi

• Eğitim, arama ve kullanıcı kaynaklı botlar için ayrı ayrı karar verildi
• robots.txt'de User-agent: * altında unutulmuş genel bir engel yok
• Görünmek istediğim platformların arama botları izinli (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot)
• CDN ve güvenlik duvarındaki yapay zekâ botu ayarı kararımla aynı
• Sunucu kayıtlarında bu botların 200 aldığı görüldü
• Her alt alan adının (blog., shop.) kendi robots.txt dosyası kontrol edildi
• Değişiklikten sonra en az 24 saat beklendi
• Liste üç ayda bir sağlayıcı belgeleriyle karşılaştırılıyor

İlk dört maddeyi elle kontrol etmek yerine ücretsiz AI bot ve llms.txt kontrolünü kullanabilirsiniz: alan adınızı yazarsınız, araç robots.txt dosyanızın her bota ne dediğini tabloda gösterir ve llms.txt dosyanızın biçimini denetler. Araç kuralları okur; botların gerçekten gelip gelmediğini ancak sunucu kayıtlarınız gösterir. SEOLOK'un AI görünürlük takibi modülü de her ölçüm turunun başında robots.txt dosyanıza bakar ve yapay zekâ arama botları engelliyse bunu panelde ve bir uyarıyla bildirir.

Sık sorulan sorular

GPTBot'u engellemek SEO'ma zarar verir mi?

Google sıralamanıza etkisi yoktur; GPTBot OpenAI'nin eğitim botudur. ChatGPT aramasındaki görünürlüğünüzü de etkilemez; onu OAI-SearchBot belirler.

Botlara izin verirsem yapay zekâ cevaplarında çıkar mıyım?

İzin bir ön koşuldur, sonuç değil. Erişim açıkken bile cevapta yer alıp almayacağınız içeriğinize ve sorunun kendisine bağlıdır. Yer alıp almadığınızı görmek için ölçüm rehberine bakın.

Botlar sunucumu yorar mı?

Yoğun tarama gördüğünüz bot için sağlayıcının desteklediği yöntemi kullanın. Anthropic Crawl-delay yönergesini desteklediğini yazar. Diğer sağlayıcıların belgelerinde böyle bir ifade yoksa hız sınırını sunucu ya da CDN tarafında koyun.

Yalnızca bazı klasörleri kapatabilir miyim?

Evet. Disallow: /uye/ gibi yol bazlı kurallar bu botlar için de geçerlidir. Üyelik, sepet ve arama sonucu sayfalarını kapatıp içerik sayfalarını açık bırakmak yaygın bir düzendir.

Erişim, işin ilk adımıdır. Kapı açıldıktan sonra ne yapılacağı GEO nedir rehberinin konusu.