Alan adınızı girin; robots.txt dosyanızın yapay zekâ tarayıcılarına ne izin verdiğini ve sitenizde geçerli bir llms.txt dosyası olup olmadığını görün. İsterseniz örnek bir llms.txt oluşturun.
# Site > … ## Pages - [Site](https://example.com)
Siten için ücretsiz SEO raporu ister misin?
Ekibimiz sıralamalarını, teknik sağlığını ve fırsatlarını inceleyip sana özel bir rapor hazırlasın.
Yapay zekâ şirketleri web'e farklı amaçlarla, farklı kullanıcı aracısı (user-agent) adlarıyla gelir. Kimisi model eğitimi için içerik toplar, kimisi arama sonuçları için dizin oluşturur, kimisi de bir kullanıcının sohbet içinde istediği sayfayı o anda getirir. Araç iki dosyaya bakar:
1. /robots.txt: Aşağıdaki tarayıcıların her biri için sitenizin genelinde izin verilip verilmediğini gösterir:
| Belirteç | Sağlayıcı | Kısaca amacı (sağlayıcı belgelerine göre) |
|---|---|---|
| GPTBot | OpenAI | Üretken modellerin eğitiminde kullanılabilecek içeriği tarar |
| OAI-SearchBot | OpenAI | ChatGPT'nin arama özelliklerinde siteleri göstermek için |
| ChatGPT-User | OpenAI | Kullanıcı ChatGPT'de bir şey istediğinde sayfayı ziyaret eder |
| ClaudeBot | Anthropic | Model eğitimine katkı sağlayabilecek içeriği toplar |
| anthropic-ai | Anthropic | Anthropic'in güncel belgesinde yer almayan, ancak birçok robots.txt dosyasında hâlâ görülen belirteç |
| PerplexityBot | Perplexity | Perplexity arama sonuçlarında siteleri göstermek için |
| Google-Extended | İçeriğin Gemini eğitimi ve yanıt dayandırmada kullanımını yönetir; Google Arama'yı etkilemez | |
| Applebot-Extended, CCBot, Bytespider ve diğerleri | Çeşitli | Robots.txt'de sık karşılaşılan diğer yapay zekâ ile ilişkili belirteçler |
2. /llms.txt: Dosya var mı ve llmstxt.org önerisindeki temel biçime uyuyor mu? Öneriye göre dosya Markdown'dır; tek zorunlu bölüm sitenin ya da projenin adını içeren bir H1 başlığıdır. Ardından kısa bir özet içeren alıntı bloğu, isteğe bağlı açıklama paragrafları ve link listeleri içeren H2 bölümleri gelir.
Dosyanız yoksa araç, sitenizin başlığı ve önemli sayfalarıyla başlayabileceğiniz örnek bir llms.txt oluşturabilir.
ornek.com).Eğitim ile arama ayrı kararlardır. OpenAI'nin tarayıcı belgesi, GPTBot'u engelleyip OAI-SearchBot'a izin vererek içeriğin eğitimde kullanılmamasını ama ChatGPT aramasında görünmesini sağlayabileceğinizi anlatır. Anthropic de kendi belgesinde ClaudeBot, Claude-User ve Claude-SearchBot için ayrı belirteçler tanımlar. Hepsini tek satırla engellemek, istemediğiniz bir görünürlük kaybına yol açabilir.
Kullanıcı kaynaklı ziyaretler farklı işler. OpenAI, ChatGPT-User için robots.txt kurallarının uygulanmayabileceğini; Perplexity de belgesinde Perplexity-User'ın genellikle robots.txt'yi dikkate almadığını belirtir, çünkü bu istekleri bir kullanıcı başlatır.
Google-Extended arama sıranızı değiştirmez. Google'ın tarayıcı listesine göre bu belirteç yalnızca bir kontrol işaretidir; ayrı bir tarayıcı olarak siteyi ziyaret etmez ve Google Arama'ya dahil olmayı etkilemez.
Yanlışlıkla engellenmiş Googlebot'a dikkat. Yapay zekâ botlarını engellemek için yazılan geniş kurallar bazen User-agent: * altında tüm tarayıcıları kapatır. Rapordaki genel kuralları da kontrol edin.
SEOLOK ile
Yapay zekâ cevaplarında adınız geçiyor mu? Her hafta ölçün
SEOLOK, müşterilerinizin sorabileceği soruları her hafta ChatGPT, Gemini ve Google Yapay Zekâ Modu'na sorar. Cevapta adınızın geçip geçmediğine, sitenizin kaynak gösterilip gösterilmediğine ve kimlerin önerildiğine bakar; sonucu tek bir iddialı sayı olarak değil, olası aralığıyla verir.
OpenAI'nin belgesine göre GPTBot, içeriğin üretken modellerin eğitiminde kullanılmasıyla ilgilidir; ChatGPT'nin arama özelliklerinde sonuç göstermek için ise OAI-SearchBot kullanılır. Bu yüzden GPTBot'u engelleyip OAI-SearchBot'a izin vermek mümkündür. Her iki ayarın etkisini sağlayıcının güncel belgesinden kontrol edin.
Google'ın belgesine göre hayır. Google-Extended, içeriğin Gemini modellerinin eğitimi ve yanıtların dayandırılması gibi kullanımlarını yönetmek içindir; sitenin Google Arama'ya dahil edilmesini etkilemez ve sıralama işareti olarak kullanılmaz.
Hayır, zorunlu değildir. llms.txt, dil modellerinin bir siteyi daha kolay anlaması için önerilmiş bir biçimdir. Hangi yapay zekâ hizmetlerinin bu dosyayı okuduğunu doğrulayamıyoruz; Google'ın bunu arama için kullandığına dair resmi bir açıklama da bilmiyoruz. Hazırlamak düşük maliyetli ama etkisi belirsiz bir adımdır.
robots.txt bir rica mekanizmasıdır, erişim kontrolü değildir. Bazı sağlayıcılar, kullanıcının doğrudan istediği sayfa ziyaretlerinde robots.txt kurallarının uygulanmayabileceğini belgelerinde belirtir. Kesin engelleme için sunucu veya güvenlik duvarı düzeyinde önlem gerekir.
Hayır. Bu araç yalnızca erişim kurallarınızı ve llms.txt dosyanızı kontrol eder. Yapay zekâ yanıtlarında sitenizin görünürlüğünü ölçecek özellik hazırlanıyor; açıldığında panelde otomatik olarak görünecek.
Yapay zekâ aramaları
Yapay zekâ görünürlüğü nasıl ölçülür? Google AI Overviews ve AI Mode, ChatGPT arama, OpenAI botları, robots.txt ve llms.txt için uygulanabilir yöntem.
SEOLOK Editör Ekibi · · 7 dk okuma
Sıralama takibi
Google sıralama düşüşünde panik yerine sırayla kontrol edin: veri hatası, teknik sorun, güncelleme, rakip, sezon ve manuel işlem için kontrol listesi.
SEOLOK Editör Ekibi · · 6 dk okuma