Temsilci Hazırlığı: Sitenizi Ajan Web'e Nasıl Hazırlarsınız?

Temsilci Hazırlığı Neden Artık Kendi Sorunu?

Yıllar boyunca tasarım yapmanız gereken tek ziyaretçi, tarayıcısı olan bir insandı. Sonra Google’nin crawler’i ortaya çıktı ve SEO bir disiplin haline geldi. Sonra LLM crawl’ler geldi ve endişelenmeniz gereken bir sonraki şey Answer Engine Optimization oldu.

Artık üçüncü tür bir ziyaretçi burada. OpenAI, Anthropic ve Google modellerine dayanan aracılar, sitelere bilinçli olarak göz atar. Ürün sayfalarını okur, formları doldurur, fiyatlandırma konusunda pazarlık yapar ve API’leri çağırırlar. Ayrıca ilk veya iki saniyede sitenizin gidiş-dönüş yolculuğuna değip değmeyeceğine karar verirler.

Aracılar crawl’lere daha az, sabırsız uzman kullanıcılara daha çok benziyor. HTML’nize dokunmadan önce /.well-known/ yollarını kontrol ederler. Navigasyonunuzu atlamak için Accept: text/markdown gönderirler. Uygulamanızla bir belge olarak değil, bir araç olarak konuşabilmek için bir MCP Sunucu Kartı ararlar. Bu sinyaller eksikse, temsilci ya HTML’nizi kazımaya (yavaş ve kayıplı) geri döner ya da onun dilini konuşan bir rakibe geçer.

Agent Protocol Readiness Checker’yi bunu ölçmek için geliştirdik. Bu bir SEO denetimi değildir. Bu bir protokol denetimidir. Sitenizin bir kişi tarafından okunması yerine bir aracı tarafından kullanılmaya hazır olup olmadığını kontrol eder.

Agent Protokolü Hazırlık Denetleyicisi Ne Yapar?

Araca bir URL verin. Kökeninize karşı 20’den fazla araştırma yürütür ve bulguları beş puanlı kategoride gruplandırır:

• Keşfedilebilirlik. Temsilciler robots.txt, sitemap ve Bağlantı başlıklarınızı bulabilir mi?
• İçerik Erişilebilirliği. Sunucunuz, Acceptmarkdown.com spesifikasyonunun açıkladığı şekilde Accept: text/markdown’yi kabul ediyor mu?
• Bot Erişim Kontrolü. GPTBot, ClaudeBot, Google-Extulated ve PerplexityBot için açık bir politika yazdınız mı? Bir Web Bot Kimlik Doğrulaması anahtar dizini yayınladınız mı?
• Protokol Keşfi. Bir MCP Sunucu Kartı, bir Aracı Becerileri bildirimi, bir RFC 9727 API Kataloğu, OAuth keşif meta verileri ve WebMCP aracı ek açıklamalarını açığa çıkarıyor musunuz?
• Acente Ticareti. Bir acente size ödeme yapabilir mi? Denetleyici x402, ACP, UCP ve MPP sinyallerini arar.

Her kontrol, kararın arkasındaki sunucu kanıtlarıyla birlikte başarılı, uyarı veya başarısız sonucunu döndürür. Başarısızlıklar önceliklendirilmiş bir öneri listesine eklenir ve kategoriler A’dan F’ye kadar ağırlıklı bir not halinde birleştirilir. Amaç başka bir gösteriş puanı değildir. Amaç, temsilcilerin sitenize davranışını en çok değiştirecek altı düzeltmeyi size sunmaktır.

Her kategorinin gerçekte neyi ölçtüğünü ve neden önemli olduğunu gözden geçirelim.

1. Keşfedilebilirlik: Hala Her Şeye Karar Veren Temel Bilgiler

Bir temsilcinin daha gelişmiş bir şeyi kullanabilmesi için, kökeninizde neyin var olduğunu bilmesi gerekir. Bu üç düz dosyayla başlar.

robots.txt

Denetleyici /robots.txt’yi getirir ve geçerli bir yanıt döndürdüğünü doğrular. RFC 9309, 2022’den beri resmi standarttır ve robot dosyanızı okuyamayan bir aracı, en kötüsünü, makine erişimini hiç düşünmediğinizi varsayar. Bu gönderiden yalnızca tek bir şey yaparsanız geçerli bir robots.txt yayınlayın. Robots.txt Validator ürünümüz yaygın hataları yakalar (başıboş malzeme listeleri, joker karakter tuzakları, alıntılanmamış Sitemap direktifleri).

Sitemap bildirimi

/sitemap.xml’de bir sitemap güzel. robots.txt içinde onu işaret eden bir Sitemap: satırı daha iyidir çünkü aracılar önce robots dosyasını çözer. Checker her ikisini de yapan siteleri ödüllendirir.

Yanıt başlıklarını bağlayın

Modern aracılar ayrıca /.well-known/*’deki kaynaklar hakkında ipuçları için ana sayfanızdaki Link başlığını da okur. Örneğin Link: </.well-known/mcp/server-card.json>; rel="mcp-server-card" hizmeti veren siteler, bir temsilciye ikinci bir gidiş-dönüş olmadan bir sonraki adımını verir. Kaynağınızın bugün hangi başlıkları gönderdiğini görmek istiyorsanız bunu HTTP Header Checker aracılığıyla çalıştırın.

Keşfedilebilirlik küçük bir kategoridir (son notun %15’i), ancak buradaki başarısızlıklar art arda gelir. Robotlar bozulursa bot erişim kategorisi doğrulanamaz. Bağlantı başlıkları eksikse alt kategorilerin tahmin edilmesi gerekir.

2. İçerik Erişilebilirliği: Fiyatlandırma Müzakere KontrolleriBu, çoğu sitenin başarısız olduğu kategoridir. Aynı zamanda düzeltilmesi en kolay olanıdır.

acceptmarkdown.com teklifi basittir: Bir istemci Accept: text/markdown gönderdiğinde sunucunun HTML yerine Markdown ile aynı içeriği döndürmesi gerekir. Aracılar buna bayılıyor çünkü HTML gürültülü. Chrome’u, gezinmeyi ve JavaScript’i bir sayfadan çıkarmak jetonları tüketir ve hatalara neden olur. Makalenizin Markdown temsili yarı boyuttadır ve ayrıştırılması on kat daha kolaydır.

Kontrol cihazı URL’nize karşı dört araştırma çalıştırır:

1. Accept: text/markdown dikkate alınır. Sunucu Content-Type: text/markdown; charset=utf-8 değerini döndürmelidir. Bir UTF-8 bildirimi önemlidir çünkü aracılar, gövdeyi kodlamayı üstlenen bir tokenizer’a besler.
2. Vary: Accept ayarlanmıştır. Bu başlık olmadan, HTML yanıtını önbelleğe alan bir CDN, bu HTML’yi Markdown isteyen bir sonraki aracıya sunacaktır. Eksik bir başlık, aynı CDN’nin arkasındaki her AI istemcisi için tüm kaynağı bozar.
3. Desteklenmeyen Kabul türleri 406 değerini döndürür. Bir aracı Accept: application/x-weird-type gönderirse doğru yanıt sessiz bir HTML geri dönüşü değil, 406 Not Acceptable’dir. 406’nın döndürülmesi, aracının yeniden deneme mantığına yanlış şeyi istediğini bildirir.
4. q değerlerine saygı duyulur. Accept: text/html;q=0.1, text/markdown;q=1.0 gönderen bir aracı, “Gerekirse HTML alacağım, ancak kesinlikle Markdown’ı tercih ediyorum” diyor. Sunucu bu ağırlığı dikkate almalıdır.

Çoğu köken bu kategoride dört üzerinden sıfır alır. HTML’yi talep üzerine Markdown’a dönüştüren bir CDN çalışanı, dördünü de öğleden sonra düzeltiyor. Kazanç artar: Bu noktadan sonra sitenize saldıran her temsilci, içeriğinizin temiz, tokenize edilmiş bir temsilini çeker. Temsilcilerin yapay zeka dostu içeriği nasıl okuduğuna daha derinlemesine bakmak için AI Readiness Checker ürünümüze bakın.

3. Bot Erişim Kontrolü: Açıkça Evet DemekVarsayılan robots.txt, AI aracıları hakkında hiçbir şey söylemez. Sessizlik, temsilciye bağlı olarak iki şekilde yorumlanır. Bazıları sessizliğin “iyi, devam et” anlamına geldiğini varsayar. Diğerleri sessizliğin “bu sitenin kaydolmadığı” anlamına geldiğini varsayıyor. Her iki yorum da sizi incitiyor çünkü ikisi de gerçekte istediğiniz şeyle eşleşmiyor.

Aracı Protokolü Hazırlık Denetleyicisi üç açık sinyal arar.

robots.txt’deki AI bot kullanıcı aracıları

Kontrol aracı, bugün önemli olan crawl’leri hedefleyen kurallar için robots.txt’nizi arar: GPTBot, ChatGPT-User, OAI-SearchBot, ClaudeBot, Claude-Web, antropik-ai, Google-Extulated, PerplexityBot, Perplexity-Kullanıcı, Meta-HariciAgent, Applebot-Genişletilmiş, Bytespider, CCBot, cohere-ai, DuckAssistBot, Amazonbot, MistralAI-Kullanıcı. Üç veya daha fazla isimli temsilci bir geçiş hakkı kazanır. Daha kısa bir liste uyarı alır. Sıfır başarısızlığa neden olur çünkü o noktada hiçbir yapay zeka politikanız yoktur.

User-agent: GPTBot ve ardından Allow: / yazmak hiçbir şey söylememekle aynı şey değildir. Belirli bir şirketin temsilcisinin sitenizi belirli bir kurala göre okuyabileceğine dair kamuya açık bir taahhüttür. Bu taahhüt, bir acentenin politika motoru sizi alıp almamaya karar verdiğinde yük taşır.

Belirli bir AI botunun yollarınızdan birine karşı şu anda nasıl davrandığını araştırmak istiyorsanız AI Bot Path Tester’miz, canlı robots.txt’nizdeki kurallara göre isteği simüle edecektir.

Cloudflare İçerik Sinyalleri

Cloudflare, 2025’in sonlarında Content Signals’yi önerdi: robots.txt’nin içinde yer alan ve crawling, yanıt için alma ve eğitim için ayrı politikalar bildiren üç yönerge (search, ai-input, ai-train). Denetleyici, robot dosyanızı herhangi bir Content-Signal: yönergesi açısından tarar. Bir tanesi geçmek için yeterli.

İçerik Sinyalleri önemlidir çünkü “blok GPTBot” kör bir enstrümandır. Tek bir hamlede eğitimi, erişimi ve temelli yanıtları engeller. İçerik Sinyalleri, eğitimi engellerken (böylece içeriğiniz bir modelin ağırlıklarına sıkıştırılmaz) temelli yanıtlara izin vermenizi sağlar (böylece markanız ChatGPT alıntılarda görünür).

Web Botu Kimlik Doğrulaması

Web Bot Auth bu kategorinin en yeni parçasıdır. Aracılar isteklerini Ed25519 anahtar çiftiyle imzalar. Genel anahtar /.well-known/http-message-signature-directory’de JWKS olarak bulunabilir. Bir aracı sunucunuza saldırdığında imzayı yayınlanan anahtara göre doğrularsınız ve isteği hangi aracının gönderdiğini kesin olarak bilirsiniz.

Denetleyici bu dizini inceler ve JSON’u döndürdüğünü doğrular. Eğer bir tane yayınlamadıysanız, meşru bir aracıyı, kullanıcı aracısını giyen bir kazıyıcıdan ayıramazsınız. Güvenlik davası tek başına zorlayıcıdır. Pratik durum ise daha büyüktür: Web Bot Kimlik Doğrulamasını destekleyen aracılar daha düşük hız limitlerine sahip olur ve sitenizin daha fazla kısmına erişim sağlar. Yayınlanan anahtarlar anında geri ödeme yapar.

4. Protokol Keşfi: İyi Bilinen Uç NoktalarBu, aracın kalbidir ve en fazla ağırlığa sahip olan kategoridir (nihai puanın %25’i). Aynı zamanda temsilci yığınının aylık olarak değişen kısmıdır, bu nedenle denetleyici, satıcıya özgü hileler yerine iyi belirlenmiş uç noktalara odaklanır.

MCP Sunucu Kartı

Model Context Protocol, Claude, ChatGPT ve sayıları giderek artan aracıların uzak bir sunucudaki çağrılabilir araçları nasıl keşfettiğini gösterir. /.well-known/mcp/server-card.json’deki MCP Sunucu Kartı, sunucunuzun adını, yeteneklerini, aktarımını ve kimlik doğrulama modelini tanıtır. Kontrolör bu yolu araştırır ve eğer eksikse /.well-known/mcp.json’ye geri döner.

Ürününüzde herhangi bir API varsa MCP Sunucu Kartı, sitenizi bir belgeden bir araca dönüştüren hamledir. Sunucu Kartını bulan aracı, kazımayı durdurur ve çağırmaya başlar. Bu, kullanıcı için daha iyi bir deneyim ve sizin için daha ucuz bir etkileşimdir.

Temsilci Becerileri

Agent Skills, /.well-known/agent-skills/index.json’de yaşayan daha yeni bir bildirim biçimidir. Yalnızca araçlarla değil, aracıların kullanabileceği iş akışlarını da tanımlayarak MCP’yi tamamlar: “gönderi oluşturma”, “geri ödeme yapma”, “rezervasyon arama.” Denetleyici bu yolu araştırır ve geçerli bir yanıt arar.

Siteniz zaten bir OpenAPI spesifikasyonu veya MCP Sunucu Kartı yayınlıyorsa, Ajan Becerileri bildirimi oluşturmak çoğunlukla bir çeviri alıştırmasıdır. Yatırımın geri dönüşü, Claude Code ve benzeri istemcilerin becerilerinizi kullanıcılara adlarıyla göstermesidir.

WebMCP

WebMCP, MCP’nin tarayıcı tarafındaki kuzenidir. Araçların bir /.well-known/ URL aracılığıyla reklamını yapmak yerine, <form> öğelerine doğrudan HTML’nizde toolname ve tooldescription nitelikleriyle açıklama eklersiniz veya araçları bir <meta name="webmcp" ...> etiketi aracılığıyla bildirirsiniz. Denetleyici, ana sayfanızın HTML’sini her iki model için de tarar.

Bunun yararı, sayfanızı bir tarayıcıda kullanan bir aracının sekmeden ayrılmadan bu araçları keşfedip çağırabilmesidir. WebMCP, büyük miktarda aracı akıcılığı için küçük miktarda işaretlemedir.

API Kataloğu (RFC 9727)

RFC 9727, /.well-known/api-catalog’yi kaynağınızın sunduğu tüm API’lere yönelik bir işaretçi olarak tanımlar ve application/linkset+json olarak hizmet eder. Denetleyici, uç noktanın mevcut olduğunu ve içerik türünün doğru olduğunu doğrular. Birçok köken burada bir uyarı alır: yola hizmet ederler, ancak application/linkset+json yerine application/json ile. İçerik türünü düzeltmek, tek rotadaki tek başlıktır.

OAuth Keşfi

Burada iki özellik önemlidir:

• RFC 8414, /.well-known/oauth-authorization-server adresindeki OAuth Yetkilendirme Sunucusu meta verilerini açıklar. Bu, aracıya, kartınızı veren kuruluşa karşı bir OAuth akışını nasıl başlatacağını anlatır.
• RFC 9728, /.well-known/oauth-protected-resource’deki OAuth Korumalı Kaynak meta verilerini açıklar. Bu, bir aracıya API’nizden bir 401’e ulaştığında, kimlik doğrulamasının hangi sağlayıcıya yapılacağını ve hangi kapsamların talep edileceğini bildirir.

OAuth keşfi yapamayan bir aracı, sitenizde oturum açma işlemini insan müdahalesi olmadan otomatikleştiremez. Ürününüzün bir kullanıcı hesabı varsa ikisini de yayınlayın.

5. Acente Ticareti: Bir Acente Size Ödeme Yapabilir mi?Bu en yeni kategori ve şüphecilerden en fazla geri dönüş alan kategoridir. Altındaki soru çok basit: Bir temsilci, kullanıcısı adına sizden bir şey satın almak istediğinde, bu işlem nasıl görünür?

Kontrolör dört rakip cevabı ölçer.

x402

x402, HTTP durum kodu 402’yi (“Ödeme Gerekli”) yeniden canlandırır ve makine tarafından okunabilir bir teklif içeren bir PAYMENT-REQUIRED başlığı ekler: fiyat, para birimi, kabul edilen ödeme rayları, ödeme uç noktası. 402’yi alan aracı bir ödemeyi imzalar, talebi yeniden gönderir ve kaynağı alır. Denetleyici, ana sayfanızda ve incelediği herhangi bir uç noktada 402 durumunu veya PAYMENT-REQUIRED başlığını arar.

x402 en düşük taahhüt seçeneğidir. Ücretli bir uç nokta seçersiniz, şartları içeren bir 402 verirsiniz ve kabul edersiniz. Stripe, Coinbase ve birkaç kripto ödeme sağlayıcısı bugün akışı desteklemektedir.

ACP (Acente Ticaret Protokolü)

ACP OpenAI’nin standardıdır. /.well-known/agentic-commerce’de bulunuyor ve daha kapsamlı bir ödeme yüzeyini anlatıyor: ürün kataloğu, fiyatlandırma, vergi, nakliye, iadeler. Fiziksel veya dijital ürünler satıyorsanız ve ChatGPT’nin doğrudan mağazanızla işlem yapmasını istiyorsanız doğru yol ACP’dir.

UCP (Evrensel Ticaret Protokolü)

UCP, OAuth’ta bindirme yapar. OAuth Yetkilendirme Sunucusu meta verilerinizde ucp:scopes:checkout_session gibi ticaret kapsamlarını bildirirsiniz. Denetleyici, OAuth AS belgenizi getirir ve herhangi bir ucp:scopes:* değerini arar. Bir maç pas kazandırır.

UCP, halihazırda sahip olduğunuz OAuth katmanını yeniden kullandığı için dördü arasında en hafif ticaret protokolüdür. Herhangi bir şey için jeton gönderiyorsanız yarı yoldasınız demektir.

MPP (Makine Ödemeleri Protokolü)

/.well-known/machine-payments’de tanıtılan MPP en genel olanıdır. Bu, ödeme akışından çok, hizmetinizin ne tür makineden makineye ödemeleri kabul ettiğinin reklamıyla ilgilidir: stabil paralar, hesaptan hesaba banka rayları, jeton başına ölçüm.

Ticarette geçer not almak için dördünün birden alınması gerekmez. En az bir tane gerektirir, çünkü “acenteler size ödeme yapabilir”, sahip olmak için yarışan dört standarda sahip tek bir yetenektir. İşletmenize uygun olanı seçin ve gönderin.

Nihai Puanın Aslında Anlamı

Araç, beş kategori puanını ağırlıklı bir genel notta birleştirir.

Kategori	Ağırlık
Keşfedilebilirlik	%15
İçerik Erişilebilirliği	%20
Bot Erişim Kontrolü	%15
Protokol Keşfi	%25
Acente Ticareti	%25

85’in üzerindeki puanlar A notu kazandırır. 70 ile 84 arası ise B notudur. Düşük notlar hızla düşer ve bu da kasıtlıdır. D aralığında puan alan bir site yalnızca acenteler için kusurlu değildir; işlevsel olarak onlar için görünmezdir. Araçların reklamını yapmaz, Markdown hizmeti sunmaz, bir bot politikası beyan etmez, aracı ödemeleri desteklemez. Zaten aracı odaklı olan trafiğin bir kısmı için bu site, park edilmiş bir alan adı olarak okunur.

Denetlediğimiz çoğu site ilk çalıştırmada 10 ile 30 arasında puan alıyor. Bu iyi. Araç, sizi bulunduğunuz yerde karşılamak ve en yüksek fayda sağlayan altı değişikliği ortaya çıkarmak için tasarlanmıştır. Bunlardan üçünü düzeltmek genellikle bir siteyi F’den C’ye bir günden kısa sürede taşır.

Denetim Nasıl Yapılır

Agent Protocol Readiness Checker’ye gidin, bir URL yapıştırın ve yaklaşık on saniye bekleyin. Sonuç sayfası şunları içerir:

• Genel puanınız ve harf notunuz.
• Kontrol başına renkli duruma sahip beş kategori puanı.
• Her kontrolün arkasındaki ham kanıtlar (başlıklar, durum kodları, eşleşen alt dizeler), böylece aracın okuduğunu kendi günlüklerinizle karşılaştırabilirsiniz.
• En iyi düzeltmelerin öncelikli öneri listesi.

Denetimi hazırlama etki alanlarına, dahili kaynaklara ve üretime göre çalıştırabilirsiniz. Giden URL güvenlik kurallarına uyar ve gövde okumalarını 512 KB olarak sınırlar, böylece yanlış yapılandırılmış bir sunucu hız sınırınızı yakamaz.

Sorunları Düzeltmek İçin Pratik Bir DüzenHızlı bir kaldırma istiyorsanız bunları sırasıyla yapın:

1. GPTBot, ClaudeBot, Google-Extulated ve PerplexityBot için açık User-agent: kuralları ve ayrıca bir Sitemap: yönergesi içeren geçerli bir robots.txt yayınlayın. Bunu Robots.txt Validator ile doğrulayın.
2. CDN kenarınıza Markdown içerik anlaşmasını ekleyin. Accept başlığını kontrol edin, HTML’yi anında Markdown’a dönüştürün, Content-Type: text/markdown; charset=utf-8 ve Vary: Accept’yi ayarlayın. Desteklenmeyen türler için 406’yı döndürün.
3. Kökünüzde, temsilcilerin en çok alıntı yapmasını istediğiniz sayfalara işaret eden bir llms.txt dosyası yayınlayın. Bunu LLMs.txt Generator and Validator ile oluşturun ve doğrulayın.
4. /.well-known/mcp/server-card.json’de bir MCP Sunucu Kartını açın. Minimal bir kart (isim, açıklama, sürüm, aktarım) bile temsilci keşfinin kilidini açar.
5. İçerik Sinyallerini robots.txt’ye ekleyin. ai-input: yes, ai-train: no’yi bildiren bir satır kontrolü geçmek ve gerçek bir politika yayınlamak için yeterlidir.
6. Bir Web Bot Kimlik Doğrulaması JWKS yayınlayın, böylece meşru aracılar kaynağınıza yönelik istekleri imzalayabilir.

Bu liste, normal bir CDN ve normal bir kimlik doğrulama sunucusuna sahip bir ekip için kabaca iki mühendis günü çalışma anlamına gelir. Bir siteyi F’den B’ye taşır ve menşei gelecek yılki ajan protokolü kaybı karşısında geleceğe hazır hale getirir.

Bir Yılda Temsilci Hazırlığı Nasıl Görünüyor?

Aracın bugün çalıştırdığı kontrollerin tam listesi, on iki ay sonra çalıştıracağı listeyle aynı olmayacak. MCP, resmi bir yetenek müzakere spesifikasyonunu onaylayacaktır. Agent Skills, OpenAPI’nin bazı bölümleriyle birleşecek veya bunların yerini alacak. ACP, UCP ve MPP daha az sayıda ve daha güçlü standartlar halinde birleşecek. Sondaları indiklerinde ekleyeceğiz ve sondalar varsayılan hale geldikçe kullanımdan kaldıracağız.

Değişmeyecek olan ise sorunun şeklidir. Temsilciler ilk birkaç istekte sitenizin kullanılmaya değer olup olmadığına karar verir. İşiniz sitenizin neler yapabileceğini ve nasıl kullanılacağını hızlı ve net bir şekilde ortaya koymaktır. Denetleyicinin aradığı her sinyal, bir temsilcinin kaynağınızdan vazgeçmek yerine kaynağınıza bağlanmasını sağlayan bir kısayoldur.

Agent Protocol Readiness Checker’yi ana sayfanızda çalıştırın. İlk üç öneriyi düzeltin. Tekrar çalıştırın. Bu üç değişiklik gerçekleştikten sonra temsilcilerin sitenize ne kadar farklı davrandığını izleyin.

İlgili Okumalar

-The Complete Guide to Answer Engine Optimization (AEO) and GEO

• İçerik yapısı ve Yüksek Lisans crawl puanlaması için AI Readiness Checker
• Sitenizin temiz bir haritasını dil modellerine yayınlamak için LLMs.txt Generator and Validator
• Vary, Link ve içerik tipi başlık aracılarının bağlı olduğunu doğrulamak için HTTP Header Checker