Nasıl ölçüyoruz.

Ne yaptığımızı, nasıl yaptığımızı ve neyi ölçemediğimizi burada anlatıyoruz.

Soruları hazırlıyoruz.
İşletmenizin müşterilerinin gerçekten soracağı sorular. Sektörünüze, şehrinize, hizmetlerinize göre. Soru listesini ölçümden önce görürsünüz ve değiştirebilirsiniz.
Set 40 sorudur: en kritik 3 soru, en çok kazandıran hizmetlerinize dair 17 soru ve 20 geniş soru. THiN ilk 3 soruyu, SPoT ilk 20 soruyu, WiDE tamamını sorar.
Her soruyu birkaç kez soruyoruz.
ChatGPT, Gemini ve Claude'a; hafızası kapalı, birbirinden bağımsız oturumlarda. Aynı soruya her seferinde farklı isimler dönebildiği için tek cevaba güvenmiyoruz.
Her modelde en kritik sorular 20, öncelikli sorular 8, geniş sorular 5 kez sorulur.
Cevapları okuyoruz.
Adınız geçti mi, kaçıncı sırada, hangi kaynaklardan beslenildi, yerinize kim çıktı, hakkınızda yanlış bilgi var mı.
Sonucu tek cümleyle veriyoruz.
40 sorunun 11'inde.Örnek veri
Bazen geçip bazen geçmeyen sorular “kararsız” sayılır ve sonucu aralık olarak veririz.
Bir soru, tekrarların en az %60'ında adınız geçtiyse geçti; %20 ile %60 arasında geçtiyse kararsız sayılır. Aralık, aynı cevaplar 2.000 kez yeniden örneklenerek hesaplanır.
Her cuma genel eğilimi ölçüyoruz.
Rastgele seçilmiş 90 soruyla (3 model × 30 soru) yapay zekâların hangi kaynak türlerine ne kadar dayandığını izliyoruz.

Sınırlarımız

Yapay zekâ cevapları kişiye, konuma, zamana ve modelin sürümüne göre değişebilir. Bizim ölçümümüz, belirli bir anda, belirli koşullarda sorulan soruların sonucudur; her kullanıcının göreceği cevabı temsil etmez.
Yapay zekâ şirketleri modellerini bizim bilgimiz dışında değiştirir. Bir hafta görünen bir işletme ertesi hafta görünmeyebilir.
Kaynak ağırlıklarını, cevaplarda gösterilen atıflardan ve cevap içeriğinden çıkarıyoruz; şirketlerin iç işleyişini bilmiyoruz.
Ölçüm sonuçları rakip işletmeler hakkında bir değerlendirme değildir; yalnızca cevaplarda hangi adların geçtiğini gösterir.

İzmit'teki bir diş kliniği için WiDE modunda hazırlanan 40 sorunun ilk 10'u.Örnek veri