Kısaca süper tahmin yöntemi
Diyelim ki, yenilikçi yeni bir ürünün başarılı olma olasılığının veya Çin’in önümüzdeki on yıl içinde Tayvan’ı işgal etmesinin veya küresel bir salgının dünyayı kasıp kavurmasının ne kadar muhtemel olduğunu — genel olarak, mesela Amazon’un paketinizin ne zaman geleceğini tahmin ederken yapabileceği gibi bazı istatistiksel modellere bağlanabileceğiniz dev bir veri kümeniz olmadığı için temel olarak “kestirimci analitik” kullanamayacağınız bir sorunun cevabını — bilmek istiyorsunuz.
Bu tür sorular için güvenilir, doğru tahminler üretmek mümkün mü?
Biraz şaşırtıcı bir şekilde, cevap “evet, eğer doğru yaparsan” olarak görünüyor.
Tahmin piyasaları, bunu yapabilmek için umut vaat eden bir yöntem, ancak bunlar ABD’de çoğunlukla yasa dışı ve çeşitli uygulama sorunları şimdilik doğru sonuç vermelerine engel olmakta. Neyse ki, tamamen yasal ve çok etkili olan “süper tahmin” yöntemi de mevcut.
Nasıl Çalışır? Temel fikir çok basit. Adımlar:
- İlk olarak, tahmin doğruluğunu ölçmek için çaba sarf edin. Bazı sektörler, tahmin doğruluğunu çok önemser ve bu nedenle ölçer, örneğin koruma fonları. Ancak tahmin ağırlıklı sektörlerin çoğu, örneğin ABD istihbarat topluluğu veya hayırseverlika, tahmin doğruluğunu ölçme zahmetine bile girmez.b
- İkinci olarak, sürekli olarak herkesten daha yüksek doğrulukta olan insanları belirleyin — örneğin, birkaç yıl üst üste doğruluk açısından ilk %0,1’de olanlar. Bunlar sizin “süper tahmincileriniz”dir.
- Son olarak, tahmin sorularınızı süper tahmincilere yöneltin ve tahminlerinin bir toplamını kullanın.
Teknik olarak, olağan yöntem bundan biraz daha karmaşıktır,c ancak bu üç basit adım, süper tahmin yönteminin temelini oluşturur.
Peki bu yöntem ne kadar iyi çalışıyor?
Birkaç yıl önce, ABD istihbarat topluluğu bu yöntemi birden fazla rastgele kontrollü deney içeren ve “2013’te Güney Çin Denizi’nde en az bir kişinin ölümüne neden olan şiddet içeren bir olay olacak mı?” gibi 500’den fazla jeopolitik tahmin sorusu üzerine bir milyondan fazla tahmin üreten devasa, ve titiz bir tahmin turnuvasında test etti. Bu çalışma ortaya koydu ki:
- Bu yöntem, %20 güvenilirlikle yapılan tahminlerin %20, %80 güvenilirlikle yapılan tahminlerin %80 oranında gerçekleşmesi vb. anlamına gelen iyi ayarlı tahminler üretti.
- Yöntem bir kristal küre değil, size Çin’in önümüzdeki on yılda Tayvan’ı işgal edip etmeyeceğini kesin olarak söyleyemez, ancak size %10’luk bir şans olduğunu söylerse, o zaman gerçekleşme olasılığının gerçekten %10’a yakın olduğundan oldukça emin olabilir ve bu risk seviyesi göz önüne alındığında hangi politikayı izlemenin uygun olduğuna karar verebilirsiniz.d
- Bu yöntem, tipik bir tahmincinin tahminlerinden veya denenmiş diğer yaklaşımlardan çok daha doğru tahminler üretti. Dahası (süper tahmincilerine aksine) pahalı bir şekilde toplanmış gizli bilgilere erişimi olan ve hakkında tahmin yaptıkları jeopolitik konularda yıllarca eğitim almış istihbarat topluluğu analistlerindenf yaklaşık %30 daha doğru tahminler üretti. Bunlar bir hayli şaşırtıcı sonuçlar! Ve alışılmadık derecede dikkatli ve titiz bir çalışmadan daha azından çıkmış değil!g
Bu nedenle, ABD istihbarat topluluğunun, bilhassa bu çalışma istihbarat topluluğu tarafından, özellikle politika yapıcılar tarafından zor kararlar almak için kullanılan ABD istihbarat tahminlerinin doğruluğunu artırmanın yollarını keşfetmek amacıyla finanse edildiğinden dolayı süper tahmin yöntemini hevesle benimsediğini düşünebilirsiniz. Ne yazık ki, deneyimlerime göre, ABD istihbarat ve ulusal güvenlik topluluklarında çok az kişi bu sonuçları, hatta “süper tahmin” terimini duymuştur.h
CIA veya Savunma Bakanlığı gibi büyük bir organizasyon, isterse süper tahmin yönteminin tüm adımlarını kendisi uygulayabilecek kadar yeterli tahmin yapar ve yeterli insana sahiptir. Neyse ki daha küçük kuruluşlar, karar alma süreçlerinde büyük öneme sahip sorular hakkında iyi ayarlı tahminler yapmak için halihazırda doğrulanmış süper tahmincilerle sözleşme yapabilir. Özellikle:
- Yukarıda açıklanan tahmin turnuvasında istihbarat topluluğu analistlerini geride bırakan süper tahmincilerle Good Judgment Inc. aracılığıyla sözleşme yapılabilir.
- Başka bir şirket olan Hypermind, “şampiyon tahmincilerden”, yani kurumsal müşteriler için (bazı durumlarda) neredeyse yirmi yıl öncesine dayanan binlerce tahmin arasından seçilen en doğru tahmincilerdeni toplanmış tahminler sunar.
- Diğer birkaç proje, örneğin Metaculus da yüzlerce soru arasında alışılmadık derecede yüksek doğrulukla tahmincileri belirlemeye başlıyor.
Bu şirketlerin her birinin kendi güçlü ve zayıf yönleri var ve Open Philanthropy son birkaç yılda üçünün de tahminlerinden faydalandı. Bir karar yerine başka bir karar verirseniz ne olmasını beklediğiniz de dahil olmak üzere, gelecekte ne olmasını beklediğinize bağlı olarak düzenli olarak önemli kararlar veren küçük bir kuruluşta çalışıyorsanız, bu şirketleri denemenizi öneririm. (Üçü de “koşullu” sorular sunar, örneğin “A kararı verirsem X sonucunun olasılığı nedir ve bunun yerine B kararı verirsem aynı sonucun olasılığı nedir?”)
CIA gibi çok büyük ve/veya çok hassas bilgilerle çalışan bir kuruluş için çalışıyorsanız, tüm süper tahmin sürecini dahili olarak uygulamayı düşünmelisiniz. (Ancak yukarıdaki kuruluşlardan bir veya birden fazlasıyla sözleşme yapmak, balıklama dalmadan önce modeli ucuza test etmenin iyi bir yolu olabilir.)