Kalibrasyon
%60 dediğimizde gerçekten %60 oluyor mu?
Sicil ne olduğunu gösteriyor: kaç analiz tuttu, getiri ne. Bu sayfa daha zor bir soruyu soruyor — söylediğimiz sayı doğru muydu? Getirisi eksideyken kalibrasyonu kusursuz olan bir model olabilir; şans eseri üst üste tutturup kalibrasyonu tamamen bozuk olan da.
Yayınlanmayanlar dahil, modelin kendisi
12.09 – 14.09 · 2 gün
Her nokta bir olasılık aralığı; kesikli çizginin üstündeki nokta o aralıkta söylediğimiz sayının tuttuğu anlamına geliyor. Nokta büyüklüğü kaç analize dayandığını, dikey çizgi %95 hata payını gösteriyor.
Bu ne anlama geliyor
Söylediğimiz olasılıklar gerçekleşen oranlardan ortalama 4,4 puan sapıyor. Küçük ama gerçek bir sapma.
Piyasanın olasılıklarıyla aramızda ölçülebilir bir fark yok.
Modelimizin olasılığı, piyasanın marjdan arındırılmış olasılığından ortalama 0,76 puan ayrışıyor. Yani kendi başımıza yeni bir olasılık icat etmiyoruz; piyasayı ölçülü biçimde düzeltiyoruz.
5 aralıkta söylediğimiz sayı hata payının dışında kalıyor. On aralığın %95 güven düzeyinde ortalama yarımı zaten dışarı düşer; tek bir aralığa değil desene bakmak gerekiyor.
Aralık aralık
- %0–10108 analiz · söylenen %8,0%95 aralık %4,4 – %15,1%8,3gerçekleşen+%0,3
- %10–20398 analiz · söylenen %16,0%95 aralık %12,8 – %20,0%16,1gerçekleşen+%0,0
- %20–301.001 analiz · söylenen %25,5%95 aralık %22,4 – %27,7%25,0gerçekleşen−%0,5
- %30–40hata payı dışında1.132 analiz · söylenen %35,4%95 aralık %39,4 – %45,1%42,2gerçekleşen+%6,9
- %40–50hata payı dışında1.426 analiz · söylenen %45,1%95 aralık %48,3 – %53,5%50,9gerçekleşen+%5,8
- %50–60hata payı dışında1.421 analiz · söylenen %54,9%95 aralık %46,8 – %52,0%49,4gerçekleşen−%5,5
- %60–70hata payı dışında1.121 analiz · söylenen %64,6%95 aralık %54,6 – %60,4%57,5gerçekleşen−%7,1
- %70–80987 analiz · söylenen %74,5%95 aralık %71,9 – %77,3%74,7gerçekleşen+%0,2
- %80–90hata payı dışında268 analiz · söylenen %82,4%95 aralık %70,7 – %80,8%76,1gerçekleşen−%6,3
Yöntem
- Kovalar nasıl seçildi
- Sabit 10 puanlık aralıklar. Eşit örneklemli aralıklar daha düzgün hata payı verirdi ama sınırları sonuca göre kaydırırdı — "hangi sınır daha iyi görünüyor" sorusu bu sayfada sorulmamalı.
- Hata payı
- Wilson %95 skor aralığı. Normal yaklaşım uçlarda saçmalıyor: küçük örneklemde aralığı olduğundan dar gösteriyor ve alt sınırı eksiye indirebiliyor.
- Brier skoru
- Ortalama (olasılık − sonuç)². Küçük olan iyi. Tek başına okunamaz: "hep %50 de" demenin skoru 0,25 ve futbol marketlerinin çoğu zaten oraya yakın. Anlamı ancak bir kıyasla var, o yüzden piyasanınki yanında duruyor.
- Hangi olasılık ölçülüyor
- Yayınlanan analizde gösterdiğimiz olasılığın tam kendisi — modelin ham çıktısı değil, karışım sonrası, ekranda yazan sayı.
Sayılar ne diyorsa o yazıyor
Yayınlanan her analiz sonucuyla birlikte kayda giriyor ve değiştirilemiyor. Bu sayfa da o kayıttan üretiliyor — zayıf aralıklar gizlenmiyor, hata payı her satırda, piyasa bizden iyiyse o da yazıyor.
Yöntemin tamamı Yöntem sayfasında.