Kalibrasyon
%60 dediğimizde gerçekten %60 oluyor mu?
Sicil ne olduğunu gösteriyor: kaç analiz tuttu, getiri ne. Bu sayfa daha zor bir soruyu soruyor — söylediğimiz sayı doğru muydu? Getirisi eksideyken kalibrasyonu kusursuz olan bir model olabilir; şans eseri üst üste tutturup kalibrasyonu tamamen bozuk olan da.
Kullanıcıya gösterdiklerimiz
12.09 – 14.09 · 2 gün
Her nokta bir olasılık aralığı; kesikli çizginin üstündeki nokta o aralıkta söylediğimiz sayının tuttuğu anlamına geliyor. Nokta büyüklüğü kaç analize dayandığını, dikey çizgi %95 hata payını gösteriyor.
Bu ne anlama geliyor
Söylediğimiz olasılıklar gerçekleşen oranlardan ortalama 2,3 puan sapıyor. Küçük ama gerçek bir sapma.
Piyasanın olasılıklarıyla aramızda ölçülebilir bir fark yok.
Modelimizin olasılığı, piyasanın marjdan arındırılmış olasılığından ortalama 0,74 puan ayrışıyor. Yani kendi başımıza yeni bir olasılık icat etmiyoruz; piyasayı ölçülü biçimde düzeltiyoruz.
Hiçbir aralıkta söylediğimiz sayı hata payının dışına düşmüyor.
Aralık aralık
- %0–1012 analiz · söylenen %7,9%95 aralık %1,5 – %35,4%8,3gerçekleşen+%0,5
- %10–2055 analiz · söylenen %16,0%95 aralık %11,6 – %32,4%20,0gerçekleşen+%4,0
- %20–30144 analiz · söylenen %25,4%95 aralık %19,3 – %33,4%25,7gerçekleşen+%0,3
- %30–40164 analiz · söylenen %35,3%95 aralık %30,7 – %45,4%37,8gerçekleşen+%2,5
- %40–50193 analiz · söylenen %45,2%95 aralık %40,7 – %54,7%47,7gerçekleşen+%2,5
- %50–60188 analiz · söylenen %54,8%95 aralık %47,1 – %61,2%54,3gerçekleşen−%0,6
- %60–70158 analiz · söylenen %64,6%95 aralık %54,3 – %69,2%62,0gerçekleşen−%2,6
- %70–80129 analiz · söylenen %74,5%95 aralık %63,0 – %78,4%71,3gerçekleşen−%3,2
- %80–9042 analiz · söylenen %82,8%95 aralık %58,9 – %84,7%73,8gerçekleşen−%9,0
Yöntem
- Kovalar nasıl seçildi
- Sabit 10 puanlık aralıklar. Eşit örneklemli aralıklar daha düzgün hata payı verirdi ama sınırları sonuca göre kaydırırdı — "hangi sınır daha iyi görünüyor" sorusu bu sayfada sorulmamalı.
- Hata payı
- Wilson %95 skor aralığı. Normal yaklaşım uçlarda saçmalıyor: küçük örneklemde aralığı olduğundan dar gösteriyor ve alt sınırı eksiye indirebiliyor.
- Brier skoru
- Ortalama (olasılık − sonuç)². Küçük olan iyi. Tek başına okunamaz: "hep %50 de" demenin skoru 0,25 ve futbol marketlerinin çoğu zaten oraya yakın. Anlamı ancak bir kıyasla var, o yüzden piyasanınki yanında duruyor.
- Hangi olasılık ölçülüyor
- Yayınlanan analizde gösterdiğimiz olasılığın tam kendisi — modelin ham çıktısı değil, karışım sonrası, ekranda yazan sayı.
Sayılar ne diyorsa o yazıyor
Yayınlanan her analiz sonucuyla birlikte kayda giriyor ve değiştirilemiyor. Bu sayfa da o kayıttan üretiliyor — zayıf aralıklar gizlenmiyor, hata payı her satırda, piyasa bizden iyiyse o da yazıyor.
Yöntemin tamamı Yöntem sayfasında.