Jeżeli model przypisuje zdarzeniu 70%, nie mówi: „to na pewno się wydarzy”. Mówi raczej: w dużej grupie prognoz ocenionych w podobny sposób oczekujemy około siedmiu trafień na dziesięć. W pojedynczym meczu nadal istnieje realne 30% szansy na inny rezultat.

Prognoza nie jest obietnicą

Futbol zawiera zdarzenia trudne do przewidzenia: czerwoną kartkę, kontuzję, przypadkowe odbicie czy zmianę planu gry. Dobry model nie usuwa losowości. Powinien jedynie możliwie uczciwie ją mierzyć.

70% oznacza, że scenariusz przeciwny nadal ma 30% szans. Porażka jednej prognozy nie dowodzi błędu modelu, tak jak jedno trafienie nie potwierdza jego jakości.

Najważniejsza jest kalibracja

Model jest skalibrowany, gdy deklarowane prawdopodobieństwa zgadzają się z częstością zdarzeń. Jeśli wszystkie prognozy z przedziału 68–72% realizują się tylko w 55% przypadków, model jest zbyt pewny siebie. Jeśli realizują się w około 70%, jego skala prawdopodobieństwa działa poprawnie.

Kalibrację ocenia się na dużej, przyszłej próbce. W MatchupLab prognozy zapisujemy przed meczem i grupujemy w przedziały prawdopodobieństwa. Dopiero później sprawdzamy ich rzeczywistą częstość.

Skuteczność bez kontekstu niewiele mówi

Sam procent trafień nie wystarcza. Model typujący zawsze faworyta może mieć wysoką skuteczność, ale niemal niczego nie wnosić. Dlatego obok trafień warto mierzyć:

  • Brier score — jak daleko prognozowane prawdopodobieństwa były od wyniku,
  • log loss — szczególnie mocno karze błędną nadmierną pewność,
  • krzywą kalibracji — czy 60%, 70% i 80% zachowują się zgodnie z etykietą,
  • stabilność w ligach i czasie — czy wynik nie zależy od jednego sezonu.

Niepewność to informacja, nie wada

Jeśli różne modele dochodzą do podobnego wyniku, prognoza jest zwykle stabilniejsza. Gdy ich oceny silnie się rozchodzą, rozsądniej pokazać niepewność niż sztucznie podawać jedną precyzyjną liczbę. Dlatego zgodność modeli i jakość dostępnych danych są częścią oceny, a nie przypisem.

Dlaczego potrzebujemy wielu obserwacji?

W krótkiej serii szczęście potrafi zdominować jakość. Dziesięć prognoz z etykietą 70% może zakończyć się czterema albo dziesięcioma trafieniami, choć model jest poprawny. Dopiero setki niezależnych obserwacji pozwalają oceniać kalibrację z mniejszym błędem.

Jak czytać wynik MatchupLab

  1. Sprawdź liczbę niezależnych i rozliczonych prognoz.
  2. Zobacz, czy strona wyraźnie oznacza próbkę jako wystarczającą.
  3. Porównuj kalibrację, a nie tylko trafienia.
  4. Traktuj ROI i CLV jako osobne miary, zależne również od kursu.
  5. Nie wyciągaj wniosku o przewadze z jednego rynku lub krótkiego okresu.

Dlatego publiczna strona wyników modeli pokazuje również brak dojrzałej próbki. Transparentność zaczyna się właśnie wtedy, gdy danych jest jeszcze za mało na efektowny wniosek.