동전 던지기보다 나은가 — 예측 실력을 숫자 하나로 재는 법

예측 실력을 숫자 하나로 나타내는 방법 중 가장 오래되고 많이 쓰이는 게 브라이어 점수예요. 1950년 기상학자 글렌 브라이어가 일기예보를 평가하려고 만들었어요. 계산은 간단해요. 내가 말한 확률에서 실제 결과(맞으면 1, 틀리면 0)를 빼고 제곱해요. 이걸 모든 예측에 대해 평균 내면 끝이에요.

작을수록 좋은 점수

90% 확신했는데 맞았다면 (0.9 − 1)² = 0.01이에요. 90% 확신했는데 틀렸다면 (0.9 − 0)² = 0.81이에요. 확신하고 틀리면 크게 깎이고, 확신하고 맞으면 거의 안 깎여요. 그래서 0에 가까울수록 잘한 거예요.

기준점이 하나 있어요. 모든 질문에 50%라고 답하면 결과와 상관없이 매번 0.25가 나와요. 동전을 던지는 것과 같은 성적이에요. 브라이어 점수가 0.25보다 크다면 차라리 매번 50%라고 말하는 편이 나았다는 뜻이에요.

보기 쉽게 뒤집은 정확도 지수

0에 가까울수록 좋다는 건 직관적이지 않아서, 내 예측 통계 화면에서는 동전 던지기를 0으로 두고 뒤집은 값을 보여줘요. 계산은 1 − (브라이어 점수 ÷ 0.25)예요. 0이면 동전 던지기와 같고, 양수면 그보다 낫고, 음수면 그보다 못한 거예요. 완벽하게 맞히면 1이 돼요.

시장 대비 성적

브라이어 점수는 내가 고른 확신도를 평가해요. 그런데 예측 시장에는 또 다른 기준이 있어요. 내가 참여한 그 순간의 시장 확률이에요. 시장이 30%로 보던 쪽을 골라서 맞혔다면 남들이 잘 안 믿던 걸 맞힌 거예요.

그래서 참여할 때의 시장 확률을 전부 더해서 "시장이 기대한 적중 수"를 만들고, 실제 적중 수와 견줘요. 30%짜리 열 번에 참여했다면 시장은 세 번쯤 맞을 거라고 본 셈이에요. 실제로 다섯 번 맞혔다면 시장보다 두 번 더 맞힌 거고요. 운이 섞이기 때문에 참여가 적을 때는 이 차이가 크게 흔들려요. 몇십 번은 쌓여야 의미가 생겨요.

숫자는 과거를 재요

두 숫자 모두 이미 정산된 예측만으로 계산해요. 취소·무효 마켓은 빼고요. 지난 기록이 어땠는지를 보여줄 뿐, 다음에 어디에 참여하면 좋을지를 알려주지는 않아요. 그렇게 쓰이면 안 된다고 생각해서 화면에도 권유하는 문장은 넣지 않았어요.

Futuring은 무상 포인트로 참여하는 예측 게임이에요. 현금을 넣거나 포인트를 현금으로 바꾸는 길은 없어요. 이 글은 서비스 규칙을 설명한 것이고, 투자 권유나 조언이 아니에요. 내용이 틀렸거나 바뀌어야 한다고 생각하면 sjpark030628@futuring.ai.kr로 알려주세요.

다른 글