80% 확신했을 때 실제로 몇 번 맞혔나

예측을 잘한다는 게 뭘까요. 가장 먼저 떠오르는 건 적중률이에요. 열 번 중 일곱 번 맞히면 70%. 그런데 적중률만 보면 이상한 일이 생겨요. 결과가 거의 뻔한 질문만 골라서 답하면 적중률은 얼마든지 올라가요. 반대로 아무도 모르는 어려운 질문에 뛰어드는 사람은 적중률이 낮게 나와요. 적중률은 실력만큼이나 어떤 질문을 골랐는지를 같이 재는 숫자예요.

그래서 예측을 연구하는 사람들은 다른 질문을 해요. "당신이 80% 확신한다고 말했던 예측들은 실제로 80% 맞았나요?" 이걸 캘리브레이션(보정)이라고 불러요. 말한 확신과 실제 결과가 맞아떨어지는지를 보는 거예요.

잘 보정된 예측자는 어떤 모습인가

일기예보가 가장 좋은 예예요. "비 올 확률 30%"라고 발표한 날들을 모아 보면 실제로 그중 30% 안팎의 날에 비가 와요. 70%라고 한 날들은 70% 안팎이고요. 이렇게 말한 확률과 실제 빈도가 줄을 맞추면 잘 보정됐다고 해요. 기상 예보가 오래 다듬어진 분야라 이 줄이 꽤 곧아요.

사람은 보통 이 줄에서 한쪽으로 기울어요. 가장 흔한 건 과신이에요. 90% 확신한다고 한 일이 실제로는 70%쯤만 맞는 식이에요. 확신이 강할수록 틀렸을 때 기억에 덜 남아서, 스스로는 과신하는지 잘 모르는 경우가 많아요. 반대로 늘 60% 언저리로만 말하는 사람은 틀릴 일은 적지만 정보를 거의 주지 않아요.

Futuring에서는 어떻게 재나

참여할 때 고르는 확신도가 바로 이 "말한 확률"이에요. 참여가 정산되면 그 확신도와 실제 결과가 한 쌍으로 남아요. 이 쌍들을 확신도 구간별로 모으면 "내가 80%대라고 했을 때 실제로는 몇 %를 맞혔나"가 나와요. 내 예측 통계 화면의 신뢰도 도표가 이 계산이에요.

• 취소되거나 무효가 된 마켓은 빼요. 승패가 없으니 확신이 맞았는지도 알 수 없어요.
• 구간에 기록이 5건보다 적으면 비율을 보여주지 않아요. 세 번 중 두 번 맞힌 걸 "적중률 67%"라고 쓰면 숫자가 거짓말을 하게 돼요.
• 1·5·10분짜리 실시간 마켓은 기본으로 빼요. 짧은 라운드 수백 건이 쌓이면 일반 마켓에서의 판단이 묻혀 버려요.
• 마켓을 열 때 들어가는 시작 유동성은 운영 계정 명의라도 빼요. 사람의 판단이 아니니까요.

이 숫자가 말해주지 않는 것

캘리브레이션은 지나간 판단의 습관을 보여줘요. "나는 확신이 강할 때 과하게 믿는 편이구나" 같은 걸요. 하지만 다음에 어느 쪽을 골라야 하는지는 말해주지 않아요. 보정이 잘 된 사람도 어떤 질문에서는 틀려요. 70%라고 말했다면 열 번 중 세 번은 틀리는 게 맞는 거예요.

그래서 이 화면은 과거형으로만 써요. "이 분야에 더 걸어 보세요" 같은 권유는 넣지 않았어요. 기록을 거울처럼 보여주는 데까지가 이 기능의 역할이라고 봐요.

잘 맞히는 사람은 자주 맞히는 사람이 아니라, 자기가 얼마나 틀릴지를 정확히 아는 사람이에요.

Futuring은 무상 포인트로 참여하는 예측 게임이에요. 현금을 넣거나 포인트를 현금으로 바꾸는 길은 없어요. 이 글은 서비스 규칙을 설명한 것이고, 투자 권유나 조언이 아니에요. 내용이 틀렸거나 바뀌어야 한다고 생각하면 sjpark030628@futuring.ai.kr로 알려주세요.

다른 글