분모에서 뺀 것: 미평가 10건 · OPEN 7건 · INVALID_PRICE 9건 · UNRESOLVABLE(거래정지/상폐 추정) 0건 — 조용히 사라지면 생존 편향이 되므로 항상 표기.
"어떤 발굴 경로가 실제로 초과수익을 내는가"는 아직 답이 없는 질문이다. 경로 태깅(candidate_sources) 기록 자체가 최근 시작됐다.
| 경로 | 태깅 | 종결 | 평균 초과수익 | 초과 성공률 | 판정 |
|---|---|---|---|---|---|
| 가치 스크리닝 value_screen | 2 | 0 | — | — | 종결 표본 없음 (태깅 2건 미종결) |
| 외인·기관 순매수 수급 krx_flow_buy | 3 | 0 | — | — | 종결 표본 없음 (태깅 3건 미종결) |
| 뉴스 모멘텀 news | 0 | 0 | — | — | 표본 없음 |
| 섹터 상위 sector_top | 0 | 0 | — | — | 표본 없음 |
| 관심종목 watchlist | 0 | 0 | — | — | 표본 없음 |
| 사용자 요청 user_request | 0 | 0 | — | — | 표본 없음 |
| krx_flow_sell krx_flow_sell | 2 | 0 | — | — | 종결 표본 없음 (태깅 2건 미종결) |
성공률(절대)=목표도달·만기수익. 성공률(초과)=벤치마크(KOSPI/KOSDAQ) 대비 초과수익>0. 강세장에서 절대 기준은 베타를 알파로 오인할 수 있어 초과 기준을 병기한다.
| 단계 | 종결 n | 성공률(절대) | 성공률(초과) | 평균 초과수익 |
|---|---|---|---|---|
| F-03 | 90 | 31% | 38% (n=90) | -1.86%p |
| F-07 ⚠️표본 부족 | 1 | 0% | 100% (n=1) | +2.31%p |
| F-11 | 43 | 42% | 40% (n=43) | -2.24%p |
| F-13 | 44 | 61% | 30% (n=44) | -7.90%p |
| F-14 | 38 | 53% | 3% (n=38) | -15.50%p |
낙관: 장중 고가/저가 터치를 체결로 인정. 보수: 종가 기준 판정. 격차가 클수록 성과가 "체결됐다고 가정하는 방식"에 의존한다는 뜻이다.
추천 시점 confidence를 확률 예측으로 보고 실제 성공/실패와의 제곱오차를 잰다. 기저율 상수 예측(전체 성공률만 아는 예측기)을 못 이기면 confidence는 장식이다.
판정: 기저율 예측도 못 이김 — confidence에 종목 선택 정보 없음
종결 BUY 건의 관찰기간 최고 수익률(MFE)·최저 수익률(MAE) 분포. 구간 경계는 손절 -12% / 목표 +25% 기준. 도달률 분모는 종결 216건.
LLM이 매긴 confidence 구간별 실측 성공률(절대 기준, 평활 없음). 구간이 올라갈수록 성공률이 올라야 confidence가 의미 있다. ⚠️=구간 표본 10 미만.
| confidence 구간 | n | 성공 | 실측 성공률 |
|---|---|---|---|
| 0.50-0.59 ⚠️ | 6 | 0 | 0% |
| 0.60-0.69 | 46 | 15 | 33% |
| 0.70-0.79 | 105 | 32 | 30% |
| 0.80-0.89 | 54 | 42 | 78% |
| 0.90-1.00 ⚠️ | 5 | 4 | 80% |
뉴스 기반 임팩트 예측이 실제 초과수익 방향을 맞히는지의 채점 스트림.