p-해킹과 다중검정

통계에서 p값(p-value)은 '이 결과가 순전히 우연으로 나올 확률'을 대략 보여주는 숫자입니다. 관행적으로 p가 0.05보다 작으면 '통계적으로 유의미하다'고 말합니다. 우연으로 보기엔 드물다는 뜻이죠.

p-해킹(p-hacking)은 바로 이 0.05라는 문턱을 넘길 때까지 변수·기간·표본을 이리저리 바꿔가며 반복 시험해, 억지로 '유의미한' 결과를 만들어내는 관행입니다. '데이터 준설(data dredging)'이라고도 부릅니다.

한 번에 안 되면 조건을 조금 바꿔 다시, 또 바꿔 다시 — 이렇게 스무 번쯤 시험하면 그중 하나쯤은 순전히 운으로 p<0.05가 나옵니다. 그 하나만 골라 '유의미한 발견!'이라고 발표하면, 사실은 우연을 진실로 포장한 것입니다.

핵심은 '시험 횟수'입니다. p=0.05라는 기준은 '우연히 유의미하게 나올 확률이 20번 중 1번'이라는 뜻입니다. 그렇다면 서로 다른 가설을 20개 시험하면, 그중 평균 1개는 아무 의미가 없어도 우연히 '유의미'하게 나옵니다. 이것이 다중검정(multiple comparisons) 문제입니다.

100개, 1000개를 시험하면 우연한 '유의미한 발견'은 그만큼 쌓입니다. 문제는 발표할 때 '몇 번을 시험해서 이 하나를 골랐는지'를 밝히지 않는 경우가 많다는 점입니다. 보는 사람은 그 결과가 진짜인지 운인지 판단할 근거를 잃습니다.

통계학에는 이를 보정하는 방법이 있습니다. 대표적인 본페로니 교정(Bonferroni)은 시험 횟수만큼 기준을 엄격하게 만듭니다. 예를 들어 20개를 시험한다면 문턱을 0.05가 아니라 0.05÷20=0.0025로 낮춰, 우연한 유의성을 걸러냅니다.

이 문제는 투자 연구에서 특히 심각합니다. 학계와 업계는 '이 지표를 따르면 시장을 이긴다'는 팩터(factor)를 수없이 발표해 왔습니다.

금융학자 캠벨 하비(Campbell Harvey) 연구팀은 2016년 논문에서 학술지가 발표한 팩터를 316개나 정리했습니다. 이렇게 많은 팩터를 데이터로 뒤졌다면, 그중 상당수는 진짜 효과가 아니라 우연히 '먹혀 보인' 거짓 발견일 수밖에 없다고 지적했습니다.

그래서 연구팀은 새로운 팩터가 인정받으려면 통상적 기준(t-통계량 2.0)이 아니라 훨씬 엄격한 t-통계량 3.0 이상을 넘어야 한다고 제안했습니다. 수많은 시험을 감안해 문턱을 높인 것입니다. 즉 '과거 데이터에서 먹혔다'는 팩터의 상당수는, 실은 수백 번 시험 끝에 우연히 건진 p-해킹의 산물일 수 있습니다.

p-해킹의 반대말은 '조건을 이리저리 바꿔 최고를 뽑지 않는 것'입니다. 시험을 적게 할수록, 규칙이 단순할수록, 우연을 진실로 착각할 여지가 줄어듭니다.

《거의 모든 것의 수익률》이 복잡한 '비법 팩터'를 자랑하지 않는 이유도 여기에 있습니다. 우리는 '이 지표 조합이 과거에 시장을 이겼다'를 보여주려는 것이 아니라, 좋은 자산을 오래·꾸준히 샀다면 실제로 얼마가 됐을지를 최대 낙폭·손실 기간까지 그대로 보여줍니다. 여기엔 '유의미해질 때까지 조건을 바꾸는' 과정이 없습니다.

숫자를 볼 때 이렇게 물어보세요. '이 결과를 찾기까지 몇 번을 시험했을까? 시험 횟수를 밝혔을까?' 이 질문 하나가 우연히 반짝인 결과에 속지 않게 도와줍니다.