백테스트가 거짓말하는 네 가지 방식 — 과적합·스누핑·p해킹·미래참조

백테스트는 어떤 투자 전략을 과거 시세에 적용해 '그때 이렇게 했다면 얼마가 됐을까'를 계산해 보는 작업입니다. 여기까지는 좋은 학습 도구입니다.

문제는 같은 과거 데이터에 대고 전략의 변형을 수백, 수천 번 바꿔 가며 가장 성적 좋은 조합만 골라낼 때 생깁니다. 20일선 대신 23일선, 손절 5% 대신 7%로 바꾸니 수익이 두 배가 됐다는 식으로 조건을 깎아 내는 과정이 반복되면, 규칙은 데이터의 신호가 아니라 잡음까지 외워 버립니다. 이렇게 뽑힌 전략은 미래를 예측하는 실력이 있어서가 아니라 그 구간의 우연한 굴곡에 몸을 맞췄을 뿐입니다.

학교 시험에 비유하면 실력을 키운 것이 아니라 작년 기출문제의 답만 통째로 외운 상태입니다. 작년 시험은 만점이지만 문제가 바뀌는 올해 시험에서는 무너집니다. 통계학에서는 이를 다중검정에서의 선택 편향이라고 부릅니다. 여러 번 시도해서 가장 좋은 것만 고르면, 그 성과는 실력이 아니라 운으로도 얼마든지 부풀려집니다.

핵심은 시도 횟수입니다. 전략을 여러 번 바꿔 볼수록, 순전히 운으로 좋아 보이는 조합을 만날 확률이 커집니다.

베일리와 로페즈 데 프라도를 비롯한 연구자들의 분석에 따르면, 진짜 실력이 사실상 0인 무의미한 전략이라도 약 100번 정도의 백테스트를 돌리면 샤프비율 2.5짜리 대박처럼 보이는 전략이 우연히 튀어나올 수 있습니다. 실제 기댓값은 0인데도 그렇습니다. 2014년 미국수학회지에 실린 논문은 비교적 적은 수의 변형만 시도해도 그럴듯한 시뮬레이션 성과가 쉽게 만들어지며 시도 횟수가 늘수록 과적합 확률이 커진다는 것을 수학적으로 보였습니다.

더 큰 문제는 대부분의 전략 소개 자료가 몇 번을 시도해서 이 조합을 골랐는지 밝히지 않는다는 점입니다. 시도 횟수를 모르면 보는 사람은 과적합 정도를 가늠할 수조차 없습니다. 그래서 어떤 성적표를 만났을 때 던져야 할 첫 질문은 '수익률이 얼마인가'가 아니라 '이걸 찾기까지 몇 개를 시험했는가'입니다.

같은 데이터를 여러 번 들여다보며 잘 맞는 규칙을 찾는 행위를 데이터 스누핑이라고 부릅니다. 동전을 한 번 던져 앞면이 나오면 우연이지만, 1000명이 각자 10번씩 던지면 누군가는 10번 연속 앞면이 나옵니다. 그 사람을 동전 던지기 천재라고 부를 수는 없습니다.

투자에서 가장 유명한 사례가 미국의 슈퍼볼 지표입니다. 미식축구 결승전에서 어느 컨퍼런스 팀이 우승하느냐로 그해 증시 방향을 점친다는 미신입니다. 1978년 기자 레너드 코펫이 이 패턴을 발견했을 때 그때까지 한 번도 틀린 적이 없었고, 역사적 적중률은 출처에 따라 약 70% 안팎으로 집계됐습니다. 그런데 축구 경기 결과와 주가 사이에는 어떤 경제적 연결고리도 없습니다. 지표가 널리 알려진 뒤 정확도는 급격히 떨어졌고, 2000년부터 2009년까지 열 번 중 네 번밖에 맞지 않았습니다.

방어법은 학계에서 이미 정리돼 있습니다. 데이터를 인샘플과 아웃오브샘플로 나눠 규칙을 만들 때 쓰지 않은 구간에서 검증하고, 시험한 규칙의 개수를 정직하게 세며, 2000년에 발표된 화이트의 리얼리티 체크나 한센의 SPA 검정처럼 여러 모델을 비교할 때 유의성을 보수적으로 보정하는 방법을 씁니다. 1992년 로버트 파르도가 정리한 워크포워드 분석은 여기서 한 걸음 더 나갑니다. 구간을 조금씩 밀어 가며 앞 구간에서 조건을 정하고 그다음 한 번도 보지 않은 구간에서 검증하는 과정을 반복해 이어 붙이는 방식이라, 운 좋은 한 구간에 속을 여지가 줄어듭니다.

통계에서 p값은 이 결과가 순전히 우연으로 나올 확률을 대략 보여 주는 숫자입니다. 관행적으로 p가 0.05보다 작으면 통계적으로 유의미하다고 말합니다. p-해킹은 이 문턱을 넘길 때까지 변수와 기간과 표본을 바꿔 가며 반복 시험해 억지로 유의미한 결과를 만들어 내는 관행입니다.

산수는 단순합니다. p=0.05는 우연히 유의미하게 나올 확률이 20번 중 1번이라는 뜻이므로, 서로 다른 가설 20개를 시험하면 그중 평균 1개는 아무 의미가 없어도 유의미하게 나옵니다. 본페로니 교정은 시험 횟수만큼 기준을 엄격하게 만들어 이를 상쇄합니다. 20개를 시험한다면 문턱을 0.05가 아니라 0.05를 20으로 나눈 0.0025로 낮추는 식입니다.

미국통계학회는 2016년 3월 발표한 성명에서 여섯 가지 원칙을 제시하며, p값은 연구 가설이 참일 확률이나 데이터가 순전히 우연으로 만들어졌을 확률을 재는 값이 아니고, 과학적 결론이 p값이 특정 문턱을 넘었는지만으로 내려져서는 안 되며, 올바른 추론에는 완전한 보고와 투명성이 필요하다고 못 박았습니다. 성명은 p-해킹과 데이터 준설이 작은 p값 찾기를 다른 통계적·과학적 추론보다 앞세우는 관행이라고 지적했습니다.

투자 연구에서 이 문제는 특히 심각합니다. 캠벨 하비, 옌 리우, 허칭 주는 2016년 논문에서 학술지가 발표한 팩터를 316개나 정리했습니다. 이들은 이만한 데이터 마이닝이 있었다면 통상적 유의성 기준을 쓰는 것 자체가 말이 되지 않는다고 지적하며, 새 팩터가 인정받으려면 t-통계량이 관행적 기준인 2.0이 아니라 3.0을 넘어야 한다고 제안했습니다. 논문 초록의 결론은 단호합니다. 금융경제학에서 발표된 연구 결과 대부분이 거짓일 가능성이 높다는 것입니다.

미래참조 편향은 백테스트가 그 시점에는 아직 알 수 없었던 정보를 사용해 성과가 실제보다 좋게 나오는 오류입니다. 시험 전날 문제를 미리 본 사람이 만점을 받는 것과 같아서, 성적은 좋지만 그것은 실력이 아닙니다.

새어 드는 길목은 대체로 넷입니다. 첫째, 발표 전 실적 사용입니다. 기업의 분기 실적은 분기가 끝난 뒤 수 주에서 수 개월 지나 공시되는데, 분기 마지막 날에 이미 그 실적을 알았다고 가정하면 현실에서는 없던 정보로 투자한 셈이 됩니다. 둘째, 나중에 개정된 데이터 사용입니다. GDP나 고용 같은 지표의 최종 개정치를 당시에 알았던 값처럼 쓰는 경우입니다. 셋째, 미래 구간까지 포함해 계산한 평균·표준편차를 과거 판단에 적용하는 경우입니다. 넷째, 오늘 종가를 보고 싸다고 판단한 뒤 같은 날 종가에 샀다고 가정하는 체결 시점 오류입니다.

앞의 세 경로와 초점이 다릅니다. 과적합과 데이터 스누핑이 '무엇을 골랐는가'의 문제라면, 미래참조 편향은 '언제의 정보를 썼는가'의 문제입니다. 전략이 아무리 단순하고 시험을 단 한 번만 했어도, 판단 시점에 없던 정보가 끼어들면 발생합니다. 점검 질문은 하나로 충분합니다. 이 정보를 판단을 내린 바로 그 순간에 실제로 손에 넣을 수 있었는가.

1971년 심리학자 아모스 트버스키와 대니얼 카너먼은 소수의 법칙에 대한 믿음이라는 논문을 발표했습니다. 사람들이 작은 무작위 표본도 모집단을 충분히 대표한다고 잘못 믿는 경향을 보인 연구입니다. 이름이 소수의 법칙인 이유는, 정식 통계 법칙인 대수의 법칙을 오해한 데서 비롯됐기 때문입니다.

동전을 4번 던져 앞면이 3번, 즉 75%가 나오는 일은 흔합니다. 하지만 4000번 던지면 앞면 비율은 50%에 아주 가까워집니다. 표본이 클수록 우연의 요동이 상쇄되기 때문입니다. 그런데 사람들은 작은 표본의 75%를 보고 이 동전은 앞면이 잘 나온다고 일반화합니다.

투자판은 이 함정으로 가득합니다. 최근 3년 수익률이 좋으니 실력 있는 펀드라는 판단이 대표적입니다. 3년은 운이 크게 작용하기에 짧은 기간이라 극단적으로 좋거나 나쁜 성과가 흔히 나옵니다. 몇 번의 매매에 성공했다고 실력을 확신하는 것도 같은 착각입니다. 그래서 성과를 볼 때는 가능한 한 긴 기간과 여러 국면을 함께 봐야 합니다.

과적합의 정반대는 전략을 손대지 않고 실제로 일어난 일을 그대로 보는 것입니다. 그런 기록은 대개 화려하지 않습니다.

우리 데이터로 계산하면 나스닥 100 지수를 추종하는 QQQ는 1999-03-10부터 2026-08-31까지 총수익 +1565.8%, 연평균 +10.78%였습니다. 여기까지만 보면 연 30%짜리 백테스트보다 초라해 보입니다. 그런데 같은 파일에서 이 자산의 전체 기간 최대 낙폭은 -82.96%였습니다. 2000년 3월 27일 고점에서 2002년 10월 9일 저점까지 내려간 값이고, 그 지점에서 본전으로 돌아오려면 +487.0%가 필요했습니다. 이전 고점을 다시 넘은 날은 2015년 2월 20일로, 저점에서 148.4개월(약 12.4년)이 걸렸습니다. 고점 아래에 머문 최장 구간은 3,747거래일이었고, 이 자산의 실제 행 밀도인 연 251거래일로 나누면 약 14.9년입니다.

이 기록에는 과적합이 끼어들 자리가 없습니다. 전략을 뽑은 것이 아니라 일어난 일을 적었기 때문입니다. 미래 정보를 끌어다 쓸 자리도, 유의미해질 때까지 조건을 바꿀 자리도 없습니다. 대신 견뎌야 했던 -50%의 시간, 정확히는 -82.96%까지 내려갔던 시간이 그대로 남습니다.

그래서 이 사이트는 어떤 비법 조합이 과거에 연 40%를 냈다고 자랑하지 않습니다. 좋은 자산을 오래·꾸준히 샀다면 실제 시세로 지금 얼마가 됐을지를, 최대 낙폭과 손실 기간까지 함께 보여 줍니다. S&P 500 같은 대표 지수든 개별 자산이든, 일시금과 적립식을 실제 데이터로 비교하거나 금융위기 구간에서 얼마나 빠졌다가 언제 회복했는지 확인하는 일에는 과적합 위험이 거의 없습니다. 규칙이 단순할수록 과거에 몰래 짜맞출 여지도 줄어듭니다.