이틀 사이 전략 넷을 접었다, 기준은 벤치마크였다

백테스트 숫자가 나쁘지 않았는데도 넷 다 버렸다. 퀀트 전략 폐기 기준을 결과 보기 전에 정해뒀더니, 정 붙일 틈이 없더라.

투자 전략을 과거 데이터로 돌려보는 걸 백테스트라고 한다. 문제는 이게 거의 항상 잘 나온다는 거다. 나도 그랬다. 숫자가 예쁘게 나오면 "이거 되는 거 아냐?" 소리가 먼저 나오고, 그다음부터는 그 숫자를 지키는 쪽으로 머리가 굴러간다. 그래서 이번엔 순서를 바꿔봤다. 뭘 만들지 정할 때 같이 "이러이러하면 버린다"를 문서에 박아놓고 시작한 거다. 그리고 이틀 사이에 네 개를 접었다. 접는 게 목표는 아니었는데, 결과적으로 그렇게 됐다.

1. 백테스트는 왜 늘 잘 나오나

용어 하나만 풀고 가자. 백테스트는 "이 규칙대로 과거에 샀다 팔았다 했으면 얼마 벌었을까"를 컴퓨터로 계산해보는 거다. 코드 몇 줄이면 십수 년 치가 몇 초 만에 나온다.

여기까진 좋은데, 함정이 두 개다.

하나는 규칙을 만든 사람이 이미 과거를 알고 있다는 점. 2020년 3월에 뭐가 있었는지, 2018년 2월에 뭐가 터졌는지 다 알면서 규칙을 짜니까, 나도 모르게 그 구간을 피해가는 조건을 넣게 된다. 이걸 과적합이라고 부르더라. 시험 문제를 미리 보고 답만 외운 상태.

또 하나는 조건을 조금씩 바꿔가며 여러 번 돌린다는 점. 스무 번 돌리면 그중 하나는 그냥 운으로 잘 나온다. 근데 사람은 그 하나를 기억하고 나머지 열아홉은 잊는다.

결과 보고 나서 기준을 정하면, 기준이 결과를 따라간다.

2. 결과 보기 전에 합격선을 문서에 박았다

그래서 이번엔 설계 문서를 먼저 썼다. 뭘 검증할지, 데이터는 뭘 쓸지 적고, 그 아래에 합격 기준 다섯 개를 결과 보기 전에 못 박았다. 문서에 "결과 전, 변경 금지"라고 적어놨다. 나중에 말 바꾸지 못하게.

다섯 개는 이랬다.

(1) 검증 구간에서 벤치마크보다 위험 대비 성적이 좋을 것 (2) 필터를 붙인 버전이 안 붙인 버전보다 낙폭이 작을 것 (3) 통계적으로 "운이 아니다"가 성립할 것 (4) 여러 번 시도한 걸 보정하고도 살아남을 것 (5) 신호를 하루 늦게 집행해도 버틸 것

여기서 (1)의 벤치마크가 핵심이었다. 미국 주식 전략이니까 벤치마크는 S&P500을 그냥 사서 들고 있는 것(SPY)으로 잡았다. 아무것도 안 하고 지수만 사둔 사람보다 못하면, 그 전략은 존재 이유가 없다. 당연한 말 같은데 이게 은근히 아프다. 지수는 생각보다 세다.

그리고 데이터를 둘로 갈랐다. 앞쪽(2011~2018)은 설계하면서 들여다본 구간, 뒤쪽(2019~2026)은 판정에만 쓰는 구간. 뒤쪽은 결과 나올 때까지 안 보는 게 규칙이다. 이걸 각각 IS, OOS라고 부르는데, 쉽게 말하면 연습문제와 실전문제다. 판정은 실전문제로만 한다.

▲ 결과 보기 전에 정한 합격 기준 5개와 실제 판정 결과, 1개만 충족 (자체 제작 이미지)

3. 첫 번째, 프리미엄은 진짜였는데 벤치마크를 못 이겼다

제일 기대했던 게 변동성 관련 전략이었다.

배경은 이렇다. 시장에는 "보험료" 같은 게 있다. 사람들이 폭락을 무서워해서 보험(옵션)에 실제 위험보다 비싸게 돈을 낸다. 그 차액을 보험 파는 쪽이 가져간다. 이걸 분산위험프리미엄이라고 부른다. 실제로 재보니 평균 3.63%p였고, 전체 기간의 84.6%에서 양수였다. 프리미엄 자체는 실재했다.

문제는 이 보험 장사가 평소엔 조금씩 벌다가 위기 한 번에 크게 잃는 구조라는 거다. 2018년 2월에 실제로 그런 일이 있었다. 변동성이 폭등하면서 인버스 변동성 상품 하나가 하루 만에 청산됐다고 알려져 있다. 손실률로 몇 %였는지는 내가 원자료로 확인하지 못해서 숫자는 적지 않겠다. 어쨌든 그래서 필터를 붙였다. VIX(30일 기대 변동성)와 VIX3M(93일)의 비율을 봐서, 단기가 장기보다 높아지는 이상 신호가 뜨면 빠져나오는 식으로.

결과는 앞쪽 구간에서 아주 좋았다. 지수보다 연 8.9%p를 앞섰다. 여기서 멈췄으면 "찾았다" 소리가 나왔을 거다.

뒤쪽 구간을 열었더니 뒤집혔다.

구간	지수(SPY)	필터 붙인 전략
앞쪽 2011~2018	샤프 1.04	샤프 0.86 (연 +8.9%p 초과)
뒤쪽 2019~2026	샤프 0.93	샤프 0.64 (연 -1.4%p 미달)

샤프는 위험 1단위당 수익이다. 높을수록 효율이 좋다. 뒤쪽에서 0.64 대 0.93. 졌다. 연 수익률로 봐도 1.4%p 뒤진다. 아슬아슬하게 진 게 더 얄궂다. 딱 잘라 폭망했으면 미련도 없었을 텐데, "저 정도면 조금만 손보면 되지 않나" 싶은 자리에 떨어졌다.

그래서 못 박아둔 문장이 일했다. 기준 (1)이 벤치마크 미달이면 탈락이라고 적혀 있으니 거기서 끝이다.

4. 숫자 하나만 건드려도 결과가 요동쳤다

기준 (1)에서 이미 걸렸지만, 나머지도 궁금해서 다 돌려봤다. 여기서 더 험한 게 나왔다.

빠져나오는 기준선을 1.00으로 잡았는데, 이 숫자를 조금 옮겨봤다.

기준선	연수익	최대낙폭
0.90	-0.2%	40.7%
0.95	+3.9%	37.2%
1.00 (사전등록)	+16.1%	32.0%
1.05	+19.8%	47.2%

0.90에서 마이너스, 1.00에서 +16%, 1.05에서 +19.8%. 소수점 둘째 자리 옮겼을 뿐인데 결과가 이렇게 널뛴다. 이건 전략이 뭔가를 포착한 게 아니라 그냥 그 숫자에 얹혀 있었다는 뜻이다. 만약 결과를 다 본 다음에 "1.05가 제일 좋네"라고 골랐다면? 최대낙폭이 47.2%다. 수익률 표만 보고 골랐다가 낙폭에서 뒤통수 맞는 거다.

그리고 제일 아팠던 건 집행 시차였다. 이 전략은 "신호 뜬 날 종가에 바로 빠진다"를 전제로 한다. 내가 화면 앞에 24시간 앉아 있을 것도 아닌데 말이다. 근데 2018년 그 사건 때, 신호는 파국 딱 1거래일 전에 떴다. 하루만 늦어도 그대로 맞는다. 실제로 하루 늦춰서 돌려보니 낙폭 1단위당 수익이 0.50에서 0.16으로 무너졌고, 최대낙폭은 32%에서 59.2%로 벌어졌다.

이건 자동매매를 완전자동으로 안 만든 이유에서 겪은 것과 같은 종류의 함정이다. 백테스트 안에서는 주문이 항상 즉시 체결되는데, 현실에서는 안 그렇다.

▲ 기준선 숫자를 조금 옮길 때마다 연수익 -0.2%에서 +19.8%까지 요동치는 모습 (자체 제작 이미지)

5. 이틀 사이 넷, 그리고 벽이 여섯 번째였다

이게 하나로 끝난 게 아니다. 이틀 사이에 네 개를 접었다.

첫날 밤에 접은 게 하나 더 있다. 미국 주식은 장 열려 있는 동안(인트라데이)보다 장 닫혀 있는 동안(오버나잇)에 수익이 몰린다는 유명한 패턴이 있다. 실제로 확인해보니 패턴 자체는 맞았다. 26년 누적으로 인트라데이는 -43%, 오버나잇은 +1,382%. 극적이다. 그래서 밤에만 들고 있는 전략을 돌려봤다. 매일 사고팔아야 하니 수수료가 쌓인다. 그래서 수수료를 아예 0으로 놓고 돌려봤는데, 그래도 +182%로 지수(+401%)에 졌다. 수수료 탓이 아니라 그냥 진 거다. 이건 오히려 결과가 깨끗해서 접기 쉬웠다.

그다음 새벽에 한국 시장으로 넘어가서 가치 팩터를 돌렸다. 재무제표가 튼튼하고 싼 종목을 골라 담는 방식. 이건 절반은 성공이었다. 종목을 똑같은 비중으로 담는 것과 비교하면 검증 구간에서 연 7.0%p를 앞섰다. 가치 프리미엄은 실재한다는 뜻이다. 근데 실제로 내가 투자할 때 비교해야 할 상대(시가총액 가중 지수)에는 23%p나 못 미쳤다. 2023년 이후가 대형주 몰아주기 장이었기 때문이다. 싼 종목을 고르는 규칙이 SK하이닉스를 재무 점수 미달로 자동 탈락시켰는데, 하필 그게 제일 많이 오른 종목이었다.

같은 날 오후에는 그 가치 팩터를 이미 잘 돌아가고 있던 섹터 모멘텀 전략에 섞어봤다. 둘 다 쓸모가 있으니 합치면 낫겠지 싶었는데, 섞은 게 전부 원본보다 못했다. 가치 쪽이 대형주 장세에서 원본의 강점을 희석시켜버린 거다. 이것도 접었다.

여기까지 하고 세어보니, 미국 대형주에서 시도한 게 여섯 번 연속 같은 결론이었다. 팩터 다섯 종, 개장 돌파, 인트라데이 모멘텀, 실적 발표 후 표류, 오버나잇, 그리고 변동성. 개장 돌파 건은 따로 정리해둔 적이 있다.

여섯 번쯤 되면 이건 개별 전략의 실패가 아니다. "내가 가진 데이터와 종목 범위로는 미국 대형주에서 초과수익이 안 나온다"는 얘기다. 일곱 번째로 같은 벽을 두드릴 이유가 없어서, 미국 대형주 쪽 탐색은 닫고 한국 시장으로 옮겼다. 이 결정은 내가 내렸다.

6. 버린 것 중에 하나는 남겼다

전부 갖다 버린 건 아니다. 하나는 건졌다.

변동성 전략에서 붙였던 그 필터 있잖나. 벌어주는 능력은 없었는데, 지켜주는 능력은 확실했다.

위기 구간	필터 있음	필터 없음
2018년 2월 변동성 급등	-8.7%	-27.5%
2020년 2~3월 코로나 폭락	-13.1%	-55.2%

-55% 맞을 자리에서 -13%로 막았다. 이건 우연이 아니다. 애초에 시장 스트레스를 감지하려고 만든 신호니까 제 일을 한 거다.

그래서 판정을 이렇게 갈랐다. 폐기한 건 "이걸로 돈 번다"는 가설이지, 신호 자체가 아니다. 신호는 방어 도구로 따로 빼서 보관해뒀다. 알파(초과수익)로는 실격, 위험 필터로는 합격. 이렇게 쪼개놓으니 "이틀 동안 헛짓했다"는 기분이 좀 덜하더라.

기록도 남겼다. 뭘 왜 접었는지, 어떤 조각이 살아남았는지 문서로 적어두지 않으면 반년 뒤에 똑같은 걸 또 돌린다. 실제로 이렇게 남긴 결과보고서가 다음 방향을 정하는 입력이 됐다. 이 결정들이 어떤 흐름 위에 있었는지는 갭상승 롱온리를 접기로 했다 쪽에 이어져 있다.

▲ 필터가 알파는 못 냈지만 폭락 구간 손실은 크게 줄인 결과 (자체 제작 이미지)

7. 폐기 기준을 어디까지 밀어야 하나

접고 나서 남은 생각을 적어둔다.

이번에 접을 수 있었던 이유는 실력이 아니라 순서였다. 기준이 결과보다 먼저 있어야 힘을 쓰더라. 결과 보고 나서 판단하려 했으면 "그래도 앞 구간은 좋았잖아"라며 붙들고 있었을 거다. 채점자를 따로 두는 문제는 검증 게이트 쪽에 따로 적어뒀다.

순서를 지켜도 그 기준에 뭘 넣느냐가 남는다. 벤치마크를 정직하게 고르는 게 절반이었다. 미국 전략인데 코스피랑 비교하면 다 이긴다. 한국 종목 전략인데 동일 비중으로만 비교하면 이겼다고 착각한다. 실제로 내가 살 수 있는 대안, 그러니까 그냥 지수 사서 들고 있는 것과 비교해야 한다. 가치 팩터가 딱 이 함정 앞에서 갈렸다. 동일 비중 상대로는 이기고, 시총 가중 상대로는 졌다.

그렇게 잘 나온 걸 접으면 손해처럼 느껴지는데, 실은 반대다. 여기서 안 접었으면 실제 돈을 넣었을 거고, 하루 늦은 집행 하나에 낙폭 59%를 맞았을 거다. 백테스트에서 잃은 이틀이 훨씬 싸다.

끝으로 솔직히 인정할 게 있다. 내가 쓴 데이터는 전부 무료 공개 데이터고 종목 범위도 제한적이다. "미국 대형주에 초과수익이 없다"가 아니라 "내 데이터·내 방법으로는 못 찾았다"가 정확한 문장이다. 더 좋은 데이터를 가진 쪽은 다를 수 있다. 여섯 번 졌다고 시장 전체를 판정할 수는 없지. 3줄 요약 - 결과 보기 전에 합격 기준 다섯 개를 문서에 박아뒀더니, 잘 나온 백테스트 넷을 이틀 사이에 미련 없이 접을 수 있었다 - 판정선은 결국 벤치마크 하나였다, 그냥 지수 사서 들고 있는 것보다 못하면 그 전략은 존재 이유가 없다 - 통째로 버리진 않았다, 알파로는 실격인 신호를 방어 도구로 따로 빼서 남겼다

접은 자리에 남은 건 전략 넷이 아니라 기준 다섯 줄이다. 다음에 또 예쁜 숫자가 나오면, 그 다섯 줄부터 다시 꺼내 볼 생각.

이 글은 정보 제공을 목적으로 하며, 작성 시점(2026년 8월) 기준 개인의 검증 기록입니다. 특정 종목·상품·전략의 매매를 권유하지 않으며, 투자 결과에 대한 책임은 투자자 본인에게 있습니다. 본문의 백테스트 수치는 무료 공개 데이터로 개인이 산출한 것이라 데이터 출처·기간·비용 가정에 따라 달라질 수 있고, 과거 성과가 미래 수익을 보장하지 않습니다. 언급한 지수·상품의 구조나 운용 방식은 각 운용사 공식 자료에서 바뀔 수 있으니 실제 매매 전 원문을 확인하시길 권합니다.

참고한 공식 자료 - CBOE 변동성 지수(VIX) 공식 설명: cboe.com, VIX Index - CBOE 3개월 변동성 지수(VIX3M): cboe.com, VIX3M Index - S&P 500 지수 개요: S&P Dow Jones Indices - 전자공시시스템(재무 데이터 출처): DART - 한국거래소 시장 데이터: KRX 정보데이터시스템