카파시 무료 2시간 강의, 근데 내가 옮겨 적은 건 옆에 걸린 하네스 글이었다
강의 하나가 타임라인에서 34만 번 돌았다. 나는 강의 자랑보다 그 게시물에 같이 걸려 있던 링크를 먼저 열었고, 결국 거기서 내 자동화에 옮길 걸 골랐다.
카파시(Andrej Karpathy)를 따라 뭔가 만들어보다 사흘을 통째로 버린 적이 있다. 그래서 이번에 그 사람 강의가 좋다는 게시물이 떠다니는 걸 봤을 때, 반사적으로 든 생각이 "이번엔 뭘 안 읽고 시작하려고 그러나"였다. 아무튼 게시물을 열어봤고, 정작 건진 건 강의가 아니라 그 밑에 인용된 주제였다. 하네스. 에이전트한테 일을 시킬 때 그 주위에 둘러놓는 판 얘기다.
📑 목차
1. 그 게시물에 적힌 것, 그리고 안 적힌 것
게시물은 이렇게 말한다. 카파시가 OpenAI와 테슬라에서 8년을 보냈고, 지난주에 아는 걸 전부 무료 2시간 강의 하나로 압축했다고. 다루는 순서는 에이전트, 루프, 그래프, 자기개선 시스템이라고 적혀 있다. 여기까지는 목차다. 그다음 줄이 문제인데, 사람들이 1만 5천 달러짜리 부트캠프에서 이보다 못한 걸 배운다고 썼다. (x.com) 반응은 세다. 좋아요 2,131에 리트윗 363, 조회 34만 회를 넘겼다(작성 시점 기준, 계속 오른다). (x.com)
근데 안 적힌 것도 많더라. 1만 5천 달러 부트캠프가 뭘 가르치는지, 그거랑 뭘 어떻게 대봤는지는 한 글자도 없다. 강의 원본이 어디에 올라와 있는지도 본문에는 없고, 게시물에 두 시간짜리 영상이 붙어 있을 뿐이다. "밑의 가이드를 읽어라"로 끝나는데 그 가이드가 정확히 뭔지도 본문만 봐선 모른다. 이런 건 추측으로 메우면 안 되니까 모르는 채로 둔다.
대신 확실한 게 하나 있었다. 이 게시물이 인용한 글의 주제가 하네스 엔지니어링이고, 게시물에 함께 걸린 링크 중에 앤트로픽이 쓴 하네스 설계 문서가 있었다. 강의는 두 시간이라 지금 못 본다. 문서는 지금 읽을 수 있다. 그래서 문서부터 열었다.
2. 하네스가 뭔데, 문서엔 뭐가 있었나
하네스(harness)는 원래 마구, 그러니까 말한테 씌우는 장비를 뜻한다. AI 쪽에서는 모델 자체 말고 그 바깥에 둘러놓은 판을 가리킨다. 무슨 순서로 시킬지, 중간에 뭘 검사할지, 결과를 어디에 적어둘지 같은 것들. 같은 모델을 써도 이 판이 다르면 결과가 딴판이 된다는 게 요지다.
앤트로픽 문서는 긴 작업을 시킬 때 걸리는 두 가지를 앞에 놓는다. 대화가 길어지면 앞을 놓치고, 자기 결과물을 스스로 평가하면 잘 못한다는 것. 뒤쪽이 특히 셌다. 에이전트한테 자기 작업을 채점시키면 사람 눈엔 뻔히 평범한데도 자신 있게 칭찬한다고 적혀 있다. (anthropic.com)
그래서 만드는 쪽과 채점하는 쪽을 갈랐다. 계획 짜는 에이전트, 만드는 에이전트, 채점하는 에이전트 셋으로 나눠 돌렸고, 서로 대화로 주고받는 대신 파일로 넘겼다. 채점자는 결과물을 눈으로 훑는 게 아니라 실제로 페이지를 열어 눌러보고 나서 점수를 매겼다. 항목별로 넘어야 할 선을 미리 박아두고, 못 넘으면 만든 쪽이 다시 한다. (anthropic.com)
대화가 길어지는 문제는 압축이 아니라 리셋으로 풀었다. 요약해서 이어붙이는 것보다, 대화창을 통째로 비우고 인계 문서를 남겨 새 에이전트한테 넘기는 쪽이 낫더라는 결론. (anthropic.com)
값은 이렇게 갈렸다. 모델 혼자 시켰을 때는 20분에 9달러, 이 판을 다 씌웠을 때는 6시간에 200달러. 결과 품질 차이가 컸다지만 대신 스무 배 넘는 돈과 시간이 든다. (anthropic.com)
▲ 에이전트 단독 실행과 하네스 적용의 소요 시간·비용 비교 (자체 제작 이미지)
문서에서 제일 마음에 걸린 문장은 비용 얘기가 아니었다. 하네스의 모든 조각은 "모델이 혼자서는 못 한다"는 가정을 하나씩 박아둔 것이고, 그 가정은 계속 다시 시험해봐야 한다는 대목. 실제로 이 사람들도 모델이 새로 나오자 예전에 필요했던 조각 일부를 걷어냈다고 적었다. (anthropic.com)
3. 옮길 것, 이미 있는 것, 안 옮길 것
나도 글 쓰고 자동화 돌리는 판을 몇 개 굴리고 있어서, 읽으면서 계속 내 것이랑 대봤다.
이미 하고 있는 게 둘이다. 만든 쪽과 채점하는 쪽을 가른 건 진작 붙여놨다. 자체 채점에선 전부 통과였는데 새 채점자를 붙이니 결함이 여러 건 나왔던 적이 있어서 그렇게 됐다(검증 게이트 얘기는 여기). 안 쓰이는 조각을 걷어내는 것도 한 번 크게 했다(스킬을 80개에서 7개로 줄인 기록). 같은 결론에 각자 굴러서 도착한 셈이라 좀 반가웠다.
옮길 만한 건 세 개로 추렸다.
첫 번째. 채점자한테 결과물을 읽히지 말고 돌려보게 한다. 저쪽 채점자는 만들어진 페이지를 직접 눌러본 다음에 점수를 매긴다. 내 쪽 판정은 대부분 나온 텍스트만 본다. 글이야 텍스트가 결과물의 전부지만, 스크립트나 자동화는 아니지. 돌려봐야 아는 걸 읽어서 통과시키고 있던 자리가 있는지부터 세봐야겠다.
두 번째. 대화를 압축하지 말고 끊고 넘긴다. 나는 길어지면 요약해서 이어 쓰는 쪽을 습관처럼 써왔는데, 저쪽은 그걸 접고 인계 문서를 만들어 새로 시작하는 쪽을 골랐다. 무엇을 인계 문서에 적을지가 진짜 일이 될 것 같다.
세 번째가 제일 뼈아프다. 조각마다 "모델이 혼자 못 한다"는 가정이 박혀 있다는 말. 내 게이트는 지금까지 늘기만 했지 줄어본 적이 없다. 하나씩 붙일 때는 다 이유가 있었는데, 그 이유가 아직 살아 있는지는 확인한 적이 없네. 걷어내는 쪽으로도 한 번은 돌려봐야 맞다.
안 옮기는 것도 분명히 해둔다. 6시간에 200달러짜리 풀 세트는 내가 할 일이 아니다. 저쪽은 앱 한 벌을 통째로 만드는 얘기고 나는 글 한 편, 스크립트 한 개짜리다. 판을 두껍게 씌우면 좋아진다는 결론만 떼어와서 아무 데나 두르면, 돈은 스무 배 쓰고 좋아지는 건 없다.
그리고 정작 강의는 아직 안 봤다. 두 시간이 안 나더라ㅎㅎ 본 다음에 위 세 개가 그대로 남을지는 모르겠다. 카파시 따라 하다 방향 틀린 채로 사흘을 간 적이 있어서(그때 기록) 이번엔 순서를 뒤집어봤을 뿐이다. 읽을 수 있는 걸 먼저 읽고, 내 것과 대보고, 옮길 것만 세 줄로 적기.
3줄 요약
- 무료 2시간 강의를 자랑하는 게시물이 크게 돌았는데, 부트캠프 비교 같은 세부는 근거가 안 적혀 있다
- 같이 걸린 하네스 설계 문서가 더 쓸모 있었다. 만드는 쪽과 채점하는 쪽 분리, 압축 말고 리셋, 혼자 20분 9달러 대 풀 하네스 6시간 200달러
- 내 파이프엔 채점자가 직접 돌려보게 하기, 인계 문서로 끊어 넘기기, 게이트를 걷어내는 쪽으로도 한 번 돌려보기를 옮긴다
강의 다 보고 나서 이 세 줄이 어떻게 바뀌는지가 다음에 적을 거리겠다.
이 글은 정보 제공을 목적으로 하며, 작성 시점(2026년 9월) 기준이다. 인용한 게시물의 반응 수치와 문서에 적힌 소요 시간·비용은 이후 달라질 수 있고, 두 자료의 주장은 각 작성자의 것이지 내가 검증한 값이 아니다. 특정 도구나 유료 강의의 구매를 권유하지 않는다.
참고한 공식 자료
- 강의를 소개한 게시물: @kaorixbt on X
- 앤트로픽 하네스 설계 문서: Harness design for long-running application development
댓글
댓글 쓰기