AI가 알아서 리서치해준다는 말, 왜 안 믿기로 했나
AI 자율 리서치를 몇 달 굴려보고 내린 결론. 리서치는 맡겨도 되는데, 판단은 못 맡기겠더라.
AI 자율 리서치라는 말을 처음 봤을 땐 솔직히 혹했다. 질문 하나 던져놓고 커피 마시고 오면 각주 수십 개 달린 보고서가 나와 있다는 거니까. 실제로 나온다. 나온다는 게 문제가 아니었다. 나온 걸 내가 어디까지 믿고 쓸 수 있냐가 문제였고, 몇 번 데이고 나서 결국 "그대로는 안 쓴다"로 정리했다. 왜 그렇게 정했는지, 그러면 뭘 어떻게 쓰고 있는지를 적어둔다.
📑 목차
- 1. "알아서 리서치해준다"가 실제로 뜻하는 것
- 2. 25분 만에 나온 보고서, 검수에 한 시간 넘게 썼다
- 3. 안 믿기로 한 이유 세 가지
- 4. 그래도 끄진 않았다, 쓰는 자리가 따로 있어서
- 5. 그래서 정한 규칙 네 개
- 6. 이 결정의 약점도 적어둔다
- 7. 정리
1. "알아서 리서치해준다"가 실제로 뜻하는 것
요즘 주요 AI 서비스에 다 붙어 있는 기능이다. 오픈AI는 2025년 2월에 딥리서치를 내놨고, 질문 하나에 보통 5분에서 30분을 들여 웹을 뒤진 뒤 보고서를 낸다고 설명한다. 구글도 제미나이에 같은 이름의 기능을 먼저 붙였고, 앤트로픽도 클로드에 리서치 기능을 얹었다.
여기서 '자율'이 뭘 말하는지가 핵심인데, 검색을 대신 눌러준다는 뜻이 아니다. 검색어를 뭘로 할지, 몇 번 더 파고들지, 언제 그만둘지를 AI가 정한다는 뜻이다. 앤트로픽이 공개한 구조 설명을 보면 리드 에이전트(총괄 역할 AI)가 질문을 여러 갈래로 쪼개서 서브에이전트(하위 작업 AI)들한테 나눠주고, 걔들이 각자 검색해온 걸 다시 합친다. 내부 평가에서 단일 에이전트보다 90.2% 나은 결과가 나왔다고 한다.
여기까지만 보면 안 쓸 이유가 없어 보인다. 근데 같은 글에 이런 문장도 있다. 이 방식은 일반 채팅 대비 토큰(AI가 글자를 세는 단위, 쓴 만큼 돈이 나가는 기준)을 약 15배쯤 쓴다고. 비싸게 굴러가는 물건이라는 얘기다. 비용 감각이 없으면 이런 게 조용히 새어나간다. 그 얘긴 클로드코드 비용 아끼는 법에 따로 정리해뒀다.
2. 25분 만에 나온 보고서, 검수에 한 시간 넘게 썼다
처음 제대로 돌려본 건 내가 반쯤 아는 주제였다. 반쯤 안다는 게 중요하다. 완전 모르는 주제로 돌리면 틀려도 못 알아채니까.
25분쯤 지나서 A4로 대여섯 장짜리 결과물이 나왔다. 각주가 40개 가까이 달려 있었고, 구성도 깔끔했다. 문제는 읽다가 "어, 이건 좀 다른데" 싶은 문장이 하나 걸린 거다. 하나 걸리면 나머지도 못 믿게 된다. 그래서 각주를 무작위로 열두 개 뽑아서 원문을 직접 열어봤다.
결과가 이랬다. 일곱 개는 원문 내용과 맞았다. 세 개는 원문이 아니라 누군가 그 원문을 요약한 글이었다. 링크는 멀쩡히 살아 있는데 거기 그런 문장이 없는 게 두 개.
▲ 각주 12개 검증 결과를 원문 일치 7건, 요약의 요약 3건, 해당 문장 없음 2건 세 갈래로 나눈 막대 그래프 (자체 제작 이미지)
12개 중 2개면 대단한 오류율은 아니라고 볼 수도 있다. 근데 나머지 28개를 안 열어봤다는 게 마음에 걸리더라. 생성 25분, 검수 한 시간 십몇 분. 시간을 아끼려고 켠 도구인데 계산이 안 맞았다.
이럴 거면 내가 검색하는 게 빠른 거 아닌가 싶었다.
▲ AI 생성 25분보다 내 검수 75분이 세 배 길었음을 보여주는 시간 배분 비교 카드 (자체 제작 이미지)
3. 안 믿기로 한 이유 세 가지
시간 문제만이면 도구가 좋아지면서 해결될 일이다. 근데 세 개는 성격이 좀 달랐다.
첫째, 각주가 붙어 있다고 출처가 확인된 게 아니다. 위에서 걸린 '요약의 요약' 세 건이 그 경우인데, 누군가 블로그에 옮겨 적은 숫자가 1차 자료인 것처럼 각주에 박힌다. 링크는 진짜고 페이지도 열린다. 그래서 더 안 걸러진다. 웹에서 자료를 긁어모으는 작업 자체는 예전에 클로드코드 크롤링 입문에서 다뤄봤는데, 그때도 "무엇을 어디서 가져올지 내가 정한다"가 제일 중요한 대목이었다. 자율 리서치는 그 결정을 통째로 가져간다.
둘째, 반대 근거가 잘 안 나온다. 질문을 만든 사람이 이미 방향을 갖고 있으면 AI가 만드는 검색어도 그 방향으로 쏠린다. "왜 A가 유리한가"로 물으면 A가 유리한 자료만 스물몇 건 모아온다. 반대편 자료가 세상에 없어서가 아니라 아무도 그걸 찾으러 안 갔기 때문이다. 이게 제일 무섭다. 결과물이 부실하면 알아채는데, 한쪽으로 잘 정리돼 있으면 못 알아챈다.
셋째, 톤이 늘 확신에 차 있다. 이건 내 인상이 아니라 만든 쪽도 인정하는 부분인데, 오픈AI는 딥리서치 공지에서 사실을 지어낼 수 있고, 권위 있는 정보와 소문을 구분하지 못할 수 있으며, 확신의 정도를 제대로 표현하는 데 약하다고 적어놨다. 만든 회사가 저렇게 써놨는데 결과물 문장은 "~로 확인된다" 투로 나온다. 읽는 사람 입장에선 어디가 단단하고 어디가 물렁한지 표시가 없는 셈이다.
세 개를 합치면 결론은 하나였다. 자율 리서치가 못 하는 건 검색이 아니라 판단이다. 뭘 믿을지, 어디서 멈출지, 반대편을 볼지 말지가 전부 판단이고, 그건 결과물 겉모습으로는 티가 안 난다.
4. 그래도 끄진 않았다, 쓰는 자리가 따로 있어서
안 믿기로 했다는 게 안 쓴다는 말은 아니다. 지금도 매주 쓴다. 대신 맡기는 일의 종류를 바꿨다.
넓게 훑는 일은 여전히 맡긴다. 모르는 분야에 처음 들어갈 때 용어 목록 뽑기, 관련 기관·자료 후보 스무 개 리스트업하기, 이 주제에 어떤 입장들이 있는지 지도 그리기. 이런 건 틀려도 손해가 적다. 후보 목록에 엉뚱한 게 끼어 있으면 내가 지우면 그만이니까.
좁혀서 결론 내는 일은 안 맡긴다. 숫자 하나 확정하기, 어느 쪽이 낫다고 판정하기, 글에 그대로 실릴 문장 쓰기. 이건 내가 한다.
기준을 한 줄로 줄이면 이렇다. 틀렸을 때 내가 알아챌 수 있는 일은 맡기고, 틀려도 모를 일은 안 맡긴다.
이 감각은 예전에 여러 모델을 나란히 놓고 채점해보다가 생겼다. 그때 얘기는 AI 모델 비교, 진짜 어려운 건 순위가 아니라 채점 기준이었다에 적어놨는데, 요지만 말하면 결과물을 보고 실력을 재는 게 생각보다 훨씬 어렵다는 거다. 리서치 결과물도 똑같다. 도구를 뭘 고르냐는 얘기는 노코드 AI 자동화 도구 3가지 쪽이고, 여긴 고른 다음 얘기다.
5. 그래서 정한 규칙 네 개
검수 한 시간을 이십 분으로 줄이려고 만든 규칙이다. 대단한 건 아니고, 네 줄이다.
하나. 질문을 결론형으로 안 던진다. "A와 B 중 뭐가 나은가" 대신 "A를 지지하는 근거와 반대하는 근거를 각각 다섯 개씩, 출처와 함께"로 바꾼다. 답을 물으면 답을 지어내고, 목록을 물으면 목록을 가져온다. 목록은 내가 셀 수 있다.
▲ 같은 주제를 결론형과 목록형으로 각각 지시한 프롬프트 두 줄을 비교한 터미널 카드 (자체 제작 이미지)
둘. 출처는 링크와 발행일까지 붙이게 하고, 못 붙이는 문장에는 미확인 표시를 강제한다. 이걸 안 하면 확실한 문장과 어림짐작이 같은 활자로 섞여 나온다. 지시문을 어떻게 짜야 이런 게 먹히는지는 클로드코드 프롬프트 6가지에 정리해뒀다.
셋. 각주를 무작위로 세 개 열어본다. 전수 검사는 못 한다. 대신 표본을 뽑고, 세 개 중 하나라도 어긋나면 그 보고서는 통째로 다시 돌린다. 두 시간짜리 검수를 십 분짜리 표본 검사로 바꾼 거고, 완벽하진 않지만 안 하는 것보단 낫다.
넷. 결론 문장은 내가 쓴다. AI가 쓴 요약을 복사해서 붙이지 않는다. 자료는 AI가 모아도 "그래서 어떻다"는 내 문장이어야 나중에 책임질 수 있고, 문체도 그래야 산다. AI가 쓴 티가 나는 문장을 잡아내는 검사기는 따로 만들어서 MIT로 공개해놨다.
리서치는 맡기고, 판단은 안 맡긴다. 네 줄을 한 줄로 줄이면 이거다.
6. 이 결정의 약점도 적어둔다
이렇게 써놓으니 뭔가 단단해 보이는데, 구멍이 있다.
내 표본이 작다. 각주 열두 개 열어본 게 전부고, 주제도 내가 아는 쪽으로 치우쳐 있었다. 다른 분야에서 돌리면 비율이 다르게 나올 수 있다. 통계라고 부를 물건은 아니다.
도구가 계속 바뀐다. 위에 인용한 공지들도 몇 달 사이에 기능이 붙고 빠졌고, 지금 안 되는 게 다음 달에 될 수도 있다. 그래서 "이 도구는 안 된다"가 아니라 "이 결과물은 이 정도로 검증하고 쓴다"로 규칙을 잡았다. 도구가 바뀌어도 규칙은 남으니까.
그리고 제일 아픈 반론. 검수에 시간을 그만큼 쓸 거면 절약이 되긴 하냐. 솔직히 주제에 따라 다르다. 내가 아예 모르는 분야에서 출발점 잡을 땐 확실히 이득이고, 내가 잘 아는 주제에선 내가 찾는 게 빠를 때도 있다. 후자에선 그냥 안 켠다.
자동화를 만들어놓고 잘 도는지 확인하는 문제는 리서치만의 얘기가 아니어서, 점검하는 자동화가 따로 필요했다에 따로 썼다. 비용을 아끼겠다고 로컬로 돌리는 선택지도 재봤는데 생각만큼 이득이 아니었고, 매일 정해진 시간에 자료를 받아보는 쪽은 아침 브리핑으로 따로 굴리는 중이다.
7. 정리
"AI가 알아서 리서치해준다"는 말에서 내가 걸리는 단어는 '리서치'가 아니라 '알아서'였다. 검색하고 읽고 정리하는 건 진짜 알아서 한다. 근데 뭘 믿을지 정하는 것까지 알아서 하게 두면, 그 판단이 어디서 어떻게 이뤄졌는지가 결과물에 안 남는다. 남아 있는 건 잘 정돈된 문장뿐이고.
그래서 지금은 이렇게 쓴다. 넓게 훑는 건 맡기고, 각주는 표본으로 열어보고, 결론은 내가 쓴다. 이게 최선인지는 모르겠다. 표본 세 개가 적절한 숫자인지도 아직 감이 없고, 열 번쯤 더 해봐야 알 것 같다.
3줄 요약 - 자율 리서치는 검색을 대신해주는 게 아니라, 뭘 믿을지 정하는 판단까지 가져간다 - 각주 12개 열어봤더니 3개는 요약의 요약, 2개는 그 문장이 없었다. 생성 25분에 검수 75분 - 넓게 훑는 건 맡기고 결론 문장은 내가 쓴다. 대신 각주 세 개는 무조건 열어본다
다음엔 표본을 세 개 말고 다섯 개로 늘려서 몇 번 돌려볼 생각이다. 늘려도 걸리는 게 그대로면, 그건 또 다른 얘기가 되겠지..
이 글은 정보 제공 목적이며, 작성 시점(2026년 8월) 기준 정보다. 여기 적은 기능·정책·과금 방식은 각 서비스에서 수시로 바뀌니 결제나 도입 전에 공식 페이지 원문을 한 번 확인하길 권한다. 본문의 각주 검증 수치는 내가 한 주제로 한 번 돌려본 개인 표본이라 일반화할 근거는 못 된다. 특정 제품 사용을 권유하거나 성능을 보장하지 않는다.
참고한 공식 자료 - 오픈AI 딥리서치 소개(소요 시간·한계 명시): Introducing deep research - 구글 제미나이 딥리서치: Google Gemini Deep Research - 앤트로픽 클로드 리서치 기능: Claude Research - 멀티에이전트 리서치 구조·토큰 사용량: How we built our multi-agent research system