AI 출처 확인, 링크가 열려도 그 문서에 내 문장이 없었다
AI 보고서 출처 검증을 링크 열리는지 확인하는 일로 생각했다. 링크는 전부 열렸는데, 열린 그 문서 안에 내 문장이 없더라.
장문 보고서를 AI한테 시켜서 뽑는 일을 몇 번 했다. 조사 단계를 여러 갈래로 쪼개 돌리고, 마지막에 하나로 합쳐 통합본을 만드는 식이다. 결과물은 빠르게 나온다. 문제는 그다음이었다. 다 나온 걸 읽고 있으면 어느 순간 "이 숫자 어디서 나왔지?" 하는 문장이 하나씩 걸린다. 그래서 참고문헌을 열어본다. 그리고 거기서 시간을 다 쓰게 된다.
📑 목차
- 1. 막판에 참고문헌을 하나씩 열어보고 있었다
- 2. 검사가 하나인 줄 알았는데 셋이었다
- 3. 그래서 기계한테 뭘 세게 했나
- 4. 제일 섬뜩했던 건 숫자가 아니라 사라진 유보였다
- 5. 못 붙인 출처는 지우지 않고 딱지를 붙여 남긴다
- 6. 이 검사가 못 하는 것
1. 막판에 참고문헌을 하나씩 열어보고 있었다
처음 몇 편은 그냥 눈으로 봤다. 본문에 (기관, 연도) 같은 게 붙어 있으면 일단 넘어가고, 끝에 붙은 목록이 그럴듯하면 됐다고 쳤다. 그러다 한 번 작정하고 목록을 위에서부터 열어봤는데, 두 종류가 섞여 나왔다. 링크가 아예 안 달린 인용이 있었고, 그보다 나쁜 건 어디에도 없는 자료가 서지 형식만 갖추고 앉아 있는 경우였다.
결국 그날 내가 한 일은 원문 확인이었다. 항목을 하나 열고, 그 기관 사이트에서 그 제목을 찾고, 없으면 표시하고, 다음 항목. 이걸 사람이 끝까지 하면 보고서 한 편 검수에 반나절이 그냥 간다. AI가 알아서 리서치해준다는 말을 왜 안 믿기로 했는지는 전에 따로 적었는데, 그때 결론이 "검수 비용까지 계산에 넣어라"였다. 근데 검수를 사람 손으로만 하면 그 비용이 절대 안 줄어든다.
그래서 규칙부터 하나 박았다. 링크 없는 인용은 인용이 아니라 미완성이다. 본문에 인용을 쓰는 순간 참고문헌도 같이 쓰고, 끝에 몰아서 만들지 않는다. 몰아서 만들 때가 제일 위험하더라. 본문은 이미 다 써놨는데 근거만 나중에 채우는 상황이면, 채우는 쪽은 "그럴듯한 걸 찾는" 일을 하게 된다.
2. 검사가 하나인 줄 알았는데 셋이었다
한동안은 링크 접속 확인만 붙여두고 안심했다. 목록의 주소를 실제로 열어보고 404면 잡아내는 검사다. 이게 잡는 건 분명히 있다. 없는 자료를 지어낸 경우는 대부분 여기서 걸린다.
문제는 여기를 통과하고도 남는 게 있다는 거다. 검색 결과 미리보기 몇 줄만 보고 서지를 만들면 링크는 멀쩡히 열린다. 진짜 있는 보고서고, 진짜 그 기관이 냈다. 그런데 본문이 그 보고서에서 끌어왔다고 주장하는 문장이 그 안에 없다. 링크는 살아있는데 인용은 가짜인 상태.
정리하고 보니 검사가 세 개로 갈라진다. 그 문장에 출처가 붙어 있기는 한가. 붙은 링크가 열리기는 하는가. 열린 그 문서가 이 문장을 실제로 받쳐주는가. 앞의 둘은 기계가 빠짐없이 셀 수 있다. 세 번째는 아직 사람이나 읽는 AI가 붙어야 한다. 링크 생존 검사를 통과했다는 건 세 검사 중 하나를 통과했다는 뜻이다.
남이 올린 글을 볼 때도 비슷한 구분이 필요한데, 그쪽 얘기는 SNS 투자 정보 편에서 한 번 했다. 여기서 하는 건 남의 글이 아니라 내가 시켜서 나온 내 보고서 안쪽 얘기다.
▲ 출처 검증을 세 단계로 나눈 비교 카드 (자체 제작 이미지)
3. 그래서 기계한테 뭘 세게 했나
세 번째 검사를 기계에 통째로 맡길 방법은 아직 못 찾았다. 대신 앞의 두 개는 사람이 셀 이유가 하나도 없다. 그래서 최종본과 그 앞 단계 원자료 묶음을 나란히 놓고 대조하는 검사기를 만들게 시켰다.
원리는 단순하다. 최종본에 나오는 숫자를 전부 뽑고, 앞 단계 자료 어디에도 없는 숫자를 골라낸다. 근거 없이 새로 생긴 숫자 후보다. 저자와 연도 짝도 같은 방식으로 본다. 최종본 참고문헌에는 있는데 앞 단계에는 없던 짝이 나오면, 통합하다가 출처가 새로 붙었다는 뜻이다. 정당하게 추가한 자료일 수도 있고, 엉뚱한 데다 갖다 붙인 것일 수도 있다. 그건 사람이 본다.
만들면서 알게 된 잔손질이 재밌었다. 그냥 숫자를 뽑으면 주소 안의 숫자가 딸려 들어온다. 천 단위 쉼표가 붙은 값은 같은 숫자인데 다른 걸로 잡힌다. 한 자리 숫자는 전부 노이즈라 두 자리부터만 세게 했고, 80을 찾을 때 1980 안쪽이 걸리지 않게 숫자 경계를 따로 걸었다. 이런 걸 빼먹으면 신고가 수백 건씩 쏟아지고, 그러면 아무도 안 본다. 검사기는 안 걸러도 죽고 너무 많이 걸려도 죽는다.
▲ 출처 정합 검사기의 세 갈래 신고 화면 (자체 제작 이미지)
4. 제일 섬뜩했던 건 숫자가 아니라 사라진 유보였다
새로 생긴 숫자는 사실 눈에 띈다. 없던 게 생기니까. 진짜 안 보이는 건 따로 있었다.
조사 단계 문서에는 이런 식으로 적혀 있다. 이 수치는 2차 보도를 거친 것이고 원문을 직접 못 봤다. 잠정치다. 추정이다. 그러다 여러 갈래를 하나로 합쳐 통합본을 쓰면, 같은 숫자가 맨몸으로 나온다. 앞에 붙어 있던 단서가 통째로 없어지고 그냥 사실처럼 놓인다. 숫자는 하나도 안 바뀌었으니 대조해도 안 걸린다. 바뀐 건 문장의 세기다.
그래서 이것도 세게 했다. 앞 단계에서 그 숫자가 나올 때마다 전부 유보 표시를 달고 있었는데 최종본에서는 한 번도 안 달렸다면, 신고한다. 실제로 한 번 돌렸을 때 이런 게 세 건 나왔고, 그게 이 검사를 아예 상시로 붙인 이유다. 세 건이 많은 수는 아니다. 근데 이런 건 한 건만 살아남아도 보고서 전체의 신뢰가 흔들리는 종류라서.
▲ 유보 표시가 사라지기 전과 후의 같은 문장 비교 (자체 제작 이미지)
5. 못 붙인 출처는 지우지 않고 딱지를 붙여 남긴다
여기서 한 번 고민했다. 출처를 못 붙인 문장은 지우는 게 깔끔하지 않나. 안 지우기로 했다.
지우면 구멍이 안 보인다. 보고서는 매끈해지는데, 그 자리에 원래 무슨 주장이 있었고 왜 근거를 못 찾았는지가 통째로 없어진다. 나중에 같은 주제를 다시 파는 사람은 그게 이미 확인해봤다가 실패한 자리인지, 아무도 안 본 자리인지 알 방법이 없다. 그래서 확인 못 한 항목은 본문 인용을 보류하거나, 확인 안 됨 딱지를 붙인 채로 남긴다. 딱지가 붙어 있으면 최소한 읽는 사람이 그 문장을 다르게 읽는다.
대신 완료 조건은 빡빡하게 잡았다. 통합 단계에서 참고문헌 중복을 정리한 다음, 전 항목 링크를 다시 확인하고, 링크 누락이 0건이어야 끝난 걸로 친다. 딱지를 허용하는 것과 빈칸을 허용하는 건 다른 얘기다. 딱지는 상태 표시고 빈칸은 그냥 방치다.
서지 형식 자체는 새로 만들 게 없어서 표준을 그대로 갖다 썼다. 학술 쪽에서 쓰는 APA 형식 (apastyle.apa.org) 을 기준으로 하고, 링크는 논문 고유번호인 DOI (doi.org) 가 있으면 그걸 1순위로, 없으면 기관 공식 PDF 직링크, 그다음이 기관 페이지 순서다. 이 순서가 중요한 이유는 위쪽일수록 나중에 안 깨지기 때문이다. 검색 결과 페이지 주소를 출처랍시고 적어두면 몇 달 뒤에 열었을 때 전혀 다른 게 나온다.
6. 이 검사가 못 하는 것
솔직히 이건 검증이 아니다. 검증할 자리를 좁혀주는 도구다.
기계가 뱉는 건 전부 후보다. 같은 값인데 단위 표기가 달라서 새 숫자로 잡히는 것, 연도인데 수치로 잡히는 것이 섞여 나온다. 그걸 걸러내고 "이건 진짜 근거 없는 숫자다"라고 판정하는 건 다음 단계에서 사람이나 다른 AI가 한다. 신고 자체도 항목당 50건에서 자르게 해뒀다. 그 이상 나오면 개별 항목을 볼 게 아니라 통합 작업 자체를 다시 봐야 하는 상황이라서.
더 큰 구멍은 이거다. 이 검사는 숫자와 저자·연도 짝을 센다. 숫자가 안 들어간 주장은 아예 안 걸린다. "이 정책은 효과가 제한적이었다" 같은 문장은 검사기 입장에서 존재하지 않는 문장이다. 그리고 앞에서 말한 세 번째 검사, 열린 문서가 이 문장을 정말 받치는지는 여전히 사람 몫으로 남아 있다. 만드는 쪽과 채점하는 쪽을 갈라놓는 얘기는 검증 게이트 편에 따로 적었는데, 거기서 갈라놓은 게 누가 채점하냐였다면 여기서 정한 건 무엇을 세느냐다. 둘은 다른 문제였다.
그래서 이 도구도 점수를 안 만든다. 신뢰도 몇 퍼센트 같은 걸 뱉게 하면 그 숫자가 혼자 돌아다닌다. AI 티 잡는 검사기 만들 때도 같은 이유로 퍼센트를 안 만들었는데, 이번에도 똑같은 자리에서 같은 결론이 나오네. 출력은 "여기 봐라" 목록까지다.
공공 데이터로 질문 하나를 직접 확인해본 적도 있고, 통계에 안 잡히는 걸 공시에서 찾아본 적도 있는데, 그때 제일 오래 걸린 게 숫자 찾기가 아니라 이 숫자가 저 문장을 받치는지 확인하는 일이었다. 그 부분이 아직 안 줄었다. 언젠가 줄일 수 있을지는 모르겠고.
3줄 요약
- 링크 접속 확인은 출처 검증의 전부가 아니라 셋 중 하나다. 링크가 살아있어도 그 문서 안에 내 문장이 없을 수 있다.
- 기계한테 시킨 건 판정이 아니라 계수다. 앞 단계에 없던 숫자, 유보 표시가 사라진 숫자, 새로 붙은 저자·연도 짝을 세서 신고까지만 한다.
- 근거를 못 찾은 문장은 지우지 말고 딱지를 붙여 남긴다. 지우면 매끈해지는 대신, 거기가 확인 실패한 자리라는 사실까지 같이 없어진다.
이 글은 정보 제공이 목적이고, 작성 시점 기준이다. 요금·기능·정책은 이후 바뀔 수 있으니 결제·설치 전 공식 페이지를 한 번 확인하는 게 좋다. 특정 제품 사용을 권유하거나 결과를 보장하지 않는다.
참고한 공식 자료
- 인용·참고문헌 표준 형식: APA Style 공식 사이트
- 논문 고유식별자(DOI) 개요: doi.org
댓글
댓글 쓰기