클로드코드 크롤링 입문 — 흩어진 웹 자료를 코딩 없이 긁어모아 봤다

표로 예쁘게 정리하는 건 나중 일이고, 그 전에 "여기저기 흩어진 웹 자료를 일단 긁어모으는" 그 앞부분. 클로드코드 크롤링을 코딩 한 줄 없이 어디까지 되나 직접 해봤다.

자료 조사할 때 제일 지치는 게 뭔지 생각해봤다. 분석도 아니고 정리도 아니고, 그냥 사이트 열 몇 개를 하나하나 돌면서 복사·붙여넣기 하는 그 노가다더라. 클로드코드 크롤링은 딱 이 노가다를 대신 시키는 거다. 개발자들이 파이썬으로 짜던 '웹 긁는 코드'를, 나 같은 비개발자는 한국어로 시켜서 얻는다는 얘기.

미리 선 하나 그어둔다. 이 글은 긁어온 걸 취합하고 검산해서 표·보고서로 만드는 뒷단은 안 다룬다. 그건 이미 엑셀 자동화 후기에서 정찰→취합→검산→보고서 흐름으로 풀어놨으니 거기로 넘긴다. 여기선 오직 '입력' 쪽, 웹에서 자료를 끌어오는 부분만 판다.

설치·로그인부터 처음이면 이 글 말고 클로드코드 사용법을 먼저 보고 오는 게 낫다.

▲ 흩어진 여러 웹 페이지가 클로드코드 수집을 거쳐 상품명·정가·할인가로 줄 세운 표로 정리되는 히어로 이미지 (자체 제작 이미지)

1. 크롤링을 왜 굳이 클로드코드로 하나

먼저 단어부터. 크롤링(crawling)은 프로그램이 웹페이지를 자동으로 돌아다니면서 그 안의 내용을 긁어오는 걸 말한다. '스크래핑(scraping)'이라고도 하는데, 둘을 칼같이 구분하는 사람도 있지만 우리 입장에선 그냥 "손으로 복붙할 걸 대신 시킨다" 정도로 봐도 된다.

그럼 이걸 왜 클로드코드로 하냐. 원래 크롤링은 개발자 영역이었다. 파이썬에 requests니 BeautifulSoup이니 하는 도구를 깔고 코드를 짜야 했으니까. 근데 클로드코드는 웹 주소를 던지면 그 페이지를 직접 열어서 내용을 읽어오는 기능이 안에 들어있다. 그러니 나는 코드를 안 짜고, "이 페이지 열어서 제목이랑 가격만 뽑아줘"라고 한국어로 부탁하면 그만이다.

정직하게 짚자면 클로드코드가 전문 크롤링 도구는 아니다. 수만 페이지를 초고속으로 훑는 대규모 수집은 전용 프로그램이 낫다. 클로드코드가 빛나는 자리는 규모보다 '애매함'이 있는 일이다. 페이지마다 구조가 조금씩 다르고, 뭘 뽑을지 사람이 봐야 판단이 되는 그런 자료들. 그런 건 코드로 규칙을 딱 정해두기가 까다로운데, 클로드는 내용을 읽고 알아서 판단하니까 오히려 편하더라.

어디에 쓰냐면 대충 이런 자리다. 경쟁사 제품 페이지 열몇 개에서 스펙·가격만 모으기, 관심 분야 뉴스나 블로그 글의 제목·링크·요약 모으기, 공공데이터 페이지에서 표 값 걷어오기 같은 거. 노코드 도구랑 클로드코드 중 뭘 고를지 감이 안 잡히면 AI 자동화 도구 3가지 비교를 참고하면 되고.

2. 긁기 전에 딱 두 개만 정한다: 뭘·어디서

크롤링에서 초보가 제일 많이 하는 실수가 "일단 긁어줘"라고 던지는 거다. 이러면 클로드가 뭘 어디까지 가져와야 할지 몰라서 엉뚱한 걸 잔뜩 퍼오거나, 되묻느라 시간을 잡아먹는다. 이건 크롤링만의 문제도 아니라서 지시문 구체화 6가지에서 이미 다뤘는데, 수집에선 특히 두 가지를 못 박고 시작해야 한다.

하나, 뭘 뽑을지. 페이지 통째로가 아니라 필요한 항목만 콕 집는다. "상품명, 정가, 할인가, 리뷰 개수 이 네 개만" 이런 식으로. 안 그러면 광고·메뉴·푸터까지 다 딸려와서 나중에 골라내는 게 더 일이 된다.

둘, 어디서 뽑을지. 시작 주소를 정확히 준다. 그냥 "쿠팡에서"가 아니라 "이 검색 결과 페이지에서" 하고 URL을 통째로 붙여넣는 거다. 목록 페이지인지 상세 페이지인지도 알려주면 좋다.

이 둘을 정하고 나서 나는 항상 한 줄 더 붙인다. "바로 긁지 말고, 어떤 항목을 어디서 어떻게 가져올지 계획부터 보여줘." 클로드코드엔 실행 전에 계획만 세우게 하는 플랜 모드가 있는데, 이건 프롬프트 편에서 따로 다뤘다. 이걸 쓰면 엉뚱한 걸 왕창 퍼오기 전에 방향을 잡을 수 있다. 큰 페이지를 무작정 읽히면 그만큼 비용도 붙으니(자세한 절약법은 비용 아끼는 5가지 습관에), 계획을 먼저 보는 습관이 돈도 아껴준다.

"일단 다 긁고 나중에 거른다"가 제일 비싸게 먹힌다. 앞에서 좁혀라.

3. 첫 크롤링 — 페이지 하나부터 긁어보기

여러 페이지 순회는 나중이고, 처음엔 무조건 페이지 딱 하나로 감을 잡는 게 맞다. 나는 이렇게 시켰다.

이 주소 열어서 상품명이랑 가격만 뽑아줘. 다른 건 필요 없어.
https://example.com/products/123

그럼 클로드가 그 페이지를 읽고 "상품명은 이거, 가격은 이거"라고 정리해준다. 여기서 원하던 값이 제대로 나오면 절반은 끝난 거다. 만약 엉뚱한 걸 가져왔으면 "가격은 할인가 말고 정가로", "리뷰 개수도 같이" 이런 식으로 그 자리에서 고쳐 말하면 된다.

페이지 하나가 잘 되면 저장 형식을 미리 정해둔다. "결과를 표로 만들 거니까, 항목 이름을 상품명·정가·할인가로 통일해서 정리해줘" 정도. 이렇게 첫 페이지에서 뽑을 항목과 이름을 확정해두면, 뒤에서 페이지 수를 늘릴 때 결과가 들쭉날쭉해지는 걸 막는다.

주의할 게 하나 있다. 요즘 사이트는 화면에 보이는 내용을 자바스크립트라는 걸로 나중에 그려 넣는 경우가 많은데, 이런 페이지는 클로드가 열어도 정작 알맹이가 안 보일 때가 있다. 분명 브라우저엔 가격이 떠 있는데 긁으면 빈칸으로 오는 식. 이건 클로드 잘못이 아니라 페이지 구조 문제다. 이럴 땐 그 사이트가 따로 제공하는 데이터 주소가 있는지 물어보거나, 안 되면 그 사이트는 손으로 하는 게 빠르다. 억지로 붙잡지 마라.

▲ 터미널에서 URL 하나를 주고 한국어로 상품명과 가격만 뽑아달라고 시키자 값이 정리되어 나온 예시 화면 (자체 제작 이미지)

4. 여러 페이지 순회 — 목록에서 상세로, 다음 장으로

페이지 하나가 손에 익으면 이제 양을 늘린다. 크롤링에서 '순회'라고 부르는 부분인데, 실제로 겪는 패턴은 크게 두 가지더라.

첫째는 목록에서 상세로 들어가는 흐름이다. 쇼핑몰 검색 결과 같은 목록 페이지엔 제목이랑 링크만 있고, 상세 스펙은 각 상품을 클릭해서 들어가야 나오잖아. 이걸 이렇게 시킨다.

이 목록 페이지에서 상품 링크를 다 뽑고,
각 링크로 들어가서 상품명·정가·할인가를 가져와줘. 위에서 정한 형식 그대로.

둘째는 다음 페이지로 넘기는 흐름이다. 목록이 1페이지, 2페이지… 이렇게 나뉘어 있을 때. "1페이지부터 5페이지까지 같은 방식으로 반복해줘"라고 범위를 딱 정해주면 된다. 여기서 범위를 안 정해주면 클로드가 끝없이 돌거나, 몇 페이지까지 가야 할지 몰라 헤맨다. 처음엔 2~3페이지 정도로 짧게 잡아서 결과가 멀쩡한지 확인하고, 괜찮으면 그때 늘려라. 이게 시간도 비용도 아끼는 길이다.

한 가지 더. 페이지를 넘기다 보면 중간에 구조가 다른 페이지가 끼어 있거나(광고 페이지 같은 거), 어떤 항목이 비어 있는 상품이 나온다. 이럴 때 "값이 없으면 그냥 빈칸으로 두고 넘어가, 멈추지 말고"라고 미리 일러두면 중간에 뻗지 않고 끝까지 돈다. 나는 이 한 줄을 안 넣었다가 30번째 상품에서 멈춘 걸 한참 뒤에 안 적이 있다.. 그 뒤론 무조건 넣는다.

이렇게 모으고 나면 손엔 항목별로 줄 세운 데이터가 쥐어진다. 딱 여기까지가 이 글의 담당이다.

5. 지켜야 할 선 — robots.txt·요청 간격·로그인 벽

크롤링은 남의 서버에 부탁해서 자료를 받아오는 일이다. 그래서 기술보다 '선'이 더 중요할 때가 있다. 이걸 모르고 마구 긁으면 상대 사이트에 민폐가 되거나, 심하면 차단당하고, 경우에 따라 문제가 될 수도 있다. 세 가지만 기억하면 된다.

하나, robots.txt. 웹사이트 대부분은 주소 뒤에 /robots.txt를 붙이면 나오는 안내문을 갖고 있다. "여긴 긁어도 되고 여긴 하지 마라"를 사이트 주인이 적어둔 문서다. 클로드에게 "긁기 전에 이 사이트 robots.txt부터 확인해서 막힌 곳인지 봐줘"라고 시킬 수 있다. 막아둔 곳이면 안 긁는 게 맞다.

둘, 요청 간격. 짧은 시간에 수백 번씩 두들기면 상대 서버 입장에선 공격이랑 구분이 안 된다. "페이지마다 몇 초씩 쉬면서 천천히 가져와"라고 속도를 늦추라고 일러두는 게 예의고, 차단도 피한다. 애초에 대량으로 빠르게 긁을 거면 클로드코드 말고 전용 도구를 쓰는 게 맞다는 얘기이기도 하다.

셋, 로그인 벽. 로그인해야 보이는 페이지, 유료 회원만 보는 자료, 개인정보가 담긴 페이지는 기술적으로 되네 안 되네를 따지기 전에 손대지 않는 게 안전하다. 사이트 이용약관에서 아예 금지하는 경우도 많고. 공개된 자료를 상식선에서 모으는 정도로 쓰는 게 뒤탈이 없다.

"할 수 있다"랑 "해도 된다"는 다른 얘기다. 크롤링은 특히 그렇다.

6. 여기서 표로 넘긴다 + 잘 막히는 지점

자, 자료를 다 긁어모았다. 여기서부터 취합하고, 빠지거나 중복된 걸 검산하고, 보기 좋은 표나 주간 보고서로 바꾸는 일은 이 글 담당이 아니다. 그 뒷단은 엑셀 자동화 후기의 정찰→취합→검산→보고서 흐름을 그대로 따라가면 되고, 긁은 데이터를 문서 하나로 뽑는 감을 잡고 싶으면 카드내역→경비 보고서 사례가 입력만 다를 뿐 흐름이 똑같다. 수집한 걸 넘겨주고 "이걸 표로 정리해줘"부터 이어가면 된다.

크롤링 단계에서 내가 실제로 자주 걸린 데를 모아둔다.

값이 뒤죽박죽 온다 → 첫 페이지에서 항목 이름을 확정 안 하고 페이지 수부터 늘린 경우다. 3번으로 돌아가 형식부터 못 박아라.
빈칸에서 멈춘다 → "값 없으면 빈칸 두고 계속"을 안 넣은 거다. 4번의 그 한 줄을 넣으면 된다.
분명 보이는데 안 긁힌다 → 자바스크립트로 그리는 페이지라 알맹이가 비어 온다. 억지로 붙잡지 말고 그 사이트는 손으로.
갑자기 안 되고 차단된 느낌 → 너무 빨리 많이 두들긴 거다. 요청 간격을 늘리고 범위를 줄여라.
비용이 확 튄다 → 큰 페이지를 통째로 여러 장 읽히면 그만큼 붙는다. 뽑을 항목을 좁히고 범위를 짧게. 자세한 건 비용 아끼는 습관 참고.

7. 정리 — 크롤링, 누가 이렇게 쓰면 좋나

클로드코드 크롤링은 만능이 아니다. 대규모 고속 수집도 아니고, 자바스크립트로 꽁꽁 싸맨 사이트나 로그인 벽 앞에선 얌전히 물러나야 한다. 그래서 "웹의 모든 걸 다 긁는다"는 기대로 오면 실망한다. 이건 솔직한 한계다.

그래도 이 도구가 값을 하는 자리는 분명하다. 규모는 작지만 페이지마다 손이 가고, 뭘 뽑을지 사람 판단이 필요한 '애매한 수집'. 경쟁사 몇 곳 스펙 걷어오기, 관심 분야 글 제목·링크 모으기, 공개된 표 값 긁기 같은 거. 코드로 규칙 짜기는 귀찮고 손으로 하기엔 지겨운 딱 그 중간을, 한국어 몇 줄로 넘길 수 있다. 정기적으로 돌려야 하는 수집이라면 나중에 n8n 같은 자동화 도구랑 엮는 것도 방법이고.

3줄 요약 - 크롤링 = 손으로 복붙할 걸 클로드한테 한국어로 시키는 것. 뭘·어디서 두 개만 먼저 못 박아라. - 페이지 하나로 형식 확정 → 2~3장으로 순회 테스트 → 범위 늘리기. robots.txt·요청 간격·로그인 벽은 지켜라. - 긁은 다음 표·보고서 만들기는 엑셀 자동화 편으로. 이 글은 '수집'까지만 담당.

잘 알지도 못하면서 주절거린 것 같지만, 자료 조사에 복붙만 반복하고 있다면 페이지 하나부터 딱 시켜봐라. 감 잡는 데 10분도 안 걸린다. 화이팅!

이 글은 정보 제공이 목적이고, 작성 시점(2026년 7월) 기준이다. 클로드코드의 기능·요금, 각 사이트의 크롤링 정책·이용약관은 언제든 바뀔 수 있으니 실제로 쓰기 전에 원문을 한 번 확인하는 게 좋다. 크롤링은 대상 사이트의 robots.txt와 이용약관을 지키는 선에서 공개 자료에 한해 상식적으로만 쓰길 권한다. 특정 제품·행위를 권유하거나 결과를 보장하지 않는다.

참고한 공식 자료 - 클로드코드 개요·기본 사용: code.claude.com/docs - 웹페이지 읽기·설정: code.claude.com/docs/setup - robots.txt란 무엇인가(구글 검색 문서): Google — robots.txt 소개