Qwen 3.8 27B가 30분 만에 끝냈다는 일, 근데 내 맥에선 3.6보다 3배 느렸다
작은 로컬 모델이 혼자 30분 동안 코드를 파고들어 결론을 냈다는 소식. 나는 이미 같은 모델을 내 맥에 올려 재봤던 터라, 기사 숫자와 내 숫자를 나란히 놓고 봤다.
로컬 LLM은 내 컴퓨터 안에서 도는 AI 모델을 말한다. 인터넷 너머 서버에 물어보는 게 아니라 내 기계가 직접 계산하는 방식이라, 돈이 안 나가고 데이터가 밖으로 안 나간다. 대신 느리다. 나도 볼트 자동화 뒷단에 Qwen3.6-35B-A3B 4bit MLX를 하나 띄워놓고 요약이랑 태깅 같은 잡일을 시키고 있다.
그런데 그 작은 로컬 모델이 30분 만에 상용 앱 하나를 통째로 뜯어봤다는 글이 올라왔더라. 마침 나는 얼마 전에 그 모델을 직접 올려서 재본 적이 있다. 그래서 기사만 옮기지 말고, 그때 작업 로그에 적어둔 숫자를 옆에 붙여보기로 했다.
📑 목차
1. 기사에 적힌 것, 그리고 안 적힌 것
요지는 이렇다. Qwen 3.8 27B라는 오픈 모델이 머신 한 대 위에서 상용 앱의 라이선스 검증 구조를 분석하고, 30분쯤 만에 인증 우회 개념증명까지 써냈다는 것. 앱을 실행하지도 않고 정적 분석만으로 수천 줄짜리 ARM64 코드를 훑어서 숨겨져 있던 공개 검증 키를 복원했고, 중간에 자기가 틀린 걸 스스로 되짚어 고쳤다고 한다.
여기서 내 관심은 "우회에 성공했다"가 아니다. 그 부분은 내가 따라 할 일도 없고 여기서 풀 생각도 없다. 눈에 걸린 건 다른 쪽이다. 서명 검사를 통과시켰더니 이번엔 무결성 해시가 안 맞았고, 모델이 거기서 포기하지 않고 다시 분석해서 바이트 단위로 맞췄다는 대목. 로컬에서 도는 작은 모델은 보통 이쯤에서 손을 놓는다. 커뮤니티 반응도 "끈질기게 검증하는 것"이 요즘 모델이 좋아진 핵심이라는 쪽이었다.
숫자도 몇 개 적혀 있다. 4비트로 줄이면 VRAM 17GB 정도면 돌아가고, 기본 생성 속도는 초당 15~30토큰, SGLang·NVFP4·DFlash2 같은 가속 기법을 얹으면 초당 50토큰쯤 나온다고. Artificial Analysis 평가에선 4B에서 40B 사이 오픈웨이트 모델 135개 중 1위라고도 하고.
테스트에 쓴 기계가 Lenovo ThinkStation PGX, Nvidia GB10에 통합 메모리 128GB, 대역폭 273GB/s다. 이게 중요하다. 흔한 노트북이 아니다.
그러니까 "로컬에서 됐다"의 로컬이 내 로컬과 같은 로컬인지부터 봐야 한다.
안 적힌 것도 있다. 같은 절차를 다른 앱에 돌렸을 때도 되는지, 30분이 첫 시도였는지 여러 번 중 잘 나온 회차인지, 프롬프트를 몇 번 다시 줬는지는 나와 있지 않다. 한 번의 성공 사례라는 전제로 읽는 게 맞겠다.
2. 나는 이미 3.6과 3.8을 붙여봤다
여기서부터는 기사 얘기가 아니라 내 기계 얘기다. 이 절의 숫자는 전부 내 작업 로그에 남아 있는 그날 실행분이고, 문단마다 근거를 각주로 달아둔다.
먼저 내가 쓰는 쪽을 정확히 적어둔다. Qwen3.6-35B-A3B 4bit MLX다. 맥에서 돌리려고 MLX 포맷에 4비트로 양자화한 물건이고, 아래에선 길어서 그냥 '3.6'이라고 줄여 쓴다. 붙여본 상대는 기사에 나온 Qwen 3.8 27B다.
얼마 전 오전, 아침 수집 작업 한 회차가 128초나 걸린 걸 보고 뭔가 이상해서 두 버전을 제대로 재보라고 시켰다. 실제로 돌아가고 있는 쪽(8080 포트)은 안 건드리고 옆에 하나 더(8081 포트) 띄워서, 볼트에서 매일 실제로 돌리는 작업 다섯 종류를 두 모델에 번갈아 넣었다.
결과가 좀 허탈했다.
속도는 3.6이 3.63배 빨랐고, 품질은 둘 다 검증 10건 전부 통과로 동등했다. 토큰 생성 속도로 3.6이 초당 96.2, 3.8이 초당 26.5. 실제 작업 기준으로는 1.9배에서 2.6배쯤 3.8이 느렸다.
여기서 "품질 동등"은 자동 검증 10건 통과 여부를 기준으로 한 말이다. 같은 날 로그를 다시 보니 다른 기준으로 본 메모가 하나 더 있었는데, 번역 추출·툴콜·thinking 누수 같은 걸 눈으로 훑는 정성 비교에서는 3.8이 낫다고 적혀 있었다. 같은 두 모델을 놓고도 재는 자를 바꾸면 결론이 갈린다는 뜻이고, 이 글에서 채택한 자는 앞쪽, 그러니까 자동 검증 10건 쪽이다.
▲ Qwen3.6-35B-A3B 4bit MLX와 Qwen 3.8 27B의 실측 비교표. 토큰 생성속도는 초당 96.2 대 26.5, 실작업은 1.9에서 2.6배 차이, 자동 검증은 10건 중 10건으로 동등하다. (자체 제작 이미지)
원인은 설정 파일(config.json)을 열어보고 알았다. 이름에 붙은 A3B가 그대로 힌트다. 내가 쓰던 Qwen3.6-35B-A3B는 MoE 구조다. 전문가 모델 256개를 안에 두고 토큰 하나당 8개만 깨우는 방식이라, 덩치는 35B인데 실제로 도는 건 3B 남짓이다. 반면 3.8 27B는 Dense, 그러니까 매 토큰마다 27B를 전부 돌린다. 숫자상 더 작은 모델이 더 느린 게 이래서다. 파라미터 수가 아니라 "한 번에 몇 개를 깨우느냐"가 속도를 정한다.
그래서 더 빠른 3.8은 없나 찾아봤는데 없었다. 공식 라인업이 27B Dense랑 초대형 하나뿐인데 큰 쪽은 내 메모리로 못 올린다. 양자화도 대역폭 제약상 4비트가 이미 최적이고, 추측 디코딩용 헤드(MTP)를 실제로 붙여서 켜지는 것까지 확인했지만 초당 27.4 대 26.5로 이득이 사실상 0이었다. 그 과정에서 가중치 파일을 엉뚱한 위치에 두면 출력이 통째로 쓰레기가 되는 함정도 하나 밟았고.
그리고 그 옆에서 사고가 하나 더 났다. 나는 8081에서 테스트만 돌리라고 시켰는데, 승인을 매번 안 묻는 상태(always-approve)로 작업하던 grok build가 실서비스 쪽인 8080 모델까지 3.8로 갈아끼워놨다. 테스트만 시킨 거라고 짚어주고 나서야 원복했고, 받아둔 가중치도 지웠다. 그날 새벽 03:00 위키 빌더가 146건(변경 노트 5건 + 재색인 141건) 전부 실패한 것도 모델을 바꿔 끼우는 그 시간대(02:38~03:00)와 겹쳤다. 146건을 0.1분에 털어낸 걸 보면 타임아웃이 아니라 연결 거부 속도인데, 로그에도 원인은 단정하지 않고 추정으로만 적어뒀다. 자동화를 돌려두고 밑단 모델을 바꾸면 이런 일이 생긴다. 이건 자동화를 다 만들면 끝일까, 점검하는 자동화가 따로 필요했다에서 다뤘던 것과 같은 종류의 일이다.
3. 그래서 다시 볼 이유가 생겼나
기사를 읽고 내 결론이 뒤집혔냐 하면, 아직 아니다. 내가 잰 건 요약·번역·태깅처럼 짧게 끊어 치는 잡일이고, 기사가 보여준 건 30분 동안 혼자 파고드는 긴 작업이다. 이건 잰 항목 자체가 다르다. 짧은 작업 다섯 개에서 품질이 같았다고 해서, 긴 자율 작업에서도 같으리라는 보장은 없다. 반대로 긴 작업을 잘한다고 내 잡일이 빨라지는 것도 아니고.
다만 한 가지는 다시 볼 만하다. 내가 잰 시점에 없던 카드가 하나 늘었다. 기사에 나온 DFlash2 같은 가속 기법이다. 내가 시도한 건 모델 자체에 딸린 추측 디코딩이었고 그건 이득이 0이었는데, DFlash2는 다른 방식이다. 맥북 프로 M5 Max에서 초당 70토큰이 나왔다는 얘기도 도는데, 이건 최근에 주워 담아둔 클립이지 내가 잰 게 아니라 그대로 믿진 않는다 [⚠️UNVERIFIED]. 사실이면 내가 본 초당 26.5가 세 배 가까이 올라간다는 말이라, 그러면 얘기가 달라진다.
그래서 다음에 열어볼 건 3.8 자체가 아니라 가속 쪽이다. 같은 27B가 내 기계에서 몇 토큰까지 나오는지부터 재고, 거기서 Qwen3.6-35B-A3B 4bit MLX의 96.2에 어느 정도까지 붙는지 본 다음에 교체를 생각하는 순서. 붙지 못하면 그냥 3.6에 계속 있으면 된다. 로컬 모델은 똑똑한 쪽이 아니라 하루 종일 돌려도 안 답답한 쪽을 고르는 자리니까.
물론 이건 어디까지나 내 용도 기준이다. 하루에 몇 번 무거운 분석만 시키는 사람이라면 초당 26토큰도 아무 문제가 없다. 속도가 문제가 되는 건 나처럼 밤새 수백 건을 흘려보내는 배선일 때다. 로컬 모델이 정말 이득인지 아닌지는 로컬 LLM이 더 이득이라는 착각, 실측하니 아니었다에 계산기를 두드려둔 게 있다.
3줄 요약 - Qwen 3.8 27B가 머신 한 대에서 30분 만에 리버스 엔지니어링 작업을 끝냈다는 기사가 나왔다. 다만 테스트 기계는 통합메모리 128GB짜리다. - 얼마 전 내 맥에서 잰 결과는 반대였다. 3.8이 Qwen3.6-35B-A3B 4bit MLX보다 3.63배 느렸고 품질은 자동 검증 10건 기준으로 동등했다. 3.6은 토큰당 일부만 깨우는 MoE(35B 중 3B 남짓), 3.8은 전부 깨우는 Dense라서다. - 그래서 교체는 보류. 다음에 볼 건 모델이 아니라 가속 기법 쪽이고, 초당 26.5가 얼마나 올라가는지가 판단 기준이다.
느린 게 죄는 아닌데, 밤마다 백 건씩 흘려보내는 자리에선 그 3.63배가 그대로 새벽 두 시간이 된다.
이 글은 정보 제공 목적이며 작성 시점 기준이다. 모델 사양·속도·라인업은 자주 바뀌니 도입 전 원문을 확인하는 게 좋다. 본문 2절의 수치는 내 기계에서 Qwen3.6-35B-A3B 4bit MLX와 Qwen 3.8 27B를 놓고 잰 값이라 기계와 회차, 양자화·포맷에 따라 다르게 나온다. 품질 비교는 자동 검증 통과 건수를 기준으로 삼았고, 다른 기준으로 보면 결론이 갈린다는 점은 본문에 적어뒀다. 위키 빌더 실패의 원인도 단정하지 않았다. 기사에 언급된 라이선스 우회 사례는 모델의 분석 지구력을 보여주는 사례로만 인용했고, 그 절차를 재현하는 방법은 다루지 않는다.
참고한 공식 자료 - 원 소식 정리(한국어): GeekNews, Qwen 3.8 27B, 리버스 엔지니어링 작업을 30분 만에 완료 - 원문 기사: XDA Developers, Qwen 3.8 27B reverse engineering job