로컬 LLM 탐색 기록 3

Gemma 4 26B-A4B를 내 컴퓨터에서 활용 가능하다는 것을 확인한 이후, 속도를 빠르게 할 수 있는 방법들이 몇 가지 발표되어 검토해 보았다. 아직 다양한 상황에서 모델을 사용해본 것이 아니기 때문에 크게 의미가 없을 수도 있지만, 코딩이나 복잡한 프로젝트용 작업이 아니라 메세지 생성 및 간단한 스킬 워크플로우 실행에서는 QAT가 나쁘지 않은 것 같다는 것이 현재 판단이다. 물론 앞으로 더 많은 작업을 하다보면 지금과 다른 결과가 나올 수도 있다.

속도 향상 기법

QAT (Quantization-Aware Training)

LLM이 다음 토큰을 예측하기 위해 사용하는 가중치의 자릿수(비트와 연관)를 짧게 만들어 LLM이 차지하는 메모리 양을 줄이고 속도를 높이는 방식인 양자화(Quantization)의 품질 열화 단점을 보완하기 위해, 모델 훈련할 때부터 미리 양자화 환경을 만들어서 준비하는 방식이라고 한다.

클로드한테 알못도 끄덕일 수 있게 설명해달라고 했더니 이런 비유를 들어 주었다.

기존 양자화: 악보를 피아노용으로 작곡한 뒤, 완성된 악보를 우쿨렐레 4줄에 억지로 편곡 → 원곡의 뉘앙스가 많이 사라짐 QAT: 처음부터 “이건 우쿨렐레로 연주될 곡이야”라고 알려주고 작곡 연습 → 4줄로도 곡의 핵심을 살리는 방법을 작곡가가 어느 정도는 체득 (그래도 한계는 있다)

MTP (Multi-Token Prediction)

다음 토큰을 하나가 아니고 ‘여러 개 동시에’ 예측해서 적합한 토큰을 선택하는 기법으로, 예측을 위한 작은 모델이 함께 붙어야 한다. 동시에 예측하는 토큰 수가 무한히 많을 수는 없고 적당한 개수가 있다. 그래도 기본 원리가 달라지는 것은 아니다 보니 품질 유지가 비교적 잘 된다.

마찬가지로 클로드가 설명해준 비유는 아래와 같다.

견습생이 미리 여러 마디 초안 써놓고 작곡가가 검증 → 작곡 방식은 같은데 처리 속도가 빨라짐

과연, 내 작업에는 어떤 기법이 효과적일까?

테스트 작업

1) OpenClaw 스킬형 작업

지난 글에서 소개했던 저녁 리뷰 및 달력 편집 작업이다.

저녁 리뷰: 하루 동안 작성한 데일리 노트의 할 일 목록/일기/생활 루틴 체크 등을 바탕으로 AI 비서가 오늘 하루 리뷰를 작성해 디스코드에 전송
달력 편집: 디스코드로 내 일정 전용 달력 항목 조회/수정/삭제 요청 시 실행

2) 텍스트 생성형

정확한 tool-call/orchestration 보다는 다국어 환경에서 고품질 텍스트 생산 가능하다는 점이 Gemma 시리즈의 장점이므로, 이것을 활용해서 텍스트 롤플레잉에 활용해 보기로 했다.

TRPG 설정 생성: 주어진 장르와 시대 배경(중세 수도원 추리 미스테리)을 사용해서 롤플레잉 배경, 주인공 후보 5명, 3번 후보 시작 시나리오 작성 (글자 수 제한, 주인공 후보 다양성 보장 필요)
TRPG 장면 생성: 주어진 장르(동양풍 무협/빅토리아 런던 추리/현대 한국 대학 로맨스)와 장면 플롯(상황, 주인공 선택과 성공/실패 여부, NPC 반응, 분위기)을 사용해서 장면 묘사 작성

결과

동일한 provider (unsloth)의 gguf 모델을 llama.cpp 에서 사용하였다. QAT의 경우 해당 작업 품질은 유지되면서 속도가 눈에 띄게 빨라진 것에 반해, MTP의 경우 QAT 대비 약간의 품질 상승이 있기도 했지만 속도가 기존과 다르지 않거나 더 느려졌다. 코딩 쪽 실사용 후기에서는 QAT 적용 모델이 기존 양자화 모델 대비 단점이 많다고도 하는데, 내가 쓰려는 작업이 상대적으로 짧고 간단해서인지 그렇게까지 큰 문제는 없었다.

Gemma 4 26B-A4B	기존 (5bit 양자화)	QAT (4bit)	QAT 4bit-MTP
1-1 저녁 리뷰	4 case, avg `11.1484s`	avg `8.7695s`	avg `9.0313s`
1-2 달력 편집	7 case, avg `8.4050s`	avg `6.8596s`	avg `6.8297s`
2-1 TRPG 설정 생성	3 case, 만족도 `31/36`, `118.7787s`	`31/36`, `87.2123s`	`33/36`, `114.6767s`
2-2 TRPG 장면 연출	3 case, 만족도 `47/48`, `108.5740s`	`47/48`, `82.2531s`	`47/48`, `130.5051s`

그래서 당분간은 Gemma 4 26B-A4B에 QAT 4bit 적용된 모델을 사용해 볼 예정이고, 앞으로 상용 모델과 혼합해서 토큰 비용을 줄이는 방향으로 써보고자 한다.

부록: Gemma 4 26B-A4B 사용 TRPG 장면 연출 예시

기존 양자화 5bit

창밖의 런던은 짙은 안개에 잠겨, 지나가는 마차의 말발굽 소리조차 젖은 솜처럼 둔탁하게 들려옵니다. 사설 독서실 내부의 공기는 무겁고 침침합니다. 벽난로의 불꽃은 이제 간신히 숨만 붙어 있는 듯 가늘게 일렁이며, 방 안의 그림자들을 길게 늘어뜨리고 있습니다.

당신은 침묵을 깨고 자리에서 일어납니다. 당신의 시선은 서점 주인인 머서 부인에게 고정됩니다.

"범인은 이 안에 있습니다. 머서 부인, 당신이군요."

당신의 단호한 선언에 방 안의 공기가 순식간에 얼어붙습니다. 당신은 증거를 제시합니다. 절도된 희귀본의 책등에 선명하게 남은 작은 밀랍 자국, 그리고 방금 전 그녀가 책을 만질 때 풍겼던 특유의 장갑 냄새를 근거로 들었습니다. 당신의 추리는 논리적이었고, 목소리에는 확신이 차 있었습니다.

하지만, 그 확신은 채 3초를 가지 못했습니다.

"무례하군요, 탐정님."

머서 부인이 떨리는 목소리로, 그러나 얼음처럼 차가운 어조로 반박합니다. 그녀의 눈동자에는 모욕감이 서려 있습니다.

"그 밀랍 자국이 제 장갑에서 나왔다고요? 착각하지 마세요. 그것은 이 독서실의 서류를 봉인할 때 쓰는 왁스입니다. 방금 전 제가 서류를 정리하며 묻은 것이지, 책에 묻힌 게 아니란 말입니다!"

그녀의 반박은 명쾌했습니다. 당신이 포착한 단서는 실재했으나, 그 인과관계는 완전히 빗나갔습니다. 당신의 추리가 성급했다는 사실이 드러나는 순간, 방 안의 분위기는 당신에 대한 경멸로 변질됩니다. 의뢰인인 애슈크로프트 경은 깊은 한숨을 내쉬며 미간을 찌푸렸고, 그 실망스러운 표정은 촛불 아래서 더욱 선명하게 드러납니다.

"탐정님, 이번 건은 기대가 컸던 만큼 실망도 크군요."

애슈크로프트 경의 냉소적인 한마디가 당신의 가슴에 날카롭게 꽂힙니다. 그러나 그 혼란스러운 와중에, 젊은 기자 엘리자의 눈빛이 예리하게 번뜩입니다. 그녀는 머서 부인을 향한 비난 대신, 방 한구석에 서 있는 하인 핀치를 뚫어지게 응시합니다. 그녀의 코끝이 미세하게 실룩거리는 것으로 보아, 그녀 역시 당신이 놓친 다른 '냄새'를 맡은 듯합니다.

핀치는 여전히 입을 굳게 다문 채 침묵을 지키고 있습니다. 하지만 그는 무언가에 압도된 듯, 벽난로의 집게를 지나치게 오래, 그리고 너무 강하게 쥐고 있습니다. 하얗게 질린 그의 손가락 마디가 일렁이는 불빛 아래서 기묘한 긴장감을 자아냅니다.

당신의 추리는 실패했습니다. 신뢰는 무너졌고, 사건은 미궁 속으로 빠져드는 듯 보입니다. 하지만 핀치의 부자연스러운 손짓과 엘리자의 의심스러운 시선이 이 방 안에 새로운 균열을 만들어냈습니다.

당신은 이 수치스러운 실수를 어떻게 만회하겠습니까? 다시 논리를 가다듬어 다른 용의자를 지목하시겠습니까, 아니면 핀치의 수상한 태도를 파고드시겠습니까?

QAT 4bit

창밖의 런던은 짙은 안개에 잠겨 세상의 경계를 지워버린 듯합니다. 가끔씩 들려오는 마차의 바퀴 소리는 습기를 머금은 공기에 눌려 멀고도 희미하게 웅웅거릴 뿐입니다. 방 안의 공기는 벽난로의 불꽃이 사그라들며 점점 차갑게 식어가고 있고, 타닥거리는 장작 소리만이 무거운 침묵을 간신히 지탱하고 있습니다.

당신은 떨리는 긴장감을 누르며, 서가 한구석에 놓인 희귀본의 책등을 손가락으로 가리켰습니다.

"범인은 이 방 안에 있습니다. 머서 부인, 당신이군요."

당신의 단호한 지목에 방 안의 시선이 일제히 당신에게 쏠립니다. 당신은 확신에 찬 목소리로 설명을 덧붙였습니다.

"책등에 선명하게 남은 이 노란 밀랍 자국, 그리고 당신의 장갑에서 풍기는 이 특유의 왁스 냄새를 보십시오. 범행 직후 당신이 급히 책을 제자리에 꽂아두려 했던 흔적입니다."

순간, 방 안에는 짧은 정적이 흐릅니다. 하지만 그 정적은 당신이 기대했던 경악이나 자백이 아니었습니다. 그것은 당혹감, 그리고 이내 밀려오는 깊은 불신이었습니다.

"무례하군요! 지금 저를 도둑으로 몰아세우시는 건가요?"

머서 부인이 창백해진 얼굴로 떨리는 목소리를 내뱉었습니다. 그녀의 눈빛에는 모욕당한 자의 차가운 분노가 서려 있습니다. 그녀는 자신의 장갑을 감추듯 치맛자락을 움켜쥐었습니다.

옆에 서 있던 애슈크로프트 경은 깊은 한숨을 내쉬며 고개를 돌려버렸습니다. 그의 미간에는 당신의 성급한 결론에 대한 실망감이 깊게 패였습니다. "탐정님, 안개 때문인지 판단력이 흐려지신 모양이군요. 그 밀랍은... 이 독서실의 봉인용 왁스가 아니던가요? 서고를 관리하는 이 방 어디에나 널려 있는 것 말입니다."

그의 지적은 날카로웠습니다. 당신이 발견한 밀랍은 범인의 흔적이 아니라, 그저 이 공간을 채우고 있는 일상의 흔적일 뿐이었습니다.

그때, 구석에서 조용히 상황을 지켜보던 젊은 기자 엘리자의 눈빛이 예리하게 빛났습니다. 그녀는 당신과 머서 부인을 번갈아 보더니, 돌연 시선을 낮추어 하인 핀치의 소매 끝을 빤히 응시했습니다.

"......"

핀치는 여전히 아무런 대답이 없습니다. 하지만 그는 평소처럼 고개를 숙인 채 침묵을 지키고 있는 것이 아니었습니다. 그는 벽난로의 집게를 지나치게 세게 쥐고 있었고, 하얗게 질린 그의 손등 위로 미세한 경련이 일고 있었습니다.

당신의 추리는 빗나갔고, 방 안의 공기는 이제 당신을 향한 경멸과, 차마 입 밖으로 내뱉지 못한 새로운 의심이 뒤섞여 질척하게 가라앉았습니다.

당신은 이 당혹스러운 침묵 속에서 무엇을 해야 합니까?