로컬 LLM 탐색 기록

현재 시스템

• M4 Mac Mini (32GB RAM), 256GB SSD
• Provider: oMLX (mlx) / llama.cpp (gguf, 앞으로 시도 예정)
• Harness: OpenClaw / Hermes
• Messenger: Discord

주요 시행착오 및 요약

• 4/16 맥미니 구입 후 한 달 정도 로컬 시도를 이것저것 해봤는데, 고사양 하드웨어를 갖추지 않은 이상 어떤 모델을 쓰느냐보다 어떤 작업에 어떻게 붙이느냐가 핵심.
• 일상 대화, 지시대상이 명확한 파일 작성/수정 정도는 가능하지만, 궁극적으로 에이전트 자동화를 기대했던 daily skill에는 잘 적용되지 않았음. 어떤 경우는 가능해도 어떤 경우는 문제가 생겨서, 페르소나를 유지한 상태로 매일의 맥락을 파악하고 여러 컨텍스트를 취합해야하는 비서형 작업에서는 한계가 많았음.
• 소형 모델은 ‘판단’과 ‘연속 실행’에 취약해서, 아무리 작업 단계를 작게 분할해도 일련의 워크플로우를 처음부터 끝까지 실행하기는 매우 어려움. 작업 흐름을 주관하는 orchestrator는 대형/프론티어 모델을 사용하고, orchestrator가 필요시 로컬 모델을 subagent로 소환하거나 python script에서 호출해서 특정 작업 단계만 자동화하는 것이 효율적.
• 때문에, 상용 모델에서 잘 쓰고 있었던 스킬을 로컬화하기 위해서는 스킬의 워크플로우를 정밀하게 분해한 후 로컬/스크립트를 병행 사용하여 토큰 최적화가 가능한 단계를 선정하고 그 단계에 맞게 벤치 테스트를 설계/실시하는 것이 적합함.
• 또한, 하드웨어 사양에서 가동이 가능해도 openclaw/hermes처럼 자체 프롬프트가 많이 들어가는 하네스의 특성까지 고려하여 모델을 선정하여야 함.
• 비서형 작업보다는 매우 범위가 좁은 작업들 (예시: 소비기록 정리, 블로그 초안 파일 개수 확인 및 키워드 추출) 먼저 로컬화를 시도하고, 성공 경험을 바탕으로 확장해 가는 것이 유리할 것으로 판단됨.

시도했던 모델들

Google Gemma 4 Series

• E2B: E4B가 잘 돌아가서 아직은 사용해보지 않음.
• E4B: 현 시스템에서 제일 무난하게 작동하며 한국어도 괜찮음. unsloth/gemma-4-E4B-it-UD-MLX-4bit 모델이 속도/정확성을 같이 가져가기 유리했음. 일상 대화는 크게 문제 없고 정확하게 명시된 작은 크기의 작업도 가능하지만 그 이상은 무리. tool calling도 아쉬움이 있지만 연속 작업에서 매우 불리함.
• 26B-A4B or 31B: 스펙 한계로 로컬에서 돌릴 수는 없고, nvidia와 google에서 제공하는 free API로 31B 사용 중. 작동만 하면 매우 만족스러우나 rate limit 가 자주 걸리기 때문에 마음 놓고 쓰기는 어렵다. 26B 모델의 경우 추가 양자화+Google MTP 붙여서 agentic 재시도 고려 중.

Alibaba QWEN Series

• 작은 모델(~4B)은 한국어에서 Gemma에게 밀리고, 7B~14B 수준의 모델은 orchestration이 여의치 않거나 mlx loading에서 어려움을 겪었음.
• 그래도 1달 동안 시행착오를 통해 로컬 모델 노하우가 조금은 생겼기 때문에, 모델을 좀 더 이해하기 위해서라도 1개 정도 골라 재시도해볼 예정.

기타 모델

• KAKAO Kanana: 한국어 사용성이 좋으나 tool calling 문제가 심각해서 폐기. 사용 모델은 kanana-1.5-8b-instruct-2505-MXFP4-GS32-MLX