크기를 키우는 게 답일까

상용 모델의 비용이 갈수록 올라가고 있다. 시작은 클로드였지만 이제는 중국 모델도 비용 증가 추세가 뚜렷하다. 모델이 커질 수록 요구되는 메모리/연산 용량이 어마어마해지기도 하거니와, 모델이 쓸만할 수록 수요가 급증하기 때문이다. 하드웨어 효율과 토큰 사용 효율 개선이 비용 증가 추세를 완화할 수는 있겠지만 그 기울기를 양에서 음으로 바꾸기란 쉽지 않을 것이다. AGI/ASI가 나오면 좀 달라질까? 그렇더라도 그건 그때 기대할 일이고 지금 당장은 아니다.

비용과 데이터 보안 측면에서 로컬 LLM에 대한 관심이 늘어나는 건 자연스럽고, 상용 모델처럼 어마어마한 크기의 매개변수를 갖추고 프론티어급은 아니라도 제법 성능을 보이는 모델이 한둘씩 나타나고 있다. 하지만 이런 모델들은 대부분 일반 개인의 기기로 돌리기엔 어렵다. 온디바이스급으로 작고 속도를 내는 모델이라 하더라도 막상 내 컴퓨터에 올리고 작업을 시키려고 하면 의도대로 잘 되지 않는다. 내가 원하는 건 거창한 코딩이나 몇 시간씩 연속으로 돌아가며 문제를 해결하는 게 아니라, 그저 내 일기와 일정 관련 파일을 몇 개 읽고 거기서 오늘의 일정과 작업을 추출한 다음, 아침의 나와 메신저로 우선순위를 의논해서 보기 좋게 노트를 만드는 수준의 간단한(?) 작업인데 말이다.

LLM이 생각하는 복잡한 작업과 내가 생각하는 복잡한 작업은 어떻게 다를까? 이걸 로컬로 성공시키려면 어떻게 해야할까? 로컬 모델 크기를 키우는 게 답일까? 현재 내 장비 수준에서 가용한 모델이 할 수 있는 작업의 수준을 어떻게 가늠할까? 내가 원하는 작업을 그 정도 크기로 어떻게 분할할까? SKILL 워크플로우가 연쇄 작업을 가능하게 할 수 있을까? 그걸로는 충분하지 않다면, 어떤 방법으로 해결할 수 있을까?