안녕하세요! 재니미입니다.

인프라 환경에서 모델을 운영할 때 가장 피로감을 주는 순간은 자잘한 기능 개선 하나 때문에 수십~수백 기가바이트의 모델 가중치를 다시 패키징하고 재배포해야 할 때입니다.

일반 소프트웨어라면 작은 버그 수정이나 기능 추가는 마이너 패치(SemVer x.y.z) 하나로 가볍게 끝나지만, 대형 언어 모델(LLM) 환경에서는 엔드포인트 재기동, VRAM 재할당, 그리고 KV 캐시 초기화라는 무거운 대가를 치러야 했습니다.

2026년 10월 29일, IBM Research와 Hugging Face는 이러한 비효율을 해결하기 위한 모듈형 아키텍처인 Granite Switch 4.1.1을 공개했습니다. 거대 베이스 모델을 단 한 번도 재연산하지 않고, 단일 엔드포인트에서 어댑터만 핫스왑(Hot-swap) 교체하는 시스템 메커니즘을 정리했습니다.

---

1. 전통적 MLOps의 딜레마: 모델은 왜 소프트웨어처럼 배포하지 못할까?

소프트웨어 엔지니어링에서는 코드를 라이브러리와 모듈 단위로 쪼개어 독립적으로 업데이트하는 것이 상식입니다. 반면 LLM 서빙은 오랫동안 거대한 단일 실행 파일(모놀리스)처럼 취급되었습니다.

특정 도메인의 어댑터(LoRA)를 붙이더라도, 모델을 여러 개 띄우면 GPU 메모리가 파편화되고 어댑터마다 KV 캐시를 따로 관리하느라 VRAM 낭비가 극심했습니다. 결국 운영팀은 새 기능이나 개선 사항이 생길 때마다 전체 엔드포인트를 내리고 다시 띄우는 무거운 롤링 업데이트 방식을 감수해야 했습니다.

---

2. Granite Switch의 해법: 단일 KV 캐시를 공유하는 aLoRA

IBM의 Granite Switch 아키텍처는 이 병목을 풀기 위해 액티베이티드 LoRA(aLoRA)와 공유 캐시 설계를 도입했습니다.

flowchart TD
    subgraph Frozen ["Frozen Base Model (30B)"]
        Base["베이스 트랜스포머 엔진<br/>(가중치 고정 & 재연산 0%)"]
    end

    subgraph KVCache ["공유 메모리"]
        KV["단일 공유 KV 캐시 (Shared KV Cache)"]
    end

    subgraph Adapters ["핫스왑 가능한 aLoRA 모듈 (SemVer 관리)"]
        A1["음성 인식 어댑터 (ASR 5.0)"]
        A2["의사결정 어댑터 (Decision Core)"]
        A3["사용자 맞춤형 SDK 어댑터 (Custom Tool)"]
    end

    Base --- KV
    Adapters --> Base

• 베이스 모델의 동결: 30B 규모의 베이스 모델은 백본으로 고정되어 있으며 일체의 재학습이나 가중치 변경을 거치지 않습니다.
• 단일 엔드포인트에서 캐시 공유: 여러 어댑터가 동일한 기본 엔드포인트 위에서 단 하나의 KV 캐시를 공유합니다. 도구 어댑터를 교체하거나 호출하더라도 캐시를 처음부터 다시 계산할 필요가 없습니다.
• 낮은 메모리 오버헤드: 필요한 전문 기능(어댑터)만 메모리에 올렸다 내릴 수 있어, 모델마다 별도의 GPU 파드를 띄울 필요가 없습니다.

---

3. SemVer 4.1.0에서 4.1.1로: 재연산 0%의 패치 릴리스

이번에 공개된 Granite Switch 4.1.1은 이름 그대로 시맨틱 버저닝(SemVer) 규칙을 완벽히 따르는 패치 릴리스입니다.

• 10개 언어 다국어 음성 인식(ASR 5.0): 구두점과 대소문자를 스스로 정리하는 음성 인식 모델로 업데이트되었습니다.
• 의사결정 어댑터 개선: granitelib-core에 포함된 의사결정 모델의 지표가 향상되었습니다.

주목할 점은 이 두 가지 기능이 추가되는 과정에서 베이스 모델의 재연산 비용이 전혀 들지 않았다는 사실입니다. 운영팀은 베이스 모델을 건드리지 않고 최신 어댑터만 조합해 즉시 프로덕션에 반영할 수 있습니다.

또한 IBM은 서드파티 개발자들도 자신만의 어댑터를 빌드하고 패치할 수 있도록 Adapter SDK를 예고했습니다. AI 모델이 하나의 독립된 런타임 플랫폼이 되고, 그 위에 앱과 플러그인을 설치하는 형태의 생태계를 지향하는 것입니다.

---

💡 요약: AI 서빙이 모듈형 소프트웨어 스택으로 수렴한다

• 거대 가중치를 매번 통째로 배포하던 MLOps의 비효율은 단일 엔드포인트와 공유 KV 캐시 구조로 해결할 수 있습니다.
• 베이스 모델을 고정하고 전문 어댑터만 교체하는 핫스왑 방식은 GPU VRAM 낭비와 배포 지연을 획기적으로 줄여줍니다.
• AI 모델 역시 전통 소프트웨어처럼 시맨틱 버저닝(SemVer)으로 버그를 고치고 점진적으로 업데이트하는 시대가 열리고 있습니다.