반응형 비전 인코더 제거1 인코더를 없앴더니 성능은 올라가고 메모리는 절반이 됐다 — Gemma 4 12B 아키텍처의 진짜 의미 이미지·오디오를 직접 처리하는 방식이 왜 기존 구조보다 훨씬 나은가문제 제기: 멀티모달 모델이 무거운 근본 원인은 아키텍처에 있었다"왜 멀티모달 모델은 이렇게 무거운가?" 이 질문의 답은 아키텍처에 있다. 기존 멀티모달 AI 모델의 구조를 따라가 보자.이미지 입력 → 비전 인코더 (CLIP, ViT 등 — 별도 모델) → 프로젝션 레이어 (인코더 출력을 LLM 차원으로 변환) → LLM 백본 → 텍스트 출력오디오 입력 → 오디오 인코더 (Whisper 등 — 또 다른 별도 모델) → 프로젝션 레이어 → LLM 백본 → 텍스트 출력 이 구조에서 메모리는 세 층에서 동시에 잡는다.비전 인코더 파라미터,오디오 인코더 파라미터,LLM 백본 파라미터.그리고 각 단계를 거칠 때마다 지연시간이 누적된다.. 2026. 6. 8. 이전 1 다음 반응형