멀티모달 AI — 이미지·음성·영상을 어떻게 이해하나
글자만 알던 모델이 사진을 보게 된 원리
① 멀티모달은 완전히 새로운 기술이 아니다. 텍스트를 토큰→임베딩(좌표)으로 바꾸는 것과 똑같은 방식으로 이미지·음성도 좌표로 바꿔 같은 공간에 던져넣는 것이 핵심이다.
② 그래서 이미지 한 장이 텍스트보다 훨씬 비싸다 — 작은 조각(패치)으로 잘게 쪼개지면서 토큰 수가 폭증하기 때문이다.
③ "본다"는 것과 "이해한다"는 것은 다르다. 여전히 확률이 높은 다음 조각을 고르는 구조라, 개수를 세거나 정확히 측정하는 일에는 약하다.
① "멀티모달"이 실제로 뜻하는 것
마케팅에서는 "이미지도 보고 목소리도 듣는 AI"라는 식으로 신비롭게 표현하지만, 기술적으로는 훨씬 단순하다. 모델이 다루는 입력의 종류(모달리티)가 텍스트 하나에서 이미지·음성·영상으로 늘어난 것뿐이다.
여기서 먼저 선을 그어야 할 게 있다. 이 글이 다루는 건 사진·음성·영상을 "읽고 이해하는" 모델(예: 사진을 보고 질문에 답하는 기능)이다. 반대로 텍스트로 그림·영상을 "만들어내는" 모델(이미지 생성 AI 등)은 확산 모델이라는 전혀 다른 계열의 기술이라 이 글의 범위 밖이다. 둘을 섞어서 이해하면 이후 내용이 헷갈린다.
② 핵심 아이디어 — 사진도 결국 "토큰"이 된다
LLM은 어떻게 작동하나에서 다룬 대로, 텍스트는 ①토큰으로 쪼개지고 ②각 토큰이 임베딩이라는 좌표로 바뀐 뒤 ③어텐션으로 서로를 참조한다. 멀티모달은 이 파이프라인의 ①번 단계만 하나 더 늘린 것이다.
이미지는 작은 정사각형 조각(패치)들로 잘게 잘린다. 예를 들어 가로세로 16픽셀 단위로 자르면, 보통 크기의 사진 한 장도 수백 개의 패치로 나뉜다. 각 패치는 별도의 인코더를 거쳐 텍스트 토큰과 똑같은 형태의 좌표(임베딩)로 변환된다. 음성도 마찬가지다 — 짧은 시간 구간(예: 20밀리초)씩 잘라 각 구간을 좌표로 바꾼다.
어텐션은 "이 좌표가 저 좌표를 얼마나 참고할지" 계산하는 연산이다. 이 계산은 그 좌표가 원래 글자에서 왔는지 사진 조각에서 왔는지 구분하지 않는다. "고양이"라는 단어의 좌표와 고양이 사진 패치의 좌표가 학습을 통해 가까운 위치에 놓이도록 만들어지면, 모델은 둘을 사실상 같은 것으로 다룰 수 있다. 텍스트를 이해하던 바로 그 구조가, 입력만 늘어나도 그대로 작동하는 이유다.
③ 실제로 어떻게 조립되나
전체 구조를 세 부분으로 나누면 이렇다.
| 단계 | 하는 일 |
|---|---|
| ① 모달리티별 인코더 | 이미지 패치·음성 구간을 각각 전용 신경망에 통과시켜 숫자 벡터로 변환 |
| ② 프로젝션(맞춤 변환) | 서로 다른 인코더에서 나온 벡터의 "크기"를 맞춰, 텍스트 임베딩과 같은 차원의 좌표 공간으로 옮김 |
| ③ 같은 언어모델 | 텍스트 토큰 임베딩과 이미지·음성 임베딩을 한 줄로 이어붙여, 원래의 어텐션·다음 토큰 예측 구조에 그대로 입력 |
즉 모델 입장에서는 "이 문장 다음에 사진이 하나 있고, 그다음에 질문이 있다"는 게 전부 하나로 이어진 좌표 시퀀스일 뿐이다. 새로운 종류의 모델을 처음부터 만든 게 아니라, 입구에 변환기를 하나 더 달아 기존 구조에 끼워넣은 것에 가깝다.
④ 왜 사진 한 장이 그렇게 비싼가
토큰과 컨텍스트 윈도우에서 다뤘듯, 요금과 처리 속도는 모두 토큰 수에 비례한다. 그런데 이미지는 패치 단위로 쪼개지면서 텍스트보다 훨씬 많은 토큰을 만들어낸다.
| 입력 | 대략적인 토큰 수 |
|---|---|
| 문장 한 줄 (한글 20자 안팎) | 20–30개 |
| 일반적인 사진 한 장 | 수백–1천여 개 |
| 고해상도 이미지 또는 화면 전체 캡처 | 수천 개 |
| 영상 1분 (초당 1프레임 샘플링 시) | 수만 개 이상 — 프레임마다 이미지 한 장씩 누적 |
영상은 특히 비싸다. 영상 자체는 시간에 따라 나열된 이미지 프레임의 연속이라, 몇 초짜리 영상이라도 여러 장의 이미지를 이어붙인 것과 같은 토큰량이 발생한다. 긴 영상을 통째로 넣으면 컨텍스트 윈도우를 순식간에 채우는 이유가 이것이다.
⑤ 한계 — "보는 것"과 "이해하는 것"은 다르다
모델은 여전히 확률이 높은 다음 조각을 고르는 구조다. 이미지를 봐도 사람처럼 "인식"하는 게 아니라, 학습 데이터에서 비슷한 패턴이 나올 때 함께 등장했던 표현을 확률적으로 재구성할 뿐이다. 여기서 몇 가지 특징적인 약점이 생긴다.
· 정확한 개수 세기 — 사진 속 사람이나 물건이 7명인지 8명인지처럼 세밀한 카운팅에 약하다. "대략 여러 명"이라는 패턴은 잘 맞히지만 정확한 숫자는 확률적 추정일 뿐이다.
· 정밀한 위치·측정 — "이 선의 길이는 몇 cm인가" 같은 질문에는 자신 있게 틀린 답을 낸다. 자를 대고 잰 게 아니라 그럴듯해 보이는 숫자를 고른 것이다.
· 이미지에 없는 세부 묘사 — 환각과 같은 원리다. 이미지에 없는 디테일도 "그런 사진에 흔히 있을 법한" 내용이면 만들어 넣는다.
이건 버그가 아니라 구조 그 자체의 결과다. 환각 가이드에서 짚었듯, 모델에는 "이 답이 사실인지 확인하는 단계"가 파이프라인 어디에도 없다. 텍스트에서 없는 논문을 지어내던 바로 그 메커니즘이, 이미지에서는 없는 물체나 숫자를 지어내는 형태로 나타날 뿐이다.
⑥ 실전 활용 — 어디에 쓰면 좋고 어디는 아직 이르다
| 용도 | 적합도 | 이유 |
|---|---|---|
| 사진·화면 내용 요약·설명 | ✅ 적합 | 대략적인 맥락 파악은 강점 영역 |
| 스캔 문서·표 읽기 | ✅ 적합 | 텍스트 인식이 별도 OCR 없이 같은 파이프라인 안에서 처리됨 — 자세한 내용은 문서 읽히는 법 참고 |
| 음성 회의록 요약 | ✅ 적합 | 맥락·요지 파악에 강함 |
| 사진 속 물건 정확한 개수 세기 | ❌ 위험 | 확률적 추정 — 반드시 사람이 재확인 |
| 의료 영상 진단·안전 검수 | ❌ 위험 | 오탐·누락 시 결과가 치명적, 전문가 검증 필수 |
| 정밀 치수·거리 측정 | ⚠️ 주의 | 참고용으로만, 실측 도구로 검증 |
□ 지금 시키려는 일이 "대략적인 이해"인가, "정확한 수치·판정"인가부터 구분한다.
□ 정확한 수치가 필요하면 모델의 답을 최종값이 아니라 초안으로 취급하고 별도로 검증한다.
□ 이미지에 없는 세부 묘사가 섞여 있는지 원본과 대조한다.
□ 안전·의료·법적 판단이 걸린 이미지 분석은 사람의 최종 확인을 거친다.
⑦ 투자자 관점 — 멀티모달이 반도체 수요를 더 키우는 이유
④에서 본 대로 이미지·영상은 텍스트보다 압도적으로 많은 토큰을 만들어낸다. 이는 곧 같은 쿼리 하나당 처리해야 할 연산량이 커진다는 뜻이다. 반도체 섹터 심층 분석에서 다룬 "추론(inference) 수요 폭증" 흐름의 상당 부분은, 서비스가 텍스트 전용에서 이미지·음성·영상을 함께 처리하는 멀티모달로 확장되면서 쿼리당 토큰 소비량 자체가 늘어나는 데서도 온다. AI 서비스의 사용자 수가 그대로여도, 사진 한 장을 첨부하는 습관이 늘어나는 것만으로 추론 서버 수요가 늘어날 수 있는 구조다.
※ 본 글은 2026년 9월 기준 공개된 멀티모달 모델의 일반적인 구조를 설명하며, 특정 기업·제품을 평가하거나 투자를 권유하지 않습니다. 구체적인 구현 방식은 모델마다 다를 수 있습니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.