임베딩이란 무엇인가
글을 숫자 좌표로 바꾸면 "비슷함"을 잴 수 있다
① 임베딩은 글(또는 이미지·음성)을 "의미가 가까우면 숫자도 가깝게" 바뀌도록 만든 숫자 목록(벡터)이다. 글자가 같은지가 아니라 뜻이 비슷한지를 계산할 수 있게 해준다.
② LLM 안의 토큰 임베딩과, RAG·검색에 쓰이는 문장 임베딩은 같은 아이디어지만 쓰임과 만드는 모델이 다르다. 이 둘을 구분하면 헷갈리던 부분이 풀린다.
③ 임베딩이 재는 건 "비슷함"이지 "맞음"이 아니다. 반대 의미의 문장도 가깝게 나올 수 있어서, 검색 결과의 순위는 근거를 찾는 출발점일 뿐 정답 확인이 아니다.
① 들어가며 — 세 번 지나치고 한 번도 설명하지 않은 개념
LLM은 어떻게 작동하나에서는 토큰 번호를 "좌표"로 바꾸는 단계로, RAG 완전 이해에서는 문서 조각을 검색하는 단계로, 멀티모달 AI에서는 이미지·음성을 같은 공간에 넣는 단계로 임베딩이 나왔다. 세 번 다 "좌표"라는 한 단어로 지나갔다. 이 글은 그 단어를 처음부터 풀어서 설명한다. 이걸 이해하면 AI 검색이 왜 가끔 엉뚱한 문서를 가져오는지, 왜 모델을 바꾸면 데이터를 다시 처리해야 하는지가 한 줄로 설명된다.
② 왜 필요한가 — 컴퓨터는 글자가 같은지만 안다
전통적인 키워드 검색은 글자가 일치하는지를 본다. 그래서 "휴가 규정"을 검색하면 "연차 사용 안내"라는 문서는 찾지 못한다. 사람은 둘이 같은 이야기라는 걸 알지만, 글자는 하나도 겹치지 않기 때문이다.
토큰 번호로 바꿔도 해결이 안 된다. "사과"가 4823번, "배"가 91번이라는 사실에서는 두 단어가 둘 다 과일이라는 정보가 나오지 않는다. 번호는 이름표일 뿐이다. 필요한 건 뜻이 비슷하면 값도 비슷해지는 표현이고, 그게 임베딩이다.
③ 좌표로 이해하기
지도를 떠올리면 쉽다. 지도에서는 서울과 수원이 가깝고 서울과 부산이 멀다. 두 값(위도·경도)만으로 "가깝다"를 숫자로 말할 수 있기 때문이다. 임베딩은 이걸 글에 적용한 것이다. 각 글에 좌표를 붙여서, 뜻이 비슷한 글은 가까운 자리에, 다른 글은 먼 자리에 놓이게 한다.
| 표현 (설명용 가상 좌표) | (가로, 세로) | 해석 |
|---|---|---|
| "휴가 규정" | (0.82, 0.31) | 글자는 달라도 좌표가 가깝다 → 같은 주제로 판단 |
| "연차 사용 안내" | (0.79, 0.35) | |
| "분기 실적 발표" | (0.12, 0.88) | 멀리 떨어진 자리 → 다른 주제 |
실제 임베딩은 숫자 두 개가 아니라 수백–수천 개로 이루어진다. 그리고 가로·세로 같은 각 숫자에 "맛", "크기" 같은 사람이 읽을 수 있는 이름이 붙어 있지도 않다. 모델이 학습하면서 알아서 만든 축이라 의미는 숫자 하나가 아니라 숫자들 전체의 위치에 담긴다.
④ 어떻게 만들어지나 — 학습의 부산물이다
사람이 "사과는 과일 축에서 0.9"라고 값을 정해주는 게 아니다. 모델이 방대한 글을 읽으며 같은 맥락에서 자주 함께 쓰이는 표현은 비슷한 좌표를 갖도록 스스로 조정한다. 이 방식의 초기 성과가 2013년 Mikolov 등의 연구다. 단어를 벡터로 바꿨더니 벡터("왕") − 벡터("남자") + 벡터("여자")가 벡터("여왕")에 가장 가까운 결과가 나왔다. 의미 관계가 좌표 사이의 방향으로 담겨 있다는 증거였다(Mikolov·Yih·Zweig, 2013).
다만 이 예시는 "구조가 생긴다"는 걸 보여주는 상징이지 만능이라는 뜻은 아니다. 지금 검색에 쓰이는 임베딩은 훨씬 크고 정교한 모델이 만들고, 단어가 아니라 문장이나 문단 단위로 만드는 경우가 많다.
두 가지 임베딩을 구분하자
| LLM 안의 토큰 임베딩 | 검색용 문장 임베딩 | |
|---|---|---|
| 단위 | 토큰 하나마다 좌표 하나 | 문장·문단 한 덩어리에 좌표 하나 |
| 어디서 쓰나 | LLM이 다음 토큰을 예측하는 계산의 입구 | RAG·의미 검색·추천에서 "비슷한 글 찾기" |
| 만드는 모델 | LLM 자신의 학습 파라미터의 일부 | 별도의 임베딩 전용 모델이 따로 만드는 경우가 많다 |
둘은 "의미를 좌표로"라는 같은 아이디어를 쓰지만 서로 다른 모델이 만든 서로 다른 좌표다. RAG에서 임베딩 모델이 문서를 좌표로 바꾸는 단계와 LLM이 답변을 쓰는 단계가 따로 도는 것도 이 때문이다.
⑤ "가깝다"는 어떻게 재나 — 그리고 어디에 쓰나
두 좌표가 얼마나 가까운지는 보통 코사인 유사도로 잰다. 두 벡터가 가리키는 방향이 얼마나 비슷한지를 보는 방식이라, 값이 1에 가까울수록 의미가 닮았다는 뜻이다. 어려운 수식을 외울 필요는 없고 "방향이 같을수록 비슷하다"만 기억하면 된다.
| 쓰임 | 어떻게 쓰이나 |
|---|---|
| 의미 검색 · RAG | 질문을 좌표로 바꾸고, 좌표가 가까운 문서 조각을 찾아 답변의 근거로 넘긴다(RAG 완전 이해) |
| 추천 | 내가 본 글과 좌표가 가까운 다른 글을 보여준다 |
| 분류 · 묶기 | 좌표가 가까운 것끼리 묶어 주제별로 정리한다 |
| 중복·유사 탐지 | 글자는 다르지만 같은 내용인 문서를 찾아낸다 |
⑥ 한계 4가지 — 비슷함만 잰다
- ① 비슷함은 맞음이 아니다. 의미 공간에서 "비슷한" 문장은 주제가 같은 문장이다. 반대 의미여도 주제가 같으면 가깝게 놓일 수 있다. 설명용 가상 예시로, "이번 분기 EPS가 예상을 상회했다"와 "이번 분기 EPS가 예상을 하회했다"는 한 단어만 다르지만 임베딩으로는 매우 가깝게 나올 수 있다. 검색이 "맞는 근거"가 아니라 "관련 있어 보이는 글"을 가져오는 이유다. 그래서 출처를 직접 열어 해당 문장을 확인해야 한다.
- ② 모델마다 좌표계가 다르다. 서로 다른 임베딩 모델이 만든 좌표는 섞어 비교할 수 없다. 그래서 임베딩 모델을 바꾸면 저장해둔 문서를 전부 새 모델로 다시 변환해야 한다.
- ③ 정확한 표현에는 약할 수 있다. 의미가 비슷한 글을 찾는 데 강한 대신, 종목 코드·고유명사·정확한 숫자처럼 글자 그대로 맞아야 하는 검색은 키워드 검색이 더 낫다. 그래서 실무에서는 둘을 함께 쓰는 경우가 많다.
- ④ 학습한 데이터의 성향을 그대로 반영한다. 임베딩도 학습 데이터에서 나오므로 편향이 스며든다(AI 편향은 어디서 오나).
⑦ 투자자 관점 — 좌표도 메모리를 먹는다
임베딩은 결국 숫자 목록이고, 숫자는 메모리에 저장돼야 한다. 단순 계산으로 감을 잡아보자. 문서 조각 100만 개를 1,536차원 벡터로 저장하고 숫자 하나를 32비트(4바이트)로 두면 1,000,000 × 1,536 × 4바이트 ≈ 6.1GB다. 문서가 10배 늘면 10배가 된다(압축 기법으로 줄이는 방법도 있지만 기본 규모가 이렇다는 감각이 중요하다).
기업이 사내 문서 전체에 RAG를 붙일수록 이런 저장·검색 수요가 늘어나고, 그 수요는 데이터센터의 메모리와 연산으로 이어진다. 이런 흐름이 메모리 반도체 쪽에서 어떻게 실적으로 나타나는지는 마이크론 FY2026 4분기 실적 해부와 반도체 섹터 2026 하반기 전망에서 다뤘다. 다만 임베딩 하나가 메모리 수요를 결정한다는 뜻은 아니며, "AI 서비스가 늘수록 저장해야 할 숫자가 늘어난다"는 구조를 이해하는 정도로 읽으면 된다.
⑧ 실전 체크리스트
□ 검색된 문서가 "관련 있어 보이는 것"일 뿐 정답이 아님을 알고 있는가
□ 중요한 근거는 문서를 직접 열어 해당 문장을 확인했는가
□ 종목 코드·정확한 숫자를 찾을 때는 키워드 검색도 함께 썼는가
□ 임베딩 모델을 바꿔야 한다면 기존 문서를 전부 다시 변환해야 한다는 걸 계획에 넣었는가
□ 문서가 크게 늘어날 때 저장 비용(메모리)을 미리 가늠해봤는가
※ 본 글은 임베딩의 개념을 일반 독자용으로 단순화해 설명한 것이며 특정 서비스·모델의 성능을 보증하지 않습니다. 좌표 표와 EPS 문장 예시는 설명을 위한 가상의 예시이고, 메모리 계산은 압축을 고려하지 않은 단순 산식입니다. 투자 관련 내용은 투자 권유가 아니며 투자 판단과 책임은 투자자 본인에게 있습니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.