AI는 어떻게 만들어지나
사전학습 → 파인튜닝 → RLHF, 순서대로
① 모델 제작은 3단계다. 사전학습(언어 능력을 만든다) → 파인튜닝(용도에 맞춘다) → RLHF(말투와 태도를 다듬는다). 비용은 1단계에 압도적으로 몰린다.
② 사전학습이 푸는 문제는 단 한 종류다 — "다음 토큰 맞히기". 이 단순한 문제를 수조 번 풀면서 문법·상식·추론 비슷한 것이 부산물로 생긴다.
③ 세 단계가 끝나면 파라미터는 얼어붙는다. 여러분이 대화에서 알려준 내용은 그 대화 안에서만 유효하고 모델에는 남지 않는다.
① 들어가며 — "학습"이라는 말이 가리키는 것
LLM 작동 원리에서 모델이 답을 만드는 과정을 다뤘다. 토큰을 쪼개고, 좌표로 바꾸고, 어텐션으로 서로를 참조하고, 다음 토큰 확률표에서 하나를 뽑는 그 루프다. 그 글은 완성된 모델을 쓰는 쪽(추론)에 집중했고, 모델이 어떻게 만들어졌는지는 한 문단으로 넘겼다.
이 글이 그 빈칸을 채운다. 그리고 이 과정을 알면 따라오는 질문 몇 개가 자동으로 풀린다 — 왜 GPU를 수만 장씩 묶어야 하는지, 왜 어떤 모델은 말투가 다른지, 왜 "지난 대화 기억해?"가 안 되는지.
| 단계 | 무엇을 만드나 | 데이터 | 상대 비용 |
|---|---|---|---|
| 1. 사전학습 | 언어 능력 자체 | 인터넷·책 규모의 원시 텍스트 | 압도적 (수개월·수천억) |
| 2. 파인튜닝 | 지시를 따르는 습관 | 질문-답변 쌍 수만~수십만 건 | 사전학습의 극히 일부 |
| 3. RLHF | 말투·태도·거절 기준 | 사람이 매긴 선호 비교 | 작지만 사람 손이 많이 감 |
② 1단계: 사전학습 — 문제는 하나뿐이다
가장 비싸고 가장 오래 걸리는 단계인데, 정작 푸는 문제는 놀랄 만큼 단순하다. "이 문장 다음에 올 토큰은 무엇인가" 하나다.
절차는 이렇다. 텍스트에서 한 조각을 가져와 뒷부분을 가리고, 모델에게 다음 토큰을 예측하게 한다. 정답과 비교해 틀린 만큼 파라미터를 조금씩 밀어준다. 이걸 수조 번 반복한다.
"다음 토큰을 잘 맞히려면" 무엇이 필요한지 생각해보면 답이 나온다. "대한민국의 수도는" 다음을 맞히려면 사실을 알아야 하고, "철수는 영희에게 책을 주었다. 책을 받은 사람은" 다음을 맞히려면 문장 구조를 파악해야 하며, "3 + 5 =" 다음을 맞히려면 계산 비슷한 것을 해야 한다.
즉 문법·상식·추론은 목표가 아니라 부산물이다. 예측 정확도를 올리는 과정에서 딸려 나온 능력이다. 이 점이 뒤에서 다룰 한계와 직결된다.
여기서 GPU가 필요해진다
파라미터가 수천억 개인데 그걸 수조 번 조금씩 고쳐야 한다. 게다가 파라미터가 GPU 한 장에 안 들어가서 여러 장에 쪼개 올린 뒤, 매 단계마다 그 조각들끼리 중간 결과를 주고받아야 한다.
그래서 학습 클러스터에서는 연산 속도만큼이나 GPU 사이의 통신 속도가 중요해진다. 카드 하나가 아무리 빨라도 옆 카드에서 데이터가 안 오면 놀게 되기 때문이다. 실적 발표에서 HBM 대역폭과 인터커넥트가 반복해서 언급되는 이유가 이것이다. 관련 구조는 반도체 섹터 심층 분석에서 다뤘다.
학습은 일시적·집중적이다. 모델 하나 만들 때 거대한 클러스터를 몇 달 점유하고 끝난다. 추론은 지속적·분산적이다. 서비스가 살아 있는 한 매 질문마다 계속 발생한다.
그래서 두 수요는 사이클이 다르게 움직인다. 실적 발표에서 이 둘을 구분해 언급하는지 보면 그 기업이 어느 국면에 있는지 읽힌다 — 엔비디아·AMD·인텔 비교에서 이 차이가 실제 실적으로 어떻게 갈렸는지 정리했다.
사전학습이 끝나면 무엇이 나오나
흔한 오해가 여기 있다. 사전학습만 끝난 모델(베이스 모델)은 챗봇처럼 행동하지 않는다. 질문을 하면 답하는 대신 비슷한 질문을 계속 나열하기도 한다. 학습한 것이 "질문에 답하기"가 아니라 "텍스트 이어붙이기"이기 때문이다.
인터넷에서 질문 뒤에 자주 오는 것은 답변만이 아니다. 다른 질문, 광고, 게시판 서명도 온다. 베이스 모델은 그중 확률 높은 것을 고를 뿐이다. 여기서 2단계가 필요해진다.
③ 2단계: 파인튜닝 — "질문에는 답을 한다"를 가르치기
파인튜닝은 완성된 베이스 모델에 추가로, 훨씬 적은 양의 데이터를 학습시키는 단계다. 핵심 데이터는 질문–답변 쌍이다. 사람이 작성했거나 검수한 좋은 답변을 수만~수십만 건 보여준다.
여기서 배우는 것은 지식이 아니라 형식이다. "질문 다음에는 답변이 온다", "요청받은 형식을 지킨다", "모르면 모른다고 한다" 같은 습관이다. 이 단계를 거친 모델을 보통 인스트럭션 튜닝된 모델이라 부른다.
"우리 회사 문서로 파인튜닝하면 사내 챗봇이 되지 않나?"는 자주 나오는 발상인데, 실제로는 잘 안 된다. 파인튜닝 데이터는 사전학습에 비하면 극히 적어서 새 사실을 안정적으로 심기 어렵고, 어설프게 들어간 지식은 오히려 환각의 재료가 된다.
사내 문서를 다루려면 파인튜닝보다 RAG(질문할 때마다 문서를 찾아 근거로 붙이는 방식)가 정석이다. 파인튜닝은 "무엇을 아는가"보다 "어떻게 행동하는가"를 바꾸는 도구로 보는 게 정확하다.
④ 3단계: RLHF — 사람의 취향을 반영하기
2단계까지 오면 질문에 답은 한다. 그런데 여러 답변 중 어느 쪽이 더 나은지는 정답이 없다. 같은 내용도 너무 장황하거나, 너무 딱딱하거나, 불필요하게 단정적일 수 있다. 이건 정답표로 가르칠 수 없는 종류다.
그래서 방식을 바꾼다. RLHF(사람 피드백 기반 강화학습)의 절차는 대략 이렇다.
| 순서 | 하는 일 |
|---|---|
| 1 | 같은 질문에 모델이 답변 여러 개를 생성한다 |
| 2 | 사람이 어느 쪽이 더 나은지 순위를 매긴다 (점수가 아니라 비교) |
| 3 | 이 비교 데이터로 "사람이 선호할 점수"를 예측하는 보상 모델을 만든다 |
| 4 | 원래 모델이 보상 모델의 점수를 높이는 쪽으로 답변을 조정한다 |
2단계가 비교인 것이 중요하다. "이 답변은 100점 만점에 몇 점"은 사람마다 기준이 흔들리지만, "A와 B 중 어느 쪽이 나은가"는 훨씬 일관된 판단이 나온다.
이 단계에서 만들어지는 것이 우리가 체감하는 모델의 성격이다. 어느 정도로 공손한지, 애매한 질문에 되묻는지 추측하는지, 어떤 요청을 거절하는지 — 전부 여기서 결정된다. 같은 구조와 비슷한 데이터로 만든 모델들이 유독 말투가 다르게 느껴지는 이유이기도 하다.
사람은 자신 있게 쓴 답변을 더 좋게 평가하는 경향이 있다. 이 선호가 그대로 학습되면 모델은 내부 확률이 낮을 때도 단정적으로 쓰는 법을 배운다.
AI 환각 가이드에서 "어조는 신뢰도의 신호가 아니다"라고 한 것의 기술적 근거가 이것이다. 확신에 찬 문장은 정확도의 결과가 아니라 사람이 그렇게 써주길 원했다는 사실의 결과다.
⑤ 세 단계가 끝나면 — 파라미터는 얼어붙는다
배포 시점에 파라미터는 고정된다. 이후 아무리 많은 사람이 아무리 많은 대화를 나눠도 그 숫자들은 바뀌지 않는다.
그래서 "어제 알려준 거 기억나?"가 안 된다. 대화 중에 알려준 내용은 그 대화창의 입력에 남아 있는 동안만 유효하다. 창을 닫으면 사라진다. 최근 서비스들의 "메모리" 기능도 학습이 아니라, 별도 저장소에 적어뒀다가 다음 대화의 입력에 몰래 붙여주는 방식이다.
| 착각 | 실제 |
|---|---|
| 대화하면 모델이 똑똑해진다 | 파라미터는 그대로. 대화는 입력일 뿐 |
| 내가 알려준 사실을 다른 사용자도 보게 된다 | 추론 중에는 학습이 일어나지 않음 |
| 메모리 기능 = 학습 | 외부 저장 후 입력에 재삽입 |
| 모델이 매일 최신 정보로 갱신된다 | 지식은 컷오프에 멈춤. 최신 정보는 검색으로 보충 |
추론 중에 파라미터가 안 바뀌는 건 구조적 사실이다. 하지만 입력한 대화가 서버에 저장되어 다음 모델의 학습 데이터로 쓰일 수는 있다. 이건 기술 구조가 아니라 각 서비스의 데이터 정책 문제다.
업무 문서를 넣을 계획이라면 설정에서 학습 사용을 끌 수 있는지, 대화가 얼마나 보관되는지 확인하는 게 먼저다. AI 도구 비교에서 이걸 성능보다 먼저 볼 항목으로 꼽은 이유다.
⑥ 정리 — 어느 단계가 무엇을 결정하나
· 사실을 모른다 → 사전학습 데이터에 없었거나 컷오프 이후. 파인튜닝으로 메우기 어렵고 검색(RAG)이 정석
· 형식을 안 지킨다 → 파인튜닝의 영역. 프롬프트에 예시를 주면 상당 부분 보완된다
· 말투가 안 맞는다 / 과하게 거절한다 → RLHF에서 결정된 성향. 사용자가 바꾸기 가장 어려운 부분
· 틀린 답을 자신 있게 한다 → 사전학습(확률로 고름)과 RLHF(단정적 문체 선호)의 합작
세 단계를 한 줄로 줄이면 이렇다. 사전학습은 무엇을 아는지를, 파인튜닝은 무엇을 하는지를, RLHF는 어떻게 말하는지를 정한다. AI 관련 뉴스에서 "새 모델"이라는 말이 나올 때 셋 중 어디가 바뀐 것인지 구분해서 읽으면 과장된 발표와 실질적인 진전을 가려내기가 훨씬 쉬워진다.
※ 본 글은 2026년 8월 기준 공개된 트랜스포머 계열 언어모델의 일반적인 제작 과정을 설명합니다. 개별 상용 모델은 세부 절차가 다를 수 있으며, 본문의 기업 언급은 구조 설명을 위한 예시로 투자 권유가 아닙니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.