회사에서 AI를 도입할 때 확인할 것
도구를 고르기 전에 묻는 7가지
① 회사가 도입을 고민하는 사이에도 직원은 이미 개인 계정으로 AI를 쓰고 있을 가능성이 크다. 그래서 질문은 "쓸 것인가"보다 "어떤 조건에서 쓰게 할 것인가"다.
② 도구 이름보다 먼저 확인할 것은 무슨 일을 맡길지, 어떤 데이터가 들어가는지, 계약 조건과 권한, 결과에 대한 책임, 비용 구조, 그만둘 때의 출구 일곱 가지다.
③ 처음부터 전사 도입하지 않는다. 성공 기준을 먼저 정하고 한두 팀에서 작게 시험한 뒤, 기존 방식과 비교해 넓힌다.
① 들어가며 — 개인의 문제에서 조직의 문제로
AI와 개인정보는 "내가 입력한 것은 어디로 가나"를 개인 사용자 관점에서 다뤘다. 이 글은 한 단계 위, 조직이 결정해야 하는 일을 다룬다. 어떤 도구를 허용하고, 어떤 데이터를 넣게 하고, 문제가 생기면 누가 책임지는지는 개인이 설정 화면에서 정할 수 있는 영역이 아니다. 도입 담당자뿐 아니라 팀장이나 기획자, 투자자 입장에서 "이 회사는 AI를 제대로 도입하고 있나"를 가늠할 때도 같은 질문이 쓰인다.
② 도입 논의 전에 이미 쓰고 있다 — 섀도 AI
회사가 공식 도입을 검토하기 전에 직원은 먼저 쓰기 시작하는 경우가 많다. 마이크로소프트와 링크드인의 2024 Work Trend Index는 AI를 쓰는 직원 중 78%가 개인 AI 도구를 업무에 가져온다고 보고했다(중소기업은 80%). 같은 보고서에서 회사로부터 AI 교육을 받은 사용자는 39%에 그쳤다(Microsoft News, 2024). 설문 범위와 문항에 따라 수치는 달라질 수 있어, 미국 평균은 이보다 낮게 집계됐다는 자료도 있다. 방향은 같다. 쓰는 사람은 많고, 규칙을 배운 사람은 적다.
실제로 문제가 된 사례가 있다. 2023년 4월 삼성전자 엔지니어들이 오류를 고치려고 내부 소스 코드를 ChatGPT에 올린 일이 알려지면서, 삼성은 이후 사내 컴퓨터·모바일 기기·내부망에서 생성형 AI 사용을 제한하는 메모를 냈다. 회사는 이 조치를 임시라고 밝혔고, 안전한 사용 방법을 마련하는 동안의 조치라고 설명했다(TechRadar, CSO). 어떤 정보가 얼마나 노출됐는지는 보도에서 확인되지 않았다.
교훈은 "AI는 위험하니 막자"가 아니다. 금지만 하면 쓰고 싶은 직원은 개인 기기와 개인 계정으로 조용히 옮겨 간다. 승인된 대안과 쓰는 규칙을 함께 제공해야 통제가 된다. 삼성도 금지만 하지 않고 안전한 사용 환경을 검토하겠다고 밝혔다.
③ 도입 전에 묻는 7가지
도구 비교표를 열기 전에 아래 일곱 가지를 먼저 정리하면 선택지가 크게 줄어든다.
| # | 질문 | 구체적으로 확인할 것 |
|---|---|---|
| 1 | 무슨 일을 맡기나? | 사용 사례를 구체적으로 적는다("AI 도입"이 아니라 "고객 문의 1차 답변 초안"). 그 일이 틀렸을 때 비용이 얼마인지도 같이 적는다. 틀려도 사람이 고치면 되는 일과 틀리면 곧바로 고객에게 나가는 일은 다르다 |
| 2 | 어떤 데이터가 들어가나? | 자료를 공개 / 내부 / 기밀 / 개인정보처럼 몇 단계로 나누고 단계마다 허용 여부를 정한다. 단계를 안 나누면 직원은 매번 혼자 판단해야 한다 |
| 3 | 계약과 요금제 조건은? | 입력한 내용이 학습에 쓰이는지, 얼마나 보관되는지, 삭제 요청이 어떻게 처리되는지, 어느 지역 서버에 저장되는지, 하위 업체를 쓰는지를 약관·계약서에서 직접 확인한다. 개인용과 조직용 요금제는 조건이 다를 수 있으니 이름만 보고 판단하지 않는다 |
| 4 | 누가 무엇에 접근하나? | 사내 로그인(SSO) 연동, 직원별 권한, 사용 기록(감사 로그)을 볼 수 있는지 확인한다. AI가 메일·문서·사내 시스템에 연결된다면 연결 범위를 최소로 줄인다. 이유는 프롬프트 인젝션과 AI 보안에서 다뤘다 |
| 5 | 결과는 누가 책임지나? | AI가 만든 결과물을 누가 언제 검토하는지 사람의 확인 지점을 정한다. 위임해도 책임은 위임되지 않는다는 점은 AI 에이전트에게 실제로 일 맡기기에서 실제 사고 사례와 함께 정리했다 |
| 6 | 비용은 어떻게 늘어나나? | 직원 1인당 정액인지 사용량 과금인지 확인한다. 사용량 과금이면 긴 문서와 반복 호출이 비용을 키운다. 원리는 토큰과 컨텍스트 윈도우를 참고한다 |
| 7 | 그만둘 때 나갈 길이 있나? | 내 데이터를 내보낼 수 있는지, 다른 모델로 바꿀 수 있는 구조인지, 서비스가 중단되거나 가격이 오르면 어떻게 대체할지 정한다. 한 업체에 업무 흐름 전체를 묶어두면 협상력이 약해진다 |
④ 규제는 한 줄로 점검한다
AI를 쓰는 방식에 따라 법적 의무가 생길 수 있다. 상세는 법무 담당이나 전문가의 몫이고, 도입 담당자가 알아야 할 것은 "우리 서비스에 해당되는지 확인해야 한다"는 사실이다.
- 한국: AI 기본법이 2026년 1월 22일 시행됐다. 고영향 AI나 생성형 AI를 이용한 제품·서비스를 이용자에게 제공할 때는 AI 기반 운용 사실을 사전에 알려야 한다는 투명성 의무가 있다. 과기정통부는 사실조사와 과태료에 대해 1년 이상의 유예기간을 두겠다고 밝혔다(김&장 법률사무소 뉴스레터).
- EU: AI Act의 고위험 AI 의무는 시행 시기가 늦춰져, 독립형 고위험 시스템은 2027년 12월 2일로 미뤄졌다고 보도됐다(Gibson Dunn). 의무가 없어진 것이 아니라 미뤄진 것이다.
규제는 시행령·가이드라인과 유예 조치에 따라 계속 바뀐다. 위 내용은 도입 점검의 출발점이며, 실제 적용 여부는 최신 공식 자료와 법무 검토로 확인해야 한다. 고객에게 AI 결과를 직접 보여주는 서비스라면 특히 그렇다.
⑤ 작게 시작하는 파일럿 설계
일곱 가지를 정리했다면 바로 전사 도입하지 말고 한두 팀에서 정해진 기간 동안 시험한다. 파일럿에서 가장 흔한 실패는 기술이 아니라 끝난 뒤 성공했는지 말할 수 없는 것이다.
- 성공 기준을 먼저 적는다. "도움이 됐다"가 아니라 "초안 작성 시간이 얼마나 줄었나", "수정 횟수가 어떻게 달라졌나"처럼 숫자로 비교할 수 있게 둔다.
- 기존 방식과 나란히 비교한다. AI를 쓴 팀과 쓰지 않은 팀, 또는 쓰기 전후의 같은 업무를 비교한다.
- 검토 시간까지 센다. 초안은 빨라져도 틀린 부분을 찾아 고치는 시간이 늘면 순이익은 작다. AI가 숫자를 틀리는 이유처럼 약한 영역은 검토 비중이 커진다.
- 실패 사례를 기록한다. 잘된 사례만 모으면 도입 효과가 부풀려진다. 틀린 답과 막힌 업무를 같이 적는다.
- 교육과 규칙을 같이 준다. 위 보고서의 39%라는 수치가 말해주듯 도구만 주면 쓰는 방식은 각자 정한다. 어떤 데이터를 넣어도 되는지 한 장짜리 안내를 함께 준다.
어떤 도구가 나은지는 외부 점수표보다 우리 업무 5개 정도를 같은 조건으로 시켜 보는 것이 훨씬 직접적이다. 이유와 방법은 벤치마크 점수를 믿어도 되나에서 다뤘다.
⑥ 투자자 관점 — "AI 도입"이라는 말을 어떻게 읽나
기업 실적 발표에서 "AI 도입 확대"라는 문구가 자주 나온다. 이 글의 질문을 그대로 적용하면, 그 말 뒤에서 확인할 것은 어디에 쓰는지(1번), 비용이 어떻게 늘어나는지(6번), 이미 숫자로 나타나는지다. 도입 계획만 있고 성과 지표가 없다면 아직은 기대이고, 매출·마진·가이던스에 나타난다면 근거다. 빅테크의 기업용 AI 수요를 실적에서 읽는 방식은 빅테크 실적 해석 가이드에서, 증권사 리포트가 낙관 일색일 때 편차를 보는 법은 증권사 리포트 해독법에서 다뤘다.
⑦ 실전 체크리스트
□ 맡길 일을 구체적으로 적고, 틀렸을 때의 비용을 적었는가
□ 자료를 공개·내부·기밀·개인정보로 나누고 단계별 허용 여부를 정했는가
□ 학습 사용·보관 기간·삭제·저장 지역을 약관과 계약서에서 직접 확인했는가
□ 사내 로그인 연동, 직원별 권한, 사용 기록이 가능한가
□ AI 결과를 사람이 확인하는 지점과 책임자를 정했는가
□ 정액인지 사용량 과금인지, 사용량이 늘면 비용이 어떻게 변하는지 알고 있는가
□ 데이터를 내보내거나 다른 모델로 바꿀 수 있는가
□ 우리 서비스에 적용되는 규제가 있는지 법무와 확인했는가
□ 성공 기준을 숫자로 정하고 한두 팀에서 먼저 시험하는가
□ 승인된 도구와 데이터 규칙을 직원에게 알렸는가
※ 본 글의 수치는 2024년 보고서와 2026년 보도에 근거하며 이후 달라졌을 수 있습니다. 법률·보안·계약에 대한 자문이 아니며, 실제 도입 결정은 법무·보안 담당과 최신 공식 자료로 확인해야 합니다. 특정 기업이나 제품에 대한 평가가 아니며, 투자 관련 내용은 투자 권유가 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.
※ 본 가이드는 일반 교육 목적의 참고 자료이며, 이해를 돕기 위해 기술적 세부사항을 단순화했습니다.
새 가이드가 나오면 알려드립니다
AI 리터러시 가이드는 주 2회 발행합니다. 구독하시면 다음 편을 메일로 보내드립니다. 무료이고 언제든 해지할 수 있습니다.