LLM 뜻, 대규모 언어 모델이 일하는 방식

LLM은 Large Language Model의 약자로, 우리말로는 대규모 언어 모델이라고 합니다. 챗GPT, Claude, Gemini처럼 사람과 말로 대화하는 AI 서비스 안에서 실제로 문장을 이해하고 만들어 내는 두뇌가 LLM입니다. 챗GPT가 서비스 이름이라면 그 안에서 돌아가는 GPT 모델이 LLM입니다. 회사에 AI를 들일지 고민하는 대표나 실무자라면 LLM이 어떻게 일하는지 큰 줄기만 알아도 판단이 훨씬 쉬워집니다. 어떤 일을 맡겨도 되는지, 어떤 일은 맡기면 안 되는지가 원리에서 바로 보이기 때문입니다. 수식 없이, 업무 예시로 풀어 보겠습니다.

LLM 뜻: 말을 배운 거대한 예측기

LLM을 한 문장으로 줄이면 "다음에 올 말을 가장 그럴듯하게 예측하도록 엄청난 양의 글을 학습한 모델"입니다. 이름의 세 단어가 각각 의미가 있습니다.

• Large(대규모): 학습한 글의 양과 모델 크기가 매우 큽니다. 인터넷 문서, 책, 코드 등 사람이 평생 읽을 수 없는 양을 학습합니다.
• Language(언어): 숫자나 이미지보다 먼저 말과 글을 다루도록 만들어졌습니다. 최근 모델은 이미지와 표도 읽지만 출발점은 언어입니다.
• Model(모델): 학습으로 만들어진 계산 구조입니다. 같은 모델을 여러 서비스가 가져다 씁니다.

오늘날 LLM의 기반이 된 기술은 2017년 구글 연구진이 발표한 트랜스포머(Transformer) 구조입니다(논문 원문). 이 구조 덕분에 긴 문장 안에서 단어끼리의 관계를 한꺼번에 계산할 수 있게 되었고, 2022년 11월 OpenAI가 챗GPT를 공개하면서 일반인도 LLM을 직접 쓰기 시작했습니다.

LLM은 어떻게 일하나: 네 가지 개념

토큰: LLM이 글을 읽는 단위

LLM은 글을 글자 그대로 읽지 않고 토큰(token)이라는 조각으로 잘라서 처리합니다. 영어에서는 단어 하나나 단어의 일부가 토큰 하나쯤 되고, 한국어는 대체로 한 단어가 여러 토큰으로 나뉩니다. 토큰이 중요한 이유는 두 가지입니다. AI 서비스의 요금이 대부분 토큰 수로 매겨지고, 한 번에 읽을 수 있는 양도 토큰 수로 정해지기 때문입니다.

다음 단어 예측: 답을 만드는 방식

LLM은 질문을 받으면 그 뒤에 올 가장 그럴듯한 토큰을 하나 고르고, 그 토큰까지 붙인 글을 보고 다시 다음 토큰을 고르는 일을 반복해 답을 만듭니다. "거래명세서에 꼭 들어가야 하는 항목은"이라는 문장 뒤에는 "공급자, 공급받는 자, 품목, 수량, 금액" 같은 말이 이어질 확률이 높다는 것을 학습했기 때문에 그럴듯한 답이 나옵니다. 이 방식이 강점이자 약점입니다. 문장을 자연스럽게 잇는 데는 탁월하지만, 사실을 확인하는 단계가 따로 있지 않아서 모르는 내용도 그럴듯하게 이어 붙일 수 있습니다. 이것이 할루시네이션입니다.

👉 할루시네이션 뜻, AI가 틀리는 이유와 줄이는 법

학습과 추론: 언제 배우고 언제 쓰나

LLM의 일생은 두 단계로 나뉩니다. 학습(training) 은 모델 회사가 막대한 글과 계산 자원을 들여 모델을 만드는 단계이고, 추론(inference) 은 우리가 질문할 때마다 학습된 모델이 답을 만드는 단계입니다. 회사가 AI 서비스를 쓴다는 것은 거의 언제나 추론을 쓰는 것입니다. 중요한 점은 모델이 학습한 시점 이후의 일은 모른다는 것입니다. 모델 회사들은 이를 지식 기준일(knowledge cutoff)로 공개합니다. 지난주 바뀐 거래처 단가나 오늘 아침 재고는 어떤 LLM도 원래는 알지 못합니다.

컨텍스트 창: 한 번에 읽을 수 있는 양

컨텍스트 창(context window)은 LLM이 한 번의 대화에서 동시에 볼 수 있는 글의 양입니다. 질문과 함께 준 문서, 지금까지의 대화가 모두 이 안에 들어가야 합니다. 이 크기는 빠르게 커져 왔습니다. Anthropic은 2026년 10월 현재 Claude 모델들의 컨텍스트 창을 100만 토큰으로 안내하는데, 공식 문서 기준 한글을 포함한 문자로 약 250만 자 분량입니다(Claude 모델 개요). 계약서 수십 건이나 1년치 회의록을 한 번에 넣고 질문할 수 있는 수준입니다. 다만 창이 크다고 회사 데이터를 저절로 아는 것은 아닙니다. 누군가 그 자료를 창 안에 넣어 줘야 LLM이 읽습니다. 또 대화가 길어져 창이 가득 차면 앞부분 내용을 놓치기 시작하므로, 한 대화에는 한 업무만 맡기고 필요한 자료만 넣는 편이 결과가 정확합니다.

LLM 비용은 어떻게 매겨지나

업무용 LLM은 대부분 읽은 토큰(입력)과 쓴 토큰(출력)에 따라 요금이 붙습니다. Anthropic 공식 문서를 보면 2026년 10월 현재 Claude Sonnet 5.5는 입력 100만 토큰당 2달러, 출력 100만 토큰당 10달러이고, 100만 토큰은 대략 250만 자 분량입니다. 이 기준으로 거래처 발주서 메일 한 통(약 2,500자, 1,000토큰)을 읽고 수주 정리와 회신 초안(약 1,000자, 400토큰)을 쓰는 비용을 계산하면 입력 0.002달러와 출력 0.004달러, 합쳐서 0.006달러입니다. 환율 1,380원을 적용하면 한 건에 약 8원, 하루 30건이면 250원 정도입니다.

물론 실제 업무에서는 재고 조회, 이전 주문 확인처럼 더 많은 자료를 읽기 때문에 비용이 몇 배로 늘 수 있습니다. 그래도 사람이 한 건에 10분씩 쓰는 일과 비교하면 모델 사용료 자체는 고민할 크기가 아닌 경우가 많습니다. 비용보다 따져야 할 것은 그 결과를 다시 옮겨 적고 확인하는 사람의 시간입니다.

국내외 주요 LLM

국내 모델도 빠르게 따라오고 있습니다. LG AI연구원은 2025년 7월 일반 대화와 추론 기능을 하나로 합친 EXAONE 4.0을 공개했고(아시아경제 보도), 과학기술정보통신부는 2025년 8월 네이버클라우드, SK텔레콤, LG AI연구원, NC AI, 업스테이지 다섯 곳을 독자 AI 파운데이션 모델 정예팀으로 선정했습니다(바이라인네트워크 보도). 2026년 1월 1차 평가에서는 LG AI연구원, SK텔레콤, 업스테이지가 다음 단계에 올랐습니다.

회사 입장에서 모델 이름보다 중요한 것은 세 가지입니다. 한국어 업무 문서를 얼마나 정확히 다루는지, 회사 데이터가 모델 학습에 쓰이지 않는다는 계약 조건이 있는지, 그리고 회사의 다른 시스템과 연결할 수 있는지입니다.

LLM이 잘하는 일과 못하는 일

원리를 알면 맡길 일이 보입니다. LLM은 언어로 된 일에 강합니다. 거래처 메일 초안 쓰기, 회의록 요약, 해외 바이어 문의 번역, 긴 계약서에서 납품 조건 찾기, 제각각인 발주서에서 품목과 수량 뽑기가 여기에 속합니다. 사람이 몇십 분 걸리는 읽기와 쓰기를 몇 초에 끝냅니다.

반대로 LLM 혼자서는 약한 일도 분명합니다.

• 정확한 계산: 다음 단어를 예측하는 방식이라 긴 계산에서 숫자를 틀릴 수 있습니다. 합계, 원가, 세금 계산은 계산 도구나 회사 시스템이 맡아야 합니다.
• 최신 정보: 학습 이후의 일은 모릅니다. 바뀐 세법이나 오늘 환율은 검색이나 연결된 데이터가 있어야 합니다.
• 회사 내부 사실: 우리 회사의 재고, 단가, 미수금은 학습 데이터에 없습니다. 회사 시스템과 연결되지 않은 LLM에게 이걸 물으면 그럴듯한 숫자를 지어낼 위험이 큽니다.

회사가 LLM을 쓰는 세 가지 방식

1. 채팅 도구로 쓴다

직원이 챗GPT나 Claude 같은 서비스에 직접 질문하는 방식입니다. 시작은 쉽지만 회사 데이터는 직원이 복사해 붙여 넣어야 하고, 결과도 다시 옮겨 적어야 합니다. 개인 계정에 회사 자료를 붙여 넣는 순간 보안 문제도 생깁니다.

2. 업무 시스템 안에 넣어 쓴다

ERP, 메일, 문서 도구 안에 LLM이 들어가 있어서 화면을 떠나지 않고 쓰는 방식입니다. 예를 들어 견적 화면에서 거래처 메일을 읽어 견적서를 채우거나, 회계 화면에서 입금 내역을 읽어 어느 세금계산서 대금인지 맞춥니다. 회사 데이터가 이미 그 안에 있으니 복사할 필요가 없습니다.

두 번째 방식에서 효과가 커지는 이유는 LLM의 약점이 그대로 보완되기 때문입니다. LLM은 메일의 문장을 읽고 무엇을 원하는지 이해하는 일을 맡고, 단가와 재고 같은 숫자는 ERP가 정확하게 내놓고, 금액 합계는 시스템이 계산합니다. LLM 혼자서는 못하는 계산과 회사 사실을 시스템이 채워 주는 구조라, 같은 모델이라도 채팅창에서 쓸 때보다 틀리는 일이 훨씬 적습니다.

3. 에이전트로 일을 맡긴다

LLM이 여러 시스템을 오가며 업무 한 건을 처음부터 끝까지 처리하는 방식입니다. 메일로 온 발주서를 읽고, 재고를 확인하고, 수주를 등록하고, 회신까지 보냅니다. 같은 LLM이라도 어떤 방식으로 쓰느냐에 따라 회사가 얻는 효과가 몇 배씩 차이 납니다.

👉 AI 에이전트란? 챗봇과 다른 점, 회사 업무에 쓰는 법

LLM 자주 묻는 질문 (FAQ)

Q. LLM과 생성형 AI는 같은 말인가요?

겹치지만 같지는 않습니다. 생성형 AI는 글, 이미지, 음성 등 새로운 결과물을 만드는 AI 전체를 말하고, LLM은 그중 언어를 다루는 모델입니다. 이미지를 만드는 AI는 생성형 AI이지만 LLM은 아닙니다.

Q. 우리 회사 전용 LLM을 만들어야 하나요?

대부분의 회사에는 필요 없습니다. 모델을 새로 학습시키는 데는 막대한 비용이 들고, 회사에 필요한 것은 보통 새 모델이 아니라 기존 LLM이 회사 데이터를 읽고 회사 시스템에서 일하게 연결하는 것입니다.

Q. 회사 자료를 넣으면 그 자료로 학습되나요?

서비스와 요금제마다 다릅니다. 업무용으로 쓸 때는 입력한 데이터를 모델 학습에 쓰지 않는다는 조건이 계약이나 약관에 명시되어 있는지 확인해야 합니다.

Q. LLM이 쓴 글을 그대로 내보내도 되나요?

문장 표현은 그대로 써도 되지만 숫자, 날짜, 고유명사는 원본과 대조한 뒤 내보내는 것이 안전합니다.

👉 생성형 AI 뜻, 기존 AI와 다른 점과 활용법

inline AI로 LLM을 업무에 쓰기

LLM은 똑똑하지만 회사의 재고와 단가와 거래처를 모른 채로는 업무를 끝낼 수 없습니다. inline AI는 문서를 바로 편집하고 만드는 AI 브라우저와 회사용 AI OS가 연결된 시스템이라, 직원이 말로 맡긴 일을 AI가 문서와 ARP의 주문, 재고, 회계 데이터 위에서 직접 처리합니다. 회사 데이터는 암호화해 저장하고 AI 학습에 쓰지 않습니다.