로컬 LLM 회사 도입, 클라우드 AI와 비교

로컬 AI(로컬 LLM)는 AI 모델을 외부 서비스가 아니라 회사 서버나 직원 PC에서 직접 돌리는 방식입니다. 입력한 자료가 회사 밖으로 나가지 않는다는 점 때문에 "챗GPT는 불안하니 우리 서버에 AI를 깔자"는 이야기가 나옵니다. 그런데 모델을 받는 것은 무료여도, 돌릴 장비와 운영할 사람, 업무에 연결하는 개발에는 돈과 시간이 듭니다. 로컬과 클라우드 중 어느 쪽이 맞는지는 회사가 지켜야 할 자료의 종류와 IT 인력 사정으로 판단합니다.

삼성전자 사례에서 출발해 로컬 LLM에 실제로 필요한 것, 기업용 클라우드 AI가 데이터를 지키는 방식, 국내 규제 기관의 기준을 차례로 보고, 중소 유통/제조 회사가 고를 기준을 정리합니다.

삼성전자 사례: 문제는 클라우드가 아니라 통제였다

이코노미스트 보도에 따르면 삼성전자 반도체(DS) 부문은 2023년 3월 사내에서 챗GPT 사용을 허용한 지 20일 만에 세 건의 유출 사고를 확인했습니다. 설비 측정 데이터베이스 프로그램의 소스 코드, 수율과 불량 설비 분석 프로그램 코드, 녹음한 회의 내용이 챗GPT에 입력된 사례입니다. 회사는 질문 한 번에 1,024바이트까지만 입력하도록 제한하고, 사내 전용 AI 서비스를 검토했습니다. 같은 보도에 따르면 모바일과 가전을 맡은 DX 부문은 당시에도 챗GPT 사용을 막아 두고 있었습니다.

이 사례에서 눈여겨볼 것은 원인입니다. 직원들이 쓴 것은 회사가 계약한 기업용 서비스가 아니라 일반 서비스였고, 입력한 자료가 어디에 저장되는지, 학습에 쓰이는지를 회사가 정할 수 없었습니다. 당시 삼성이 직원에게 알린 대로 "입력되는 순간 데이터가 외부 서버에 전송되고 저장돼 회사가 회수하는 게 불가능"한 상태였던 것입니다. 해법은 두 갈래입니다. AI를 회사 안에 직접 두거나(로컬), 데이터 처리 조건을 계약으로 정한 기업용 서비스를 쓰는 것(클라우드)입니다.

로컬 LLM이란: 모델을 회사 장비에서 돌리는 방식

로컬 LLM은 가중치가 공개된 오픈 웨이트 모델을 내려받아 회사 장비에서 실행합니다. 대표적인 예가 OpenAI가 2025년 8월 공개한 gpt-oss입니다. Apache 2.0 라이선스로 누구나 쓸 수 있고, 큰 모델인 gpt-oss-120b는 단일 80GB GPU에서, 작은 모델인 gpt-oss-20b는 16GB 메모리 장치에서 실행할 수 있다고 OpenAI는 밝혔습니다.

모델을 PC에서 손쉽게 돌리는 도구도 있습니다. Ollama는 오픈 모델을 내려받아 로컬에서 실행하는 대표적인 도구로, 개발자가 노트북에서 모델을 시험해 보는 출발점으로 많이 씁니다.

로컬 LLM을 회사에 들이려면 필요한 것

시험과 운영은 다릅니다. 직원 30명이 매일 쓰는 업무 도구로 만들려면 다음이 필요합니다.

장비. 80GB GPU는 데이터센터용 장비입니다. 여러 직원이 동시에 쓰면 응답이 밀리므로 GPU를 여러 장 두거나 작은 모델을 써야 하고, 전력과 냉각, 서버실 공간도 함께 준비해야 합니다.

운영 인력. 모델은 몇 달마다 새 버전이 나옵니다. 새 모델을 시험하고 교체하고, 장애가 나면 복구할 사람이 필요합니다. IT 담당자가 한두 명인 회사에서는 이 일이 다른 업무를 밀어냅니다.

업무 연결. 모델만으로는 채팅 창 하나입니다. 회사 파일을 읽고, ERP의 주문과 재고를 조회하고, 결과를 엑셀이나 문서로 만들게 하려면 연결 개발이 따로 필요합니다. 국내 중소기업의 일은 홈택스, 인터넷뱅킹, 오픈마켓 판매자 센터 같은 사이트에서 많이 일어나는데, 이런 사이트에 로그인해 자료를 받아 오는 기능은 오픈 모델에 기본으로 들어 있지 않습니다. 사이트 화면이 바뀔 때마다 고치는 일도 회사 몫입니다.

보안 설정. 로컬이라고 보안이 저절로 생기지 않습니다. 누가 어떤 자료를 넣었는지 남기는 기록, 저장 데이터 암호화, 백업, 직원별 접근 범위를 직접 만들어야 합니다. 서버 한 대에 모든 부서의 대화가 쌓이면 그 서버 자체가 새로운 유출 지점이 됩니다.

기업용 클라우드 AI는 데이터를 어떻게 지키나

클라우드 AI도 기업용 계약에서는 데이터 처리 조건을 문서로 약속합니다. 예를 들어 OpenAI는 Business와 Enterprise 요금제의 비즈니스 데이터를 기본적으로 학습에 쓰지 않고, 저장 데이터는 AES-256, 전송 데이터는 TLS 1.2 이상으로 암호화한다고 공식 페이지에 밝히고 있습니다. Microsoft도 Copilot의 프롬프트와 응답, 회사 데이터를 기본 LLM 학습에 쓰지 않는다고 문서로 정해 두었습니다.

확인할 항목은 다섯 가지입니다.

1. 학습 사용: 회사 데이터가 모델 학습에 쓰이지 않는다는 조건이 계약이나 공식 문서에 있는가
2. 모델 제공사 보관: AI 모델을 제공하는 회사가 요청 내용과 파일을 남기지 않는가(ZDR, Zero Data Retention 계약)
3. 저장 위치와 분리: 어디에 저장되고, 다른 회사의 데이터와 분리되는가
4. 저장 암호화: 저장된 자료가 암호화되는가
5. 전송 암호화: 오가는 구간이 암호화되는가

국내 규제 기관도 같은 방향으로 움직였습니다. 금융위원회는 2024년 8월 금융분야 망분리 개선 로드맵을 발표하며 금융회사의 생성형 AI 활용을 허용하고 클라우드(SaaS) 이용 범위를 넓혔습니다. 보안 규제가 가장 엄격한 업종에서도 "외부 AI를 막는다"에서 "조건을 갖춰 쓴다"로 기준이 바뀐 것입니다.

우리 회사는 어느 쪽인가: 판단 기준

로컬 LLM을 검토할 만한 경우는 법이나 고객 계약으로 외부 전송 자체가 금지된 자료를 다룰 때입니다. 방산 납품 도면, 고객사가 외부 반출을 금지한 설계 자료가 대표적입니다. 이때는 그 자료를 다루는 부서만 로컬 모델을 쓰고, 나머지 업무는 클라우드를 쓰는 식으로 범위를 좁히는 것이 현실적입니다.

기업용 클라우드 AI가 맞는 경우는 대부분의 유통/제조 회사입니다. 견적서, 발주서, 거래명세서, 세금계산서, 재고 자료는 중요한 회사 자료지만, 학습 미사용과 암호화, 회사별 분리가 계약으로 보장되면 충분히 다룰 수 있습니다. IT 인력이 적은 회사일수록 장비와 운영을 맡지 않는 편이 비용이 덜 듭니다.

같은 업무로 비교해 보기

구매 담당자가 공급사 세 곳의 견적서 PDF를 품목별로 비교해 지난 분기 단가와 맞춰 보는 일을 생각해 보겠습니다. 로컬 LLM으로 하려면 PDF를 읽어 표로 바꾸는 기능, 단가 파일을 조회하는 기능, 결과를 엑셀로 쓰는 기능을 IT 담당자가 각각 붙여야 합니다. 기업용 클라우드 AI 업무 도구라면 견적서와 단가 파일을 열고 "품목별로 비교해서 지난 분기 대비 차이를 열로 넣어 줘"라고 요청하는 것으로 끝납니다. 차이는 모델이 아니라 업무에 연결된 정도에서 납니다.

👉 AI 보안, 회사 자료를 생성형 AI에 넣어도 될까

도입을 결정하기 전 2주 시범 순서

어느 쪽을 고르든 시범은 같은 순서로 하면 비교가 됩니다.

1. 업무 한 건을 고릅니다. 매주 반복되고, 결과가 숫자로 확인되는 일이 좋습니다. 공급사 견적 비교, 거래처별 매출 요약, 영문 사양서 요약이 대표적입니다.
2. 지금 걸리는 시간을 적습니다. 한 건에 몇 분, 일주일에 몇 건인지 기록합니다.
3. 자료 등급을 정합니다. 그 업무에 쓰는 자료 중 외부 전송이 금지된 것이 있는지 확인합니다. 하나도 없다면 로컬을 고집할 이유가 줄어듭니다.
4. 같은 업무를 끝까지 처리해 봅니다. 채팅 답변이 아니라 엑셀 비교표나 발주서처럼 실제로 쓰는 결과물이 나오는지 봅니다.
5. 걸린 시간과 준비 비용을 비교합니다. 로컬은 장비와 개발 시간을, 클라우드는 이용료를 넣어 같은 기준으로 계산합니다.

이 순서로 보면 대부분의 회사는 "모델을 어디에 두느냐"보다 "업무에 얼마나 붙어 있느냐"가 시간을 좌우한다는 것을 확인하게 됩니다.

자주 하는 실수

모델만 받고 끝낸다. 노트북에서 오픈 모델이 돌아가는 것을 보고 도입을 결정하면, 업무 연결과 보안 설정에서 몇 달이 더 걸립니다. 시범 단계에서 실제 업무 한 건을 끝까지 처리해 보는 것이 기준이 되어야 합니다.

로컬이면 안전하다고 본다. 접근 기록과 암호화가 없는 사내 서버는 퇴사자나 외부 침입에 오히려 약합니다. 보안은 위치가 아니라 설정으로 정해집니다. 서버를 사내에 두더라도 암호화, 백업, 접근 기록을 갖춰야 안전합니다.

기업용과 개인용 클라우드를 같은 것으로 본다. 삼성 사례의 위험은 개인용 서비스에서 생겼습니다. 같은 회사의 서비스라도 기업용 계약은 학습 사용과 보관 조건이 다릅니다.

로컬 AI 자주 묻는 질문 (FAQ)

Q. 로컬 LLM은 무료인가요?

gpt-oss처럼 Apache 2.0으로 공개된 모델은 무료로 내려받아 씁니다. 다만 여러 직원이 동시에 쓰는 데 필요한 GPU 장비, 서버실, 운영 인력, 업무 연결 개발은 회사가 부담합니다. 새 모델이 나올 때마다 시험하고 교체하는 시간도 비용에 넣어 계산해야 합니다.

Q. 회사 PC에서 작은 모델을 돌리면 충분하지 않나요?

16GB 메모리에서 도는 모델로 문장 다듬기나 요약은 할 수 있습니다. 여러 파일을 읽고 ERP 데이터와 맞춰 문서를 만드는 업무는 모델 크기와 업무 연결이 함께 필요해 PC 한 대로는 어렵습니다.

Q. 망분리를 하는 회사도 클라우드 AI를 쓸 수 있나요?

금융위원회는 2024년 8월 망분리 개선 로드맵에서 금융회사의 생성형 AI 활용을 허용하고 SaaS 이용 범위를 넓혔습니다. 망분리가 의무인 업종이 아니라면 회사 내부 규정으로 정한 경우가 많으므로, 어떤 자료를 어느 망에서 다룰지 규정부터 다시 보는 것이 출발점입니다.

Q. inline AI는 로컬 AI인가요?

inline AI는 클라우드 서비스입니다. 회사 데이터는 AWS의 회사 전용 공간에 AES-256으로 암호화해 저장하고, 전송 구간은 TLS로 암호화합니다. 고객 데이터는 AI 학습에 쓰지 않으며, AI 모델 제공사와 eZDR 계약을 맺어 프롬프트와 파일이 제공사에 남지 않습니다.

inline AI로 장비 없이 회사 AI 쓰기

로컬 LLM이 약속하는 "자료가 밖에서 쓰이지 않는다"는 조건을, inline AI는 학습 미사용과 eZDR, 회사별 암호화 저장으로 지킵니다. 서버를 사거나 모델을 관리할 필요 없이 inline AI가 견적서 비교부터 발주서 작성, ERP의 재고와 회계 처리까지 회사 업무에 바로 붙어 일합니다. 홈택스, 인터넷뱅킹, 판매자 센터에도 inline AI가 직접 들어가 자료를 받아 오므로, 사이트마다 연결을 개발할 필요도 없습니다.