AI 에이전트란? 챗봇과 다른 점, 회사 업무에 쓰는 법

AI 에이전트(AI agent)는 목표를 받으면 스스로 단계를 나누고, 필요한 도구를 골라 쓰면서 일을 끝까지 처리하는 AI입니다. 챗GPT에 질문하면 답이 돌아오는 데서 끝나지만, 에이전트에게 "어제 메일로 온 발주서를 처리해 줘"라고 하면 메일함을 열고, 첨부 파일을 읽고, 재고를 확인하고, 수주를 등록하고, 거래처에 회신까지 보냅니다. 말하자면 답을 주는 AI가 아니라 일을 하는 AI입니다.

2025년부터 거의 모든 소프트웨어 회사가 "에이전트"를 내세우고 있지만, 실제로 업무를 끝까지 맡길 수 있는 제품은 생각보다 적습니다. AI 에이전트가 정확히 무엇인지, 회사 업무 안에서 어떻게 움직이는지, 도입한 회사의 상당수가 왜 실패하는지를 알면 제대로 맡길 일을 고를 수 있습니다.

AI 에이전트의 뜻: 답하는 AI에서 일하는 AI로

AI 에이전트라는 말은 회사마다 조금씩 다르게 씁니다. 가장 많이 인용되는 정의는 Claude를 만든 Anthropic이 2024년 12월에 공개한 글 Building effective agents에 나옵니다. Anthropic은 AI를 업무에 쓰는 시스템을 두 가지로 나눕니다.

• 워크플로(workflow): 사람이 미리 정해 둔 순서대로 AI와 도구가 움직이는 방식입니다. "메일이 오면 첨부를 읽고, 금액을 뽑아, 엑셀에 붙인다"처럼 경로가 코드로 정해져 있습니다.
• 에이전트(agent): AI가 스스로 다음에 무엇을 할지 정하고, 어떤 도구를 쓸지 고르면서 일을 진행하는 방식입니다. 몇 단계가 걸릴지 미리 알 수 없는 일에 맞습니다.

둘 다 바탕에는 같은 부품이 있습니다. Anthropic은 이것을 "증강된 LLM(augmented LLM)"이라고 부르는데, 언어 모델에 세 가지를 붙인 것입니다. 회사 자료를 찾아보는 검색, 메일이나 ERP 같은 외부 시스템을 다루는 도구, 앞서 한 일과 대화를 기억하는 메모리입니다. 이 세 가지가 없으면 아무리 똑똑한 모델도 질문에 답하는 데서 멈춥니다.

중요한 점은 에이전트가 늘 정답이 아니라는 것입니다. Anthropic도 같은 글에서 "가능한 한 가장 단순한 방법을 찾고, 꼭 필요할 때만 복잡도를 높이라"고 권합니다. 매달 똑같은 순서로 도는 일은 워크플로가 더 싸고 안정적이고, 거래처마다 양식이 다르고 예외가 많은 일에서 에이전트의 가치가 드러납니다.

회사 업무에서 에이전트는 어떻게 움직이나: 발주서 처리 예시

추상적인 설명보다 실제 업무 한 건을 따라가 보는 편이 이해가 빠릅니다. 유통 회사 영업관리팀에 매일 아침 거래처 발주서가 메일로 20~30건씩 들어온다고 해 보겠습니다. 어떤 곳은 엑셀, 어떤 곳은 PDF, 어떤 곳은 메일 본문에 "지난번이랑 같은 걸로 200개"라고만 씁니다.

사람이 할 때는 메일을 하나씩 열어 품목과 수량을 확인하고, 거래처마다 다르게 부르는 품명을 우리 품목 코드로 바꾸고, 재고를 조회하고, ERP에 수주를 입력하고, 납기를 정해 회신합니다. 한 건에 10분이면 30건에 다섯 시간입니다.

에이전트에게 맡기면 같은 일이 이렇게 진행됩니다.

1. 읽기: 새 메일을 확인하고 발주서인 것만 골라 첨부를 엽니다. 엑셀, PDF, 메일 본문 어디에 있든 거래처, 품목, 수량, 희망 납기를 뽑습니다.
2. 맞추기: "SB40", "브라켓 40", "스텐 브래킷"처럼 거래처마다 다른 품명을 우리 품목 코드에 연결합니다. "지난번이랑 같은 걸로"라는 문장은 그 거래처의 직전 주문을 찾아 해석합니다.
3. 확인하기: 재고와 이미 잡힌 출고를 보고, 희망 납기에 맞출 수 있는지 계산합니다. 모자라면 입고 예정일을 찾아 가능한 날짜를 정합니다.
4. 처리하기: 수주를 등록하고, 납기 회신 메일 초안을 거래처별로 씁니다.
5. 넘기기: 단가가 계약과 다르거나, 처음 보는 품목이 있거나, 재고가 크게 모자라는 건만 담당자에게 따로 모아 보여 줍니다.

여기서 핵심은 5번입니다. 좋은 에이전트는 모든 걸 혼자 끝내려 하지 않고, 자신 없는 건을 골라 사람에게 넘깁니다. 담당자는 30건을 다 보는 대신 애매한 3~4건만 판단합니다.

이런 일은 이미 해외 제조사에서 성과로 나오고 있습니다. 덴마크 산업 장비 기업 Danfoss는 메일로 들어오는 B2B 주문 처리에 AI 에이전트를 도입해, 거래 관련 판단과 커뮤니케이션의 최대 80%를 자동화하고 처리 시간을 절반으로 줄였다고 Google Cloud 고객 사례에서 밝혔습니다. 고객에게 답하는 데 평균 42시간 걸리던 주문 상당수가 거의 실시간으로 바뀌었다고 합니다. 공급사가 공개한 사례라 수치는 "최대"를 붙여 읽어야 하지만, 발주서처럼 양식이 제각각이고 판단이 섞인 일이 에이전트에 맞는다는 점은 분명하게 보여 줍니다.

숫자로 본 AI 에이전트 도입 현실

에이전트에 대한 기대는 크지만, 실제로 회사 전체에 퍼진 곳은 아직 많지 않습니다. 몇 가지 조사를 나란히 보면 현실이 보입니다.

해외 기업은 시험 중, 확산은 소수입니다. McKinsey의 The state of AI in 2025 조사에서 응답 기업의 62%가 AI 에이전트를 최소한 시험해 보고 있다고 답했습니다. 하지만 업무 기능별로 보면 에이전트를 본격적으로 확산하고 있다는 응답은 어느 기능에서도 10%를 넘지 않았습니다. 에이전트를 가장 많이 쓰는 곳은 IT와 지식 관리 업무였습니다.

막히는 곳은 기술보다 연결입니다. Anthropic이 2025년 12월 기술 리더 500여 명을 조사한 2026년 기업 AI 에이전트 보고서에서 가장 큰 장애물로 꼽힌 것은 기존 시스템과의 통합(46%), 데이터 접근성과 품질(42%), 변화 관리(39%)였습니다. 모델이 똑똑하지 않아서가 아니라, 에이전트가 들어갈 회사 시스템과 데이터가 준비되지 않아서 멈춘다는 뜻입니다. 같은 조사에서 가장 효과가 컸던 용도는 데이터 분석과 보고서 작성(60%), 사내 업무 자동화(48%)였습니다.

국내 제조업은 이제 출발선입니다. 대한상공회의소가 2025년 11월 발표한 제조기업 504곳 조사에서 82.3%가 생산, 물류 같은 경영 기능에 AI를 쓰지 않는다고 답했습니다(코리아중앙데일리 보도). 대기업의 도입률은 49.2%였지만 중소/중견기업은 4.2%에 그쳤고, 이유로는 비용 부담(73.6%), 전담 인력 부족(80.7%), 효과에 대한 의문(60.6%)이 꼽혔습니다. 거꾸로 말하면, 지금 업무 하나에 에이전트를 제대로 붙이는 중소 제조/유통 회사는 같은 업종 대부분보다 앞서 나가게 됩니다.

AI 에이전트 프로젝트가 실패하는 이유

시장조사기관 Gartner는 2025년 6월, 2027년 말까지 에이전트 AI 프로젝트의 40% 이상이 취소될 것이라고 전망했습니다. 이유는 늘어나는 비용, 불분명한 사업 가치, 부족한 위험 관리 세 가지입니다. 실제 현장에서 보면 이 세 가지는 대개 아래 모습으로 나타납니다.

무엇을 맡길지 정하지 않고 시작한다

"AI 에이전트를 도입하자"에서 출발하면 결국 아무 업무에도 깊게 들어가지 못합니다. 성공한 곳은 거꾸로 "발주서 처리 시간을 절반으로"처럼 업무 하나와 숫자 하나를 먼저 정합니다. 무엇이 좋아졌는지 잴 수 없으면 비용만 남고, 그것이 Gartner가 말한 "불분명한 사업 가치"입니다.

에이전트가 들어갈 시스템이 없다

에이전트는 회사 시스템을 직접 다뤄야 일을 끝낼 수 있습니다. 재고는 창고 담당자의 엑셀에, 거래처별 단가는 영업 담당자의 파일에, 수주는 ERP에 흩어져 있으면 에이전트도 사람처럼 파일을 찾아다니다 멈춥니다. Anthropic 조사에서 장애물 1, 2위가 통합과 데이터였던 이유입니다.

이 연결 문제를 줄이려는 표준도 나오고 있습니다. Anthropic이 2024년 11월 공개한 MCP(Model Context Protocol)는 AI가 회사 시스템과 데이터에 붙는 방식을 하나로 맞춘 공개 규격으로, 2025년 3월 OpenAI도 지원을 발표하면서 사실상 업계 표준이 되어 가고 있습니다. 그래도 연결할 데이터 자체가 한곳에 정리되어 있어야 한다는 점은 변하지 않습니다.

이름만 에이전트인 제품을 고른다

Gartner는 같은 발표에서 기존 챗봇, RPA, AI 비서에 이름만 "에이전트"를 붙여 파는 "에이전트 워싱(agent washing)"을 경고하며, 에이전트를 내세우는 수천 개 업체 가운데 실제 에이전트 기능을 갖춘 곳은 약 130곳으로 추정했습니다. 데모에서 질문에 그럴듯하게 답하는 것과, 우리 회사 메일함과 ERP 안에서 일을 끝내는 것은 전혀 다른 문제입니다. 제품을 볼 때는 "우리 업무 한 건을 처음부터 끝까지 처리하는 모습"을 직접 보여 달라고 요청하는 것이 가장 확실합니다.

처음부터 전부 맡기려 한다

에이전트는 단계를 여러 번 거치기 때문에 앞 단계의 작은 실수가 뒤로 갈수록 커질 수 있습니다. Anthropic이 에이전트를 충분히 시험해 보고 안전장치를 두라고 권하는 이유입니다. 처음 몇 주는 에이전트가 처리한 결과를 사람이 확인하고, 틀린 유형을 고쳐 가며 맡기는 범위를 넓히는 회사가 결국 끝까지 갑니다.

첫 업무를 고르는 기준

에이전트를 처음 붙일 업무는 아래 네 가지를 모두 만족하는 것이 좋습니다.

• 자주, 많이 생긴다. 하루 수십 건씩 반복되어야 줄어든 시간이 눈에 보입니다. 발주서 접수, 입금 확인, 세금계산서 대조, 재고 확인 문의가 대표적입니다.
• 입력이 제각각이다. 양식이 늘 같으면 기존 자동화로도 됩니다. 거래처마다 양식이 다르고 사람이 읽고 판단해야 하는 일에서 에이전트의 차이가 큽니다.
• 결과를 확인하기 쉽다. 수주가 맞게 들어갔는지, 금액이 맞는지처럼 결과가 맞는지 바로 알 수 있어야 믿고 맡기는 범위를 넓힐 수 있습니다.
• 필요한 데이터가 한곳에 있다. 그 업무에 필요한 재고, 거래처, 단가가 한 시스템에서 조회되어야 합니다. 그렇지 않다면 데이터부터 모으는 것이 첫 단계입니다.

유통/제조 회사라면 영업관리의 발주서 접수, 회계의 입금 대사, 구매의 발주 추천이 이 기준에 가장 잘 맞습니다. 세 업무 모두 매일 반복되고, 거래처마다 형식이 다르고, 맞았는지 숫자로 바로 확인됩니다.

👉 AX 뜻, AI 전환은 DX와 무엇이 다른가

AI 에이전트 자주 묻는 질문 (FAQ)

Q. 챗GPT도 AI 에이전트인가요?

챗GPT의 기본 대화는 질문에 답하는 챗봇에 가깝습니다. 다만 웹을 검색하고, 파일을 분석하고, 사용자 대신 웹사이트를 조작하는 기능이 붙으면서 에이전트 쪽으로 넓어지고 있습니다. 회사 업무에서 에이전트라고 부르려면 메일, ERP 같은 회사 시스템에 연결되어 일을 끝까지 처리할 수 있어야 합니다.

Q. RPA와는 무엇이 다른가요?

RPA는 사람이 정해 둔 클릭과 입력 순서를 그대로 반복합니다. 화면 배치가 바뀌거나 처음 보는 양식이 오면 멈춥니다. AI 에이전트는 문서와 화면의 내용을 읽고 판단하기 때문에 양식이 달라도 일을 이어 갑니다. 그래서 정해진 반복은 RPA나 워크플로로, 판단이 섞인 반복은 에이전트로 나누는 회사가 많습니다.

Q. 에이전트가 틀리면 어떻게 하나요?

처음에는 에이전트가 처리한 결과를 담당자가 확인하는 구간을 두고, 자주 틀리는 유형을 찾아 기준을 보완합니다. 단가 불일치나 처음 보는 품목처럼 판단이 필요한 건은 처음부터 사람에게 넘기도록 정해 두면, 맡기는 범위를 안전하게 넓힐 수 있습니다.

Q. 회사 데이터를 AI에 맡겨도 괜찮나요?

어디에 저장되는지, 암호화되는지, AI 모델 학습에 쓰이는지를 확인해야 합니다. 업무용 서비스라면 회사 데이터를 학습에 쓰지 않고, 모델 제공사에도 요청 내용이 남지 않는 조건을 계약으로 보장하는지 보는 것이 기본입니다.

inline AI로 AI 에이전트 시작하기

에이전트 도입이 멈추는 가장 큰 이유는 모델이 아니라, 에이전트가 일할 회사 시스템과 데이터가 흩어져 있기 때문입니다. inline AI는 문서를 바로 편집하고 만드는 AI 브라우저와 회사용 AI OS가 연결된 시스템이라, 직원이 말로 맡긴 일을 AI가 문서와 ERP인 ARP에서 직접 처리합니다. 발주서 접수나 입금 대사처럼 매일 반복되는 업무 하나부터 바로 맡겨 볼 수 있습니다.