Agentic AI의 기술적 해부 (RAG, A2A, MCP, MAS,...)

🤖 에이전틱 AI의 등장과 패러다임 전환

인공지능은 단순한 예측 모델을 넘어 스스로 목표를 설정하고 행동을 수행하는 단계로 진화하고 있습니다. 이러한 흐름의 중심에는 ‘에이전틱 AI’가 있습니다. 기존 대규모 언어모델(LLM)은 뛰어난 생성 능력을 갖추었지만, 명시적 지시가 있어야만 작동하고 대화가 끝나면 상태를 유지하지 못하는 수동적 한계를 지니고 있습니다. 에이전틱 AI는 이러한 한계를 극복하기 위해 LLM을 두뇌로 활용하되, 자율성·목표 지향성·계획 수립·기억 체계를 결합한 프레임워크로 확장한 개념입니다. 이는 모델 성능의 향상을 넘어, 다양한 구성 요소를 통합하는 시스템 공학적 전환점이라는 점에서 의미가 큽니다.

---

🧠 에이전틱 AI의 핵심 구조: LM + 도구 + 컨텍스트 + 계획 + 메모리

에이전틱 AI는 언어모델에 외부 도구, 컨텍스트 관리, 계획 수립, 메모리 시스템을 결합한 구조로 작동합니다. 여기서 LLM은 추론과 판단을 담당하는 두뇌 역할을 수행하며, 외부 도구는 실행 기능을 맡고, 벡터 데이터베이스는 장기 기억을 담당합니다. 에이전트의 역량은 단순히 모델의 성능에 의존하지 않고, 도구 연결 방식과 메모리 설계, 계획 모듈 구성 등 전체 아키텍처 설계에 의해 결정됩니다. 따라서 랭체인(LangChain), 오토젠(AutoGen), MCP, A2A와 같은 프레임워크와 표준 프로토콜의 발전은 차세대 모델 못지않게 중요한 요소로 부상하고 있습니다.

---

👤 단일 AI 에이전트와 에이전틱 AI 시스템의 차이

AI 에이전트는 특정 작업에 특화된 단일 전문가로, 이메일 분류나 데이터베이스 질의처럼 범위가 명확한 반복 업무에 적합합니다. 반면 에이전틱 AI는 복잡하고 대규모 문제를 해결하기 위해 여러 전문 에이전트가 협력하는 시스템 전체를 의미합니다. 이 시스템은 동적으로 역할을 분담하고 공동 메모리를 활용하며, 개별 능력을 넘어서는 창발적 집단 지성을 구현합니다. 즉, 에이전틱 AI는 ‘개별 기능’이 아닌 ‘협업 구조’에 초점을 둔 개념입니다.

---

🔄 추론 및 계획 방식: ReAct와 Plan-and-Act

에이전틱 AI의 핵심은 복잡한 문제를 단계적으로 해결하는 추론 구조입니다. 대표적 방식인 ReAct는 ‘생각-행동-관찰’을 반복하는 구조로, 추론 과정에서 필요한 정보를 검색하고 그 결과를 반영해 다음 행동을 결정합니다. 이는 환각 현상을 줄이는 데 효과적이지만, 단계마다 모델 호출이 필요해 비용과 지연이 발생하는 한계가 있습니다. 이를 보완하기 위해 등장한 Plan-and-Act 방식은 설계자(Planner)가 전체 계획을 먼저 수립하고 실행자(Executor)가 이를 수행하는 계층적 구조입니다. 이는 관심사의 분리를 통해 효율성과 확장성을 높이는 접근입니다.

---

📚 장기 기억 체계: RAG 기반 메모리 구조

LLM의 컨텍스트 한계를 보완하기 위해 검색 증강 생성(RAG) 기술이 활용됩니다. 이 과정에서는 외부 문서를 작은 단위로 분할한 뒤, 이를 벡터 임베딩으로 변환해 벡터 데이터베이스에 저장합니다. 사용자의 질문 역시 벡터로 변환되어 코사인 유사도 기반으로 관련 정보가 검색됩니다. 이후 모델은 내부 지식과 검색된 최신 정보를 종합해 답변을 생성합니다. 이 구조는 AI에게 장기 기억을 부여하는 핵심 메커니즘입니다.

---

🛠 함수 호출과 오케스트레이션 계층

에이전틱 AI는 함수 호출을 통해 외부 세계와 상호작용합니다. AI는 자연어 요청을 JSON 형식의 명령으로 변환하며, 실제 실행은 외부 애플리케이션이 담당합니다. 실행 결과는 다시 AI에게 전달되어 후속 판단에 활용됩니다. 이때 오케스트레이션 계층이 전체 흐름을 관리하며, 랭체인·랭그래프·크루AI와 같은 프레임워크가 이러한 조율 역할을 수행합니다. 결과적으로 AI는 의미론적 라우터로서 기억과 행동 사이를 연결하는 지휘자 역할을 담당합니다.

---

🤝 다중 에이전트 시스템(MAS)의 협업 패턴

복잡한 프로젝트에서는 여러 전문 에이전트가 협력하는 다중 에이전트 시스템이 효과적입니다. 협업 구조는 크게 두 가지로 구분됩니다. 첫째는 중앙 관리자 에이전트가 업무를 분배하는 계층적 패턴으로, 통제가 명확하지만 관리자 장애 시 전체 시스템이 멈출 위험이 있습니다. 둘째는 모든 에이전트가 동등하게 상호작용하는 P2P 분산 패턴으로, 유연성이 높지만 조율이 복잡해질 수 있습니다. 이러한 구조는 팀워크 설계 방식에 따라 성능과 안정성이 크게 달라집니다.

---

🌐 통신 프로토콜: MCP와 A2A

에이전트 간 및 에이전트-도구 간 통신을 위해 표준 프로토콜이 발전하고 있습니다. MCP(Model Context Protocol)는 AI와 외부 애플리케이션 간의 연결을 표준화하여 다양한 도구 통합을 용이하게 합니다. A2A(Agent-to-Agent) 프로토콜은 에이전트 간 작업 위임, 상태 보고, 협상 등을 지원하며, 특히 장기 작업을 위한 비동기 통신을 강조합니다. 이는 서로 다른 조직에서 개발된 AI들이 협력하는 ‘AI 인터넷’ 시대로의 전환을 시사합니다.

---

⚠️ 신뢰성·보안·통제의 과제

에이전틱 AI는 확률적 특성으로 인해 동일한 입력에도 다른 결과를 낼 수 있으며, 이는 테스트와 신뢰 확보를 어렵게 만듭니다. 또한 한 에이전트의 오류가 시스템 전체로 확산될 위험이 존재합니다. 보안 측면에서는 프롬프트 감염, 목표 변조(Objective Drift), 권한 관리(IAM) 문제 등 새로운 위협이 등장합니다. 더불어 의사결정의 설명 가능성과 책임성 확보도 중요한 과제입니다. 이는 자율성과 통제 사이의 ‘자율성-제어 역설’을 드러냅니다.

---

🛡 안전 설계와 인간 참여(HITL)

이러한 위험을 완화하기 위해 인간 참여(HITL) 기반 최종 승인 체계를 도입하는 것이 중요합니다. 또한 역할과 권한을 명확히 분리한 모듈형 보안 아키텍처와 추론 과정을 기록하는 감사 시스템이 필요합니다. 비평가 에이전트를 별도로 두어 결과를 교차 검증하는 방식도 효과적인 통제 수단입니다. 이는 자율성을 유지하면서도 안전성을 확보하기 위한 균형 전략입니다.

---

🚀 결론: 시스템 공학으로서의 에이전틱 AI

에이전틱 AI의 발전은 단순히 더 뛰어난 모델을 만드는 문제가 아니라, 기억·계획·행동·협업·통신을 통합하는 시스템 공학의 문제입니다. RAG, 함수 호출, ReAct, Plan-and-Act 같은 기술과 계층형·분산형 협업 구조, MCP·A2A 프로토콜이 결합되며 AI는 능동적 행위자로 진화하고 있습니다. 향후 성공 여부는 자율성과 통제를 조화롭게 결합해 안전하고 신뢰할 수 있는 구조를 구축할 수 있는지에 달려 있습니다.