답변하는 LLM에서 행동하는 시스템으로
Stanford AI Index Report 2024에 따르면, 국제 설문 응답자의 63%가 ChatGPT를 알고 있었으며, 이들 중 약 절반은 적어도 주 1회 이상 사용한다고 답했습니다[1]. ChatGPT가 이처럼 널리 사용되는 배경에는 자연어 대화만으로 쉽게 사용할 수 있다는 접근성과 글 쓰기과 문서 요약, 코드 작성 등 다양한 실제 작업에 직접적으로 활용할 수 있을 만큼의 높은 성능을 가졌다는 점입니다.
ChatGPT뿐만 아니라 Claude와 Gemini 등 다양한 대규모 언어 모델(Large Language Model, LLM)이 잇따라 등장하고 성능이 고도화되면서, 단순한 개별 작업을 수행하는 데 그치지 않고 여러 정보를 종합하고 추론하여 보다 복잡한 문제를 해결할 수 있는 수준으로 발전하고 있습니다[2,3].
그림 1 주요 LLM의 등장과 성능 향상 추이[4]
최근 LLM의 발전은 모델 자체의 성능 향상에서만 나타나는 것이 아닙니다. 외부 도구와 결합하는 활용 방식의 확장으로 이어지고 있습니다. LLM이 ‘두뇌’로서 요청을 판단하고 검색, 계산 등 외부 도구가 ‘손발’이 되어 작업을 수행하며, 결과에 따라 유연하게 행동을 조정하는 이러한 시스템을 ‘LLM 기반 AI 에이전트(이하 AI 에이전트)’라고 합니다[5,6].
우리 연구팀은 AI 에이전트를 이용하여 보안 패치로 인한 전체 시스템에 미치는 영향도를 판단하는 연구를 진행하고 있습니다. 같은 보안 패치라도 시스템 구성과 운영 환경에 따라 미치는 영향은 상대적으로 변하기 때문에, 단순 패치 노트를 참고하거나 요약하는 것만으로는 충분하지 않습니다. 관련 정보와 시스템 상태를 함께 확인하고, 중간 결과에 따라 추가 영향도 조사를 이어가야 하는 보안 패치 영향도 판단 연구에는 앞서 말하는 능동적이고 유연한 AI 에이전트의 동작 방식이 적합합니다.
그렇다면 AI 에이전트란 정확히 무엇일까요? 단순히 LLM에 외부 도구를 연결한 시스템을 의미하는 것일까요? 아니면 일반적인 LLM 활용 방식과 구분되는 별도의 동작 구조가 필요한 것일까요?
AI 에이전트의 범위와 정의는 자료마다 조금씩 다르게 설명되지만, 여러 연구와 실무 가이드를 종합하면 반복적으로 나타나는 공통 요소를 확인할 수 있습니다[7-10]. 이번 글에서는 이러한 공통 요소를 바탕으로 AI 에이전트의 기본 개념을 짚어보겠습니다.
AI 에이전트의 기본 개념
에이전트의 출발점: 관찰과 행동
오늘날 주목받는 AI 에이전트는 LLM을 핵심 구성 요소로 활용하지만, 에이전트라는 개념 자체는 LLM과 함께 처음 등장한 것이 아닙니다. 인공지능 분야에서는 오래전부터 에이전트를 주변 환경을 관찰(observation)하고, 관찰한 내용에 따라 행동(action)을 선택하는 시스템으로 설명해 왔습니다.
예를 들어 로봇은 카메라나 센서를 통해 주변 환경을 확인하고 이동 방향을 선택합니다. 게임 관련 인공지능은 현재 게임판의 상태를 확인하고 다음 수를 결정합니다. 온도 조절 시스템은 현재 온도를 확인한 뒤 난방이나 냉방을 작동시킵니다.
이들의 구체적인 기능은 서로 다르지만, 공통적으로 다음 [그림2] 같은 순환 구조를 갖습니다.
그림 2 환경을 관찰하고 행동하는 에이전트의 기본 구조
<목표에 따라 관찰하고 행동한다>
이 글에서 다루는 AI 에이전트는 환경을 관찰하고 행동을 선택한다는 이러한 기본 구조에서 출발합니다. 여기에 LLM의 자연어 이해와 판단 능력, 외부 도구와의 연동이 결합되면서 자연어로 주어진 복잡한 목표(objective)를 바탕으로 필요한 작업을 판단하고 여러 단계에 걸쳐 수행할 수 있습니다.
목표는 AI 에이전트가 처음 요청을 해석할 때만 사용되는 것이 아니라, 전체 작업 과정에서 다음 행동과 작업의 완료 여부를 판단하는 기준으로 작용합니다. AI 에이전트는 현재 상황에서 목표를 달성하기 위해 무엇이 필요한지를 판단하고, 그에 맞는 다음 행동을 선택합니다. 또한 행동의 결과를 확인하면서 목표가 달성되었는지, 추가로 수행해야 할 작업이 남아 있는지를 계속 판단합니다.
AI 에이전트는 사용자와 환경으로부터 작업에 필요한 정보를 얻습니다. 사용자의 요청뿐 아니라 파일 내용, 검색 결과, 프로그램 실행 결과와 오류 메시지처럼 작업 과정에서 새롭게 얻은 정보도 관찰(observation)에 포함됩니다.
<작업 상태, 메모리와 컨텍스트>
AI 에이전트가 목표를 수행하려면 지금까지의 진행 상황과 필요한 정보를 관리해야 합니다. 이때 작업 상태, 메모리와 컨텍스트가 서로 다른 역할을 합니다.
작업 상태(state)는 지금까지 수행한 작업과 그 결과, 현재 진행 단계와 남은 작업처럼 AI 에이전트가 현재 어디까지 진행했는지를 나타냅니다.
메모리(memory)는 작업 중에 얻은 정보나 과거 기록을 이후에도 다시 활용할 수 있도록 저장하는 구조입니다.
컨텍스트(context)는 AI 에이전트가 다음 행동을 판단할 때 LLM에 실제로 제공되는 정보입니다. 사용자의 요청과 현재 작업 상태, 직전 실행 결과, 메모리에서 가져온 관련 정보 등이 포함될 수 있습니다.
즉, 작업 상태는 ‘현재 어디까지 진행했는지’, 메모리는 ‘무엇을 보관하고 있는지’, 컨텍스트는 ‘지금 LLM이 무엇을 보고 판단하는지’를 나타냅니다.
<LLM의 판단과 정책에 따른 행동 선택>
AI 에이전트는 현재 관찰과 작업 상태를 반영해 구성된 컨텍스트를 바탕으로 목표 달성에 필요한 다음 행동을 판단합니다. 이 과정에서 LLM은 사용자의 요청과 현재 작업 상황을 이해하고, 가능한 행동 가운데 하나를 선택하는 핵심 역할을 합니다.
다만 행동의 선택은 LLM의 판단만으로 결정되지 않습니다. 시스템에 주어진 지시, 작업 절차, 사용할 수 있는 도구와 권한, 승인 조건 및 안전 규칙과 같은 정책(policy)이 함께 반영됩니다.
예를 들어 정보가 부족하면 추가 자료를 찾고, 위험한 작업을 실행하기 전에는 사용자에게 승인을 요청하며, 충분한 근거가 모이면 결과를 정리하여 작업을 종료하도록 구성할 수 있습니다.
<계획과 작업 흐름의 조정>
복잡한 목표를 수행할 때는 목표를 여러 하위 작업으로 나누고, 어떤 순서로 수행할지를 정하는 계획(planning)이 사용될 수 있습니다. 예를 들어 보안 패치 영향도 판단을 검토하는 AI 에이전트는 보안 패치 공지를 분석하고, 관련 충돌 사례를 조사한 뒤, 현재 시스템의 구성과 비교하고, 필요한 경우 시험 환경에서 검증하는 순서로 작업을 구성할 수 있습니다.
이러한 계획은 처음부터 끝까지 고정되어야 하는 것은 아닙니다. 검색 결과에서 예상하지 못한 충돌 사례가 발견되거나 시험 실행에서 오류가 발생하면, AI 에이전트는 새로운 정보를 반영하여 계획을 수정하거나 이전 단계로 돌아갈 수 있습니다.
다만 모든 AI 에이전트가 명시적인 계획이나 별도의 계획 모듈을 가지는 것은 아닙니다. 단순한 작업에서는 전체 계획을 미리 만들기보다, 현재 상황과 직전 결과를 바탕으로 다음 행동을 하나씩 선택하는 방식으로도 동작할 수 있습니다.
한편 LLM과 여러 도구를 연결했더라도 모든 단계와 실행 순서가 사전에 정해져 있다면 이를 LLM 워크플로(workflow)라고 구분하기도 합니다. AI 에이전트는 현재 작업 상태와 중간 결과에 따라 다음 단계나 사용할 도구를 동적으로 선택할 수 있다는 점에서 차이가 있습니다. 다만 실제 시스템에서는 미리 정해진 절차와 AI 에이전트의 동적인 판단이 함께 사용되는 경우도 많습니다[7].
<행동과 도구 사용>
AI 에이전트가 선택하는 행동에는 사용자에게 답변하기, 추가 정보를 요청하기, 계획을 수정하기, 작업을 중단하거나 종료하기 등이 있습니다. 필요한 경우 파일을 읽거나 저장하고, 웹을 검색하고, 코드를 실행하거나 데이터베이스를 조회하는 도구 사용(tool use)도 하나의 행동으로 선택할 수 있습니다.
도구가 실행되면 파일 내용, 검색 결과, 프로그램 출력 또는 오류 메시지와 같은 결과가 돌아옵니다. 이러한 실행 결과는 새로운 관찰이 되며, AI 에이전트는 이를 작업 상태와 메모리에 반영하고 이후 판단에 필요한 정보를 컨텍스트로 구성합니다.
AI 에이전트는 실행 결과를 바탕으로 목표 달성 여부를 확인하고, 작업을 계속하거나 종료할지를 판단합니다. 이 과정은 목표를 달성하거나 사람의 추가 판단이 필요할 때까지 이어집니다.
그림 3 관찰과 행동을 반복하는 AI 에이전트의 동작 구조
지금까지 살펴본 것처럼 AI 에이전트는 하나의 기능만으로 이루어지지 않습니다. 목표와 관찰, 작업 상태와 메모리, 계획, 행동과 도구 사용 등이 서로 연결되어 하나의 시스템으로 동작합니다. AI 에이전트에 관한 여러 연구에서도 특히 메모리, 계획, 행동과 도구 사용을 주요 구성 요소와 능력으로 다루고 있습니다[9].
이러한 공통적인 특징을 종합하면, AI 에이전트를 다음과 같이 한 문장으로 정의할 수 있습니다.
| AI 에이전트는 주어진 목표를 달성하기 위해 사용자와 환경으로부터 정보를 관찰하고, 현재 작업 상태와 중간 결과를 바탕으로 다음 행동을 선택하고 실행하는 AI 시스템을 의미하며, 필요한 경우 외부 도구를 사용하고, 행동의 결과를 다시 관찰하여 이후 작업을 조정하며, 복잡한 작업에서는 계획을 수립하거나 새로운 결과에 따라 계획을 수정할 수도 있습니다. |
마치며
에이전트라는 개념은 LLM 이전부터 존재했지만, 여기에 LLM의 자연어 이해와 판단 능력, 외부 도구와의 연동이 결합되면서 다양한 형태의 AI 에이전트가 등장했습니다. 그 과정에서 AI 에이전트의 범위와 구성 요소도 자료마다 조금씩 다르게 설명되고 있습니다. 이번 글에서는 이러한 설명에서 공통적으로 나타나는 요소를 중심으로 AI 에이전트의 기본 개념을 정리했습니다.
다음 글에서는 이러한 개념이 실제 시스템에서 어떻게 구현되는지 살펴보겠습니다. 연구팀에서 개발하고 있는 보안 패치 영향도 판단 AI 에이전트가 어떤 정보를 관찰하고 어떤 도구를 사용하며, 이러한 요소들이 하나의 작업 흐름 안에서 어떻게 연결되는지 소개할 예정이니 많은 관심 부탁드립니다.
참고자료
[1] Stanford Institute for Human-Centered Artificial Intelligence, “The AI Index 2024 Annual Report”, Chapter 9: Public Opinion, Stanford University, 2024.
[2] Stanford Institute for Human-Centered Artificial Intelligence, “The AI Index 2025 Annual Report”, Chapter 2: Technical Performance, Stanford University, 2025.
[3] Stanford Institute for Human-Centered Artificial Intelligence, “The AI Index 2026 Annual Report”, Chapter 2: Technical Performance, Stanford University, 2026.
[4] Artificial Analysis, State of AI: China, Q1 2025
[5] T. Schick et al., “Toolformer: Language Models Can Teach Themselves to Use Tools,” Advances in Neural Information Processing Systems, vol. 36, 2023.
[6] S. Yao et al., “ReAct: Synergizing Reasoning and Acting in Language Models,” International Conference on Learning Representations, 2023.
[7] Anthropic, “Building Effective Agents,” 2024.
[8] S. J. Russell and P. Norvig, “Artificial Intelligence: A Modern Approach”, 4th ed., Pearson, 2021.
[9] L. Wang et al., “A Survey on Large Language Model Based Autonomous Agents,” Frontiers of Computer Science, vol. 18, article 186345, 2024.
[10] OpenAI, “A Practical Guide to Building Agents”, 2025.
KAIST 사이버보안연구센터 AI 기술보안팀 선임연구원으로 AI 및 LLM을 이용한 AI 모델 경량화와 보안 연구를 수행하고 있다.