지금으로부터 약 1년 전, 지난 2022년 11월 공개된 OpenAI의 챗봇 ChatGPT의 눈부신 성공은 세계 유수의 기업들이 앞다투어 초거대 언어 모델(Large Language Model, LLM) 및 생성형 AI(Generative Artificial Intelligence) 서비스 개발 경쟁을 일으킬 정도로 큰 기술적 파장을 일으켰습니다. 이러한 경쟁은 2023년 들어 구글의 Bard와 Gemini, 메타의 LLaMa 등 미국의 IT 대기업에서 초거대 언어 모델의 서비스화로 이어졌으며, 국내 기업들 또한 네이버의 HyperClova X, LG의 엑사원(EXAONE) 2.0, 삼성전자의 가우스(Gauss) 등 한국어를 주 언어로 하는 초거대 언어 모델 서비스를 공개하는 등 관련 기술 개발에 아낌없는 투자가 이루어지고 있습니다.
이같은 추세에 힘입어 몇몇 연구자들은 초거대 언어 모델의 눈부신 성공이 그간 갈망하여 왔던 인공 일반지능(Artificial General Intelligence: AGI) 개발에 있어 중요한 첫 걸음으로 자리매김할 수 있지 않을까 기대를 품고 다양한 연구를 수행하고 있습니다. 실제로 올해 ChatGPT 3.5의 업그레이드 버전으로 공개된 ChatGPT 4.0의 경우 미국의 대학 및 대학원 입시 시험인 SAT와 GRE 뿐만 아니라, 수학, 생물, 통계, 심리학 및 변호사 시험까지 폭넓은 분야에서 뛰어난 지식을 습득하였다는 것을 입증한 바 있습니다(<그림 1>).
<그림 1> ChatGPT 3.5와 4.0 시험 점수에 따른 백분위 순위(Percentile Rank) [1]
초거대 언어 모델이 지니는 보안 위협
하지만 이처럼 하루가 다르게 발전하고 있는 초거대 언어 모델은 여타 모든 시스템이 그러하듯 완벽과는 다소 거리가 있습니다. 이러한 불완전성의 대표적인 예로, 초거대 언어 모델이 거짓된 정보를 사실인 양 제시하는 환각(hallucination) 현상에서 자유롭지 못하다는 문제가 있습니다. 초거대 언어 모델은 그 작동 원리 상 ‘확률적으로 그럴 듯한’ 단어들을 나열하기 때문에 생성하여 출력하는 텍스트의 진위 여부를 파악하기 어려운 것입니다. 환각 현상은 구글에서 개발한 언어 모델 Bard의 시연 화면에서도 발견되어 논란을 빚은 바 있습니다(<그림 2>).
<그림 2> Google Bard 시연 화면에서 확인된 환각 현상 [2]
이밖에도 피싱 메일 생성 등 초거대 언어 모델을 악의적인 의도로 사용하거나 사용자 개인정보나 저작권을 보호받는 데이터를 무단으로 사용하고 유출하는 등 초거대 언어 모델의 학습에서 활용까지 여러 종류의 보안 위협이 존재합니다. 연구자들은 초거대 언어 모델 활용 시 주요 보안 문제점과 그에 대한 잠재적 해결 방안을 <표 1>과 같이 정리하고 있습니다.
| 주요 문제점 | 설명 | 잠재적 해결 방안 | 설명 가능성의 역할 |
| 환각(Hallucination) | 잘못된 정보를 사실인 양 나열하거나 설득력 있게 보이도록 허위 근거를 만들어 제시 | 출력의 진위 구별, 허위정보 필터링 | 인공지능 모델 보완(가짜정보 생성의 원인 식별 및 효과적 필터링) |
| 편향(Bias) | 사전학습에 사용한 데이터에 존재하는 인종, 성별, 정치성향 등 편향성이 출력에 그대로 반영되어 나타남 | 출력의 편향성 탐지, 편향성 방지 미세조정 | 인공지능 모델 보완(편향성의 핵심 원인 식별 및 미세조정을 통한 보완) |
| 저작권 및 개인정보 침해(Use without Consent) | 사전학습에 사용한 데이터에 개인의 정보나 저작물이 존재하였을 경우, 소유자의 사전 동의나 출처 표기 없이 사용 | 올바른 출처 표기,개인 민감정보 제거 | 사용성 및 보안성 증진(핵심정보의 출처 식별,개인정보 식별 및 제거) |
| 악의적 사용(Malicious Use) | 초거대 언어모델의 사용자가 해킹이나 피싱, 봇 유포 등 악의적인 의도로 사용하여 타인에게 피해를 유발 | 악의적 의도 탐지,위험 콘텐츠 생성 방지 | 사용성 및 보안성 증진(악의적 의도 판단원인 상세를 통한 재발 방지) |
<표 1>에 나타난 문제점들은 주로 초거대 언어 모델이 어떠한 지식을 학습하였으며, 어떤 과정을 통해 출력을 도출하였는지 사람이 명확하게 이해하지 못하기 때문에 발생한다고 할 수 있습니다. 따라서 연구자들은 초거대 언어 모델에 설명 가능성을 부여함으로써 당면한 문제를 부분적으로 해결 가능할 수 있을 것으로 기대하고 있습니다. 초거대 언어 모델의 보안 위협을 완화하는 데에 있어 설명 가능성이 가지는 역할은 <표 1>에도 잘 정리되어 있습니다.
초거대 언어 모델에 대한 인공지능 설명 기술
본 글에서는 이처럼 초거대 언어 모델이 지니는 보안 위협을 완화하고자 활용할 수 있는 설명가능한 인공지능 기술에 대해, 몇 가지 예시를 들어 소개하고자 합니다. 본론에 들어가기에 앞서, 먼저 초거대 언어 모델은 한 가지의 태스크만을 수행하는 모델이 아니며, 자연어를 기반으로 수행할 수 있는 자연어 처리(Natural Language Processing, NLP) 태스크에는 수많은 종류가 있음을 강조하고자 합니다(<그림 3>). 인공지능의 출력에 대한 설명은 주어진 인공지능 태스크에 따라 그 의미가 달라지므로, 설명가능한 인공지능 기법 또한 자연어 처리 태스크의 종류만큼 다양하다고 생각할 수 있습니다.
<그림 3> 다양한 종류의 자연어 처리(Natural Language Processing, NLP) 태스크 [4]
Choudhary et al.[5]은 이처럼 방대한 자연어 처리 태스크에 따라 적용할 수 있는 설명가능한 인공지능 방법들을 체계적으로 정리하고 있습니다. 본 글에서는 [5]에서 소개한 다양한 방법들 중 기울기 기반 설명, 어텐션 기반 설명, 그리고 은닉 상태 프로빙 기술에 대해 살펴보겠습니다.
1. 기울기 기반 설명
기울기 기반 설명(Gradient-based Explanation) 기법은 인공지능 모델의 입력 각 요소(즉, 특성)가 모델의 출력을 도출하는 데에 있어 가지는 영향도를 기울기로써 계산하는 방법으로, 컴퓨터 비전 분야를 중심으로 다양한 설명 기법이 개발되어 왔습니다. 컴퓨터 비전 분야에서 입력 이미지의 각 픽셀에 영향도를 부여하였다면, 자연어 처리 태스크를 수행하는 언어 모델에서는 입력을 구성하는 토큰(Token) 혹은 단어 각각에 대해 영향도를 부여함으로써 출력을 설명할 수 있습니다.
<그림 4>는 언어 모델의 출력한 텍스트에 대한 기울기 기반 설명의 예시입니다. 유럽연합에 어떤 국가들이 소속되어 있는지를 나열하는 프롬프트에서 countries와 European과 같은 중요 키워드가 각각 5% 이상의 영향도를 가짐을 확인할 수 있습니다. 덧붙여, Austria, Belgium, Bulgaria와 같이 앞서 이미 출력된 국가 또한 실제 출력인 Denmark에 영향을 주는 것을 확인할 수 있습니다.
<그림 4> 기울기 기반 설명(Gradient-based Explanation)의 예시 [6]
2. 어텐션(Attention) 기반 설명
오늘날 대부분의 언어 모델은 트랜스포머(Transformer)[7]로 구성되어 있습니다. 트랜스포머는 입력 토큰에 대해 셀프 어텐션(Self-Attention) 메커니즘을 반복적으로 적용하여 출력을 계산하는 구조체로, 모델 내의 각 층에서 모든 입력 단어가 다음 단어의 예측에 어느 정도 연관되어 있는지를 어텐션 가중치(Attention Weight)로서 계산하게 됩니다. 따라서 이와 같이 계산된 어텐션 값은 자연스럽게 언어 모델이 어떻게 작동하는지에 대한 설명으로써 해석할 수도 있습니다.
<그림 5>는 어텐션 기반 설명의 예시입니다. 각각 주어진 문장의 다음 단어로 She와 He가 선택되었을 때, 성별에 의해 지칭하는 대상, 이름, 그리고 직업 관계를 올바르게 연관지어 줍니다. 한 가지 주목하여야 할 점은 언어 모델이 마지막 열에서 She가 선택되었을 때 nurse를, He가 선택되었을 때 doctor를 더 강하게 연관짓는다는 사실입니다. 이는 언어 모델이 직업에 있어 성적 편견을 학습한 것으로, 이처럼 어텐션 기반 설명은 언어 모델이 편향된 데이터로 학습되거나 특정 그룹에 대한 편견을 지니고 있지는 않은지 사전에 검토하는 데에도 활용될 수 있습니다.
<그림 5> 어텐션 기반 설명(Attention-based Explanation)의 예시 [8]
몇몇 연구자들은 어텐션 가중치가 설명으로서 사용될 수 있는지에 대해 근본적인 의문을 제기하기도 하였습니다. Vashishth et al.[9]은 어텐션 가중치가 기울기 기반 설명과는 상이한 경우가 많고, 최중요 요소를 변경하였을 때 출력에 영향을 크게 주지 않는 경우가 많다는 점을 들어 설명으로서 적합하지 않을 수 있다고 지적하였습니다. 반면, Wiegreffe et al.[10]은 어텐션 기반 설명을 부정하는 논문에서의 몇몇 실험이 잘못 실행되었다고 지적하는 등 그 적합성에 대한 논의는 현재까지 지속되어 오고 있습니다.
3. 은닉 상태 프로빙
프로빙(Probing)이란 언어 모델이 주어진 태스크 이외에 일반적인 언어 지식을 학습하였는지를 확인하는 과정을 의미합니다. 그 중 은닉 상태 프로빙(Hidden State Probing)은 언어 모델이 출력을 생성하는 중간 과정에서 계산되는 은닉층(Hidden Layer)의 상태, 즉, 임베딩 값을 기반으로 판별기(Classifier)를 학습시켜 언어 모델이 과연 올바른 지식을 학습하고 있는지를 테스트하는 기법입니다.
<그림 6>은 언어 모델에 대한 은닉 상태 프로빙의 예시입니다. BERT 모델의 중간 임베딩을 사용하여 학습된 판별기가 chef와 made 간의 관계를 주어-동사 관계(nsubj)임을 성공적으로 예측함을 보여줍니다. 이처럼 은닉 상태 프로빙을 사용하면 언어 모델이 단순히 주어진 태스크에만 최적화되는 것이 아닌, 일반적인 언어적 구조를 이해하고 해석할 수 있는지, 덧붙여 일반적 사실을 학습하였는지 여부 등을 테스트할 수 있게 됩니다.
<그림 6> 언어 모델에 대한 은닉 상태 프로빙(Hidden State Probing) [11]
맺음말
지금까지 초거대 언어 모델의 보안 위협과 설명가능한 인공지능에 대해 살펴보았습니다. 물론 설명가능한 인공지능 기술을 적용하는 것만으로 초거대 언어 모델이 가지는 보안 문제를 모두 해결할 수는 없겠지만, 점차 복잡해지는 인공지능 모델의 판단을 더 잘 이해하는 것은 보다 안전한 초거대 언어 모델 개발 및 활용에 있어 중요한 첫 걸음이 되지 않을까 조심스럽게 생각해 봅니다. 본 글에서 논의한 초거대 언어 모델에 대한 설명가능한 인공지능 기술 이외에도, 검색 증강 생성(Retrieval Augmented Generation, RAG)[12] 등 초거대 언어 모델의 보안성을 증진시키는 혁신적인 원천 기술이 하루빨리 상용화되길 고대하며 이만 글을 줄이겠습니다.
* 본 글은 동 저자의 주간기술동향 기고문 <초거대 언어 모델과 설명가능한 인공지능 연구 동향> [3] 의 요약 및 확장 버전입니다.
[1] How Smart is ChatGPT?, Visual Capitalists
[2] Google’s AI chatbot Bard makes factual error in first demo, The Verge
[3] 초거대 언어 모델과 설명가능한 인공지능 연구 동향, 주간기술동향, 2112호
[4] F. Chiusano, What Tasks Can I Solve with NLP Today?, Medium
[5] S. Choudhary, N. Chatterjee, and S. K. Saha, Interpretation of Black Box NLP Models: A Survey, CoRR abs/2203.17081, 2022.
[6] J. Alammar, Interfaces for Explaining Transformer Language Models
[7] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser and I. Polosukhin, Attention is All you Need, NIPS 2017: 5998-6008.
[8] J. Vig, A Multiscale Visualization of Attention in the Transformer Model, ACL(3) 2019: 37-42.
[9] S. Vashishth, S. Upadhyay, G. Singh Tomar and M. Faruqui, Attention Interpretability Across NLP Tasks, CoRR abs/1909.11218, 2019.
[10] S. Wiegreffe and Y. Pinter, Attention is not not Explanation, EMNLP/IJCNLP(1) 2019: 11-20.
[11] Z. Zhong, D. Friedman, and D. Chen, Factual Probing Is[MASK]: Learning vs. Learning to Recall, NAACL-HLT 2021: 5017-5033.
[12] P. S. H. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W. Yih, T. Rocktäschel, S. Riedel, and D. Kiela, Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
KAIST 사이버보안연구센터 AI기술보안팀장. 인공지능 모델에서 발생하는 보안, 프라이버시 및 공정성 문제를 해결하기 위한 다양한 연구를 수행하고 있다.