최근 인공지능 기술은 장족의 발전과 함께 다양한 분야에서 널리 활용되고 있는데, 이러한 발전은 산업 전반에 있어 긍정적인 영향을 가져다주지만 새로운 기술은 버그, 보안 허점 등 예상치 못한 문제점을 야기할 수 있어 주의 깊게 살펴봐야 합니다. 이번 글에서는 인공지능에는 어떠한 보안 취약점이 존재하는지와 이러한 취약점 문제를 찾아내어 방어 및 보완하는 방법에 대해 살펴보도록 하겠습니다.
인공지능 보안 취약점을 설명하기에 앞서 인공지능 모델 개발 과정에 대하여 설명하고, 이후 인공지능 보안 취약점에 대하여 설명하겠습니다.
인공지능 모델 개발
인공지능 모델 개발 단계는 일반적으로 [그림 1]과 같이 1) 학습 데이터 수집 2) 데이터 전처리 3) 인공지능 모델 선택 및 학습 4) 인공지능 모델 검증 4단계로 나눌 수 있습니다. 이는 인공지능 모델 개발 주기라고 부르며, 이해를 돕기 위해 각 단계를 요리 과정에 빗대어 설명하겠습니다.
그림 1. 인공지능 모델 개발 주기
Step 1. 인공지능 학습 데이터 수집
맛있는 요리를 위해 우선적으로 신선한 재료와 맛을 가미하는 조미료 준비가 필요합니다. 인공지능 역시 양질의 학습을 위해서는 선행적으로 다양하고 방대한 학습 데이터의 준비가 필요하며, 인공지능 모델(이미지 분류 모델 : 이미지 학습 데이터, 챗봇 : 텍스트 학습 데이터)에 따라 학습 데이터가 다를 수 있습니다. 따라서, 학습을 위해 적합한 데이터가 필요합니다.
Step 2. 데이터 전처리
이제 신선한 요리 재료가 준비되었다면 다음 과정은 재료 손질입니다. 식감을 높이거나 편하게 식사하기 위해 원재료를 둥글게 썰기, 깍둑썰기 등 요리에 알맞게 손질합니다. 인공지능 모델 개발에서는 이러한 단계를 데이터 전처리라고 부르며, 인공지능의 학습을 더욱 원활히 수행할 수 있도록 학습 데이터를 적절히 변환하는 것을 의미합니다. 이미지의 경우 동일한 크기로 변환하거나 픽셀값의 범위를 지정하는 등의 전처리가 있으며, 텍스트의 경우 토큰화, 형태소 분리 등 다양한 전처리를 할 수 있습니다.
Step 3. 인공지능 모델 선택 및 학습
본격적으로 요리를 하기 위해서 그에 맞는 프라이팬, 냄비 등 조리 도구가 필요합니다. 이처럼 인공지능의 구체적인 학습을 수행하기 위해서 조리 도구와 같은 특화된 모델(알고리즘)을 선택하여야 합니다. 이러한 단계를 인공지능 모델 선택이라 부릅니다. 인공지능 모델 중 CNN(Convolutional Neural Network)은 이미지 처리에 특화된 인공지능 모델이 있으며, RNN(Recurrent Neural Network)은 자연어와 같은 순열 데이터 처리에 특화된 인공지능 모델이 있습니다. 이렇게 선택된 인공지능 모델은 학습 데이터 내 통계, 확률, 관계 등의 특징을 스스로 찾아내는 반복적인 과정을 통해 인공지능 모델 학습을 완료합니다.
Step 4. 인공지능 모델 검증
손질된 재료와 알맞은 조리 도구를 이용하여 요리를 완성했다면, 요리의 맛에 대한 검증이 필요합니다. 인공지능 역시 인공지능 모델 학습이 제대로 이루어졌는지 검증해봐야 합니다. 이러한 단계를 인공지능 모델 검증이라 부릅니다. 검증 단계에서 성능이 좋지 못할 경우 Step 2의 전처리 혹은 Step 3의 인공지능 모델 선택 및 학습의 문제점으로 해당 Step에 되돌아가 인공지능 모델을 재학습시켜야 합니다.
인공지능 보안 취약점 및 개선
인공지능 모델 개발 과정을 요리에 빗대어 설명하였는데, 그렇다면 이러한 과정에서 인공지능 보안 취약점은 어디서 발생하는 걸까요? [그림 2]는 인공지능 모델 개발 단계에서 발생할 수 있는 취약점을 매치한 그림으로, 이렇게 인공지능에 내재한 보안 위협을 적대적 공격(Adversarial Attack)이라고 부릅니다. 이에 대표적인 세 가지 취약점과 이를 방어 및 보완하기 위해서 설명가능한 인공지능(eXplainable AI, XAI) 기술을 활용한 알고리즘 3종에 대해 설명하겠습니다.
그림 2. 인공지능에 내재한 보안 취약점
백도어 공격(Backdoor Attack)과 취약도 설명
백도어 공격[1]은 데이터 수집 및 인공지능 모델 학습 단계에서 발생하는 취약점으로, 공격자는 트리거(Trigger)라 불리는 잘못된 데이터를 주입하고 이를 인공지능 모델에 학습시켜 트리거가 주입된 데이터에 대하여 잘못된 분류를 하도록 하는 공격입니다. [그림 3]에서 정상 데이터로 학습한 인공지능 모델은 정상 이미지를 올바르게 분류하지만, 반면 악의적인 이미지를 포함하여 학습한 인공지능 모델은 강아지를 고양이로 잘못 분류하는 것을 볼 수 있습니다.
그림 3. 백도어 공격 보안 취약점
이러한 백도어 공격을 어떻게 방어 및 보완할 수 있을까요? 인공지능 모델이 트리거가 주입된 픽셀을 인식하여 결괏값을 도출한다는 점에 착안하였고, XAI 기법 중 Integrated Gradients(IG, 입력 데이터 각각의 특징에 대해 출력에 대한 기여도 점수를 매기는 설명 기법)[2]를 활용하여 픽셀 중요도를 정량화하였습니다. 이렇게 [그림 4]와 같이 이미지를 분류하는 인공지능 모델에서 이미지의 중요한 픽셀들을 강조할 수 있습니다.
그림 4. Integrated Gradients 기여도 출력[2]
이는 트리거가 주입된 픽셀은 인공지능 모델이 해당 픽셀을 중요하게 판단하기 때문에 기여도 값이 비정상적으로 클 것이라는 가정을 세웠고, 이에 따라 트리거 픽셀에 대한 기여도 값을 모두 합하였을 때, 정상 이미지에서는 그 합이 적으나 악의적인 이미지의 경우 트리거로 인해 기여도 합이 높게 나타남을 확인할 수 있습니다.
[그림 5]는 정상 이미지와 노란색 정사각형으로 트리거가 주입된 악의적인 이미지를 IG 기여도로 출력한 결과입니다. 정상 이미지와 악의적인 이미지에 대하여 기여도 합을 백도어 공격 위험도(Backdoor Risk)로서 출력하였으며, 정상 이미지의 Backdoor Risk보다 트리거가 주입된 악의적인 이미지의 Backdoor Risk가 더 높음을 확인할 수 있습니다.
그림 5. IG를 활용한 백도어 공격 설명
회피 공격(Evasion Attack)과 취약도 설명
백도어 공격의 경우 인공지능 모델 학습 과정에 직접 관여해야 하는 공격이지만, 회피 공격[3]은 인공지능 학습 과정에 직접적으로 관여하지 않고 인공지능 모델을 속이는 공격입니다. [그림 6]은 판다 이미지에 노이즈를 삽입하여 변조한 이미지를 나타내고 있습니다. 사람의 눈에는 왼쪽과 오른쪽 이미지는 동일한 판다 이미지로 보이지만 인공지능 모델은 이를 다른 이미지로 분류합니다. 왼쪽 판다 이미지의 경우 인공지능 모델은 57.7%의 확률로 판다로 분류하지만, 오른쪽 판다 이미지의 경우 99.3%의 확률로 긴팔원숭이로 잘못 분류하는 문제점을 가지고 있습니다.
그림 6. 회피 공격 보안 취약점[3]
회피 공격을 방어 및 보완하기 위해서 XAI 기법 중 Saliency Map[4]을 활용하여 픽셀의 중요도를 정량화하였습니다. Saliency Map은 앞선 Integrated Gradients와 유사한 방식으로 기여도 점수를 할당합니다. 회피 공격을 방어하는 알고리즘은 크게 두 단계로 구성됩니다. 먼저 정상 이미지들에 대해 Saliency Map을 계산하여 수집한 뒤, 기여도를 재구성(Reconstruct)하는 인공지능 모델을 학습하였습니다. 인공지능 모델은 오토인코더(Autoencoder)를 사용하는데, 오토인코더는 주어진 이미지를 재구성하면서 이미지 노이즈 제거에 활용되는 인공지능 모델입니다.
[그림 7]은 주어진 이미지를 기여도로 계산한 뒤, 재구성한 이미지를 나타내고 있습니다. 정상 이미지는 인공지능 모델을 통해 형태에 맞게 재구성되지만, 반면 악의적인 이미지는 복구한 재구성이 크게 다르기에, 그 오차 값 또한 크게 나타나는 것을 확인할 수 있습니다.
그림 7. Saliency Map을 활용한 회피 공격 설명
멤버십 유추 공격(Membership Inference Attack)과 취약도 설명
멤버십 유추 공격[5]은 백도어 및 회피 공격과 달리 인공지능 모델의 잘못된 분류를 발생시키지 않으면서, 특정 데이터가 학습 데이터에 포함되었는지에 대한 여부를 유추하는 공격입니다. [그림 8]은 학습이 완료된 인공지능 모델과 정보를 빼돌리려는 공격자 그림으로, 인공지능 모델 질의 과정 중 입력된 데이터가 인공지능 모델 학습 과정에서 사용된 데이터라면 인공지능이 예측한 오차 값(Loss)이 작을 것이고, 처음 접하는 데이터라면 예측한 오차 값이 크게 나타나는 차이점에서 착안한 공격 기법입니다.
그림 8. 멤버십 유추 공격 보안 취약점
멤버십 유추 공격의 방어 및 보완 방법은 XAI 기법 중 IG를 활용하여 픽셀 중요도를 정량화함으로써 문제를 해결하였습니다. 멤버십 유추 공격에 취약한 인공지능 모델의 경우 학습 데이터의 기여도와 학습에 사용하지 않은 데이터의 기여도 분포 차이가 나타날 것이라는 가정을 세웠습니다. 이에 따라 주어진 이미지의 모든 기여도 값 합과 표준편차를 입력하여 인공지능 모델을 학습하였으며, 이미지에 대한 확률값을 통해 멤버십 유추 공격에 취약한 이미지인지 설명할 수 있습니다. [그림 9]는 알고리즘에 대한 흐름을 나타내고 있으며, 멤버십 유추 공격에 취약하지 않은 이미지는 확률값이 낮게 나타나지만, 반면 멤버십 유추 공격에 취약한 이미지는 확률값이 높게 나타난 것을 볼 수 있습니다.
그림 9. IG를 활용한 멤버십 유추 공격 설명
글을 마치며
본 포스팅에서는 인공지능 모델 생성과 XAI를 활용하여 인공지능 모델 취약점을 방어 및 보완하는 방법을 알아보았습니다. 인공지능 취약점은 앞서 설명한 세 가지 취약점(백도어 공격, 회피 공격, 멤버십 유추 공격) 이외에도 Model Inversion Attack, Model Extraction Attack 등 다양한 취약점이 존재하며, 이를 활용한 연구[6-8]가 다수 발표되었습니다. 이러한 문제점을 해결하기 위해서 지속적인 인공지능 보안 연구가 필요하며, 추후 포스팅은 인공지능 보안과 관련된 내용으로 찾아뵙도록 하겠습니다.
[1] T. Gu, B. Gavitt and S. Garg. BadNets: Identifying Vulnerabilites in the machine learning model supply chain. CoRR abs/1708.06733, 2017.
[2] M. Sundararajan, A. Taly, and Q. Yan. Aximatic attribution for deep networks. In ICML, ser. Proceedings of Machine Learning Research. PMLR, 2017.
[3] I. J. Goodfellow, J. Shlens, and C. Szegedy. Explaining and harnessing adversarial examples. in Proc. Int. Conf. Learn. Representations, 2015, pp. 1–11.
[4] K. Simonyan, A. Vedaldi, and A. Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. ICLR(Workshop Poster), 2014.
[5] S. Yeom, I. Giacomelli, M. Fredrikson, and S. Jha. 2018. Privacy risk in machine learning: Analyzing the connection to overfitting. In 2018 IEEE 31st Computer Security Foundations Symposium (CSF). IEEE, 268–282.
[6] 차상길, 이용우, “적대적 예제를 활용한 딥러닝에 대한 공격 기술 연구 동향,” 한국정보과학회 논문지(vol 49) No 5 pp 339-346, 2022
[7] 임규민, 고기혁, 조호묵, “설명가능한 인공지능을 활용한 적대적 예제 비지도 이상 탐지,” 한국정보과학회 학술발표논문집, pp. 549-551, 2021
[8] 임규민, 고기혁, 조호묵, “Integrated Gradients 기반 트리거 삽입을 통한 효율적 은닉성 백도어 공격 기법,” 한국정보과학회 학술발표논문집, pp. 549-551, 2023
임규민 연구원은 정보보호학부를 졸업하고, 한양대학교 정보보안학과 석사과정을 졸업했다. 현재 카이스트 사이버보안연구센터 AI보안 팀원으로 XAI를 활용한 인공지능의 보안 연구를 진행하고 있다.