AI 보안팀의 딥러닝 경진대회 : 개요 및 소감

  인공지능, 딥러닝을 공부하시면서 캐글(kaggle)에 대해 들어보셨나요? 캐글은 데이터 사이언스 경진대회 플랫폼으로 기업 및 단체에서 데이터와 해결 과제를 등록하면, 데이터 사이언티스트들은 이를 해결하는 인공지능 모델을 개발함으로써 경쟁합니다. 이는 인공지능, 딥러닝을 막 배우기 시작한 초보 개발자들에게 경쟁과 더불어 학습의 장으로도 널리 알려져 있습니다.

  최근 캐글과 비슷한 형태로 한국형 데이터 사이언스 경진대회 플랫폼인 DACON이 생겨 세간의 주목을 받은 바 있습니다. 2018년 8월을 시작으로, 2020년 11월 2일을 기준하여 DACON에서는 총 40개의 대회가 개최되었고 27,788개의 팀이 참가하였으며, 앞으로도 더 많은 대회들이 개최될 것으로 보입니다. 저희 CSRC AI보안팀은 국가정보원과 국가보안기술연구소에서 공동 개최하는 산업제어시스템 보안위협 탐지 AI 경진대회 [1] 에 참가하여 좋은 성적으로 장려상을 수상하였습니다.

  본 블로그 시리즈는 저희 팀이 대회에 참가하면서 느낀 점들을 가감없이 남기는 동시에 DACON을 처음 준비하는 초보 개발자들에게 많은 도움을 드리고자 합니다. 먼저, 산업제어시스템 보안위협 탐지 AI 경진대회에 대한 간략한 소개 및 대회에 참여하면서 느낀 점 등을 담은 주관적인 견해의 글로 시작하고자 합니다.

대회 소개

  산업제어시스템 보안위협 탐지 AI 경진대회는 국가기반시설 및 산업시설의 제어시스템에서 발생할 수 있는 여러가지 보안 위협을 다양한 상황 변수를 파악하여 딥러닝 기술로 탐지하는 대회입니다. 만약 수력발전소를 대상으로 일정 시간 비정상적으로 수압을 높이는 공격 패턴을 알고있는 경우, 해당 공격에 대해 즉각적인 대응이 가능하지만, 새로운 공격 패턴은 감지가 어려워 보안에 취약합니다. 이와 같이 알려지지 않은 공격을 탐지하기 위하여 딥러닝 기술을 사용한다면 새로운 공격 패턴에 대응할 수 있습니다.

  본 대회의 참가자들에게는 국내 최초로 산업제어시스템 환경 및 그에 대한 적대적 공격의 물리적인 시뮬레이션을 통하여 수집한 HAI 데이터셋 [2] 을 활용, 해당 데이터에서 발생한 보안위협에 대해 탐지하는 과제가 주어졌습니다. 한 가지 특이한 점은 딥러닝의 학습에 사용된 데이터가 모두 정상 상황일 때, 즉 보안위협 공격이 일어나지 않을 때만을 딥러닝으로 학습하여 보안위협 공격과 비정상 상황을 탐지하는 것입니다.

  본 대회는 8월 17일부터 9월 29일까지의 총 44일간 진행되었습니다. 비록 짧은 시간이었지만 수 많은 시행착오 학습을 거쳐서 인공지능, 딥러닝에 대한 전문성을 향상시켰다 생각합니다.

대회 준비 과정

  인공지능 및 딥러닝 경진대회에 처음 참가하면서 캐글 튜토리얼의 꽃이라고 불리우는 타이타닉 [3] 을 우선적으로 검토하였습니다. 캐글의 유명 튜토리얼답게 해당 내용을 설명하는 많은 유튜브 및 블로그 글이 많았기에 큰 어려움 없이 학습할 수 있었습니다.

  이번 경진대회에서 사용된 HAI 데이터셋은 시간에 따라 그 순서가 있는 시계열(time series) 데이터입니다. 먼저 경진대회의 문제에 대해 보다 자세히 이해하기 위해 HAI 데이터셋이 어떤 프로세스를 통해 수집되었는지를 관련 논문을 통하여 참고하였고, 이후 시계열 데이터에서의 이상 탐지를 위해 개발된 딥러닝 기술들에 대해 논문을 중심으로 참조하였습니다. 이외에도 비슷한 캐글 경진대회나 Medium 등의 기술 블로그를 통해 주어진 과제에 적합한 딥러닝 기술들을 조사하였습니다.

대회 중 어려웠던 점

  DACON 경진대회의 경우 주어진 테스트 데이터셋에 대한 탐지 결과만을 제출하는 형식으로, 전체 결과 중 오직 30%의 결과만 알 수 있고 나머지 70%에 대한 결과는 대회 종료 후 공개가 되어 개발된 딥러닝 모델의 성능이 정말로 발전되었는지 파악하기 어려운 문제점이 있었습니다. 그렇기에 대회 수상에 어느 정도 운적인 요소 또한 작용한다고 생각했습니다.

  실제로 대회 종료 직전까지 최상위권에 있었던 팀이 70%의 결과 공개 후 하위권으로 순위가 하락하는 현상이 발생하였고 반대로 하위권 팀이 최상위권이 되는 상황이 발생하였습니다. 이와 같이 운적인 요소가 많이 작용한다는 것은 시상식 날 수상자들과의 담화에서도 모두 공감한 바 있습니다.

  이외에도 결과물 제출 횟수가 참가자별이 아닌 팀별 하루 3회 이하로 제한되어, 일부 팀원이 많은 팀의 경우 팀원 모두가 자신의 딥러닝 모델을 제출할 수 없다는 한계점이 있어 많은 아쉬움이 남았습니다.

수상 소감

  개인적으로 사회 생활을 CSRC에서 시작하였기에 본 경진대회에서 좋은 성과를 이루어 낸 것에 대해 큰 희열과 달성감을 느낍니다. 경진대회에 참여하면서 보다 좋은 성능의 모델을 개발하기 위해 수많은 시도와 실패가 있었지만, 팀원과의 소통을 통해 새로운 방식을 제안하고 보다 좋은 결과물을 만들어냄으로써 실패를 두려워하지 않는 도전 정신을 배웠습니다. 이번 경험을 발돋움 삼아서 앞으로의 연구 및 차기 경진대회 또한 성공적으로 이룰 수 있다고 생각합니다.

글을 마치며

  현재 DACON에 새롭게 올라온 대부분의 경진대회는 “심리 성향 예측”, “소설 작가 분류” 등 흥미로우면서 사회에 큰 도움이 되는 주제로 진행되고 있습니다. 본 대회를 준비하면서 만족할 만한 성과를 낼 수 있었던 결정적인 요건은 팀원과의 다양한 소통과 협업이었다고 생각합니다. 차기 도전할 경진대회 역시 팀원 모두가 흥미를 갖는 주제로 시작할 경우, 좋은 성과를 낼 수 있다고 자신합니다.

다음 글에서는 저희 팀이 본 대회에 참가하여 개발한 딥러닝 모델에 대한 기술적인 내용을 담은 글로 찾아뵙도록 하겠습니다.

[1] 산업제어시스템 보안위협 탐지 AI 경진대회, DACON
[2] HAI 1.0 Dataset, ETRI 부설 국가보안기술연구소
[3] Titanic: Machine Learning from Disaster, Kaggle

5 명이 이 글에 공감합니다.