대규모 언어 모델을 이용한 유해사이트 분류하기 1부

최근 ICT 기술이 발전하고 스마트폰의 사용이 보편화되면서 어디에서든 누구나 쉽게 인터넷에 접속할 수 있게 되었습니다. 이러한 기술의 발전은 시공간적 제약이 없이 인터넷 기반의 서비스를 이용할 수 있게 되어 생활 속의 많은 편리함을 주었지만, 이를 악용한 유해사이트들이 출현하였고, 이는 곧 사회적 문제로 대두되었습니다. 문제를 해결하기 위해 유해사이트에 대응하고자 많은 연구들이 진행되고 있으며 사회적, 정책적으로 대응할 수 있는 방안들이 제시되고 있습니다.

이에 이번 글에서는 유해사이트가 무엇인지 정의하고, 문제점을 해결하기 위해 유해사이트를 분류할 수 있는 대규모 언어모델의 설명과 활용방안에 대해 살펴보도록 하겠습니다.

유해사이트 정의

유해사이트란 일반적으로 사회구성원들에게 해로운 정보를 제공하는 인터넷 사이트를 말합니다. 방송통신위원회의 법률 및 시행령에 따라 정의되고 있으며 주 대상은 음란, 명예훼손, 공포 및 불안감 유발, 해킹, 사행성, 불법거래, 반정부, 테러, 범죄, 저작권 침해, 자살방조 및 교사 사이트를 의미합니다.

그림 1. 다양한 유해사이트와 차단된 유해사이트

경찰청 사이버수사대 및 정보통신윤리위원회에서 파악하고 있는 유해정보의 양은 지속적으로 증가하는 추세를 보이며, 특히 음란정보와 사회질서 위반의 내용을 담은 정보들은 그 양과 증가율이 크게 늘어나는 상황입니다. 사회의 질서를 붕괴시키고 가치를 혼란시키는 유해사이트들은 다양한 영역에서 부정적인 결과를 낳고 있습니다. 따라서 유해사이트의 구체적인 실태를 파악하고 그에 대한 사회적, 형사정책적 대응 방안을 모색하는 것은 현 시점에서 중요한 의의를 가지고 있습니다.

유해사이트의 사회문제

1. 도박사이트
불법 도박은 합법 사행산업의 제한을 넘는 무제한 베팅 금액과 다양한 게임 방식을 제공하기 때문에 사람들의 흥미를 유발하고 강한 중독 효과를 만들어 냅니다. 국내에서는 지난 2018년부터 2022년까지 최근 5년간 온-오프라인 불법도박 단속 건수는 10만 9,871건으로 이중 온라인 불법도박만 99%인 10만 8,824건에 이르는 것으로 나타났습니다. 2019년에 1만 6,476건 22년에는 2만 6,957건으로 약 55%증가한 것으로 확인되었습니다. 도박사이트는 단속을 피하기 위해 회피 기술이 갈수록 지능화·고도화되고 있고 해외에 서버를 두고 있어 단속하기가 어려워지고 있습니다.

2. 성인사이트
세계적으로 성인사이트로 인한 사회적 문제가 대두되고 있는 가운데, 특히, 조절 능력이 떨어지는 청소년에게도 노출되어 있어 문제의 심각성을 더하고 있습니다. 미국, 캐나다, 유럽의 통계에 따르면 대다수의 아동과 청소년은 18세에 도달하기 전에 포르노 웹사이트를 접하는 것으로 나타났습니다. 최근 연구는 평균적으로 63%에서 68%의 청소년이 포르노를 접한것으로 확인되어 가히 충격적인 실상을 보이고 있음을 알 수 있습니다.

3. 콘텐츠 불법복제 및 배포 사이트
콘텐츠 시장은 지속적으로 성장을 하고 있으며 시청자에게 더욱 양질의 콘텐츠를 제공하기 위해 노력하고 있지만, 불법 복제와 유통으로 디지털 콘텐츠의 성장을 방해하고 있습니다. 이는 무료 또는 보다 저렴하게 이용할 수 있는 큰 매력과 원하는 콘텐츠를 쉽게 구할 수 있다는 장점에서 사용자가 지속적으로 증가하고 있으며, 국내의 22년 기준 최근 3년 통계에 따르면 영화 불법 이용률이 29%로 가장 높았으며 방송이 22.9%로 2위를 차지했습니다.

최근 정부에서는 각종 유해사이트의 근절을 위하여 DNS보다 강화된 SNI 차단방식을 도입하였지만, 이를 비웃기나 하는듯 URL 일부를 변형하거나 SNS와 같은 다른 사이트를 이용하여 새로운 링크를 제공하면서 우회적으로 계속 운영하고 있습니다. 접속을 차단했을 경우 51.6%의 사용자는 이용을 포기했으나, 여전히 많은 이용자가 우회방법을 탐색하여 지속적으로 이용하는 것으로 나타났습니다. 이러한 음지의 극성 팬들이 있기에 유해사이트는 기존 사이트를 폐쇄하고 새로운 이름의 사이트를 개설하거나, 끊임없이 새로운 사이트를 생성하는 등 기하급수적으로 증가하고 있어 선제적인 차단 조치를 위한 분류 및 탐지 방안이 필요합니다.

대규모 언어모델 (LLM)

언어모델(Language Model, LM)이란, 인간의 언어를 이해하고 생성하도록 훈련된 일종의 인공지능 알고리즘입니다. 주어진 언어의 패턴이나 구조, 관계를 학습하여 번역과 같은 분야에 주로 활용되었습니다. 언어모델은 주어진 단어들의 시퀀스에 대해 임베딩 표현(벡터)를 만들어 줍니다. 임베딩 표현은 언어모델이 이해한 정보가 담겨있습니다. 언어모델을 통해 만들어진 임베딩 표현으로 감정 분류, 개체명 인식과 같은 분류 문제나 기계 번역, 요약 등 텍스트 생성 문제를 해결하는데 사용됩니다. 언어모델의 품질은 크기나 훈련된 데이터의 양 및 다양성 그리고 학습 알고리즘에 따라 성능이 좌우됩니다.

그림 2. 언어모델의 단어예측 과정의 예

대규모 언어모델(Large LM, LLM)은 트랜스포머(Transformer)모델을 사용하여 방대한 대용량의 데이터로 훈련된 딥러닝 알고리즘을 의미합니다. 다양한 자연어처리(Natural Language Process, NLP) 작업을 수행할 수 있는데, 문장 구조나 문법, 문맥을 이해하는 능력이 뛰어나 텍스트의 예측 또는 생성에 탁월합니다. 예를 들어, 주어진 문맥에서 다음 단어를 예측하는 문제에서 LLM은 문장 내의 단어들 사이의 유사성과 문맥을 파악하여 다음 단어를 생성할 수 있습니다. 이러한 특성은 기계번역, 텍스트 요약, 자동 작문, 질문 응답 등 다양한 NLP작업에 활용됩니다. 대표적인 LLM모델에는 GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers)가 있습니다. 이러한 모델들은 수천억 개의 매개변수와 큰 모델 아키텍처를 가지고 있어 더욱 정교한 언어 이해와 생성이 가능합니다.

그림 3. BERT와 GPT의 특성

특히, BERT는 양방향 인코더를 사용하여 입력된 단어 및 문장의 앞뒤 문맥을 이해할 수 있습니다. 이런 능력을 갖게 된 이유는 Masked Language Model(MLM)과 Next Sentence Prediction(NSP)학습법 때문입니다. MLM 학습법은 임의의 단어를 마스크하고 마스크된 단어를 예측하도록 학습하는 방법으로 이를 통해 BERT는 단어간의 문맥을 파악하는 능력을 기르게 됩니다. NSP는 두 문장의 관계를 이해하기 위해서 두 번째 문장이 첫 번째 문장의 다음에 오는 문장인지 예측하는 방식으로 이를 통해 BERT는 문장간의 문맥을 이해하는 능력을 기르게 됩니다. 본 글에서는 유해사이트 분류를 위해 LLM인 BERT가 어떻게 활용될 수 있는지를 설명하고자 합니다.

유해사이트 분류를 위한 LLM

유해사이트 분류를 위해 유해사이트의 특징을 파악해야 합니다. 각 유해사이트는 주로 사용하는 단어들이 존재하는데, 도박사이트는 게임용어나 도박관련 용어 등 특수한 용어가 많이 사용되고 있고, 그 외 다른 유해사이트 역시 사이트를 특정할 수 있는 주요 키워드들이 존재합니다. 도박사이트의 첫 화면에서는 사이트의 이름, 공지사항, 관련 용어 등 키워드를 수집할 수 있으며, 회원가입 화면에서는 가입을 위한 은행, 계좌정보나 가입코드 등 특수 키워드를 수집할 수 있습니다. 다른 유해사이트도 첫 화면에서 사이트의 이름, 관련 용어 등 키워드를 수집할 수 있습니다. 콘텐츠 불법 배포 사이트는 주로 토렌트, 다운로드, 영화, 드라마와 같은 키워드들을 가지고 있으며, 성인사이트 또한 야동, 일본, 서양과 같이 성인 사이트를 특정할 수 있는 키워드들을 가지고 있습니다. 사이트에는 텍스트뿐만 아니라 이미지에 존재하는 키워드로 유해사이트를 특정할 수 있습니다.

이렇듯 각 유해사이트를 특정할 수 있는 키워드들이 존재하기 때문에 이를 LLM모델에 사용하면 LLM모델이 유해사이트를 이해하고 분류할 수 있습니다. BERT모델에 텍스트와 이미지로부터 추출한 키워드를 입력하면 BERT가 임베딩하여 벡터값을 얻을 수 있습니다. 벡터값을 연산하는 과정을 통하여 BERT는 키워드들간의 문맥을 파악할 수 있습니다. 그러기 위해서는 키워드를 하나의 문장으로 만들어야 합니다. 하나의 키워드만 BERT에 입력하면 단어들의 연관성을 파악할 수 없습니다. 그래서 아래의 그림처럼 하나의 문장으로 만든 후에 BERT의 입력으로 사용해야 합니다.

그림 4. 사이트별 키워드 문장을 생성하는 모습

예를 들어 한 도박사이트에 등장하는 카지노, 슬롯, 베팅, 충전이라는 단어들을 “카지노 슬롯 베팅 충전”이라는 문장으로 만듭니다. 이렇게 함으로써 BERT는 한 문장 속 단어들 간의 관계성을 파악할 수 있습니다. 이런 특성을 갖는 BERT를 유해사이트를 분류를 위해 활용할 수 있습니다.

글을 마치며

본 글에서는 유해사이트를 정의하고 LLM을 설명하며 유해사이트 분류를 위한 활용 방안에 대해 살펴보았습니다. 사회적 문제를 일으키는 유해사이트를 분류 및 탐지하기 위해 LLM의 활용법을 제시하였는데, LLM의 언어이해 능력은 유해사이트로부터 추출한 키워드들의 문맥을 이해하는데 사용될 수 있으며, 결과적으로 유해사이트 탐지를 위한 분류 문제를 해결하는데 적합하다고 생각합니다. 다음 포스팅에서는 BERT기반의 유해사이트 분류 모델을 학습하기 위한 전처리 과정과 데이터 분석을 통한 모델 성능 향상에 대해 설명하는 내용으로 찾아뵙도록 하겠습니다.

<참고문헌>

[1] 박형민, “인터넷 유해사이트의 실태와 대책에 관한 연구,” 연구총서 05-14 사이버범죄연구,
[2] B. Bőthe et al., “A longitudinal study of adolescents’ pornography use frequency, motivations, and problematic use before and during the COVID-19 pandemic,” Archives of Sexual Behavior, vol. 51(1), pp. 139–156, 2022.
[3] 2023 저작권 보호 연차보고서, 한국저작권보호원, pp.117, 2023.
[4] S. O. Yoon, “Problems Internet Access Blocking Policy,” KISO, vol 35, pp. 23–25, 2019.
[5] 이경석 외 3명, “도박사이트 탐색을 위한 웹사이트 분류 방법 및 XAI 기반 키워드 트렌드 분석 기법”, KIISE, vol. 29(6), pp. 282-288, 2023.
[6] 김남규, “최근 5년간 온-오프라인 불법도박 단속 10만 9,871건, 온라인만 99% 차지,” 대한뉴스, 2023. 04.
[7] 김진환 외 2명, “불법 사이트 사건 사례를 통한 데이터베이스 증거물 획득 방안,” 디지털포렌식 연구, vol7. pp. 37-49, 2010.
[8] 김병진, 이상준, “웹 사이트간 연결 관계를 이용한 유해사이트 판별방법 개선 및 화이트리스트 구축,” 한국정보과학회 학술대회, pp. 238-240, 2018.
[9] 강석윤 외 3명, “실시간 크롤링을 이용한 유해 사이트 판별 시스템,” 한국정보과학회 학술대회, pp. 1904-1906, 2018.
[10] Eui-Jin Kim, Jin Kwak, “Intelligent Piracy Site Detection Technique with High Accuracy,” KSII, vol. 15(1), pp. 285-301, 2021.
[11] J. Devlin et al., “BERT: pre-training of deep bidirectional transformers for language understanding,” arXiv preprint arXiv:1810.04805, 2018.