위 프로젝트는 2019년 수행된 프로젝트로 2020년에 공유되었습니다. 당시 발표 자료의 내용을 확인바랍니다. [링크]

국민 청원은 정부와 국민의 직접 소통 창구로서, 여론을 파악하는 주요한 정보원이 됩니다. 국민 청원을 통해 사회의 다양한 문제들이 논의됩니다.

국민 청원에 있는 데이터를 텍스트 분석합니다. 국민 청원 텍스트 데이터를 바탕으로 지도 학습과 비지도 학습을 수행합니다.

국민 청원 텍스트 자동 분류 과제를 수행합니다. 청원 내용을 기반으로 청원 카테고리를 예측하는 텍스트 자동 분류 모델을 생성합니다.

국민 청원 텍스트를 기반으로 사회 현안을 파악합니다. 국민 청원은 여타의 SNS와 다르게 사회 문제에 집중하는 유의미한 데이터입니다. 따라서 국민 청원 데이터를 토픽 모델링함으로써 주요 여론을 파악하는 데 도움이 될 수 있습니다.

국민 청원 데이터를 크롤링합니다.

python A_WebCrawling.py

국민 청원의 개별 청원에는 고유번호가 있습니다. 고유번호로 구성한 ULR에 접속하여서 필요한 데이터를 수집합니다. 수집한 데이터로는 청원상태, 제목, 참여인원, 카테고리, 청원시작/종료일, 청원내용가 있습니다.

2019년 프로젝트를 위해 수집한 결과 청원 번호 579799인 4월 29일 청원부터 청원번호 559801인 3월 13일 청원까지 12,582건의 데이터가 수집되었습니다. 수집된 데이터는 CSV로 저장합니다.

텍스트 데이터를 전처리합니다.

텍스트 데이터 전처리를 위해서 KoNLPy 라이브러리의 Komoran 형태소 분석기를 사용합니다. Komoran 형태소 분석기에 사용자 정의 사전을 추가하고 불용어를 제거함으로써 텍스트 분석을 정교하게 만듭니다. 정제된 텍스트 중 한글 명사만을 사용해서 이후의 데이터 분석을 수행합니다.

추가한 사용자 정의 사전을 다음과 같습니다.

분석에서 제거된 불용어입니다.

데이터의 공기 빈도를 분석하면서 단어 간 연관성을 파악하고 gephi로 시각화합니다.

python B_CoWordFrequencyAnalysis.py

청원 내용의 데이터의 공기 빈도를 분석합니다. 공기 빈도를 통해 단어간의 연관성을 파악하고 이를 gephi로 시각화합니다. 또한 특정 청원 분야(정치)에 대해서 연관된 단어를 클러스터링 합니다. 클러스터링 된 결과를 바탕으로 정치개혁의 세부 청원 주제를 파악합니다.

정치개혁 분야의 1,500 건 청원에 대해서 공기 빈도를 구합니다. 단순 빈도 분석 결과는 다음과 같습니다.

gephi 시각화를 위해서 공기 빈도릐 결과를 graphml 형식으로 저장합니다. 6,200개의 Node와 478,108개의 Edge가 생성됩니다.

graphml 형식으로 저장된 파일을 통해서 시각화한 결과입니다. Modularity 분석 결과 크게 3 클러스터가 생성되는 것을 확인할 수 있습니다.

분석 결과 생성된 클러스터는 토픽 모델링을 통해 생성된 주제와 비교한다.

청원 내용을 기반으로 청원 분야(카테고리)를 찾는 모델을 생성합니다.

나이브 베이즈 모델

python C_ClassificatioNB.py

SVM 모델

python D_ClassificationSVM.py

데이터가 충분한 정치개혁, 안전/환경, 인권/성평등 청원 주제에 대해서 Text Classification 모델을 생성합니다. 나이브 베이즈 모델과 SVM 모델을 구현하고 이를 비교합니다.

학습 검증을 위해서는 10-fold cross validation을 사용했으며, 특정 분야에 데이터가 쏠리는 현상을 막기 위해서 최대 청원수를 조절합니다. 또한 카이 스퀘어 검정을 통해서 각 청원 주제에서 중요하게 여겨지는 단어들을 파악함으로써 분류가 제대로 이루어지고 있는지 파악합니다.

결론적으로 SVM을 사용한 텍스트 분류가 높은 정확도를 보였지만, 성능에 있어서 나이브 베이즈를 크게 상회하지는 않습니다.

토픽 모델링을 통해 정치개혁 분야의 세부 토픽을 파악합니다.

python E_TopicModeling.py

정치개혁 분야의 1,745개의 데이터를 토픽 모델링으로 분석합니다. 토픽의 수는 3, 5, 7개로 실험합니다.

토픽 3개인 경우

토픽 5개인 경우

토픽 7개인 경우

분석 결과 토픽 3개인 경우 공기 빈도에 의해 형성된 클러스터링과 상당히 유사한 것을 확인할 수 있다.

국민 청원 데이터는 사회의 이슈를 파악하는데 있어서 주요한 데이터입니다. 하지만 특정 분야에 집중되어 있으므로 텍스트 자동화를 위해서는 모든 분야에 걸쳐서 균일한 양의 데이터가 필요할 것으로 판단됩니다.

사회적인 이슈와 긴밀하게 연결되어 있는 국민 청원은 뉴스 데이터와 연계했을 경우 분석의 정확도를 높일 수 있을 것이라고 기대합니다.