디씨인사이드 갤러리별 게시글들을 수집하여 데이터를 만드려고합니다.

디시인사이드는 주제별 게시판의 집합체인 사이트입니다.
디시인사이드 갤러리 (dcinside.com)에는 매일 70만개 이상의 게시글, 150만개 이상의 댓글이 작성되는 사이트입니다.
수 많은 주제로 나뉜 게시판(해외축구, 국내야구, 각종 게임등등)에 많은 사람들이 게시글과 댓글을 작성합니다.
그래서 이 사이트에서 생성되는 데이터를 활용하여 무엇을 할 수 있을까 생각해 보았다.

생각하는 것은 개인이 관심을 가지고 있는 분야와 관련 있는 갤러리의 데이터를 매일 수집한다.
그 날의 정보를 토대로 가장 화제 되는 주제가 무엇인지 텍스트마이닝을 통해서 알아본다.
갤러리 관련 키워드를 네이버 뉴스에 검색하여 결과를 보내본다.

지금 인터넷 상에는 데이터가 너무나 많고, 끊임없이 새로운 데이터가 생성 되고 있기 때문에 자기가 원하는 정보만 얻기란 쉽지 않고,
취미나 유흥거리에 집중하고 살기에는 삶이 너무 바쁘다고 생각한다.
그런 바쁜 사람들에게 프로그램이 스스로 정보를 제공하는 기능은 정말 편한 기능일 수 있다.

데이터 수집 기간 : 5월 18일 ~ 6월 11일 총 25일 전체 파일 크기 : 82.1MB
갤러리 : 70개의 갤러리
가져온 정보 : 게시글 제목 / 작성자 / 작성자의 IP / 날짜

꾸준히 모아온 데이터가 대부분 텍스트 위주이고, 사람들의 주된 관심사 갤러리별 트렌드를 알기 위해서 텍스트 마이닝 실시함

• 빈도수를 csv 파일로 저장

빈도수 파일 저장 리스트

• 빈도 표

• 절대적 빈도수 비교 곡선 - 가장 많이 등장한 단어를 선택하여 빈도수

-네트워크 시각화 (6월 1일)

-바이그램을 활용 (6월 1일)

• TF-DI 계산방법

키워드 i : 손흥민 / 박지성 / 호날두 / 메시 / 리버풀 / 토트넘 / 이강인
j (시작하는 날의 횟수) = 1,2,3...23
n (분석기간의 횟수) = 23

TF : 상대적 빈도수
DF : 날짜별로 가중치

ex)
'5/20-손흥민'의 중요도를 알고 싶다.

 1. '5/20-손흥민의 빈도수' / '5/20 모든 키워드 빈도수 총합' -> TF        
 2.          '3'          / '분석기간의 횟수 23'          -> DF     
 3.  TF *  DF   = 0.041918          

손흥민(4.47) > 이강인(2.12) > 호날두(1.27) > 메시(1.26) > 토트넘(1.13) > 박지성(0.92) > 리버풀(0.83)
순서로 중요도를 표현하였다.

2번 방법이 네트워크 시각화에서는 각 단어들 간의 연결관계가 어떠한지 알게 되었다면
3번 TF-DI를 통해서는 어떤 단어가 더 중요한 단어인지 알 수 있습니다.
그리고 추가로 최근 날짜에 가까워질수록 가중치가 커지기 때문에 최근 트렌드를 반영한 중요도라고 할 수 있습니다.

• 네이버 open api를 활용하여 뉴스 검색

  최근 100개의 뉴스를 검색하여 저장

• 뉴스 검색 결과

  이강인에 대한 검색 결과

• 결과를 메일로 받기

  r에서 자동으로 메일 보내기_코드

1. 본문 내용, 댓글, 이미지, 짤(움직이는 이미지)를 활용
2. 다른 갤러리 분석
3. 네트워크 시각화 그림 해석하는 방법

모르는게 많아 어려운 학기였지만, 그래서 공부를 많이하게 되었고 뒤돌아 보니 남은게 많은 것 같습니다.
내가 데이터를 만들고, 그걸 분석하고 있으니 뭐라도 된 것 같아서 재밌게 했습니다.
큰 일이 있지 않는 이상 종강 후에도 계속 하려고 생각하고 있습니다.

지금까지 DC INSIDE 데이터 수집과 분석까지의 과정을 봐주셔서 감사합니다!