크롤러 에서 수집한 트위치 데이터와 유튜브 데이터가 각각의 플랫폼의 아이디를 키로하여 저장하면서 서로 다른 키를 가지게 되는 경우가 발생

유튜브와 트위치의 영향력의 비중을 조절할 수 있는 기능 추가

Status

현재 Crawler에서 Twitch API v5를 사용하여 데이터를 크롤링을 수행하고있다.

크롤링은 30분을 주기로 실행되며 실시간 유저 스트리밍 정보(streams), 한국어 채널의 종합 스트리밍 정보(live_streams), 실시간 탑 게임 정보(top_game) 등을 수집한다. 매일 자정에는 유저의 채널 정보(channels), 팔로우 정보(follow), 팀 정보(teams) 등을 추가로 수집한다.

Preprocessing Target

영향력 데이터

• 각 채널의 하루 평균 시청자 수와 팔로워의 수
• 날짜별 게임 점유율 순위
• 실시간 스트리밍 순위

링크 데이터

• 유저의 팔로우 리스트(리스트에 해당하는 스트리머에 대해서만), 팀 정보

Preprocessing data

• YouTube preprocessing
• TwitchTV preprocessing

Merge data into one

• Merge weekly data of Twitch and YouTube into one json file

Breadth First Search(BFS) 를 통해 그래프를 탐색하면서 한 유저가 전체 네트워크에 미칠 수 있는 영향력 시각화

유저의 통계를 보여주는 라인 차트와 바 차트 구현

유저의 게임 점유율을 나타내는 파이 차트 구현