taeshahn / movietrends Goto Github PK

• Implement Naver movie review crawler
• Review crawling for about 600 movies

ROOT
├── data: input data
├── resources: .rd, .rds, .pickle, etc.
├── src: source codes
├── output: output data
└── (docs, refs, ...)

@lehup0803 선임님, 저는 보통 많이 나누면 이 정도로 나눴던 것 같은데 편하신대로 수정해주세요~

• source code refactoring
• Files List:
  • data/mv_std_info.dat
  • output/ts_reviews1.dat
  • output/ts_reviews2.dat
  • output/ts_reviews_cnt.dat
  • output/ts_scores.dat
  • output/ts_trend_index_aggr.dat
  • output/ts_trend_index.dat

Encoding Type: EUC-KR (default encoding type of NCMS)

• 신규 데이터 파일 인코딩 EUC-KR로 생성하도록 소스 코드 수정
• 기존 데이터 파일 인코딩 변환
• UTF-8 파일 읽도록 되어 있는 소스 코드 수정

• 최초 Input 데이터 레이아웃 정의 및 반영
• 메소드 Input, Output 타입 정비
• 소스 코드 분할: 트랜드 조회 / 조회 결과 분석 / 시각화 / API 작동방식 검증

Note: need to check the file encoding of the data file. [#3]

• 기능 추가: 주제어 연관 검색어 API 요청에 반영하도록 수정

• collect netizen rating
• collect movie audience rating
• collect movie critic rating