-
목적
- 데이터 분석을 위한 심평원의 진료행위별 지역정보와 소재기관 데이터 확보
-
문제
- open api 를 사용하여 데이터를 확보하려고 처음 시도 하였으나, api를 통해 받아온 데이터 중 2014년 이후의 데이터는 모두 0 값으로 되어 있었음.
- 심평원에 관련 문제에 대해 문의 전화와 메일을 보냈더니 " 시스템상의 문제로 2014년 이후의 데이터가 원천 테이블에서 api용 테이블로 이관작업이 진행 되지 않고 있었음을 발견, 시스템 상의 문제이기 때문에 해당 문제가 언제 해결 될지 확답을 줄 수 없음"
- 이라는 답변을 받고, 그냥 해당 데이터를 크롤링해서 얻기로 함.
-
진행 과정
- 홈페이지에서 진료행위별 코드를 긁어 와서 csv 파일로 만듬
- 셀레니움을 이용하여 csv파일의 코드를 리스트로 받아서 코드로 검색을 하고 "지역별","소재기관"별 탭을 클릭
- 심사년도가 아닌 진료년월 데이터 선택
- 날짜 2016년 이후 선택
- csv 파일로 데이터 다운로드 후 코드별로 데이터를 합쳐서 원하는 양식에 맞게 csv 파일 가공.
code-sonya / crawling Goto Github PK
View Code? Open in Web Editor NEW건강보험심사평가원(http://www.hira.or.kr/main.do) 데이터 크롤링 하기