Git Product home page Git Product logo

crawling's Introduction

crawling

  1. 목적

    • 데이터 분석을 위한 심평원의 진료행위별 지역정보와 소재기관 데이터 확보
  2. 문제

    • open api 를 사용하여 데이터를 확보하려고 처음 시도 하였으나, api를 통해 받아온 데이터 중 2014년 이후의 데이터는 모두 0 값으로 되어 있었음.
    • 심평원에 관련 문제에 대해 문의 전화와 메일을 보냈더니 " 시스템상의 문제로 2014년 이후의 데이터가 원천 테이블에서 api용 테이블로 이관작업이 진행 되지 않고 있었음을 발견, 시스템 상의 문제이기 때문에 해당 문제가 언제 해결 될지 확답을 줄 수 없음"
    • 이라는 답변을 받고, 그냥 해당 데이터를 크롤링해서 얻기로 함.
  3. 진행 과정

    • 홈페이지에서 진료행위별 코드를 긁어 와서 csv 파일로 만듬
    • 셀레니움을 이용하여 csv파일의 코드를 리스트로 받아서 코드로 검색을 하고 "지역별","소재기관"별 탭을 클릭
    • 심사년도가 아닌 진료년월 데이터 선택
    • 날짜 2016년 이후 선택
    • csv 파일로 데이터 다운로드 후 코드별로 데이터를 합쳐서 원하는 양식에 맞게 csv 파일 가공.

crawling's People

Contributors

code-sonya avatar

Stargazers

Hyunsik avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.