cyberjam / bank-pipeline Goto Github PK

• 무엇인지
  

  양남이 용의자!

• 어떤 경우인지
  

  • 정상적인 데이터
    

python 스프레드시트 저장기능
스프레드 시트 생성 후 api 계정 공유

지점코드는 변하는 일이 거의 없고 지점코드로 지표 데이터를 request하기위한 수단일뿐.
따라서 spreadsheet에 저장할 필요 없음.
그때그때 json으로 저장해서 github에 업로드.

• docs
• 경영등급 숫자만, 숫자로 형변환
• 모듈 init.py

목표 : 지점 목록 request 결과 얻기

다중 for문
너무 긴 list comprehension
읽기 어려움

• 지점이름
• 지점코드
• 분점코드 - 만약 001(본점)이 아닐경우 pass

URL = 'https://www.kfcc.co.kr/map/list.do?r1=서울&r2='
rq = requests.get(URL)

1. 로딩이 너무 길어서 실행이 끝난건가 싶어 request 문구 이후 print를 찍어 보았지만 로딩이 긴 것이 맞았다.

   URL = 'https://www.kfcc.co.kr/map/list.do?r1=서울&r2='
   rq = requests.get(URL)
   print("로딩이 아니라면 나와야한다")
   

2. 해당 페이지에 접속하여 네트워크 패킷이 post가 아닌가 싶었지만 get 맞다.
   

3. postman에서 그대로 get 요청을 해보았다. 400 error. 400 번대는 client 측 요청 잘못이다. 문구를 보니 block 어쩌구가 있다. 브라우저를 통한 접속이 아닐경우 접속을 막는 것인가? 그렇다면 headless로 selenium으로 해야하려나. 너무 거추장스럽다. request에서 끝장을 볼 방법을 찾아보자.
   

4. post 요청하듯 request header를 모두 넣어 request 날려보자.
   
   

5. 원하던 데이터가 나왔다. 어떤 항목이 필수적으로 필요한지 추려보니 Host를 기입했어야 했다.
   

6. 그런데. postman에서는 되는데 스크립트 상에서는 왜 안되는거지..
   

7. 그냥 간단하게 spreadsheet의 importXML() 함수로 지점별 코드를 추출해야겠다.
   

https://www.youtube.com/watch?v=VF6jd2Fv4bs

• json 을 load한다.
• 본점 001만 추출하거나 지점코드 중복을 없앤다.
• #16
• #17

• post 형태의 정기공시 페이지 request
• contentsdata value 값을 전처리
• 지표 추출

도단위 지역 단위 추가