4mami / google-scholar-scraper Goto Github PK

Google Scholarの検索結果をCSVファイルに保存するためのツールです

細かくどのような項目が保存できるのか、READMEに説明がない

page_number,position,title,url,year,publication_info,snippet,pdf_url,cited_num,cites_id,cites_url,version_num,versions_url,result_id

↑が細目だということ、その細目が何を表しているのかのちょっとした説明くらいはほしい

静的なデータとして保存するまではいいとしても、それをどのように活用するのかを考えたときに、CSV だと再利用するのが辛い。

separator をカンマにしてあると、例えばタイトル中にもカンマが含まれることは大いに有り得るため、parse するのがキツイ場合がある。

CSVで保存するならseparatorをタブ文字（\t）とすべきだし、あるいはもっと良い構造化データとして保存すること考えるべきだ。

---

XML形式で出力してもよいが、そこまでする労力も考慮すると、単にJSONに落ち着く気はする

scrape.py と同じ階層に、APIキーを以下のフォーマットで記載した .env ファイルを保存してください

とあるが、これは分かる人には通じるが、わからない人にはわからない

慣例的には、.env の代わりに .env.example をダミーファイルとして Git で追跡させることが多い

①中身を書き直させたあと、②拡張子を変えるというアプローチを説明すると良い

---

あるいは、かんたんなスクリプトを書いて対話的にファイルを書き出すという方法もある

sh generateEnv.sh みたいなコマンドを実行させて、CLIからAPIキーを入力させるだけでファイルが設置できると楽ちん
（だし、その後の自動化が必要になった際にも役に立つかも）

必要なライブラリをインストールしてください。

当然のように pip install させているが、グローバルなライブラリ環境をかき混ぜることになって最悪体験を生みかねない

venv ないし、poetry とかを活用できるように、最低限 pyproject.toml を用意してやるべきだ
（少し前までは requirements.txt だったが、時代は移り変わっている）

ここで詳しく書かないが、poetry install だけで下準備が完結できるようにすべきだろう