4mami / google-scholar-scraper Goto Github PK
View Code? Open in Web Editor NEWThe simple tool to save article results of Google Scholar to CSV file.
The simple tool to save article results of Google Scholar to CSV file.
Google Scholarの検索結果をCSVファイルに保存するためのツールです
細かくどのような項目が保存できるのか、READMEに説明がない
page_number,position,title,url,year,publication_info,snippet,pdf_url,cited_num,cites_id,cites_url,version_num,versions_url,result_id
↑が細目だということ、その細目が何を表しているのかのちょっとした説明くらいはほしい
静的なデータとして保存するまではいいとしても、それをどのように活用するのかを考えたときに、CSV だと再利用するのが辛い。
separator をカンマにしてあると、例えばタイトル中にもカンマが含まれることは大いに有り得るため、parse するのがキツイ場合がある。
CSVで保存するならseparatorをタブ文字(\t
)とすべきだし、あるいはもっと良い構造化データとして保存すること考えるべきだ。
XML形式で出力してもよいが、そこまでする労力も考慮すると、単にJSONに落ち着く気はする
scrape.py
と同じ階層に、APIキーを以下のフォーマットで記載した.env
ファイルを保存してください
とあるが、これは分かる人には通じるが、わからない人にはわからない
慣例的には、.env
の代わりに .env.example
をダミーファイルとして Git で追跡させることが多い
①中身を書き直させたあと、②拡張子を変えるというアプローチを説明すると良い
あるいは、かんたんなスクリプトを書いて対話的にファイルを書き出すという方法もある
sh generateEnv.sh
みたいなコマンドを実行させて、CLIからAPIキーを入力させるだけでファイルが設置できると楽ちん
(だし、その後の自動化が必要になった際にも役に立つかも)
必要なライブラリをインストールしてください。
当然のように pip install
させているが、グローバルなライブラリ環境をかき混ぜることになって最悪体験を生みかねない
venv ないし、poetry
とかを活用できるように、最低限 pyproject.toml
を用意してやるべきだ
(少し前までは requirements.txt
だったが、時代は移り変わっている)
ここで詳しく書かないが、poetry install
だけで下準備が完結できるようにすべきだろう
A declarative, efficient, and flexible JavaScript library for building user interfaces.
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
An Open Source Machine Learning Framework for Everyone
The Web framework for perfectionists with deadlines.
A PHP framework for web artisans
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
Some thing interesting about web. New door for the world.
A server is a program made to process requests and deliver data to clients.
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
Some thing interesting about visualization, use data art
Some thing interesting about game, make everyone happy.
We are working to build community through open source technology. NB: members must have two-factor auth.
Open source projects and samples from Microsoft.
Google ❤️ Open Source for everyone.
Alibaba Open Source for everyone
Data-Driven Documents codes.
China tencent open source team.