Git Product home page Git Product logo

collect-images's Introduction

collect-images

Google画像検索の結果を収集するコマンドラインツールです。

Getting Started

  • ダウンロード

    GitHubの最新リリース からダウンロードできます。

  • デプロイ

    # 配置ディレクトリで展開
    DIR_PARENT={配置ディレクトリを指定}
    VERSION={対象のバージョンを指定}
    cd ${DIR_PARENT}
    tar xvfz ./collect-images_*.tar.gz
    rm -f ./collect-images_*.tar.gz
    
    # 最新版にシンボリックリンクを作成
    ln -s ${DIR_PARENT}/collect-images_${VERSION} ${DIR_PARENT}/collect_images
  • サンプル設定の確認

    cd ${DIR_PARENT}/collect_images
    # キーワードリスト
    #   検索したいキーワード群を改行区切りで列挙します。
    #   1行に、半角スペース区切りでキーワードを並べると、AND検索されます。
    cat config/keywords
    
    # 起動設定
    cat config/project.properties
  • サンプル設定で実行

    # 実行
    cd ${DIR_PARENT}/collect_images/bin
    ./collect_images.sh
    
    # リターンコード
    #  0: 正常終了
    #  3: ダウンロードエラーが含まれる場合
    #  6: エラー終了
    echo $?
    
    # 出力
    #   ・収集結果:data/COLLECT_RESULT_${キーワードリスト行番号}
    #       キーワードリスト行番号毎に、ダウンロードしたファイルパスが記載されます。
    #   ・収集履歴:data/COLLECT_RESULT_HISTORY_${キーワードリスト行番号}
    #       キーワードリスト行番号毎に、ダウンロード処理が 成功|スキップ|エラー終了 した結果が記載されます。
    ls -l ../data
    #   ・収集結果ファイル:data/query/${キーワードリスト行番号}/${収集結果ファイル行番号}
    #       キーワードリスト行番号毎に、ダウンロードしたファイルへのエイリアスが作成されます。
    #       複数のキーワードで同じファイルがヒットした場合、ファイルは1つだけダウンロードされ
    #       各キーワードのエイリアスから、ダウンロードしたファイルにアクセスできます。
    ls -l ../data/query
    #   ・ダウンロードファイル:data/images/${URI}
    #       ダウンロードしたファイルは、imagesディレクトリ配下で一意に管理されます。
    ls -l ../data/images

Contact

ライセンス

Apache License, Version 2.0

collect-images's People

Contributors

suwa-sh avatar

Watchers

James Cloos avatar  avatar

collect-images's Issues

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.