Git Product home page Git Product logo

parallelpixivutil2's Introduction

Parallel PixivUtil2

A cheap way to run PixivUtil2 in parallel

Known Error Messages

  • ERROR: pixivutil2.exe is not located in working directory.

  • ERROR: list.txt is not located in working directory.

  • ERROR: config.ini is not located in working directory.

  • ERROR: Failed to execute pixivutil2

IPC format

  • Handshake
    • Receive client handshake (example: Frames { UID, '', "HS", "PU2" }) ('PU2' stands for PixivUtil2)
    • Send server handshake (example: Frames { UID, '', "HS", Program Name and Version})

Warning

I'd recommend you to use alternate pixiv account (secondary account).

Because sometimes you can get an account suspension for too many requests.

Nandaka/PixivUtil2#477

parallelpixivutil2's People

Contributors

hsheric0210 avatar

Watchers

 avatar

parallelpixivutil2's Issues

Ipc 지원 추가

ZeroMQ를 통한 ipc를 구현해서 여러 ffmpeg 인스턴스가 구동되면 컴퓨터가 얼어버리는 현상을 parallelpixivutil2에서 순차 처리하게 함으로서 근본적으로 수정하기.

Aria2 지원 추가

Aria2에 대한 지원을 추가함으로써 더 빠른 이미지 다운로드 속도 보장

실행 단계를

  1. pixivutil2를 실행하여, 멤버의 이미지 목록의 개별 이미지들의 목록을 불러오되, 직접 다운로드하지 않고 대신 이미지 URL을 (destination 디렉터리, 저장될 파일명과 함께) 목록 형태로 파일에 저장
  2. aria2를 이용해 해당 이미지들을 일괄적으로 다운로드.

(원래 계획은 일단 aria2를 이용하여 이미지들을 모두 다운로드한 뒤, 다시 pixivutil2를 실행하여 파일명을 변경하고, 올바른 경로로 파일을 옮기는 것이었지만,
아래의 aria2 input file의 'dir' 속성과 'out' 속성을 사용하면 매우 쉬운 일이 될 것으로 보인다)

참고:

로깅 개선

기존의 '모든 IPC, 상태, 오류 메시지를 전부 다 보여주는' 로깅 방식을 버리고
여러 개의 워커가 각각 현재 어떤 작업을 처리하고 있는지, 얼마나 처리했는지(진행 상황), 얼마나 남았는지 등과
실행 시간, 남은 작업 갯수 등을 워커 별로 나타내고
기타 오류나 끝난 작업 알림 등과 같은 것은 상태 표 윗쪽에 나타나도록 처리하는 식으로 개선 요망

캡처-
사진 출처: Youtube

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.