geniusfunny / node-process-pool Goto Github PK

代码大概是这样的

**const processPool = new ProcessPool({
maxParallelProcess: 50, // 支持最大进程并行数
timeToClose: 10 * 1000, // 单个任务被执行最大时长
dependency: const path = require('path'); var lib=require("./lib");var execSync = require('child_process').execSync;var config = require('./config');, // 任务脚本依赖
workDir: __dirname, // 当前目录
taskName: 'doTwitter', // 任务脚本名称
script: async function task(workParam) {
val = workParam;

    cmd = `twint -u '${val}' --since '${today} 00:00:00' ${proxy} -o ./data/${val}_${today}.json --json`;
    // console.log(cmd);
    execSync(cmd,{timeout:8000});
}, // 任务脚本内容
taskParams // 需要执行的任务参数列表，二维数组

});
// 创建进程池实例
// 利用进程池进行处理大规模任务
processPool.run();**

跑完了 脚本没退出

由于目前将task函数直接赋值给进程池示例的script属性，且在进程池示例中将script写入task.js，这也存在很大的问题。

1. 如果task函数存在模块依赖，依赖怎么注入到task.js
2. 如果是相对路径，怎么解决路径参数的问题
3. 每次将script加入到task.js，这是修改模块！！！并且很冗余
4. 重构！

例如：10个进程，50个任务，只完成44个任务；50个进程，50个任务，完成50个任务。
猜测是任务调度的时候出现了问题。