tencentblueking / bk-nodeman Goto Github PK

你想要什么功能
想要在节点管理插件管理页面能够展示自开插件的状态

为什么需要
插件状态无法直观的展示状态是否可用或者异常

建议如何实现
插件能够支持自定义展示哪些插件

你想要什么功能
升级django3

为什么需要
django3已提供LTS版本，可考虑升级

建议如何实现
升级版本，配置调整

蓝鲸监控在监控调试过程中不合时宜地调用【停止调试接口】时，会造成调试配置残留，需优化调试插件中的流程控制：

1. 第三方系统调用【停止调试接口】时，不删除ProcessStatus，并写入停用标志
2. Debug 时读取到停用标志时，直接进入下一步 Stop Debug走完整的回收流程
   

问题描述
Proxy安装不应该以存在的proxy作为上游

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

清理背景：插件安装功能重构后无需Pipeline的执行数据

你想要什么功能
目前自测AGENT安装并发在2000左右，且后台性能资源消耗较大

为什么需要
希望在控制资源消耗的情况下，一次性尽可能安装更多的AGENT

建议如何实现

1. agent安装时，进行分批聚合，比如200台主机放到一条pipeline里
2. 把脚本的report log回调放到redis或DB中，在pipeline schedule的时候查询是否已完成安装，参考插件管理中对JOB请求的处理
3. 多台主机在pipeline component中执行时，通过celery task delay 的方式执行，以便把ssh任务分布到多台节点管理后台的celery worker上，避免把这多台机器都在一台机器上执行，不利于横向扩展

你想要什么功能

为什么需要

建议如何实现

• Dockerfile
• Helm charts 包
• 文档

你想要什么功能
删除项目内pipeline相关代码，替换为bamboo-engine，通过requirement定义

为什么需要
pipeline已不继续维护

建议如何实现
https://github.com/TencentBlueKing/bamboo-engine/blob/master/docs/upgrade/bamboo_pipeline_to_bamboo_engine.md

问题描述
RT，当cityid和regionid为空时，不渲染AGENT配置中的这两个值，由GSE SERVER的配置完成负载均衡

客户监控平台的某业务下的一脚本采集配置（下发1.6w个主机节点）一直卡在部署中，持续两天时间，一直终止不了

某业务当前主机总数接近2w，其采集配置常有几千甚至上万的下发节点，在采集运行状态详情及下发过程存在加载延迟等性能问题，请协助支持并优化，谢谢。

经排查，需优化节点管理 instance_status, task_result, statistics 三个接口

• 环境变量过于分散
• 没有足够的说明，仅凭变量名难以推断环境变量的用途

在特殊的网络场景下，当前默认的安装行为不能满足需求，需新增【安装节点】概念，作为安装时的跳板，类似云区域下Proxy的功能，可以把Proxy理解为云区域默认的安装节点

你想要什么功能
批量手动安装时，把安装命令合为同一条

为什么需要
目前的实现太繁琐，每台机器的安装命令都不一样，操作起来比较麻烦

建议如何实现

1. 首先把 #103 给做完，假设1000台机器，每批200，那么就有5条pipeline，对应5个pipeline id
2. TODO

问题描述
重复收集相同的自动触发任务

重现方法
查看任务历史

预期现象
同一个任务被重复记录

截屏
请提供截屏来解释你的问题，当然这也能更好地帮助我们理解问题。

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)： 2.1.X
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

问题描述
(创建任务失败: _log() got an unexpected keyword argument 'file'（3800014）) path => /prod/backend/api/subscription/task_result/（3800014）

重现方法
rabbitmq 获取不到连接时，任务历史详细报错

问题描述
「更新任务状态」出现死锁
MySQLdb._exceptions.OperationalError: (1213, 'Deadlock found when trying to get lock; try restarting transaction')

重现方法
Agent 百级安装/重装

截屏

问题描述
某些情况下suse操作系统pid获取为空的问题导致进程个数判断异常

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

问题描述
修改接入点信息不生效

重现方法

1. 修改接入点信息
2. 保存

预期现象
接入点信息修改不生效

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

问题描述

开始 调试插件.
快速执行脚本operate_plugin，作业任务ID为[xxxx]，点击跳转到[作业平台]
调试插件 失败: 'NoneType' object has no attribute 'replace'，请先尝试查看错误日志进行处理，若无法解决，请联系管理员处理
插件部署失败，重试次数 +1
******* Begin of collected logs: *******
Traceback (most recent call last):
File "/data/bkee/bknodeman/nodeman/apps/backend/components/collections/base.py", line 63, in wrapper
return service_func(self, data, parent_data, *args, **kwargs)
File "/data/bkee/bknodeman/nodeman/apps/backend/components/collections/base.py", line 383, in schedule
return self.run(self._schedule, data, parent_data, callback_data=callback_data)
File "/data/bkee/bknodeman/nodeman/apps/backend/components/collections/base.py", line 307, in run
service_func(data, parent_data, **kwargs)
File "/data/bkee/bknodeman/nodeman/apps/backend/components/collections/plugin.py", line 1147, in _schedule
self.log_info([subscription_instance_id], new_logs.replace(last_logs, ""))
AttributeError: 'NoneType' object has no attribute 'replace'

重现方法
调试插件

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• [ 2.1.340 ] bk-nodeman 异常日志：

问题描述
支持使用CMDB主机监听事件触发订阅变更

未找到文档中所说的build_front_dist.sh 脚本

问题描述
安装proxy脚本渲染错误

重现方法
3. 错误现象 '....'

预期现象

截屏

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

问题描述
安装aix的agent服务安装命令有误，应该为ksh而非bash

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)：2.0.1322
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

你想要什么功能
代码合入V2.1.X后

• 自动生成版本日志
• 创建新的版本分支

为什么需要

• 当前监听 V2.1.X pr事件，若pr审核没有通过，会重复生产版本日志

建议如何实现

• V2.1.X push 表示版本变更，所以通过监听该事件，生成版本日志
• 优化现有的流水线，便于移植到 TencentBlueKing/bk-process-config-manager

一、背景
产品功能基本稳定，回归用例越来越多，每次发布版本都需要执行几遍核心测试用例，为了减少这种重复的、大量回归的测试任务，我们迫切需要引进一些自动化测试来协助。
在编写自动化脚本过程中发现页面元素没有统一的命名规范，每个开发对页面元素层级及定义都不一样，导致自动化脚本编写难，维护成本高，因此迫切需要制定元素定义的规范。
二、优势
自动化测试可以代替大量的手工机械重复性操作，测试同学可以省下大量的时间来设计测试用例和新功能。
自动化测试可以大幅度提升回归测试的效率，非常适合敏捷开发。
自动化测试可以充分利用无人值守时间，来进行测试，特别是非工作时间执行，工作时间只需要分析一下测试的执行结果

三、规范
!!#ff0000 所有层级都要以：data-test-id="MODULE_BLOCK_NAME" 格式进行规范化定义!!，参考图：

MODULE 表示模块：1、非通用模块使用页面的 route 名称作为模块名；2、通用的模块以nav作为模块名，如导航栏；

BLOCK 表示当前的块：1、表单为 form；2、列表/表格为 list；

NAME 表示 BLOCK 的名称：1、以对于元素功能的英文名称命名

四、部分元素修改参考图

你想要什么功能
agent配置zkauth支持加密

为什么需要
当前agent配置中的zkauth明文显示，存在安全风险

建议如何实现
渲染配置时使用gse提供的加密工具对原文进行加密

问题描述
节点管理根据订阅ID自动识别插件，无需调用方传递

问题描述
安装通道使用公共跳板机，用户无权限安装

预期现象
用户有权限安装

请提供以下信息

• bk-nodeman 3.1.342

问题描述
安装windows pagent 作业平台报错

重现方法
列出如何重现的方法或操作步骤

1. 安装windows pagent

预期现象
安装windows pagent成功
截屏

请提供以下信息

• bk-nodeman 版本 2.1.241

问题描述
当订阅ID不存在时，订阅任务数据接口未捕获异常，KeyError

重现方法
请求一个不存在订阅id

预期现象
此订阅id不存在

问题描述
接口未鉴权

预期现象
需进行鉴权

请提供以下信息

• bk-nodeman 版本 V3.1.341

问题描述
API请求组件由blueking sdk切换至 BaseApi，以便能自定义不同组件的网关地址

问题描述
非管理员P-agent安装使用全业务安装查询Job无权限问题，任务失败

重现方法
列出如何重现的方法或操作步骤

1. 安装p-agent

预期现象
任务成功

请提供以下信息

• bk-nodeman 版本 2.1.345

变更详细

• api/v2/plugin/parse/ - 返回数据字段：pkg_abs_path -> pkg_relative_path
• api/v2/plugin/create_register_task/ - 请求参数字段：select_pkg_abs_paths -> select_pkg_relative_paths

问题描述
简明扼要地描述bug是什么

重现方法
列出如何重现的方法或操作步骤

1. 转到 '....'
2. 点击 '....'
3. 错误现象 '....'

预期现象
简明扼要地描述预期的现象是什么

截屏
请提供截屏来解释你的问题，当然这也能更好地帮助我们理解问题。

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)： 2.1.346
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

• PaaS提供内置变量无需重新定义声明
• 项目自用变量名称优化，减少限制性前缀 BK_ BKAPP_ 的使用

联动 #13

你想要什么功能
下发采集配置前安装插件，比如下发日志采集，先检查机器上是否运行了bkunifylogbeat，若不存在，则首先进行插件安装，再完成后续的配置下发

为什么需要
某些场景下，机器上没有对应插件

建议如何实现
先检查机器上是否运行了对应插件，若不存在，则首先进行插件安装，再完成后续的配置下发

问题描述
权限中心回调地址注册错误

重现方法
用户点击跳转链接不能准确的跳转到申请url，会走默认的自定义权限首页

预期现象
准确的跳转到申请对应权限的url

请提供以下信息

• bk-nodeman 版本 (发布版本号 或 git tag)：
• 蓝鲸PaaS 版本：
• bk-nodeman 异常日志：

问题描述
重装agent端口没有回填

重现方法
列出如何重现的方法或操作步骤

1. 安装时修改端口为非默认端口
2. 重装AGENT

预期现象
预期回填用户输入的端口

你想要什么功能

为什么需要

建议如何实现