tencentmusic / cube-studio Goto Github PK

这个项目看起来很棒，能够实现数据处理、建模、分析流水线操作，但是目前看部署起来还是挺复杂的，能否简化部署流程，直接docker compse up就行，最好能有个在线体验地址~

目前没有找到有效完整的安装部署过程文档，希望可以提供可以按照操作步骤具体实施的安装文档。

查看 kubeflow-dashboard 日志 ：

https://github.com/tencentmusic/cube-studio/wiki/%E5%A4%9A%E6%9C%BA%E3%80%81%E5%A4%9A%E9%9B%86%E7%BE%A4%E3%80%81%E5%A4%9A%E9%A1%B9%E7%9B%AE%E7%BB%84-%E9%83%A8%E7%BD%B2%E8%B0%83%E5%BA%A6
按这个wiki 单集群多机 添加的worker节点

单机部署完毕，
https://192.168.157.114/myapp/home
提示页面不存在
http://192.168.157.114/myapp/home
无法访问

不知道大家使用的cuda是啥版本的，我的机器用的cuda是11.x版本的，所以在部署notebook节点的时候会有些问题
主要问题出现在会检测不到显卡、调用GPU训练的时候会提示缺少与cuda11有关的文件，以及cuDnn文件缺少
然后每次都要重复造轮子去给拉的节点重新安装cuda11，再装cuDnn，比较繁琐
自己制造镜像的话，体积过于庞大，如果没有经验的话可能比较麻烦。

集群是单节点集群，根据B站视屏安装
安装后，k8s启动，只是pod之间，pod与service无法通信


建立集群的时候，尝试过flannel和calico，都是这个状态
这个是什么原因？
或者该怎么排查？

pv can not Bound to pvc ,add claimRef can solve it !

sometime i add storageClassName: local in pv,but Sometimes it works, sometimes it doesn't, I'm confused。

in create_ns_secret.sh
for namespace in 'infra' 'kubeflow' 'istio-system' 'knative-serving' 'pipeline' 'katib' 'jupyter' 'kfserving' 'service' 'pre-service' 'cert-manager' 'monitoring' 'logging' 'kube-system' 'volcano-system'

katib jupyter kfserving pre-service cert-manager logging

this namespaces without pods

似乎没有找到这个镜像，哪里需要这个镜像

Originally posted by @data-infra in #5 (comment)

版本是2022年6月16日凌晨拉的master分支最新版本
单机部署
在k8s看所有节点状态正常
操作触发条件：
{
1.创建新的notebook项目
2.发现状态unkown后，点击reset触发
}



点击“名称”直接提示404页面

作为一个全功能性的平台，安全性应该是很重要的，毕竟在平台的使用中，很多功能都要牵涉到多机器的集群式部署、计算等等，有些甚至需要内外网调用，因此，个人拙见作者可以在相关功能上，做一些敏感操作预警。
例如：

1. 登录的时候对 登陆地点，时间进行比对
2. 训练任务发布的时候进行比对
3. 修改密码的时候身份比对
4. 敏感操作可以绑定社交工具或者短信sms进行提醒等等

As a full-featured platform, security should be very important. After all, in the use of the platform, many functions involve multi-machine cluster deployment, computing, etc., and some even require internal and external network calls. Therefore, personal In my humble opinion, the author can do some sensitive operation warning on related functions.
E.g:

1. When logging in, compare the login location and time
2. Compare when the training task is released
3. Identity comparison when changing the password
4. Sensitive operations can be bound to social tools or SMS for reminders, etc.

1. 腾讯云的机器连不上的谷歌镜像源，如果脚本中缺少某个镜像，可用的镜像源中拉取不到，就会失败，比如我这里是kubeflow-prometheus-adapter；
2. start.sh脚本中需要下载kfctl，需要连接外网下载，腾讯云服务器无法实现，进而kubeflow基础组件无法安装；
3. 腾讯云CVM是双网卡，有内网和外网ip，k8s的配置中要使用内网ip，进入浏览器界面需要外网ip；
4. 部署cube-studio前需要先部署对应版本的docker和k8s，如果你是用rancher来部署k8s，记得使用v2.5.2的rancher，而不是latest，docker的部署也最好按照官网的来，先装载好仓库，否则容易失败；
5. 腾讯云单机部署cube-studio经验贴：https://blog.csdn.net/weixin_39750084/article/details/124986488?spm=1001.2014.3001.5502。

chinese wiki https://github.com/tencentmusic/cube-studio/wiki

工作负载: mysql
show ReplicaSet "mysql-69b7f785c9" has timed out progressing.

ImagePullBackOff: Back-off pulling image "mysql:5.7"

how to fix it

#16

Failed to pull image "ai.tencentmusic.com/tme-public/notebook:jupyter-ubuntu-cpu-1.0.0": rpc error: code = Unknown desc = Error response from daemon: pull access denied for ai.tencentmusic.com/tme-public/notebook, repository does not exist or may require 'docker login': denied: requested access to the resource is denied

自动拉取更新镜像，会导致很多问题，比如，正在研究某功能，正在运行某作业。镜像更新了，镜像有点问题或者跟本环境有不适配的地方。会导致某些功能异常，进而导致研究无法进行。

是否有计划在jupyter lab中加入大数据处理spark组件呢？通过livy server打通数据交换的流程。

p.s.如何加入你们开发呢？

miss KubeEdge deploy
miss ceph File system deploy
miss Docker registry Harbor deploy

Error response from daemon: Head "https://ccr.ccs.tencentyun.com/v2/cube-studio/mpioperator-kubectl-delivery/manifests/latest": unauthorized: authentication required.
这是为什么？

刚接触k8s，多机器部署不来呀。。

可以使用win11部署这个到本地吗，docker desktop可以一键部署k8s，linux会容易些。

能不能来个人教一下怎么修改？卡我一天了。。

创建新集群时，显示cluster agent is not ready。
对应的操作系统：CentOS Linux 8 ，
Kubelet 版本: v1.18.20，
Docker 版本: 20.10.17

将k8s集群的kubeconfig文件复制到install/kubernetes/config文件中，然后执行如下命令，其中xx.xx.xx.xx为机器内网的ip

执行该命令的目的是啥

如果不需要，就省得我多拷50多个G进去了

docker pull ai.tencentmusic.com/tme-public/ra:latest

视觉：yolo相关模型、darknet相关模型、PaddleSeg 图像分割，orc相关模型，等训练和推理支持

语音：wenet语音识别的训练和推理支持。

推荐：bin算法，deepfm，ple等算法的训练和推理服务支持

文本： bert框架模型的训练和推理支持

采用的是frp进行内网穿透，目前只能打得开平台，打不开创建的notebook,直接是404，请问该怎么办，可否给予简单明了的解决办法，感谢！
frp我只穿透了80端口

以前单机部署已经没问题了，我现在我在尝试集群部署，结果master运行start.sh后集群爆了一堆错

我目前的理解是不需要，不知道对不对