-----支持弹幕聊天、唱歌【此功能对接创作者自制的歌库图数据库，支持用歌名、原唱、歌曲语言、风格、自定义的标签等来点歌，播放队列可以无限添加（最新一次的点歌会插队播放）】、点歌【支持哔哩哔哩和网易云非会员歌曲点歌，会优先于唱歌队列播放】、翻唱【支持对之前点歌的音频进行实时翻唱（对接你的so-vits-svc4.1）】
-----支持歌库定制【将你做好的翻唱信息按要求填写在歌库.csv中，启动streamlit_agent.py可以将其录入你的图数据库中】、支持角色性格和认知定制【在streamlit页面端中可以给你的虚拟主播塑造性格和基础认知，大致原理就是通过向量数据库来进行长期记忆存储，其中每一个认知实体都会在索引表中建立目录，之后在聊天时会根据用户的问题去合适的目录索引对应的向量数据，ai会根据涉及到的关键词产生情绪的变动，情绪会最终反馈在说话的语气里】
-
当前版本功能：
- 对接哔哩哔哩开放平台
- 支持edge-tts+svc实现定制化的语音合成
- 支持bert-vits2
- 支持gpt-sovits
- 支持智谱api和已开源的chatglm3模型
- 可以通过弹幕指令跟AI-Vtuber进行互动
- 通过图数据库实现本地歌库多元化搜索
- 通过向量数据库和关键词词表搭建长期记忆知识库
- 支持简单的情感聊天
- 支持直播代理功能（让你的ai主播闲不下来）
- 支持直播时在线翻唱（实验性功能，后续会调整）
- 支持bv号点歌和网易云点歌（非会员）
- 构建类memgpt式的记忆滑动窗口做短期记忆搜索
- 对接sd（webui和comfyui）
- 对接ikaros-521的字幕打印器项目
- 支持通过按键映射来调整live2d动作
- 支持视频学习（本质上是听音频）和文本学习
- 简单的代理学习（通过智谱的搜索插件来比较偷懒的制作知识库，人类可以随时干预）
- streamlit客户端设计（主要是管理和定制你的ai-vtuber的）
-
当前主要工作：
- 制作测试版本整合包（内置了流萤人设）
- 完善项目文档
- 录制相关使用教程
- 完善streamlit客户端
- 发布第一版正式整合包
-
未来更新计划:
- 支持更多的哔哩哔哩直播间弹幕互动
- 支持gpt-sovits情感控制
- 对接diffsinger，实现一个完整的语音声库定制方案
- 支持更多的llm接口方案
- 支持更多的TTS接口方案
- 利用comfyui工作流搞点事 😏
conda create --name ai-vtuber python=3.10
# 先执行
pip install -r requirements.txt
# 国内源通常会下载cpu版的torch，手动卸载
pip uninstall torch
# 下载cuda版本的torch
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
streamlit run streamlit_agent.py
清华：https://pypi.tuna.tsinghua.edu.cn/simple/
阿里云：http://mirrors.aliyun.com/pypi/simple/
**科技大学：https://pypi.mirrors.ustc.edu.cn/simple/
华中科技大学：http://pypi.hustunique.com/simple/
上海交通大学：https://mirror.sjtu.edu.cn/pypi/web/simple/
豆瓣：http://pypi.douban.com/simple/
夸克网盘链接:https://pan.quark.cn/s/a039b9c03692
环境：jdk-15 图数据库版本:neo4j-4.2
voicemeeter
【faster-whisper】
【gte-base-zh】
【uvr5】
React
Typescript
Django
Laravel
Facebook
Microsoft
Google
Alibaba
D3
Tencent