Git Product home page Git Product logo

ai-proxy's Introduction

AI Proxy

✨ 通过对应厂商大模型标准的 API 格式进行访问,开箱即用 ✨

功能

  1. 支持多种大模型:
  2. 支持配置镜像以及众多第三方代理服务
  3. 支持通过负载均衡的方式访问多个渠道。
  4. 支持 stream 模式,可以通过流式传输实现打字机效果。
  5. 支持多机部署详见此处
  6. 支持令牌管理,设置令牌的过期时间和配额。
  7. 支持失败自动重试。
  8. 支持绘图接口。
  9. 支持用户管理,支持多种用户登录注册方式
    • 邮箱登录注册(支持注册邮箱白名单)以及通过邮箱进行密码重置。
    • GitHub 开放授权
    • 微信公众号授权(需要额外部署 WeChat Server)。

部署

基于 Docker 进行部署

# 使用 SQLite 的部署命令
# 使用 MySQL 的部署命令

基于 Docker Compose 进行部署

仅启动方式不同,参数设置不变,请参考基于 Docker 部署部分

# 目前支持 MySQL 启动,数据存储在 ./data/mysql 文件夹内
docker-compose up -d

# 查看部署状态
docker-compose ps

配置

系统本身开箱即用。

你可以通过设置环境变量或者命令行参数进行配置。

等到系统启动后,使用 lbbniu 用户登录系统并做进一步的配置。

Note:如果你不知道某个配置项的含义,可以临时删掉值以看到进一步的提示文字。

相关项目

  • FastGPT: 基于 LLM 大语言模型的知识库问答系统
  • ChatGPT Next Web: 一键拥有你自己的跨平台 ChatGPT 应用
  • One API: 通过标准的 OpenAI API 格式访问所有的大模型,开箱即用

注意

本项目使用 GPL 协议进行开源,在此基础上,必须在页面底部保留署名以及指向本项目的链接。如果不想保留署名,必须首先获得授权。

同样适用于基于本项目的二开项目。

依据 GPL 协议,使用者需自行承担使用本项目的风险与责任,本开源项目开发者与此无关。

ai-proxy's People

Contributors

lbbniu avatar

Stargazers

 avatar  avatar  avatar yby avatar  avatar  avatar  avatar Alfred avatar  avatar  avatar rain avatar 言十年 avatar 此木 avatar

Watchers

rain avatar  avatar  avatar  avatar

Forkers

wudinan

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.