优秀的大模型API网关系统Veloera
简介
什么是 Veloera ?
Veloera
是一个优秀的AI API
网关系统,提供原汁原味的New API
使用体验,同时遵循GPL 3.0
许可证,允许用户自由使用和修改。项目基于new-api
二开,添加极多原版不计划添加的特性。
主要特点
- 多渠道支持:支持以逗号分隔的多个
API
密钥,随机选择使用。 - 礼品码功能:可以为每个用户设置一次性礼品码,控制总使用次数。
- 正则表达式屏蔽词:支持通过正则表达式来屏蔽特定词汇。
- 增强的日志功能:日志支持刷新,显示渠道名称,并增加总/输入/输出
Token
统计。 - 灵活的环境变量配置:用户可以根据需求调整多种环境变量,如流式回复超时时间和安全设置等。
- 自动迁移支持:对新用户自动运行数据库结构迁移,确保与旧系统的兼容性。
应用场景
- API 网关:适用于需要集中管理多个
API
的应用场景,方便开发者进行调用和管理。 - AI 应用:可以作为
AI
模型的接口,处理复杂的请求和响应,适用于聊天机器人等应用。 - 数据分析:通过日志和
Token
统计功能,用户可以分析使用情况,优化API
调用。 - 个人和团队使用:适合个人开发者和团队在项目中集成 AI 功能,提供灵活的解决方案。
Veloera
提供了强大的功能和灵活的配置选项,适合各种开发需求和场景。
安装
在群晖上以 Docker 方式安装。
本文写作时,
latest
版本对应为v0.4.8
;
docker cli 安装
如果你熟悉命令行,可能用 docker cli
更快捷
1 | # 新建文件夹 veloera 和 子目录 |
Veloera
支持环境变量设置,详细的可参考官方文档:https://github.com/Veloera/Veloera#环境变量
docker-compose 安装
也可以用 docker-compose
安装,将下面的内容保存为 docker-compose.yml
文件
1 | version: '3' |
然后执行下面的命令
1 | # 新建文件夹 veloera 和 子目录 |
运行
在浏览器中输入 http://群晖IP:3056
,老苏选择的是 自用模式
,如果你是运营模式,建议使用 MySQL
或 PostgreSQL
数据库
初始化完成后的主界面
点右上角的 登录
登录成功后的主界面
渠道
首先要新增渠道
类型内置了很多种渠道
以 硅基流动
为例,官方渠道一般不用输入 API
地址
目前硅基流动(SiliconFlow
),注册就送 2000
万 Tokens
,虽然不是免费,但也够用一阵子的
注册地址:
https://cloud.siliconflow.cn/i/NkUiXVhQ
可以测试一下,看看设置是否正确
令牌
要二次分发使用,还需要有令牌
老苏是自用,为了省得麻烦,设置了
永不过期
设为无限额度
创建成功
移动到 查看
上,会看到生成的令牌
第三方调用
以 Cherry Studio
为例, 添加供应商,类型选择 OpenAI
API
密钥:上一步在Veloera
中生成的令牌
API
地址:填入Veloera
的Web
访问地址http://群晖IP:3056
点 管理
,如果令牌没问题的话,会看到模型
添加你需要的模型之后,就可以开始使用了
参考文档
Veloera/Veloera
地址:https://github.com/Veloera/VeloeraIntroduction - Mint Starter Kit
地址:https://docs.veloera.org/