优秀的大模型API网关系统Veloera
简介
什么是 Veloera ?
Veloera是一个优秀的AI API网关系统,提供原汁原味的New API使用体验,同时遵循GPL 3.0许可证,允许用户自由使用和修改。项目基于new-api二开,添加极多原版不计划添加的特性。
主要特点
- 多渠道支持:支持以逗号分隔的多个
API密钥,随机选择使用。 - 礼品码功能:可以为每个用户设置一次性礼品码,控制总使用次数。
- 正则表达式屏蔽词:支持通过正则表达式来屏蔽特定词汇。
- 增强的日志功能:日志支持刷新,显示渠道名称,并增加总/输入/输出
Token统计。 - 灵活的环境变量配置:用户可以根据需求调整多种环境变量,如流式回复超时时间和安全设置等。
- 自动迁移支持:对新用户自动运行数据库结构迁移,确保与旧系统的兼容性。
应用场景
- API 网关:适用于需要集中管理多个
API的应用场景,方便开发者进行调用和管理。 - AI 应用:可以作为
AI模型的接口,处理复杂的请求和响应,适用于聊天机器人等应用。 - 数据分析:通过日志和
Token统计功能,用户可以分析使用情况,优化API调用。 - 个人和团队使用:适合个人开发者和团队在项目中集成 AI 功能,提供灵活的解决方案。
Veloera 提供了强大的功能和灵活的配置选项,适合各种开发需求和场景。
安装
在群晖上以 Docker 方式安装。
本文写作时,
latest版本对应为v0.4.8;

docker cli 安装
如果你熟悉命令行,可能用 docker cli 更快捷
1 | # 新建文件夹 veloera 和 子目录 |
Veloera 支持环境变量设置,详细的可参考官方文档:https://github.com/Veloera/Veloera#环境变量
docker-compose 安装
也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件
1 | version: '3' |
然后执行下面的命令
1 | # 新建文件夹 veloera 和 子目录 |

运行
在浏览器中输入 http://群晖IP:3056 ,老苏选择的是 自用模式,如果你是运营模式,建议使用 MySQL 或 PostgreSQL 数据库

初始化完成后的主界面

点右上角的 登录

登录成功后的主界面

渠道
首先要新增渠道

类型内置了很多种渠道

以 硅基流动 为例,官方渠道一般不用输入 API 地址
目前硅基流动(SiliconFlow),注册就送 2000 万 Tokens,虽然不是免费,但也够用一阵子的
注册地址:
https://cloud.siliconflow.cn/i/NkUiXVhQ

可以测试一下,看看设置是否正确

令牌
要二次分发使用,还需要有令牌

老苏是自用,为了省得麻烦,设置了
永不过期设为无限额度

创建成功

移动到 查看 上,会看到生成的令牌

第三方调用
以 Cherry Studio 为例, 添加供应商,类型选择 OpenAI

API密钥:上一步在Veloera中生成的令牌API地址:填入Veloera的Web访问地址http://群晖IP:3056

点 管理,如果令牌没问题的话,会看到模型

添加你需要的模型之后,就可以开始使用了
参考文档
Veloera/Veloera
地址:https://github.com/Veloera/VeloeraIntroduction - Mint Starter Kit
地址:https://docs.veloera.org/