优秀的大模型API网关系统Veloera

简介

什么是 Veloera ?

Veloera 是一个优秀的 AI API 网关系统,提供原汁原味的 New API 使用体验,同时遵循 GPL 3.0 许可证,允许用户自由使用和修改。项目基于 new-api 二开,添加极多原版不计划添加的特性。

主要特点

  1. 多渠道支持:支持以逗号分隔的多个 API 密钥,随机选择使用。
  2. 礼品码功能:可以为每个用户设置一次性礼品码,控制总使用次数。
  3. 正则表达式屏蔽词:支持通过正则表达式来屏蔽特定词汇。
  4. 增强的日志功能:日志支持刷新,显示渠道名称,并增加总/输入/输出 Token 统计。
  5. 灵活的环境变量配置:用户可以根据需求调整多种环境变量,如流式回复超时时间和安全设置等。
  6. 自动迁移支持:对新用户自动运行数据库结构迁移,确保与旧系统的兼容性。

应用场景

  1. API 网关:适用于需要集中管理多个 API 的应用场景,方便开发者进行调用和管理。
  2. AI 应用:可以作为 AI 模型的接口,处理复杂的请求和响应,适用于聊天机器人等应用。
  3. 数据分析:通过日志和 Token 统计功能,用户可以分析使用情况,优化 API 调用。
  4. 个人和团队使用:适合个人开发者和团队在项目中集成 AI 功能,提供灵活的解决方案。

Veloera 提供了强大的功能和灵活的配置选项,适合各种开发需求和场景。

安装

在群晖上以 Docker 方式安装。

本文写作时, latest 版本对应为 v0.4.8

docker cli 安装

如果你熟悉命令行,可能用 docker cli 更快捷

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 新建文件夹 veloera 和 子目录
mkdir -p /volume1/docker/veloera/{data,logs}

# 进入 veloera 目录
cd /volume1/docker/veloera

# 运行容器
docker run -d \
--restart always \
--name veloera \
-p 3056:3000 \
-v $(pwd)/data:/data \
-v $(pwd)/logs:/app/logs \
-e TZ=Asia/Shanghai \
ghcr.io/veloera/veloera:latest

Veloera 支持环境变量设置,详细的可参考官方文档:https://github.com/Veloera/Veloera#环境变量

docker-compose 安装

也可以用 docker-compose 安装,将下面的内容保存为 docker-compose.yml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
version: '3'

services:
veloera:
image: ghcr.io/veloera/veloera:latest
container_name: veloera
restart: unless-stopped
ports:
- 3056:3000
volumes:
- ./data:/data
- ./logs:/app/logs
environment:
- TZ=Asia/Shanghai

然后执行下面的命令

1
2
3
4
5
6
7
8
9
10
# 新建文件夹 veloera 和 子目录
mkdir -p /volume1/docker/veloera/{data,logs}

# 进入 veloera 目录
cd /volume1/docker/veloera

# 将 docker-compose.yml 放入当前目录

# 一键启动
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:3056 ,老苏选择的是 自用模式,如果你是运营模式,建议使用 MySQLPostgreSQL 数据库

初始化完成后的主界面

点右上角的 登录

登录成功后的主界面

渠道

首先要新增渠道

类型内置了很多种渠道

硅基流动 为例,官方渠道一般不用输入 API 地址

目前硅基流动(SiliconFlow),注册就送 2000Tokens,虽然不是免费,但也够用一阵子的

注册地址:

https://cloud.siliconflow.cn/i/NkUiXVhQ

可以测试一下,看看设置是否正确

令牌

要二次分发使用,还需要有令牌

老苏是自用,为了省得麻烦,设置了

  • 永不过期
  • 设为无限额度

创建成功

移动到 查看 上,会看到生成的令牌

第三方调用

Cherry Studio 为例, 添加供应商,类型选择 OpenAI

  • API 密钥:上一步在 Veloera 中生成的 令牌
  • API 地址:填入 VeloeraWeb 访问地址 http://群晖IP:3056

管理,如果令牌没问题的话,会看到模型

添加你需要的模型之后,就可以开始使用了

参考文档

Veloera/Veloera
地址:https://github.com/Veloera/Veloera

Introduction - Mint Starter Kit
地址:https://docs.veloera.org/