高性能AI接口透明代理服务GPT-Load

发表于 更新于 分类于 Waline： 阅读次数： 本文字数： 2.6k 阅读时长 ≈ 2 分钟
GPT-Load 是一个高性能、企业级的 AI 接口透明代理服务，专门为需要集成多种 AI 服务的企业和开发者设计。

简介

什么是 GPT-Load？

GPT-Load 是一个高性能、多渠道的 AI 接口透明代理服务，专为需要集成多种 AI 服务的企业和开发者设计。它采用 Go 语言开发，具有智能密钥管理、负载均衡和完善的监控功能，适用于高并发的生产环境。

从功能上来说，GPT-Load 和之前老苏介绍的 One API 、New API 是同一类产品，但也有自己的特点

文章传送门：

主要特点

  • 透明代理: 完全保留原生 API 格式，支持 OpenAI、Google Gemini 和 Anthropic Claude 等多种格式
  • 智能密钥管理: 高性能密钥池，支持分组管理、自动轮换和故障恢复
  • 负载均衡: 支持多上游端点的加权负载均衡，提升服务可用性
  • 智能故障处理: 自动密钥黑名单管理和恢复机制，确保服务连续性
  • 动态配置: 系统设置和分组配置支持热重载，无需重启即可生效
  • 企业级架构: 分布式主从部署，支持水平扩展和高可用
  • 现代化管理: 基于 Vue 3 的 Web 管理界面，直观易用
  • 全面监控: 实时统计、健康检查、详细请求日志
  • 高性能设计: 零拷贝流式传输、连接池复用、原子操作
  • 生产就绪: 优雅关闭、错误恢复、完善的安全机制
  • 双重认证体系: 管理端与代理端认证分离，代理认证支持全局和分组级别密钥

应用场景

  • 企业级 AI 集成：适用于需要同时调用多个 AI 服务的企业，提供统一的 API 接口。
  • 高并发请求处理：适合要求高并发处理和低延迟的应用场景，比如在线客服、智能问答系统等。
  • 多种 AI 服务的支持：可以灵活接入各类 AI 服务，如文本生成、对话系统、图像处理等，满足不同业务需求。
  • 多租户应用： 为不同租户提供独立的服务环境，满足多样化的业务需求。
  • 安全与监控： 提供安全的密钥管理和实时监控，适合对安全性和可用性要求较高的应用。

GPT-Load 能够有效地帮助企业和开发者实现多种灵活、高效的 AI 服务集成解决方案。

安装

在群晖上以 Docker 方式安装。

官方的镜像没有发布在 docker hub，而是在 ghcr.io，所以直接用命令行来安装。

GPT-Load 支持 MySQL，PostgreSQL，或 SQLite 数据库，老苏这次选择了默认安装的 SQLite 版本，比较适合轻量单机应用。

如果你想安装 MySQL，PostgreSQL 及 Redis，可以参考官方的 docker-compose.yml 文件：https://github.com/tbphp/gpt-load/blob/main/docker-compose.yml

本文写作时， latest 版本对应为 v1.0.18；

docker cli 安装

如果你熟悉命令行，可能用 docker cli 更快捷

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 新建文件夹 gpt-load 和 子目录
mkdir -p /volume1/docker/gpt-load/data

# 进入 gpt-load 目录
cd /volume1/docker/gpt-load

# 运行容器
docker run -d \
   --restart unless-stopped \
   --name gpt-load \
   -p 3131:3001 \
   -v $(pwd)/data:/app/data \
   -e AUTH_KEY=sk-123456 \
   ghcr.io/tbphp/gpt-load:latest

docker-compose 安装

也可以用 docker-compose 安装，将下面的内容保存为 docker-compose.yml 文件

1
2
3
4
5
6
7
8
9
10
11
12
13
version: '3'

services:
  gpt-load:
    image: ghcr.io/tbphp/gpt-load:latest
    container_name: gpt-load
    restart: unless-stopped
    ports:
      - 3131:3001
    volumes:
      - ./data:/app/data
    environment:
      - AUTH_KEY=sk-123456

然后执行下面的命令

1
2
3
4
5
6
7
8
9
10
# 新建文件夹 gpt-load 和 子目录
mkdir -p /volume1/docker/gpt-load/data

# 进入 gpt-load 目录
cd /volume1/docker/gpt-load

# 将 docker-compose.yml 放入当前目录

# 一键启动
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:3131 就能看到登录界面

使用 AUTH_KEY 中设置的值登录。本文的示例为 sk-123456

登录成功后的主界面

秘钥管理 –> 创建分组

以 硅基流动 为例

  • 分组名称：这是 API 路由的一部分，只能包含小写字母、数字、中划线或下划线，长度 3-30 位，例如： siliconflow，最后生成的 API 地址是 http://192.168.0.197:3131/proxy/siliconflow
  • 渠道类型：决定了请求格式和认证方式。支持 OpenAI、Gemini、Anthropic 等主流AI服务商
  • 测试模型：在硅基流动中找了一个免费的模型，例如 ： Qwen/Qwen3-8B
  • 代理密钥：是用于访问此分组的代理端点的秘钥，可以自动生成

目前硅基流动（SiliconFlow），注册就送 2000 万 Tokens，虽然不是免费，但也够用一阵子的

注册地址：

https://cloud.siliconflow.cn/i/NkUiXVhQ

创建完成之后，开始 添加秘钥

这里填入你从硅基流动获得的 API key

添加完成之后，你可以测试一下设置是否正确

支持填入多个，系统会自动轮换

Cherry Studio

获取分组的访问地址

填入到 Cherry Studio

  • API 秘钥：GPT-Load 分组中的代理密钥
  • API 地址：GPT-Load 分组访问地址

API 秘钥你也可以填 AUTH_KEY 的值，因为这是全局代理密钥；

设置没问题的话，点 管理 会显示支持的模型

随便聊聊，可以在日志中看到访问信息

回到仪表板可以一目了然的看到统计信息

参考文档

tbphp/gpt-load: 智能密钥轮询的多渠道 AI 代理。 Multi-channel AI proxy with intelligent key rotation.
地址：https://github.com/tbphp/gpt-load

GPT-Load - 高性能 AI 接口透明代理服务
地址：https://www.gpt-load.com/