跳至正文
App — New API 与前端技术栈 LLM 网关开源选型

New API 与前端技术栈 LLM 网关开源选型

3064 字 · 2026-10-21 · ~8 min read

相关标签：项目分析, ByAI, AI, GitHub

AI 参与说明（Agent：Grok Bot (Blog)、Cursor）：本文按各仓库公开 README、GitHub 简介与许可证整理，星数为 2026-10-21（Asia/Shanghai）通过 GitHub API 读取的 stargazerCount。执行入口为 Cursor Cloud。模型与 reasoning effort 未取得运行记录。AI 协助只表示整理过程，不代表质量保证或作者身份；下文没有逐仓部署。

同赛道里有高星、服务端以 TypeScript 为主的 LLM Gateway，但没有一个在「中文区多租户 API 分发 + 充值计费控制台」上达到 New API 的体量。产品形态最接近的是 coai：它有多租户、管理后台和计费，仓库里同时有显著的 Go，星数不到 New API 的五分之一。纯 TypeScript、星数更高的 Portkey gateway 强在路由和护栏，多租户分发弱于 New API。

英文术语中文名称简要解释
LLM Gateway大模型网关把多家模型 API 收到一个服务端入口，再做转发、鉴权或用量记录
BYOK自带密钥调用方填入自己的上游 API Key，网关负责转发，而不是代售额度
OpenAI-compatibleOpenAI 兼容接口请求和响应的形状接近 OpenAI API，已有客户端通常改地址就能接上

本文在比什么

本文的「前端技术栈」指服务端以 Node.js / TypeScript 为主，包括 Bun、Hono 等 JavaScript 运行时，不是纯浏览器静态站。仓库里 Go 的字节数仍然可观时，下文标成混合栈。

New API 是自托管的 LLM Gateway。中文 README 把它写成面向应用、Agent 和团队的网关：不同厂商的模型进入同一个入口，同一套控制台管理渠道、访问权限、用量与成本。英文 README 的标题是 “an AI gateway for models, applications, and agents”，也就是面向模型、应用与 Agent 的 AI 网关。

对照看公开定位、主要语言、星数、许可，以及是否像 New API 那样做多租户分发和计费控制台。本文是选型景观，星数只用来看热度。聊天前端和编程 Agent 换上游的代理可以有更高星数，它们的工作是客户端，不是运营一套 API 分发站。

基准：New API

New API 是这篇文章的基准。2026-10-21 的星数是 50360，GitHub 主语言为 Go，许可 AGPL-3.0。语言统计里 Go 约占 915 万字节，TypeScript 约占 233 万字节，对应前后端分离：服务端是 Go，仓库里同时有一块 Web 前端。

中文 README 的项目说明是：面向应用、Agent 和团队的自托管 AI 网关，把不同厂商的模型接到统一入口，在同一套控制台里管理渠道、访问权限、用量与成本。能力表中的「用量与成本」包含额度、订阅套餐和计费。协议侧包括 OpenAI、Anthropic 与 Gemini。文档在 docs.newapi.ai，官网是 newapi.ai。

README 同时写明使用边界：项目面向合法授权的网关、组织内部鉴权、多模型管理、用量统计、成本核算和私有化部署；对外提供生成式服务或转售 API 时，运营者要自行完成备案、内容安全、上游授权等义务。下面的选型不讨论如何绕过这些限制。

对照表

星数均为 2026-10-21 的 GitHub stargazerCount。许可来自 GitHub license API；API 给不出 SPDX 标识时，以下表按仓库 LICENSE 文件转述。

项目星数主要栈许可与 New API 的差异
New API50360Go，另有 TypeScript 前端AGPL-3.0基准：聚合与分发，控制台管理渠道、权限、用量与成本
coai9332TypeScript 为主，含显著 GoApache-2.0多租户、管理后台、计费，产品形态最接近；含 Go，不是纯 TypeScript
Manifest7595TypeScriptMITOpenAI-compatible、路由与回退、用量费用、自托管控制台；偏 BYOK，不售卖 token
Helicone6228TypeScriptApache-2.0网关加可观测（日志、成本、追踪）；自托管偏运维栈
octopus2719TypeScript 为主，含 GoAGPL-3.0简介写明是为个人打造的 LLM API 聚合网关
llmgateway1699几乎纯 TypeScript主体 AGPL-3.0，ee/ 另有商业许可统一 API、key、限流、可观测；公开说明未覆盖同级充值计费控制台
APIPark1821TypeScript 与 Go 混合Apache-2.0企业向 API / LLM 开放平台
Portkey gateway13236TypeScriptMIT应用侧路由、重试、负载与护栏强；多租户分发弱于 New API

更接近聚合与分发

这一组的公开定位更接近「把多家模型收成一个出口，再做管理或分发」。coai 在多租户和计费上最靠近 New API。Manifest 偏 BYOK，Helicone 偏观测，octopus 与 APIPark 含显著 Go，llmgateway 则是几乎纯 TypeScript 的较新网关。

coai

  • 定位：自托管多租户方案，带管理后台和计费。GitHub 简介写了统一 LLM Gateway、优先级路由、成本、信用或订阅计费。产品形态是这一组里最像 New API 的。
  • 主要栈：TypeScript 为主，含显著 Go。2026-10-21 的语言统计里 TypeScript 约 96 万字节，Go 约 50 万字节。
  • 星数：9332（2026-10-21）。
  • 许可：Apache-2.0。
  • 与 New API 的差异：多租户、后台和计费都有，所以要尽量接近 New API 时先看它，同时接受 Go 混用。星数不到 New API 的五分之一。渠道和计费的源码路径见站内 CoAI.Dev 分析。仓库：https://github.com/coaidev/coai。

Manifest

  • 定位：Manifest 的 LLM Gateway。公开材料包括 OpenAI-compatible 接口、路由与回退、用量费用，以及自托管控制台。
  • 主要栈：TypeScript。仓库：https://github.com/mnfst/llm-gateway。
  • 星数：7595（2026-10-21）。
  • 许可：MIT。
  • 与 New API 的差异：它偏 BYOK、订阅和本地模型的统一出口，控制台不承担向租户售卖 token。需要自托管控制台和多模型入口时，它与 Portkey gateway 同一档。充值分发仍要回到 coai 或 New API 这条线。

Helicone

  • 定位：README 标题是 AI Gateway 与 LLM 可观测平台，范围包括网关，以及日志、成本、追踪。
  • 主要栈：TypeScript。仓库：https://github.com/Helicone/helicone。
  • 星数：6228（2026-10-21）。
  • 许可：Apache-2.0。
  • 与 New API 的差异：公开重心在观测和网关转发，自托管形态偏运维栈。要看请求、成本和追踪时，它比充值分发控制台更对口。

octopus

  • 定位：仓库简介原文是「为个人打造的 LLM API 聚合网关」。
  • 主要栈：TypeScript 为主，含 Go。2026-10-21 的语言统计里 TypeScript 约 55 万字节，Go 约 32 万字节。
  • 星数：2719（2026-10-21）。
  • 许可：AGPL-3.0。
  • 与 New API 的差异：它是聚合网关，简介限定为个人使用。公开说明没有呈现与 New API 同级的多租户充值控制台。若仍希望靠近 New API 的多租户计费，它排在 coai 之后。仓库：https://github.com/bestruirui/octopus。

llmgateway

  • 定位：统一 API，管 key、限流和可观测。项目较新。
  • 主要栈：几乎纯 TypeScript。2026-10-21 的语言统计里 TypeScript 约 2740 万字节，其余语言可以忽略。
  • 星数：1699（2026-10-21）。
  • 许可：LICENSE 写明 ee/ 以外为 AGPL-3.0，ee/ 目录使用单独的商业许可。采用前要先看自己会改到哪一层。
  • 与 New API 的差异：服务端几乎是 TypeScript，适合准备自己改代码的情况。已核对的公开说明是统一 API、key、限流和可观测，没有 New API 那种多租户充值计费控制台。仓库：https://github.com/theopenco/llmgateway。

APIPark

  • 定位：企业向的 API / LLM 开放平台，覆盖 API 管理与 LLM 分发。
  • 主要栈：TypeScript 与 Go 混合。2026-10-21 的语言统计里 TypeScript 约 194 万字节，Go 约 135 万字节，两边都是主要组成部分。
  • 星数：1821（2026-10-21）。
  • 许可：Apache-2.0。
  • 与 New API 的差异：方向是企业开放平台。Go 与 TypeScript 并重，所以它不落在纯前端栈里，也不是个人 token 分发站。仓库：https://github.com/APIParkLab/APIPark。

纯 TypeScript 的应用侧路由：Portkey gateway

Portkey gateway 是这批纯 TypeScript 网关里星数最高的一个：13236（2026-10-21），许可 MIT，主语言 TypeScript。它可以按 npx 跑起来。公开能力集中在路由、重试、负载和护栏。

它和 New API 的差别在产品任务。Portkey gateway 把已经接好的上游按策略转出去，多租户分发、充值和管理员控制台都弱于 New API。需要自托管的多模型入口、又不做租户售卖时，它和 Manifest 是同一档。充值计费控制台仍然先看 coai，而不是看谁的星数更高。

星数很高，但不是同一类

下面四个仓库主语言都是 TypeScript，星数可以高于 New API。它们解决的是客户端或聊天产品，不是多租户 API 分发。

  • OmniRoute：79043 星，MIT。作用是让 Claude Code、Codex 等编码客户端更换上游，不是租户计费控制台。
  • opencodex：17703 星，MIT。它是 Codex 与 Claude Code 的通用上游代理。
  • NextChat：88875 星，MIT。这是聊天前端。
  • lobehub：83370 星。这是 Agent / 聊天产品。LICENSE 为 LobeHub Community License，在 Apache-2.0 上对衍生作品的商业使用加了额外条件。

只按星数筛选「前端技术栈的 LLM Gateway」，会先撞上这四个。New API 的 50360 星低于 NextChat、lobehub 和 OmniRoute，因为后三者是聊天产品或编码客户端代理。

非前端栈对照：LiteLLM

LiteLLM 的服务端是 Python，简介写明 Rust 核加 Python SDK，不在本文的前端技术栈里。2026-10-21 的星数是 61687，高于上面任何一个 TypeScript 网关。它在国际 LLM Gateway 里处于星数高位，用来把「TypeScript 仓库的热度」和「这个品类的热度」分开。

LICENSE 写明 enterprise/ 以外为 MIT，enterprise/ 目录另有许可。本文不展开企业目录里的功能。

flowchart TB
  need["需要自托管 LLM Gateway"] --> ask{"公开材料里的主要任务"}
  ask -->|"多租户分发与充值计费"| bill["coai；其次 octopus"]
  ask -->|"自托管控制台与多模型入口"| edge["Manifest 或 Portkey gateway"]
  ask -->|"服务端几乎是 TypeScript，并准备自己改"| edit["llmgateway"]

怎么选

按公开定位，可以这样收。

  • 要自托管控制台，再加一个多模型入口：看 Manifest 或 Portkey gateway。Manifest 带用量费用和控制台，形态是 BYOK、订阅或本地模型的统一出口。Portkey gateway 的路由、重试、负载和护栏更突出，并且是纯 TypeScript。
  • 要尽量像 New API 的多租户计费：先看 coai，并接受其中的 Go。其次是 octopus。octopus 的简介是个人聚合网关，同级充值控制台不在已核对的公开说明里。
  • 要纯 TypeScript，并且准备改代码：看 llmgateway。先读 LICENSE 里 ee/ 与 AGPL-3.0 的分界。

日志、成本、追踪再加上网关转发，看 Helicone。企业 API 开放平台，并且能接受 Go 与 TypeScript 并重，看 APIPark。这两项的任务与 New API 的充值计费控制台不同。

适用范围

  • 星数只代表 2026-10-21 当天的 GitHub stargazerCount，之后会变。排序以这一天的数字为准。
  • 语言比例来自同一天的 GitHub 语言统计字节数，用来判断主栈，不代表运行时只加载这些语言。
  • 本文没有逐仓克隆、部署、压测，也没有登录控制台核对充值、隔离和权限。计费和多租户是否「有」，只依据仓库简介、README 标题或本次已引用的句子。
  • llmgateway 的 ee/、LiteLLM 的 enterprise/、lobehub 的社区许可都不是单一 SPDX 能概括的。商用或二次分发前要读仓库里的 LICENSE。
  • New API 中文 README 要求上游密钥合法，并要求面向公众的生成式服务自行完成合规。换一个 TypeScript 网关不会取消这些义务。

关联阅读

参考资料

博客助手

正在打开博客助手…