跳到主内容
Tokenjoy

大模型路由 LLM Router

大模型路由:LLM Router

LLM Router 解决「请求该发给哪个渠道」。Tokenjoy 按模型找到可用渠道,再按优先级和权重分流,渠道出问题时自动切换,应用侧始终只对接一个地址。

申请产品演示

按模型选渠道

同一个模型可以配置多个渠道。网关收到请求后,按优先级和权重把请求分给不同渠道,换渠道不用改应用代码。

出问题时不中断

  • 故障切换:渠道出问题时,按你的配置切到其他可用渠道
  • 故障重试:上游出错时按策略重试,状态和错误都留记录
  • 限流保护:按 API Key 设置请求速率与突发上限

路由之外还有治理

路由前,网关先校验 API Key、模型权限和额度;路由后,每次调用的主体、模型、Token 用量和费用都会留痕。需要的话,可以按渠道筛选调用日志,看每个渠道的消耗。

接入方式

兼容 OpenAI、Anthropic 接口:把 base_url 换成 https://app.tokenjoy.me/v1,换上网关签发的 API Key 即可。

常见问题

LLM Router 和大模型网关有什么区别?

Router 解决请求发给哪个渠道;网关在此之上还包括鉴权、权限、额度和审计。Tokenjoy 两者都提供。

渠道故障时请求会失败吗?

网关会按你的配置切换到其他可用渠道,并按策略重试。是否可切换取决于该模型配置了几个渠道。

延伸阅读

← 返回首页