产品 01

为智能体省下
每一次思考。

TokenBurn 是智能体运行时的成本层。它不改变你的任务,只改变完成任务的价格。

状态:内测中形态:网关 / SDK适用:多智能体、长上下文、工具调用密集

上下文会重复,模型会错配,成本会失控。

一个多智能体任务,通常会把同一段历史复制很多遍:规划者读一遍,执行者读一遍,复核者再读一遍。工具返回的结果层层叠加,真正被用到的部分越来越少。

同时,绝大多数步骤并不需要最贵的模型。把简单判断交给前沿模型,是另一端的浪费。

问题不是单个请求太贵,而是结构上重复。

  • 重复上下文同一段历史在规划、执行、复核之间被复制多遍。
  • 模型错配简单判断交给最贵的模型,困难步骤反而没有预算。
  • 成本不可见账单按天汇总,无法定位到任务和智能体。

四个动作,发生在每一次请求之前。

01

观察

识别任务类型、上下文结构,以及每一步真正需要的信息。

02

压缩

保留语义,丢掉重复、过期和无关的内容。

03

路由

按难度和成本,把请求交给合适的模型。

04

预算

为任务设定上限,在超支之前先做取舍。

压缩的是上下文,不是任务。

TokenBurn 以任务成功率为约束,而不是以压缩率为目标。下面是一个结构示意。

原始上下文

任务所需

示意图,非实测数据。蓝色为保留内容,灰色为被丢弃内容。实际策略会随任务类型和模型窗口调整。

目标不是把上下文压到最短,而是在不改变结果的前提下,去掉不该被重复付费的部分。

能力

  • 语义压缩保留任务需要的语义,丢掉重复、过期和无关的上下文。
  • 上下文预算为每个任务设定 Token 上限,在超支之前先做取舍。
  • 模型路由简单步骤交给更便宜的模型,困难步骤才升级。
  • 成本可观测按会话、任务和智能体拆解消耗,知道钱花在了哪里。
  • 接入方式测试中的网关与 SDK。具体接口会在第一批接入中确定。

现在可以做什么。

TokenBurn 处于内测阶段。我们正在和第一批团队一起确定接入方式、评估指标和计费模型。

如果你有长上下文或多智能体任务,欢迎一起做一次基线测量:用你现在的任务,量出当前的 Token 结构和成本,再判断值不值得优化。

会改变任务结果吗?

我们的目标是保持任务结果不变。压缩策略以任务成功率为约束,内测阶段会先建立基线,再逐步调整。

支持哪些模型?

模型无关。路由层按任务和成本选择模型;具体支持列表会在内测中确定。

数据会离开我的环境吗?

内测阶段提供网关和本地部署两种形态。具体的数据边界会在接入时确认。

怎么开始?

发邮件说明任务类型、平均上下文长度和当前使用的模型。我们会安排一次基线测量。