Skip to content

Token 计量与计费系统

没有计费面的 AI 产品很难进入生产。计量不只是把 usage.totalTokens 存下来,还要处理流式中途取消、工具调用额外成本、缓存命中和租户配额。

本章重点

  • 计量对象:输入 token、输出 token、缓存命中、工具次数、检索次数
  • 数据模型:用户 / 租户 / 工作空间 / 请求 / 日账单
  • 限流与降级:配额用尽、降到小模型、拒绝工具、排队
  • 对账:供应商账单、本地流水和缓存节省如何对齐

基于 MIT 协议开源