Skip to content

异步

模型调用、向量检索和外部工具都是 IO。Python 服务要把这些路径做成异步,并明确哪些 CPU 任务必须进线程池。

本章重点

  • ainvoke / astream / abatch 的使用边界
  • FastAPI 中如何避免阻塞事件循环
  • 并发限制、超时和取消
  • 异步工具调用的错误汇聚

基于 MIT 协议开源