流式输出工程

状态:🚧 占位待补齐
一句话定义:把模型生成以 流式(SSE 等) 推到前端,优化首字延迟与体验;并处理工具调用、取消、断线。

你为什么要学这个

非流式「转圈 10 秒」会毁掉对话产品;但流式与工具调用、结构化输出、计费统计纠缠在一起。

大纲(待补齐)

  1. 流式协议:SSE / WebSocket / SDK stream
  2. TTFT、token/s、用户感知延迟
  3. 流式中途触发 tool call 的状态机
  4. 取消、重连、半包与缓冲
  5. 前端渲染:打字机、引用角标、安全过滤何时做

已有相关文档(先读这些)

学习要点(补齐后应能回答)

  • 流式场景如何做输出护栏?
  • Agent 多步时哪些步骤该流式给用户看?

参考资料(待补充)

-