流式输出工程
状态:🚧 占位待补齐
一句话定义:把模型生成以 流式(SSE 等) 推到前端,优化首字延迟与体验;并处理工具调用、取消、断线。
你为什么要学这个
非流式「转圈 10 秒」会毁掉对话产品;但流式与工具调用、结构化输出、计费统计纠缠在一起。
大纲(待补齐)
- 流式协议:SSE / WebSocket / SDK stream
- TTFT、token/s、用户感知延迟
- 流式中途触发 tool call 的状态机
- 取消、重连、半包与缓冲
- 前端渲染:打字机、引用角标、安全过滤何时做
已有相关文档(先读这些)
学习要点(补齐后应能回答)
- 流式场景如何做输出护栏?
- Agent 多步时哪些步骤该流式给用户看?
参考资料(待补充)
-
评论
评论加载中…