首页 / 流式输出
🌊 流式输出 是什么?
流式输出就是AI一边想一边说——不像传统电脑等全部算完才给你看,而是逐字逐句实时显示。
⚡ 一句话秒懂
流式输出就是AI一边想一边说——不像传统电脑等全部算完才给你看,而是逐字逐句实时显示。
📖 举个故事
你让一个打字员打一封信。传统方式:打字员全部打完,检查完,再整张纸递给你。你干等着。流式输出:打字员每打一个字就把纸推过来给你看。你看着第一个字出现,第二个字,然后一整句话慢慢浮现。虽然等的时间一样长,但你的感觉完全不同——你不用干瞪眼等着,AI的第一句话几秒钟就能看到。ChatGPT打字的效果就是流式输出。
💡 类比理解
暂未补充。
🧩 真实例子
暂未补充。
🛠️ 怎么实际使用
你用AI写一篇2000字的文章。非流式模式:你等30秒,突然整篇文章弹出来。流式模式:你等3秒就看到第一句话,然后看着它逐段输出。你可以在AI写第2段的时候就调整方向——比如打字说等等换个例子,AI立刻改写。流式输出让AI和其他软件的交互更流畅,就像人类实时对话一样。
📚 进阶原理
流式输出(Streaming)通过Server-Sent Events(SSE)或WebSocket将LLM生成的token逐块传输给客户端。LLM每生成一个token就立即发送,而不是等全部生成完再一次性返回。技术实现:设置stream=True参数,API返回迭代器。优势:首token延迟低、用户体验好、支持实时交互。缺点:服务端需要保持长连接,无法做后处理如长度过滤内容审核。