5 月聚焦让流式传输和工作流执行更可预测。这些工作大多发生在基础设施层,但对用户来说结果很直接:边界情况更少、集成更清晰、缓存行为更安全。
统一流式架构
现在,支持的 provider 路径都通过统一架构处理流式响应。ModelRiver 因此可以更一致地处理流式响应、暴露错误,并支持 OpenAI 兼容集成。
对用户来说,这意味着跨 provider 的流式响应会更加一致,而不是把 provider 特有差异暴露给应用层。
工作流模型别名
我们为原生工作流新增了模型别名支持。当底层 provider 或模型可能随时间变化时,别名能让工作流更容易理解和维护。
团队不需要把每次模型切换都当作一次应用集成变更,而是可以继续使用工作流级配置,让 ModelRiver 处理路由细节。
更好的流式错误处理
OpenAI 兼容流式错误现在能更清晰地映射到 ModelRiver 的错误处理路径。这让失败流的调试更容易,也让 API 客户端获得更可预测的失败行为。
响应缓存隔离修复
我们修复了响应缓存隔离问题,确保缓存响应被正确限定在对应范围内。这保护了依赖缓存来提升速度和控制成本的用户,同时保持不同工作流响应按预期隔离。