网络可靠性
跨供应商自动故障转移
当供应商停机或限流时，请求会自动路由到备份。您的用户永远不会看到错误。.
运行状况检查的提供商 指数退避 按请求路由 结构化日志
可视化
故障转移路径概览
请求如何在主用、重试和回退之间转移。.
01
用户请求
携带有效负载的 API 调用
02
健康感知的路由
选择最快且健康的供应商
03
主用供应商尝试
健康时成功，否则重试
04
带退避的重试
遇到 429/5xx 时，尝试备用供应商
05
回退成功
健康的供应商返回响应
06
追踪 + 指标记录
每个跳跃均已记录用于调试
实时流程
workflow: "smart_summary"
providers: ["openai:gpt-4o", "anthropic:sonnet", "groq:mixtral"]
on_error: "next_available"
max_attempts: 3
backoff_ms: [400, 800, 1600]
trace_id: req_92f0...
1
检测降级的供应商
健康窗口在进行第一次调用之前决定资格。.
2
带有上下文的重试
相同的负载和路由元数据通过带退避的重试流动。.
3
查看每次尝试
请求日志捕获每个跳跃的供应商、延迟、Token 和状态。.
故障转移速度
~450ms
供应商 429/500 后的平均恢复时间。.
可观测性
完整追踪
每个跳跃均记录在请求日志中，带 Token 和延迟。.
控制
每请求
为特定工作流选择加入或自定义重试。.
滚动剧本
01 · 准备
选择带健康分数的供应商，并按延迟或成本排定优先级。.
02 · 路由
带有重试预算和按工作流配置的路由请求。.
03 · 恢复
通过指数退避故障转移到健康的模型。.
04 · 观察
在请求日志中检查尝试次数、Token 和计时。.
When to use
- ● 绝不能出现 500 错误的批判性用户流。.
- ● 跨 OpenAI、Anthropic 和 Groq 路由，带有成本/延迟偏好。.
- ● 您希望在不更改客户端的情况下进行自动回退的实验。.
What you get
- ● 通话前感知健康的路由。.
- ● 带有结构化输出和流式传输的一致有效负载。.
- ● 通过分析和请求日志实现的全面透明度。.
程序化访问
调用您的工作流——故障转移已在控制台中配置
POST https://api.modelriver.com/v1/ai Authorization: Bearer mr_live_your_key { "workflow": "customer-support", "messages": [ { "role": "user", "content": "..." } ] } // Response shows failover attempts { "data": { ... }, "meta": { "attempts": [ { "provider": "openai", "status": "error" }, { "provider": "anthropic", "status": "success" } ] } }
在您的工作流中配置主/备用提供商。API 自动处理重试，并在响应中报告每次尝试。.
交付用户能感受到的运行时间
将故障转移与速率限制、结构化输出和分析相结合，保持体验快速且可预测。.