LlamaIndex 负责检索。. 生产环境让其他一切崩溃。.
ModelRiver 补齐了 LlamaIndex 所缺失的生产层——自动故障转移、内置可观测性、实时流式传输和结构化输出。.
无需额外工具，无需配置回调，无需拼凑可观测性方案。.
自动故障转移、可观测性和结构化输出——内置，而非外挂。.
LlamaIndex 生产配置
3–5 个工具
ModelRiver 配置
一个平台
生产基础设施
LlamaIndex 留给你自己解决的问题
1. Provider 故障转移
当模型宕机时，流量自动路由到备用节点。.
2. 完整的可观测性
每个请求端到端追踪——无需 Langfuse、无需 Phoenix、无需额外配置。.
3. 实时流式传输
WebSocket 流式传输，支持自动重连、持久连接和客户端 SDK。.
4. 结构化输出
跨任意 provider 强制执行响应契约——而非尽力而为的解析。.
为什么团队会发现 LlamaIndex 单独使用不够
检索能跑通，但周边一切都在出问题。.
LlamaIndex 是目前最好的 RAG 框架。但一旦你的 RAG 流水线触达真实用户，缺口就会迅速暴露——而这些都不是检索本身的问题。.
没有原生故障转移
LlamaIndex 不处理 provider 宕机。当 OpenAI 返回 429 时，你的 RAG 流水线就挂了。.
可观测性靠拼凑
基于回调的追踪需要 Langfuse、Arize 或 W&B——而且都无法展示完整的请求生命周期。.
默认无状态
LlamaIndex Workflows 默认无状态。跨会话的状态管理需要自定义持久化代码。.
流式传输能力有限
实时流式传输需要自建 WebSocket 基础设施——包括重连、持久化和 SDK 支持。.
结构化输出不受强制约束
各 provider 的输出解析各不相同。在 GPT-4 上能通过的，在 Claude 或 Mistral 上就可能出错。.
LlamaIndex 的生产技术栈
RAG 能跑通，但你还需要 4 个以上的工具才能把它投产。.
一个平台
ModelRiver 可以替代这一切
AI 工作流的生产基础设施，集于一处。可与 LlamaIndex 配合使用，也可独立部署。.
保留检索能力，修复生产层。.
自动故障转移
内置可观测性
实时流式传输
结构化输出
精确匹配缓存
事件驱动工作流
超越检索
LlamaIndex 负责检索，ModelRiver 负责之后那些出问题的一切。.
ModelRiver 是 AI 工作流的生产基础设施——故障转移、可观测性、流式传输和结构化输出，集于一个平台。.
LlamaIndex 将数据送入模型，ModelRiver 将模型带入生产环境。.
自动 provider 故障转移
当 OpenAI 触发限速或 Anthropic 返回错误时，请求自动路由到健康的备用 provider，无需改动任何代码。.
完整生命周期可观测性
追踪从请求进入到响应返回的每一步——调用了哪个 provider、返回了什么、每步耗时多少，以及故障发生在哪里。.
实时 WebSocket 流式传输
提供 React、Vue、Angular 和 Svelte 的客户端 SDK，内置自动重连、持久连接和优雅降级。.
强制结构化输出
只需定义一次响应 Schema，每条响应都会经过契约校验——无论是哪个 provider 或模型提供的。.
对比
LlamaIndex 与 ModelRiver 对比
| 特性 | LlamaIndex | ModelRiver |
|---|---|---|
| RAG 与检索 | 业界最佳 | 非检索框架 |
| Provider 故障转移 | 未包含 | 自动，多 provider |
| 可观测性 | 回调 + 第三方工具 | 内置，全生命周期 |
| 实时流式传输 | 基础（无客户端 SDK） | WebSocket + SDK + 自动重连 |
| 结构化输出 | 输出解析器（尽力而为） | 强制响应契约 |
| 缓存 | 未内置 | 精确匹配缓存 |
| 状态管理 | 默认无状态 | 事件驱动工作流 |
| 生产就绪度 | 需要额外工具 | 内置 |
如果满足以下情况，选择 LlamaIndex
- •您需要带有自定义分块和检索策略的高级 RAG 流水线。.
- •您正在构建文档问答系统或企业知识库。.
- •您需要对数据摄取和索引进行精细控制。.
如果满足以下情况，选择 ModelRiver
- •您需要无需自定义代码的跨 provider 自动故障转移。.
- •您希望对每个请求都有内置的可观测性，而非拼凑式的追踪方案。.
- •您需要带有客户端 SDK 和自动重连的实时流式传输。.
- •您希望强制结构化输出在所有 provider 上都能稳定运行。.
工作原理
用 LlamaIndex 做检索，用 ModelRiver 做生产。.
ModelRiver 兼容 OpenAI API。将 LlamaIndex 的模型调用路由到 ModelRiver，即可获得生产基础设施，无需重写检索逻辑。.
保留您的 LlamaIndex 流水线
您的数据摄取、索引和检索逻辑完全保持不变。.
将模型调用路由到 ModelRiver
将 LLM 的 base_url 指向 ModelRiver，两行配置——无需重写代码。.
获得生产基础设施
自动故障转移、结构化输出、缓存和完整请求生命周期可见性——即刻生效。.
自信上线
部署时无需担心 provider 宕机、限速或响应格式问题影响您的用户。.
可视化工作流构建器
配置故障转移、缓存和结构化输出——无需编写代码。.
ModelRiver 有何不同
生产基础设施，而非又一个框架。.
基础设施 vs 框架
LlamaIndex 是检索框架，ModelRiver 是生产基础设施。它们解决不同的问题——也能很好地配合使用。.
内置 vs 外挂
可观测性、故障转移和结构化输出是 ModelRiver 的核心——而非需要你自行接入的第三方集成。.
兼容 OpenAI API
ModelRiver 采用 OpenAI API 格式。如果您的 LlamaIndex 代码使用任何兼容 OpenAI 的 LLM，只需修改配置即可将其路由到 ModelRiver。.
了解更多
文档与延伸阅读
常见问题
ModelRiver 是 LlamaIndex 的完全替代品吗？? +
不是。LlamaIndex 在文档摄取、索引和 RAG 流水线方面表现卓越。ModelRiver 负责生产基础设施层——故障转移、可观测性、流式传输和结构化输出。许多团队会同时使用两者。.
我还能把 LlamaIndex 和 ModelRiver 一起使用吗？? +
可以。ModelRiver 兼容 OpenAI API。将 LlamaIndex 的模型调用路由到 ModelRiver，即可获得自动故障转移、缓存、可观测性和结构化输出，无需重写检索逻辑。.
LlamaIndex 有内置的可观测性吗？? +
LlamaIndex 提供基于回调的追踪工具，可与 Langfuse、Arize Phoenix 和 W&B 集成，但不包含内置的可观测性仪表盘。ModelRiver 原生提供完整的请求生命周期可见性。.
ModelRiver 做了哪些 LlamaIndex 没有做到的事？? +
ModelRiver 提供了 LlamaIndex 未包含的生产基础设施：自动 provider 故障转移、内置请求生命周期可观测性、带客户端 SDK 的实时 WebSocket 流式传输、精确匹配缓存，以及跨所有 provider 的强制结构化输出。.
保留 LlamaIndex，补齐生产基础设施。.
交付您的 RAG 流水线，内置故障转移、可观测性和流式传输。.
如果 LlamaIndex 负责检索，但生产基础设施仍是自己动手搭建，ModelRiver 可以填补这一空缺。.