/ 博客

上线前看清你的 AI 功能

Akarsh C
·4 min read
上线前看清你的 AI 功能

ModelRiver 可视化工作流构建器让你无需啃 API 文档，就能配置、预览并测试 AI 功能。 选模板、看清从请求到响应的完整路径，在 Testing 模式下做 prompt 测试与结构化输出验证，换模型也无需改应用代码。若你在产品里上线 AI，这就是上线前做 AI 质量保障的方式。

快速开始： 免费注册，几分钟内建好 Test mock 工作流，无需 provider key。

真实场景：客服工单分类

假设你要上线 classify_ticket：邮件进来，应用调用 AI 工作流，期望拿到 JSON：category、priority、confidence。

若配置不清晰，没人能回答用哪个模型、OpenAI 挂了怎么办、如何测 UI 又不烧 API 账单。用可视化工作流：选 Structured 模板、附加 response format、预览 Request → Models → Format → Response、在 Playground 用 sample JSON 测试，应用就绪后再切 Live。

发票抽取、文档摘要、合同字段解析等具名 AI 功能，都是同一套模式。

解决什么问题？

多数 AI 功能在生产环境出问题，原因往往很 mundane：

  • 没人知道哪个模型或 provider 在跑
  • 备用模型 说了要做，从未配置
  • 应用要 JSON，团队从未附加 response format
  • 集成测试每次 CI 都烧 Token
  • 换模型等于改代码、重新部署

可视化工作流让你在配置时就能看见这些缺口，而不是用户踩坑之后。

没有工作流 vs 可视化工作流

手工配置可视化工作流
看清完整 pipeline散落在文档、环境变量和代码里每屏都有 workflow path 预览
不测 live AI 也能测自建 mock 或每次付费调用Testing 模式 sample JSON，零 Token
结构化输出验证自写 parser 碰运气工作流附加 response format
换模型改代码、部署仪表盘改工作流
知道谁已上线去 Slack 问卡片上的 Live / Testing 徽章
LLM 回归测试准备手工重建 fixture同一工作流名，换模型，应用不变

为什么传统软件测试不够

单元测试假设输出确定。AI 不是：同一 prompt 可能换说法、返回无效 JSON 或缺字段。

传统测试也藏住 pipeline：你可能测了直接调 OpenAI 的函数，却没测 failover、响应结构或 provider 超时。

LLM 测试和 AI 评估需要的是：具名工作流、可见路径、定义好的响应契约，以及不必每次调用 provider 的 prompt 测试方式。

能否不调用 OpenAI 或 Anthropic 就测试？

可以。Testing 模式或 Test mock 模板返回预定义 sample JSON。认证、日志、应用集成正常，仅跳过 AI 调用。详见 不烧 Token 也能测试 AI 工作流。

什么是工作流？

工作流是应用调用的具名 AI 功能，如 classify_ticket。包含 provider、模型、备用模型、response format、Live/Testing 模式。在仪表盘做 model comparison 时，代码仍调用同一名字。

分步示例：上线前先测

  1. 选模板。 Structured 做 JSON；应用未就绪选 Test mock。
  2. 命名。 classify_ticket，Testing 模式。
  3. 选主模型。 上线时接 OpenAI 等；同屏加备用模型。
  4. 附加 response format。 定义 category、priority、confidence；sample data 驱动 Testing。
  5. Review 看 workflow path。 确认 Request → … → Response，修复 "Not set"。
  6. Playground 测试。 向导最后一步 Create and test in Playground。
  7. 接应用。 调用 classify_ticket，解析 sample JSON。
  8. Ship Live。 切 Production，同一工作流名，真实 AI 响应。
MERMAID
flowchart LR
A[Pick template] --> B[Configure model]
B --> C[Attach response format]
C --> D[Preview workflow path]
D --> E[Test in Playground]
E --> F[Ship Live]

现在就试： 创建第一个工作流，应用还在接时用 Test mock 开始。

几秒内选好起点

卡片适用徽章
Chat客服、助手、对话Live
Summarize文档摘要Live
Structured发票、分类、API JSONLive
Test mock零 Token 集成测试Testing
Blank完全自定义Custom

创建工作流向导：模板卡片、四步引导流程，以及固定的 Back / Next 导航

四步，一屏一事

Get started → Primary model → Response → Review，顶部进度条，底部固定 Back / Next。

上线前看清 workflow path

Request → Guardrails → Models → Format → Response

工作流路径预览：Request、Guardrails、Models、Format、Response，以及已配置的 provider 与可选步骤标签

能提前发现哪些问题

  • 无效 JSON — 附加 response format，Testing 与 Live 共用 schema
  • 缺必填字段 — schema 定义 required keys
  • 模型/provider 配错 — path 预览与卡片可见
  • 无 failover — 同屏配置备用模型
  • provider 迁移 — 仪表盘换模型，应用不改名
  • 开发期误调 Live — Testing 零 Token
  • 上线状态不清 — Live / Testing 徽章

更深度的 LLM 回归测试 见 五个 LLM provider 同一 JSON schema。

开启 AI 之前先测应用

Testing 模式下测试 AI 工作流，返回 sample JSON，零 provider Token 消耗

工作流列表即控制面板

卡片显示 Live/Testing、迷你 pipeline、Backups、Event-driven / Custom fields / Cache 元数据。

需要更多：编辑标签

编辑工作流：Overview、Primary model、Backup models、Response、Advanced 标签页，以及顶部工作流路径预览

适合谁

  • AI 应用开发者 — 需要 LLM 测试 又不想每次 CI 烧 Token
  • 做 AI 功能的 SaaS 团队 — 一处配置、预览、上线
  • Prompt 工程师 — 模型和指令变，工作流名不变
  • AI 平台团队 — 多 feature、多 provider、多 response format
  • 企业 AI 团队 — 安全/采购审查前说清用哪个模型

总结

上线 AI 不应靠猜。AI 质量保障从配置开始：看清路径、用 sample data 测试、附加 schema 做 structured output validation、换模型不改产品、上线前就知道谁 Live。

  1. 免费注册
  2. 创建第一个工作流
  3. 用 Testing 建测试套件、仪表盘比较模型、Playground 验证输出、切 Live 前抓回归

常见问题

ModelRiver 里的 AI 工作流是什么？

应用调用的具名 AI 功能，含 provider、模型、备用、response format、模式。代码引用工作流名，不是 model ID。

workflow path 预览显示什么？

请求如何流经配置：request、guardrails、models、format、response。高亮已配置、可选、缺失项。

Live 和 Testing 区别？

Live 调 provider 用配额。Testing 返回 response format 的 sample data，无 provider 调用。

换模型要改代码吗？

不需要。详见 不换代码也能切换 AI 模型。

能用于事件驱动 AI 吗？

可以。Advanced 设置 Event name。详见 事件驱动 AI 架构。

延伸阅读