统一的 AI 管理控制台

生产环境 AI 的任务控制中心。通过单一的高性能仪表板实时管理供应商、编排工作流和调试请求。

什么是控制台?

ModelRiver 控制台是一个基于 Web 的仪表板,您可以在其中管理 AI 基础设施的各个方面。控制台将供应商、工作流、可观测性和安全性集中到一个界面中,无需在供应商仪表板、独立的监控工具和手动配置文件之间来回切换。

您在控制台中执行的每项操作(连接供应商、创建工作流、撤销 API 密钥)都会立即生效。没有部署步骤。更改会实时应用到您的实时应用程序中。

控制台概述

登录后,控制台会打开您的 active organization(活动组织)。从那里,您可以选择一个 project(项目) 进行处理。进入项目后,通过侧边栏可快速访问各个部分:

栏目主要功能
Providers为 OpenAI、Anthropic、Google、Cohere、Mistral 和自定义端点连接、配置和轮换凭据
Workflows构建具有主/回退(fallback)供应商、结构化输出、缓存字段和事件钩子的请求管道
Playground在原型和工作流投入生产之前进行交互式测试
Request Logs检查每个 API 请求:供应商尝试、token 使用情况、延迟、webhook 交付以及错误详情
Webhooks注册端点、验证交付签名并监控交付状况
Settings管理 API 密钥、团队成员、项目元数据和环境配置

提示:您可以从 控制台主页 (Console home page) 在项目之间切换。每个项目都维护自有的供应商、工作流、密钥和日志。

项目(Projects)

项目(Projects)是 ModelRiver 中的顶层容器。每个项目都隔离了自己的供应商、工作流、API 密钥和请求日志集合。这种隔离使您可以在互不干扰的情况下运行独立的开发、分段(staging)和生产环境。

创建项目

  1. 点击顶部导航栏中的 项目选择器(project selector)
  2. 选择 Create Project
  3. 为其赋予一个描述性名称(例如 productionstagingml-experiments)。
  4. 邀请需要访问权限的团队成员。

何时创建多项目环境

  • 环境隔离:将开发流量从生产日志和计费中分离出来。
  • 团队边界:为每个团队提供自己的项目,并具有独立的供应商凭证和 API 密钥。
  • 客户隔离:如果您服务于多个客户,隔离的项目可防止凭据和数据的交叉污染。

供应商(Providers)

Providers 部分是连接 AI 模型供应商的地方。ModelRiver 开箱即用地支持 OpenAI、Anthropic、Google (Gemini)、Cohere、Mistral 和定制的兼容端点。

连接供应商

  1. 导航到您项目中的 Settings → Providers
  2. 点击您要连接的供应商。
  3. 粘贴您的 API 密钥或访问 token。
  4. 点击 Save。凭据会立即在静态状态(at rest)下被加密。

供应商管理

  • 轮换凭据:随时更新供应商的 API 密钥。新密钥会立即生效;无需重启或重新部署。
  • 移除供应商:断开供应商连接将使得调用该供应商的所有工作流失效。移除前请确保已配置了回退供应商。
  • 凭据安全:供应商密钥在静态状态下被加密并在 UI 中被掩码处理。保存后仅可看到最后四个字符。有关详细信息,请参见Provider credentials

工作流(Workflows)

工作流是 ModelRiver 的核心构建块。每个工作流都定义了一个完整的请求管道:使用哪个供应商,调用哪个模型,如何处理故障,以及响应应遵循哪种模式。

构建工作流

  1. 打开 Workflows 并点击 Create Workflow
  2. 命名工作流(例如 customer-supportcontent-generation)。
  3. 选择一个 主要供应商和模型
  4. 选择性地添加最多 两个回退供应商 以实现自动故障转移。
  5. (可选)如果您需要保证 JSON 形状,请附加一个 结构化输出(structured output) 模式。
  6. 定义 缓存字段(cache fields) 以在 customer_data 下呈现有关 API 响应中的业务数据。
  7. 保存。工作流将立即生效。

关键的工作流功能

  • 供应商路由:当主供应商失败或超时时,自动故障转移到备份提供商。
  • 结构化输出:附加 JSON schemas 来强制规范响应形状。ModelRiver 验证您的模式并在校验后给出响应。
  • 缓存字段:将业务数据(例如用户ID、会话ID、实验标签等)呈现在 API 响应的 customer_data 下。
  • 事件钩子:附加事件名称以触发异步处理的 webhook 回调功能。
  • 测试模式:用可预料的示例数据完成集成校对工作、无任何供应商调用消耗进而避免浪费任何费用。

Build a workflow:分步指导

Playground

Playground 是在 Prompt 和工作流应用达到生产阶段之前所使用的交互测试环境。您可以发送请求、检查响应状态,并且迭代 Prompt 工程,而无需编写代码。

使用 Playground

  1. 从下拉列表中选择一个 工作流(workflow)
  2. 撰写您的 消息(messages)(例如系统 prompt 设置、用户消息 等)。
  3. 点击 Run
  4. 实时查看响应结果、token 使用量、和时长等。

Playground 模式

  • Production mode(生产模式):向您做过配置的供应商发送产生真实的请求调动。通过此设定来去确认当前工作流对于活体生模型的适用性运作动作。
  • Test mode(测试模式):根据您架构设置对应的模型去退还和抛出基于其格式化的示样信息输出并且同时期间不会用到或发起真实应用请求至服务平台端接口。在此处在没法发或者无所耗费积分下确认集成的具体效果表现是否符合逻辑要求和状态特征。

提示:Playground 的请求将归档入请求日志,并附带 Playground 过滤筛选配置信息,使您审查日志时能方便地把这些调用和与生产环境访问分隔开来。

请求日志(Request Logs)

Request Logs 记录通过您的 API 发出的每个 AI 请求的完整生命周期。每个日志条目会记录供应商尝试、token 使用量、延迟、响应负载、webhook 交付和后端回调。

请求日志显示的内容

数据点重要性
Provider & model跟踪由哪些供应商处理您的请求并比较性能
Token usage监控输入/输出 tokens,以进行成本计算和优化
Duration识别缓慢的请求并比较供应商延迟
Status包含颜色编码的成功/错误指示器立即发现故障
Failover chain按时间顺序查看每次供应商的尝试调用情况(含回退供应商)
Webhook deliveries核验异步通知信息是否送达目标端点

过滤日志(Filtering logs)

使用过滤器可以关注特定的请求类型:

  • Live mode(实时模式):来自应用程序生产环境的实际 API 请求数据。
  • Test mode(测试模式):包含使用示例参数所开展工作流测试请求。
  • Playground:从 Console Playground 产生发起的相关请求动作数据。
  • All requests(所有请求记录):未过滤的全量记录视图情况。

时间线视图(Timeline view)

点击任何日志条目以打开 Timeline(时间线),即完整请求生命周期的可视化表示:

  1. Failover attempts(故障转移尝试):在成功请求之前进行的失败供应商回退尝试记录详情。
  2. Main request(主请求):反馈系统收到的供应商最终返回主程序的响应结果。
  3. Webhook deliveries(Webhook 交付状态):发送至端点服务器进行异步操作请求任务和数据表现详情列项。
  4. Backend callbacks(后端回调):用于事件驱动型异步工作流中收到对应从后端服务系统接口处产生的实际确认信息。

可观测性深入篇(Observability deep dive):关于 Request Logs 的细致指导资料,以及各时间线组件构成详情指导文档最优操作规则汇总。

Webhooks

Webhooks 模块可以有效执行各项在处理配置及响应有关需要实行回调状态和动作要求执行的 HTTP 挂载接收端点的应用管理配置关联处理。对于包含构建带有要求网络事件支持反应或关联含有异步运行情况的工作流配置是必不可少应用模块环境。

管理 Webhooks

  1. 导向至您项目之内的 Webhooks 功能选单页面内。
  2. 配置要添加对应的端点接收信息用的 webhook URL 参数项(等同以 https://api.yourapp.com/webhooks/modelriver 形式表现)。
  3. ModelRiver 将在发生所符合的请求规定动作时自动向目的点发出通过了携带核验证据认证保障验证标识及对应的处理要求的安全确认信息的传回相关动作执行应用信号发出动作即带有防伪识别码的有效传输应用信号的 signed payload(带签名有效载荷) 的动作。

Webhook 可靠性

  • Automatic retries(自动重试):如果在处理推送交付任务的环节阶段碰见断线问题状况将在发生状况时刻作为由初始刻度在限制时空条件框( 5 分钟期限段)以内至多启动作相关的多达 3 遍相关可作为恢复的重新确认联通过程重起推送操作动作请求使用。
  • Signature verification(签名核实验证):对于所进行相关的应用负荷的数据全部均会通过及自带用于证实实际发生并且确认并非为误报、造假和受干扰处理被窃取的包含对应且仅对应的及自带了关联安全签章码(等同一项叫作含加密密文防解算法的称为 HMAC-SHA256 的)验证判断的等有关密鉴签的校验相关证明。可前去看相关部分详细解析说明规则:Signature verification(相关签名校验设置)
  • Delivery tracking(输送信息与事件回馈执行路径的验证及进度全程追检):在通过并进入至相关对应的处理记录(Request Logs)面板查阅栏以查看可以从初始请求“列入执行等候队列期规划阶段 (Planned)”接着进展于进入相关执行及操作过程的“进入派投途中实施进程状况阶段环节 (Delivering)”等最后乃至并且是并且能最终通过及展现获得的结果确认“结果反馈以及确认情况 (Success/Error)”状态的所有包含各不同运行动作节点相关全部情况监控以及反映各情况状态环节的数据显示呈现与追溯跟踪呈现过程记录项追踪管理。

Webhooks 专属文档: 含有建立配置项管理等的完全向导解释说明指南与应对情况各支持分类说明类别以及和涉及涵盖各操作规则配置条例包括。

设定(Settings)

Settings 提供了面向项目配置、秘钥凭证实录选项调配等各相关操作功能的授权验证以及及针对组织控制管理人员。

API 密钥(API keys)

  • Create keys(创建密钥):生成包含可指定各种不同截止限期时配置项参数期限值要求要求控制限度配置条件要求在内的及所使用的带有以供辨认管理前缀 mr_live_ 的管理秘钥凭据。
  • Revoke keys(撤销密钥):使相关调配密钥的有效验证即时获得操作切断取消核可并且在此时正在并处在进行处理被核取消使用的请求将会遇到并且收获并且获得响应显示拒绝动作失败退运回复报告如带有反馈有和被告知含有报错等诸类似状态情况的 401 Unauthorized 服务阻断及状态回报处理指示等响应信息。
  • Best practice(最佳实践):为了执行在保障能够并做应对操作如需要采取更可控更为安全可靠并且保障对应隔离影响情况执行操作实行能够能实操实现可以有应对微操的更加微更可以更加有指向及精准目标的单独配置管理和处理停用的控制策略措施以及能安全长久有效应对等相关的相关管理。执行周期定期换发循环制度配置等措施应用管理保障使用要求等等保障方式方法建议措施应用规范。

API key management(API 密钥管理):关乎生成产生、轮换调取操作处理及各周期的有关管理的各类详细信息查阅与参考了解获取文件档案大全以及各项完全性系统控制系统管理有关文档集大册指引手册与文档所有包含全部详细等相关等等关于使用的所有的文档规则以及配置等所有。

团队管理(Team management)

  • Invite teammates(邀请团队组成员管理):容许在人员操作添加通过菜单增加的参与协同以及协同进行工作的执行人添加增加设置功能使用、能获取全套对应项目的所有的有和与模型及对应的各模型连结供应厂商节点系统、处理事件管套和查询各操作及相应对应等全部有关和以及各日志相关调及所有的各种对应的权限所有能并所有的完全管理所有权各项等。
  • Access control(应用使用执行授权的及应用验证确认使用的相关许可管制控制选项管理执行确认设置权限配置要求功能管理):要求实施及用于被要求对于有并且在对涉及处理及有相关涉及到敏感以及被指定限定对重要信息系统的相关处理等应用等各需要限定在获得相应认证。

项目配置(Project configuration)

  • Project name(项目名称):任何时间的修改对已关联命名的特定标识重现展示及用于提供使用的各种相关显示更名控制调配项目的呈现的。
  • Environment variables(环境变量设置):安置存放设置配置为了以并且用以在向作为连同以对提供提供给的系统各连结并且用来对应各种。

键盘快捷键(Keyboard shortcuts)

控制台支持键盘快捷键以实现更快的导航:

快捷键功能操作
⌘ K / Ctrl K打开搜索
⌘ / / Ctrl /打开键盘快捷键帮助

控制台安全性(Security in the Console)

控制台在每一层都构建了安全性:

  • 基于会话的身份验证:安全 cookie 保护仪表板访问。会话在不活动后到期。
  • 加密凭据:供应商 API 密钥和机密信息在静态状态下加密,并在 UI 中做掩码显示。
  • 哈希 API 密钥:您的 ModelRiver API 密钥存储为 SHA-256 哈希值。纯文本在创建时仅显示一次,之后绝不存储。
  • 带签名的 webhooks:所有 webhook 有效负载均包含 HMAC-SHA256 签名以进行真实性验证。
  • 审计跟踪:每个请求都会记录完整的元数据,以用于合规性和调试。

安全性文档:企业级安全控制、合规性和数据保留。

后续步骤(Next steps)

  • 快速入门:创建您的第一个项目,连接供应商,并发出您的首个 API 调用。
  • 探索解决方案:借助模型故障转移、实时流式传输和类型安全的输出来构建。
  • 工作流:利用回退功能和结构化输出设计多供应商管道。
  • API 参考:端点、身份验证、流式传输和函数调用。
  • 可观测性:深入了解请求日志、时间线和调试。
  • Webhooks:设置实时事件通知。
  • 客户端 SDK:针对 React、Vue、Angular 和 Svelte 的特定框架库。
  • 安全性:凭据管理、数据保留和合规性。