ModelRiver 有两种方式把你的后端引入一次 AI 请求。它们解决不同的问题,大多数产品最终两种都会用,只是用在不同的工作流上。
一句话说清区别
- 后端管道 运行由你排好顺序的步骤。AI 生成,你的后端完成它的部分,结果被交付。每个请求都走同一条路径。
- 托管工具让模型来决定。你提供一组端点;模型按问题的需要,一个都不选、选一个或选几个,顺序也随问题而定。
并排对比
| 后端管道 | 托管工具 | |
|---|---|---|
| 谁决定运行什么 | 你,在构建工作流时 | 模型,在每次请求时 |
| 经过你后端的路径 | 每次都相同 | 取决于问题 |
| 你的后端如何被调用 | 一个 webhook,以回调应答 | 一个签名的 POST,在响应中应答 |
| 你的后端能否更改数据 | 能 | 能,在终端用户批准每次调用之后(审批) |
| 你的后端可以用多长时间 | 每个步骤最多 10 分钟 | 每次调用最多 30 秒 |
| 套餐中的请求数 | 每个 AI 步骤一次 | 每个模型轮次一次 |
| 结构化输出 | 支持 | 暂不支持 |
| 最擅长 | 一个流程:生成、检查、保存、交付 | 一个问题:查找所需的信息,然后回答 |
何时选择管道
- 步骤是事先已知的。“起草回复,在我们的后端按政策检查,保存,然后发送。”
- 你的后端必须做点什么:写入数据库、从银行卡扣款、创建工单。
- 某个步骤很慢,或者要等人处理。
- 你每次都需要相同的结果结构,并使用结构化输出。
示例:为每条入站线索评分并把分数写入你的 CRM;把上传的报告变成一份摘要,并在用户看到之前保存;按相同的标准筛选求职申请。
何时选择托管工具
- 你无法事先知道用户会问什么。“我们这周做得怎么样?”需要销售数据;“柏林门店为什么落后?”需要销售、库存和人员配置数据。
- 回答取决于只有你的后端才有的数据。只读取就够了,或者所需的更改可以由终端用户逐次批准(取消这个订单、发送这封邮件)。
- 否则你就得自己编写工具调用循环。
示例:分析页面上的助手;读取已登录用户的套餐和用量的帮助面板;回答某个项目未完成任务相关问题的内部助手。
你需要其中任何一个吗?
往往不需要。如果模型需要的数据在发起请求时就已知,把它放进请求里。在提示词中直接拿到订单详情的工作流,比必须去请求这些详情的工作流更快、更便宜,也更容易测试。当模型必须做选择时用工具,当你的后端必须采取行动时用管道。
两者并用
一个工作流目前还不能同时拥有管道和托管工具。请使用两个工作流:一个回答问题的工具工作流(也可以进行终端用户批准的更改),和一个用于无需询问任何人就执行更改的管道工作流。由你的应用决定调用哪一个,通常依据用户选择了什么,而不是他们输入了什么。