智能路由与故障转移
Aikey365 的 API Key 结构中包含路由策略,可以在多个候选渠道之间进行选择,并支持故障转移。
可见范围
路由策略的具体入口、候选渠道和可配置字段取决于账户权限、模型和平台当前配置。
路由模式
当前前端类型中定义了三种模式:
- balanced:在稳定性、延迟和成本之间做综合选择。
- economy:更偏向成本约束。
- stable:更偏向稳定性和健康度。
这些名称表示策略方向,不构成固定的价格、延迟或可用性保证。
智能与手动选择
路由支持:
- smart:由系统根据策略与候选状态选择。
- manual:将候选范围约束在指定渠道集合中。
生产环境如果没有明确渠道依赖,通常更适合从智能路由开始;存在合规、地区、供应商或功能要求时,再增加显式约束。
高级约束
当前实现还包含成功率、P95 延迟、输入输出价格区间、排除渠道、故障转移和最大尝试次数等字段。
不要为了“参数更多”而全部开启。约束过多可能导致没有可用候选。
故障转移
开启故障转移可以在首选候选失败时尝试其他符合条件的渠道。
注意:
- 故障转移不等于请求一定成功。
- 某些生成类请求在网络中断时可能无法判断上游是否已经接受;客户端不要再进行无限重试。
- 账务核对时结合请求日志、模型和时间定位。
推荐流程
- 先确认目标模型有多个可用候选。
- 使用默认或 balanced 策略完成连通性测试。
- 观察真实业务的成功率、延迟和费用。
- 再逐步增加成本或稳定性偏好。
- 重大策略调整先在测试 Key 验证。