Switchyard浸泡测试13大场景全解从长上下文到失败压力测试【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/SwitchyardSwitchyard 是一款 LLM 模型路由网关让应用无需改动代码就能在 OpenAI、Anthropic 等多家模型提供商之间灵活切换、做基准测试与成本优化。它内置的浸泡测试工具 switchyard-soak内置 13 大压力场景通过长时间标准 48 小时持续加压暴露短期测试发现不了的内存泄漏、延迟漂移与故障恢复问题。本文将带你完整看懂每一个场景。一、什么是 Switchyard 浸泡测试浸泡测试Soak Test的思路很简单用接近真实的流量持续压测服务器足够久。短时压测只能回答快不快而 48 小时的浸泡测试回答的是能不能一直稳——比如内存是否缓慢增长、p99 延迟是否随时间爬升、失败后能否自我恢复。一次标准浸泡测试会 同时走三种原生 APIOpenAI Chat Completions/v1/chat/completions、Anthropic Messages/v1/messages、OpenAI Responses/v1/responses且流式与非流式都覆盖 每分钟采样一次/health与/metrics 每 5 分钟发送一个故意错误的请求预期返回 HTTP 400并确认服务器随后依然存活⏱ 结束时根据通过标准输出退出码可直接接入门禁流水线完整的发布准备与结果审查指南见 docs/operations/soak_test.md工具本身的命令行参考在 crates/switchyard-soak/README.md。二、13大浸泡测试场景速览13 个场景按压力角度分为三组core/agentic/resilience默认运行的standard集 核心 Agentic 两组韧性组因预期会失败而单独运行分组场景压力角度核心short-interactive短提示词 并发拐点 10 倍突发核心long-context8K / 32K / 接近上下文窗口上限核心decode-heavy512 与 1024 token 长输出核心prefix-reuse共享前缀 vs 独立前缀核心mixed-traffic短/中/长请求 70/20/10 混合Agenticgrowing-conversation8 轮不断变长的对话Agenticlarge-tool-catalog16 与 64 个工具的 JSON Schema 目录Agentictool-call-burst8 轮连续的工具调用/结果Agenticstage-transitions探索→关键失败→高产工作Agenticclassifier-mix80/20 与 50/50 难易混合韧性context-overflow近窗口请求被目标拒绝韧性failure-pressure429 / 500 / 截断流注入韧性client-cancellation客户端超时取消场景目录定义在 crates/switchyard-soak/src/scenarios/mod.rs每个场景一个源文件、一套纯函数构建器。三、核心场景详解长上下文、前缀复用与混合流量1. short-interactive短对话基线与并发拐点发送Reply with exactly OK.这类极简请求并附带两种压力曲线并发从 1 → 4 → 16 → 64 → 128 阶梯加压以及把请求速率瞬间拉到10 倍、持续 5 秒的突发。用来找 HTTP 吞吐上限、TTFT首 token 时间与路由开销的饱和点。2. long-context长上下文压力测试生成 8K、32K 以及达到配置上下文窗口 90%的输入要求模型只总结最后一个标记词。健康表现是TTFT 随输入变长而上升但不出现路由错误或内存增长。3. decode-heavy长输出解码测试短输入 512 与 1,024 token 的输出上限专门压解码阶段。关注 ITLtoken 间隔、输出 token 吞吐是否稳定长流式响应是否始终合法。4. prefix-reuse前缀复用与缓存敏感成对发送共享长前缀与独立长前缀的请求。用于验证前缀缓存生效时的 TTFT 改善以及缓存命中的 token 计费是否准确。5. mixed-traffic70/20/10 混合流量按 70% 短、20% 中、10% 长的真实业务比例混流。重点观察 p99 延迟与队头阻塞效应——长请求是否会拖住后面的短请求。四、Agentic 场景详解多轮对话、工具目录与阶段切换6. growing-conversation不断变长的多轮对话同一个会话连续 8 轮每轮携带完整历史。验证会话亲和性affinity是否保持、延迟是否随历史增长而平滑上升而不是跳变。7. large-tool-catalog16/64 工具大目录分别携带 16 个和 64 个工具的 JSON Schema 目录。大目录会放大序列化与路由开销此场景验证工具定义转发后依然完整无损。8. tool-call-burst工具调用突发一个会话内连续 8 组助手发起工具调用 → 工具返回结果的联动轮次共 9 个请求考验会话状态连续性与突发处理能力。9. stage-transitions阶段路由切换一个不断增长的会话依次经历探索期 → 关键失败 → 高产工作。预期 stage_router 算法在配置的证据边界处正确切换模型档位而非误升降级。10. classifier-mix难易请求混合先 80/20 再 50/50 两组确定性的简单/困难请求混合。验证 LLM 分类器的目标分配比例与输入比例一致并让分类器自身的调用次数与延迟可被观测。五、韧性场景详解失败压力测试与客户端取消韧性场景预期会产生错误因此单独运行、不与吞吐样本混比。11. context-overflow上下文溢出回退发送一个接近窗口上限、会被某个目标拒收的请求。健康的多目标路由应自动重试到其他合格目标并返回有效响应整体错误率仍为 0。12. failure-pressure失败压力测试按序注入四类有界故障限流 429、服务器 500、分类器返回畸形判决、流式响应中途截断。验证重试恢复路径与终止性错误的显式上报错误率落在预期的 1%–75% 区间即合格。13. client-cancellation客户端取消在缓慢的流式响应上进行客户端超时取消。验证连接被正确释放且取消不会把后续正常流量拖垮此场景预期错误率 80%–100%属故意失败。六、浸泡测试上手步骤从5分钟冒烟到48小时门禁本地免费验证无需任何模型密钥、零推理成本python3.12 scripts/run_local_soak_test.py --duration 10s --concurrency 4 --request-count 100它会自动拉起一个请求感知的模拟后端先对每条路由发一次真实请求再对每个路由算法依次跑 oha 与 AIPerf。配置示例见 scripts/local_soak_test.toml对比脚本见 scripts/benchmark_routing_algorithms.py。正式跑则需要从与发布完全相同的提交构建# 1. 先跑5分钟冒烟确认路由与结果文件正常 cargo build --release -p switchyard-server -p switchyard-soak target/release/switchyard-soak \ --base-url http://127.0.0.1:4000 \ --model switchyard/general \ --duration 5m --concurrency 4 --report-interval 10 # 2. 发布门禁48小时 内存增长上限 target/release/switchyard-soak \ --model switchyard/general \ --duration 48h --concurrency 16 \ --server-pid $SWITCHYARD_SERVER_PID \ --max-rss-growth-mib 512 小贴士并发数请从短测试中找到的最高稳态负载确定而不是一上来就压满——长时间被限流的测试测不出稳定性。完整参数表如--scenario-set、--max-error-rate见 crates/switchyard-soak/README.md。七、浸泡测试通过标准8项发布门禁清单只有全部满足命令才会以退出码 0 结束请求的完整时长跑完至少完成一个推理请求推理错误率 ≤--max-error-rate默认为 0即零失败所有周期性存活检查通过每次/metrics读取都能拿到两个请求计数器所有进程采样都能取到 RSS 与 CPU 数据所有坏请求后恢复检查通过服务器请求计数器从未回零且 RSS 增长未超上限八、浸泡测试结果解读四个输出文件每次运行会在soak-results/UTC时间戳/下生成文件看什么config.json本次运行的非机密输入快照intervals.csv每区间的错误率、延迟分位数、RSS、CPUerrors.jsonl最多 10,000 条错误明细summary.json最终通过结论与未过的门禁项审批发布前重点对比首尾各几小时而非全程平均晚出现的失败、吞吐下滑、p95/p99 爬升、RSS 持续增长都是典型隐患。把summary.json、区间图表、服务器日志与被测提交一起归档到发布记录。九、开始你的第一次浸泡测试现在你已经掌握了 Switchyard 浸泡测试的全部 13 个场景先本地零成本跑通再用 5 分钟冒烟确认路由最后执行 48 小时门禁。当你的版本改动了 libsy、路由、流式翻译或服务生命周期行为时一次完整的浸泡测试就是发布前最便宜的质量保险。 操作指南docs/operations/soak_test.md 场景源码crates/switchyard-soak/src/scenarios/⚖️ 路由算法说明docs/routing_algorithms/overview.md【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/Switchyard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考