AWS 发布 Bedrock 弹性模式指南
AWS 机器学习博客发布了一篇面向生产级生成式 AI 应用的弹性模式实践指南，系统梳理了从 Amazon Bedrock 原生功能到 LLM gateway 多模型编排的五种增量模式。该指南采用“crawl, walk, run”渐进策略：模式一利用 Bedrock 跨区域推理（CRIS）自动跨多个 AWS 区域分发请求，无需手动流量管理；模式二通过多账户分片实现租户级配额隔离，每个账户独立享用 CRIS 的聚合吞吐上限；模式三到五引入 LLM gateway（演示使用开源的 LiteLLM）做智能路由——模型自动回退、跨模型负载均衡、多租户独立限流，用应用层网关补足平台原生能力的缺口。整篇博客配有 GitHub 代码仓库，可直接部署验证。这篇指南回答了生产部署中真实面临的问题：突发流量下的配额耗尽、跨地域推理的可用性最大化、以及多租户环境中的“吵闹邻居”隔离。配合 AWS 已有的多提供商生成式 AI gateway 解决方案参考架构，给出了从起步到企业级部署的完整路径。
①
五种模式渐进
从 Bedrock 跨区域推理、多账户分片，到 LiteLLM 网关驱动的模型回退、负载均衡、多租户限流，五模式按生产复杂度递增排列，每种都有对应 demo 代码。
②
CRIS 自动分发实测
Demo 中 10 个请求被 CRIS 自动分发到 3 个美国区域（us-east-1 / us-east-2 / us-west-2），其中 us-east-2 承接了 70% 的调用——由 Bedrock 实时按可用性和延迟调度，无需客户端负载均衡。
③
LiteLLM 网关演示
配置主模型限制 3 RPM、回退模型 25 RPM，10 并发请求场景下前 3 次命中主模型后达到限额，剩余 7 次自动切换到回退模型，客户端无感知，100% 成功。
④
企业级部署推荐
生产环境建议使用 AWS 多提供商生成式 AI gateway 解决方案，额外提供容器化部署（ECS / EKS）、WAF 保护、Secrets Manager、CloudWatch 全链路可观测性等企业能力。
📌 下一步
- 有 Bedrock 账号的团队可直接克隆 aws-samples/sample-resilient-llm-inference 仓库，按 README 从模式一跑起
- 已在生产跑 Bedrock 的架构师关注模式四的加权路由和 A/B 测试策略，用于新模型灰度上线