Amazon Bedrock AgentCore 数据集管理：构建随 Agent 演进的测试套件

一句话看懂

Amazon Bedrock AgentCore 新增数据集管理功能，让开发者用版本化测试用例和用户模拟来稳定评估 Agent 改进，避免在线信号波动带来的误判。

详细发生了什么

AWS 在 Amazon Bedrock AgentCore 中推出了数据集管理功能，旨在解决 Agent 评估中常见的两个问题：一是 Agent 的非确定性输出导致单次评估结果不可靠；二是缺乏稳定的离线基线来验证改进是否真实。该功能允许开发者将测试用例作为版本化数据集管理，包含输入、期望输出、断言和工具序列，并发布为不可变的编号版本。

文章以金融市场的 Market Trends Agent 为例，展示了完整工作流：从生产追踪中捕获失败案例，构建版本化数据集，运行评估，修复 Agent，然后针对同一组锁定输入确认改进。数据集支持两种测试场景类型：

• Predefined scenarios（预定义场景）：向后看，开发者定义精确的用户查询和正确结果，用于 CI/CD 管道的回归测试。
• User simulation scenarios（用户模拟场景）：向前看，通过描述用户角色（如“资深科技分析师”），由 LLM 驱动的角色自动生成多轮对话，测试 Agent 能否满足特定类型用户的需求。

中文圈视角

对于国内使用 AWS Bedrock 的开发者，这个功能直接解决了 Agent 评估中的痛点：如何区分 Agent 真的变好了还是测试用例变简单了。版本化数据集让评估结果可追溯、可复现，尤其适合金融、医疗等对准确性要求高的场景。

不过，国内用户需要注意：

• 网络与合规：Bedrock 需要 AWS 账号，国内访问可能需配置网络。数据出境问题需关注，尤其是涉及金融等敏感领域。
• 国产替代：国内类似平台如阿里云百炼、百度千帆也提供 Agent 构建能力，但像 Bedrock 这样将测试用例版本化与用户模拟深度集成的功能尚不多见。百度千帆的 Agent 评估主要依赖人工标注和在线指标，缺少离线基线管理。
• 实际场景：对于国内开发者，这个功能在构建客服、投研助手等场景时特别有用。例如，你可以将生产中的失败对话固化下来，确保每次更新都不会重复踩坑。

一个中文圈尚未讨论的盲点是：用户模拟场景中的 LLM 角色生成器是否会产生偏见？如果模拟的“资深分析师”总是问同样类型的问题，测试覆盖率可能不全面。

几条值得记住的细节

• 版本化数据集发布后不可变，确保评估结果跨运行可比。
• 预定义场景包含 expected_trajectory（期望工具调用顺序）和 assertions（断言），用于精确验证。
• 用户模拟场景支持最多 8 轮对话，角色由 traits、context 和 goal 定义。
• 生产中的失败案例可以一键转化为测试用例，纳入未来评估。
• 该功能在 Bedrock AgentCore 中可用，需通过 AWS 控制台或 API 操作。

一句话总结

用版本化数据集锁定测试基线，让 Agent 的每次改进都有据可查，避免“感觉变好了”的幻觉。