#AI Infra 全景图：Agent Framework、调度、编排、沙箱、记忆管理、Tracing 分层拆解

原文: https://mp.weixin.qq.com/s/dmlwqGylzG0eQVUlcZocUQ

构建一个生产级 AI Agent 系统，你需要的远不止一个大模型和一个向量库。你需要算力调度、模型网关、数据管道、Prompt 管理、Agent 编排、工具沙箱、记忆系统、评测体系、可观测平台——还要让安全、CI/CD、成本和开发者体验贯穿每一层。

这就是完整的 AI Infra。

本文从 L0 到 L8，逐层拆解 9 层架构 + 4 个横切能力，给出工具选型和生产级最佳实践。

先看全景，再逐层拆解。

纵向 9 层（从底层资源到上层应用）：

层级	名称	核心问题
L0	基础资源层	模型和应用运行在哪里？
L1	模型与推理层	用哪个模型？怎么调用？怎么降本？
L2	数据与知识层	模型如何安全、准确地使用企业私有知识？
L3	Prompt 与上下文层	如何组织模型能可靠执行的输入？
L4	编排与 Agent 层	复杂任务如何被拆解、调度、执行？
L5	工具执行层	Agent 能做什么？执行边界在哪里？
L6	状态与记忆层	系统如何记住一切而不越权？
L7	评测与质量层	改动后质量是变好了还是变坏了？
L8	可观测与运营层	出了问题能否定位？成本能否归因？