教程人工智能大模型【免费下载链接】ai-engineering-from-scratch-zhAgent工程师最全学习路径 · 从零精通 AI 工程 · 20 阶段 503 课 · 中文全量翻译 配套站点 动画讲解视频 · 如何成为 AI Agent 工程师的修成指南项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh点击查看免费下载ai-engineering-from-scratch-zh是「Agent 工程师最全学习路径」开源课程共 20 阶段 503 课、中文全量翻译。其中 阶段 17基础设施与生产 用 29 节课系统覆盖 LLM 应用生产化的三大核心难题——KV 缓存与推理经济学、AI 网关与FinOps 成本治理帮你把 Demo 变成能扛住真实流量的线上服务。 一句话总结从 Demo 到生产你需要的不是更大的模型而是一套缓存 网关 成本归因的基础设施。为什么 90% 的 LLM 应用倒在了生产化这一步很多团队能写出效果不错的 LLM 原型却在上量时遇到三个经典翻车现场GPU 内存爆满并发一高KV cache 占满显存请求被抢占后反复重算延迟雪崩供应商限流 429OpenAI 一到高峰就限流没有网关层的应用直接报错给用户账单看不懂月账单 $40,000却说不清哪个租户、哪个功能、哪类 token 花的钱。这 29 课就是逐个解决这些问题。按主题可以分成四组主题课程范围解决什么问题推理平台经济学01-12选平台、选引擎、KV 缓存与局部性可观测性与省钱技巧13-16监控埋点、语义缓存、Batch API、模型路由生产化工程19-26AI 网关、灰度发布、压测、安全合规成本与选型27-29FinOps 归因、自托管选型、演示界面KV 缓存被低估的生产化第一杠杆生产级 vLLMKV 卸载与缓存感知路由生产环境最常见的死法是「GPU HBM 100% 抢占风暴」同一个 2K token 的 prompt 一分钟被重算四次。阶段 17 · 18生产级推理服务栈——KV 卸载与缓存感知路由 给出了标准答案vLLM production-stack把路由器、引擎、KV offload 与可观测性接入同一个 Kubernetes 部署KV Offloading Connector APIvLLM 0.9.00.11.0 起异步化让 KV cache 可以「离开 GPU」卸载到 CPU DRAM、磁盘甚至对象存储公开基准16 块 H100显示当 KV cache 超过 HBM 容量时卸载方案显著提升吞吐KV 占用低时各配置与基线持平开销仅约 3-5%。判断口诀很简单HBM 压力大就上卸载短上下文1K token就别开——传输时间比重新 prefill 还贵。缓存感知路由别让轮询负载均衡毁掉你的缓存阶段 17 · 11多区域 LLM 服务与 KV Cache 局部性 指出一个反直觉的事实对带缓存的推理来说轮询负载均衡是主动有害的。请求没落到持有前缀的节点上就要付全额 prefill 成本——长 prompt 上 P50 约 800 ms而缓存命中只要约 80 ms。生产模式是用缓存感知路由器如 vLLM Router、llm-d消费 KV-cache 事件、按前缀哈希匹配路由。推理引擎三件套吞吐来自叠加不来自单点技巧阶段 17 · 04推理服务引擎内部机制 讲清了生产引擎的三大默认项PagedAttention把 KV cache 碎片率从 60-80% 压到 4% 以下、continuous batching每次 decode 迭代间让请求进出批次、chunked prefill把 32K 长 prompt 切片保护 TTFT 尾部。三者全开时一块 H100 上 Llama 3.3 70B FP8 在 128 并发下可达 2,200-2,400 tok/s——是朴素 PyTorch 循环的 3-4 倍。AI 网关把供应商故障隔离在用户之外六大核心特性一个进程收编所有供应商你的产品同时调 OpenAI、Anthropic 和自托管 Llama每家 SDK、错误模型、限流方式都不同。阶段 17 · 19AI 网关——LiteLLM、Portkey、Kong AI Gateway、Bifrost 给出的解法是在应用与供应商之间加一层网关统一提供六个能力供应商路由——OpenAI / Anthropic / Gemini / 自托管藏在一个 API 后面回退——OpenAI 429 时自动切 Anthropic重试——指数退避、有界次数限流——按租户、按 key、按模型分档密钥引用——凭证运行时从 vault 拉取绝不进应用代码可观测性 Guardrails——OTel 埋点、成本归因、PII 脱敏、越狱检测。四大网关怎么选记住几个数字即可网关关键数字适用场景LiteLLM约 2000 RPS 崩溃、8 GB 内存Python 应用、500 RPS、开发/原型Portkey20-40 ms 延迟开销2026 年 3 月转 Apache 2.0受监管行业需要 guardrails 捆绑Kong AI Gateway比 Portkey 快 228%、比 LiteLLM 快 859%1000 RPS、已用 Kong 的团队Bifrost / Cloudflare / Vercel边缘 1-3 ms 开销边缘 JS 应用、零运维托管选择逻辑延迟预算决定下限数据驻留决定上限。医疗金融默认自托管LiteLLM/Portkey OSS/Kong消费产品默认托管混合部署是「受监管租户自托管其余走托管」。配套工程课网关不是孤立的这 29 课把网关放在完整链路里阶段 17 · 13LLM 可观测性 管埋点阶段 17 · 20Shadow/Canary 渐进发布 管安全换模型阶段 17 · 22LLM API 压测 管容量规划阶段 17 · 24混沌工程 管故障演练。生产里「可观测性 路由 网关」本来就是同一层要挑一个三者都覆盖的工具再小心地拼接。FinOpsLLM 时代的成本归因完全变了传统 FinOps 为什么失灵云资源的 tag 能自动传播到账单行项但LLM API 调用不自动打标——一次调用是一笔交易不是一项资产。阶段 17 · 27LLM 的 FinOps——单位经济学与多租户归因 要求第一天就在调用点埋上三个归因维度按用户user_id——驱动席位定价与重度用户识别按任务task_idroute——驱动功能优先级与砍特性决策按租户tenant_id——驱动单位经济学与续约定价。同时把 token 拆成四层prompt40-60%、工具20-40%、记忆10-30%、响应10-30%。四层装进一个桶优化就变盲了。多租户执行阶梯限流 → 花费上限 → Kill Switch针对滥用租户课程给出三档防线限流按租户设 2-3 倍预期峰值返回带Retry-After的 429每日花费上限设为合同上限的 1.5-3 倍触发时收紧限流并告警客户成功团队Kill switch花费 z-score 相对租户基线 4时自动暂停该租户并呼叫 on-call。省钱杠杆可以叠加最优能做到基线的 5-10%FinOps 不是事后审计而是把前 16 课的省钱技巧串起来语义缓存输入便宜约 10 倍 Batch API5 折 模型路由降本 60% AI 网关重试与冗余。四根杠杆全叠成本可压到朴素基线的约5-10%——但注意「$/M token」是供应商话术真正的单位指标是每解决一张工单、每生成一篇内容的成本。学习路径建议3 步走完生产化步骤课程产出① 懂引擎与缓存04 → 08 → 11 → 14 → 18能画出 vLLM 服务栈与 KV 卸载拓扑② 立网关与可观测13 → 16 → 19 → 20 → 22选定网关并完成 Shadow 发布演练③ 上 FinOps 与安全23 → 25 → 26 → 27 → 28归因 schema 执行阶梯 选型决策记录每课都配有可运行的模拟代码例如 AI 网关课的回退路由模拟器、FinOps 执行阶梯模拟器可以直接在本地跑起来注入 429 错误、观察 kill switch 触发过程。小结生产化的三个关键词KV 缓存——它是显存问题也是钱的问题卸载与局部性路由必须一起考虑 AI 网关——用一层抽象收编供应商差异回退、限流、Guardrails 不再散落在业务代码里 FinOps——第一天就埋user_id/task_id/tenant_id把成本绑到产品结果上而不是 token 单价上。按 阶段 17 完整课程列表 顺序学完这 29 课你就拥有了从 Demo 到生产的全套基础设施判断力——这正是 ai-engineering-from-scratch-zh 中「20 阶段 503 课」修成路径上最关键的一环。赞分享教程人工智能大模型【免费下载链接】ai-engineering-from-scratch-zhAgent工程师最全学习路径 · 从零精通 AI 工程 · 20 阶段 503 课 · 中文全量翻译 配套站点 动画讲解视频 · 如何成为 AI Agent 工程师的修成指南项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh点击查看免费下载相关推荐终极指南Qwen3模型KV缓存优化技术详解——从零开始构建高性能LLM终极指南Qwen3模型KV缓存优化技术详解——从零开始构建高性能LLM LLMs from scratch项目是一个从零开始构建大型语言模型LLM的实践指示例工程大模型人工智能Mooncake Store重新定义LLM推理的分布式KV缓存基础设施Mooncake Store重新定义LLM推理的分布式KV缓存基础设施 在大规模语言模型推理的战场上 KVCache存储效率 正成为决定胜负的关键因素。传统人工智能大模型模型推理服务后端Llama3-from-scratch数学基础三角函数在AI中的应用Llama3 from scratch数学基础三角函数在AI中的应用 引言从矩阵乘法到三角函数革命 你还在认为AI只是矩阵乘法的堆叠吗当大多数开发者还在关示例工程大模型人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何生产化 LLM 应用：ai-engineering-from-scratch-zh 的 29 课基础设施体系——KV 缓存、AI 网关与 FinOps
教程人工智能大模型【免费下载链接】ai-engineering-from-scratch-zhAgent工程师最全学习路径 · 从零精通 AI 工程 · 20 阶段 503 课 · 中文全量翻译 配套站点 动画讲解视频 · 如何成为 AI Agent 工程师的修成指南项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh点击查看免费下载ai-engineering-from-scratch-zh是「Agent 工程师最全学习路径」开源课程共 20 阶段 503 课、中文全量翻译。其中 阶段 17基础设施与生产 用 29 节课系统覆盖 LLM 应用生产化的三大核心难题——KV 缓存与推理经济学、AI 网关与FinOps 成本治理帮你把 Demo 变成能扛住真实流量的线上服务。 一句话总结从 Demo 到生产你需要的不是更大的模型而是一套缓存 网关 成本归因的基础设施。为什么 90% 的 LLM 应用倒在了生产化这一步很多团队能写出效果不错的 LLM 原型却在上量时遇到三个经典翻车现场GPU 内存爆满并发一高KV cache 占满显存请求被抢占后反复重算延迟雪崩供应商限流 429OpenAI 一到高峰就限流没有网关层的应用直接报错给用户账单看不懂月账单 $40,000却说不清哪个租户、哪个功能、哪类 token 花的钱。这 29 课就是逐个解决这些问题。按主题可以分成四组主题课程范围解决什么问题推理平台经济学01-12选平台、选引擎、KV 缓存与局部性可观测性与省钱技巧13-16监控埋点、语义缓存、Batch API、模型路由生产化工程19-26AI 网关、灰度发布、压测、安全合规成本与选型27-29FinOps 归因、自托管选型、演示界面KV 缓存被低估的生产化第一杠杆生产级 vLLMKV 卸载与缓存感知路由生产环境最常见的死法是「GPU HBM 100% 抢占风暴」同一个 2K token 的 prompt 一分钟被重算四次。阶段 17 · 18生产级推理服务栈——KV 卸载与缓存感知路由 给出了标准答案vLLM production-stack把路由器、引擎、KV offload 与可观测性接入同一个 Kubernetes 部署KV Offloading Connector APIvLLM 0.9.00.11.0 起异步化让 KV cache 可以「离开 GPU」卸载到 CPU DRAM、磁盘甚至对象存储公开基准16 块 H100显示当 KV cache 超过 HBM 容量时卸载方案显著提升吞吐KV 占用低时各配置与基线持平开销仅约 3-5%。判断口诀很简单HBM 压力大就上卸载短上下文1K token就别开——传输时间比重新 prefill 还贵。缓存感知路由别让轮询负载均衡毁掉你的缓存阶段 17 · 11多区域 LLM 服务与 KV Cache 局部性 指出一个反直觉的事实对带缓存的推理来说轮询负载均衡是主动有害的。请求没落到持有前缀的节点上就要付全额 prefill 成本——长 prompt 上 P50 约 800 ms而缓存命中只要约 80 ms。生产模式是用缓存感知路由器如 vLLM Router、llm-d消费 KV-cache 事件、按前缀哈希匹配路由。推理引擎三件套吞吐来自叠加不来自单点技巧阶段 17 · 04推理服务引擎内部机制 讲清了生产引擎的三大默认项PagedAttention把 KV cache 碎片率从 60-80% 压到 4% 以下、continuous batching每次 decode 迭代间让请求进出批次、chunked prefill把 32K 长 prompt 切片保护 TTFT 尾部。三者全开时一块 H100 上 Llama 3.3 70B FP8 在 128 并发下可达 2,200-2,400 tok/s——是朴素 PyTorch 循环的 3-4 倍。AI 网关把供应商故障隔离在用户之外六大核心特性一个进程收编所有供应商你的产品同时调 OpenAI、Anthropic 和自托管 Llama每家 SDK、错误模型、限流方式都不同。阶段 17 · 19AI 网关——LiteLLM、Portkey、Kong AI Gateway、Bifrost 给出的解法是在应用与供应商之间加一层网关统一提供六个能力供应商路由——OpenAI / Anthropic / Gemini / 自托管藏在一个 API 后面回退——OpenAI 429 时自动切 Anthropic重试——指数退避、有界次数限流——按租户、按 key、按模型分档密钥引用——凭证运行时从 vault 拉取绝不进应用代码可观测性 Guardrails——OTel 埋点、成本归因、PII 脱敏、越狱检测。四大网关怎么选记住几个数字即可网关关键数字适用场景LiteLLM约 2000 RPS 崩溃、8 GB 内存Python 应用、500 RPS、开发/原型Portkey20-40 ms 延迟开销2026 年 3 月转 Apache 2.0受监管行业需要 guardrails 捆绑Kong AI Gateway比 Portkey 快 228%、比 LiteLLM 快 859%1000 RPS、已用 Kong 的团队Bifrost / Cloudflare / Vercel边缘 1-3 ms 开销边缘 JS 应用、零运维托管选择逻辑延迟预算决定下限数据驻留决定上限。医疗金融默认自托管LiteLLM/Portkey OSS/Kong消费产品默认托管混合部署是「受监管租户自托管其余走托管」。配套工程课网关不是孤立的这 29 课把网关放在完整链路里阶段 17 · 13LLM 可观测性 管埋点阶段 17 · 20Shadow/Canary 渐进发布 管安全换模型阶段 17 · 22LLM API 压测 管容量规划阶段 17 · 24混沌工程 管故障演练。生产里「可观测性 路由 网关」本来就是同一层要挑一个三者都覆盖的工具再小心地拼接。FinOpsLLM 时代的成本归因完全变了传统 FinOps 为什么失灵云资源的 tag 能自动传播到账单行项但LLM API 调用不自动打标——一次调用是一笔交易不是一项资产。阶段 17 · 27LLM 的 FinOps——单位经济学与多租户归因 要求第一天就在调用点埋上三个归因维度按用户user_id——驱动席位定价与重度用户识别按任务task_idroute——驱动功能优先级与砍特性决策按租户tenant_id——驱动单位经济学与续约定价。同时把 token 拆成四层prompt40-60%、工具20-40%、记忆10-30%、响应10-30%。四层装进一个桶优化就变盲了。多租户执行阶梯限流 → 花费上限 → Kill Switch针对滥用租户课程给出三档防线限流按租户设 2-3 倍预期峰值返回带Retry-After的 429每日花费上限设为合同上限的 1.5-3 倍触发时收紧限流并告警客户成功团队Kill switch花费 z-score 相对租户基线 4时自动暂停该租户并呼叫 on-call。省钱杠杆可以叠加最优能做到基线的 5-10%FinOps 不是事后审计而是把前 16 课的省钱技巧串起来语义缓存输入便宜约 10 倍 Batch API5 折 模型路由降本 60% AI 网关重试与冗余。四根杠杆全叠成本可压到朴素基线的约5-10%——但注意「$/M token」是供应商话术真正的单位指标是每解决一张工单、每生成一篇内容的成本。学习路径建议3 步走完生产化步骤课程产出① 懂引擎与缓存04 → 08 → 11 → 14 → 18能画出 vLLM 服务栈与 KV 卸载拓扑② 立网关与可观测13 → 16 → 19 → 20 → 22选定网关并完成 Shadow 发布演练③ 上 FinOps 与安全23 → 25 → 26 → 27 → 28归因 schema 执行阶梯 选型决策记录每课都配有可运行的模拟代码例如 AI 网关课的回退路由模拟器、FinOps 执行阶梯模拟器可以直接在本地跑起来注入 429 错误、观察 kill switch 触发过程。小结生产化的三个关键词KV 缓存——它是显存问题也是钱的问题卸载与局部性路由必须一起考虑 AI 网关——用一层抽象收编供应商差异回退、限流、Guardrails 不再散落在业务代码里 FinOps——第一天就埋user_id/task_id/tenant_id把成本绑到产品结果上而不是 token 单价上。按 阶段 17 完整课程列表 顺序学完这 29 课你就拥有了从 Demo 到生产的全套基础设施判断力——这正是 ai-engineering-from-scratch-zh 中「20 阶段 503 课」修成路径上最关键的一环。赞分享教程人工智能大模型【免费下载链接】ai-engineering-from-scratch-zhAgent工程师最全学习路径 · 从零精通 AI 工程 · 20 阶段 503 课 · 中文全量翻译 配套站点 动画讲解视频 · 如何成为 AI Agent 工程师的修成指南项目地址https://gitcode.com/gh_mirrors/ai/ai-engineering-from-scratch-zh点击查看免费下载相关推荐终极指南Qwen3模型KV缓存优化技术详解——从零开始构建高性能LLM终极指南Qwen3模型KV缓存优化技术详解——从零开始构建高性能LLM LLMs from scratch项目是一个从零开始构建大型语言模型LLM的实践指示例工程大模型人工智能Mooncake Store重新定义LLM推理的分布式KV缓存基础设施Mooncake Store重新定义LLM推理的分布式KV缓存基础设施 在大规模语言模型推理的战场上 KVCache存储效率 正成为决定胜负的关键因素。传统人工智能大模型模型推理服务后端Llama3-from-scratch数学基础三角函数在AI中的应用Llama3 from scratch数学基础三角函数在AI中的应用 引言从矩阵乘法到三角函数革命 你还在认为AI只是矩阵乘法的堆叠吗当大多数开发者还在关示例工程大模型人工智能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考