深入理解 AI Infra：量化分析与系统设计

标题为《深入理解 AI Infra：量化分析与系统设计》的仓库，书稿目前仍是初稿。

核验日期

核心信息

以下信息由程序从官方接口读取，不经模型改写。

许可证
Apache-2.0
语言
Python
维护方
bojieli
核验日期

它是什么

本仓库的标题是《深入理解 AI Infra：量化分析与系统设计》。作者写道，AI Infra 领域还缺少一本从硬件约束和模型架构出发、量化推导系统设计的书，这是写作本书的动机。本书的作者是李博杰。书稿目前仍是初稿，正在持续修订。

主要能力

  1. 贯穿全书的方法是从约束推导设计：先明确任务与质量要求，列出计算、存储、通信和依赖关系，对照硬件的容量、带宽和算力做数量级估算。

  2. 本书反复追问五个问题：搬什么、搬多少、搬几次、经过哪里、谁必须等它。

  3. 计算工具附有模型配置和结果索引，静态计算只需 Python 3.10 或更新版本的标准库，无需 GPU 或模型权重。

  4. 需要 GPU 的实验会注明硬件与依赖要求；没有相应设备，也可以先阅读已有记录。

  5. 阅读网站提供章节导航、全文搜索和深色模式，右上角可切换语言。

  6. EPUB 字号可调，版面随屏幕自动重排。

怎么上手

  1. 阅读网站的本地构建需要 Python 3.10 或更新版本。

  2. 全书 PDF 与 EPUB 的本地构建另需 Pandoc、XeLaTeX 和字体。

  3. 译本配图存于 Git LFS，构建前须先下载。

  4. 仓库使用 Git LFS 保存论文和较大的输入与测量记录，合计约 20 GB。

  5. calculations 目录收录资源计算工具、固定输入与复算结果。

  6. GitHub Actions 会检查 Pull Request 的网站与各语言的 PDF、EPUB 构建；推送到 main 后自动发布 Release（四种语言各含 PDF 与 EPUB）并部署四种语言的在线阅读网站。

  7. PDF 由 XeLaTeX 排版，公式、表格、脚注和交叉引用完整。

摘自 README · bash
git clone https://github.com/bojieli/ai-infra-book.git
cd ai-infra-book

# 查看模型支持情况
python3 calculations/calc.py models

# 估算 Qwen3-8B 在 8192-token prefill 下的逐算子资源需求
python3 calculations/calc.py forward --model qwen3-8b --tokens 8192 --format md
摘自 README · bash
git lfs install
git lfs pull --include="experiments/ch05/05-01/**" --exclude=""
摘自 README · bash
python3 -m venv .venv-site
source .venv-site/bin/activate
python -m pip install -r website/requirements.txt
python scripts/build_site.py
python scripts/check_site.py
python scripts/build_site.py --serve
摘自 README · bash
bash book/build_pdf.sh                        # 简体中文 → book/AI-Infra-Book.pdf
bash book-en/build_pdf.sh                     # English → book-en/AI-Infra-Book-EN.pdf
bash book-zh-tw/build_pdf.sh                  # 繁體中文 → book-zh-tw/AI-Infra-Book-ZH-TW.pdf
python3 book/build_epub.py --edition zh       # EPUB 只需 Pandoc 与 Poppler；--edition 可选 zh、en、zh-tw、ru

适合谁

作者写道，已调用过模型 API 或在自己的机器上运行过模型、想进一步弄清模型为什么慢、如何降低成本的读者，可以把这本书作为起点。阅读时需要一些 Python、线性代数和计算机系统基础。作者建议先读第 1—3 章，了解模型与负载。

做模型应用和推理服务的读者，可以重点读第 8、9 章。做系统或网络的读者，可以重点读第 5—7 章。做芯片与体系结构的读者，可以重点读第 4—7 章。

希望系统学习的读者，可以按目录顺序阅读。第 8 章推理优化讨论批处理、KV 管理、卸载与推测解码何时有效。第 7 章数据中心网络讨论网络带宽、通信方式和拥塞如何影响计算效率。

第 10 章训练系统讨论如何安排显存、通信和重算，让训练更高效。manuscripts 目录收录前言、十二章正文、配图与绘图脚本。experiments 目录收录按章节组织的实验与运行记录。

case-studies 目录收录模型、硬件和系统案例分析，按章节索引。本书原创正文、配图及配套代码采用 Apache License 2.0 许可。英文版由 @tg1482 翻译并贡献。

繁體中文版由 @edward821220 翻译并贡献。俄语 community edition 由 @ilkruglov 组织并完成翻译与校验。

来源

本页内容整理自以下官方来源，点击可核对原文。

核验日期 ·

本页由 AI 依据上述官方来源整理，并经自动核对，未经本站实测。 发现错误？告诉我们。