AI System 开源课程完整指南：五大模块、三层路径，拆透 AI 全栈底层
AI System 开源课程完整指南：五大模块、三层路径，拆透 AI 全栈底层
【免费下载链接】AISystemAISystem 主要是指AI系统，包括AI芯片、AI编译器、AI推理和训练框架等AI全栈底层技术项目地址: https://gitcode.com/GitHub_Trending/ai/AISystem
《AI System》（AISystem）是一门覆盖 AI 芯片、编译器、推理引擎与训练框架的开源课程。作者基于多年 AI 框架与推理引擎一线研发经验，把算法、框架、编译、硬件四层系统讲成一套可查可练的知识体系，配齐文字课程、视频、PPT 与源码示例，适合想系统入门 AI 底层技术的学生与工程师。
为什么需要一门 AI 系统课程
算法教程遍地都是，但"模型怎么在芯片上跑起来"却鲜有系统讲解。作者长期负责 AI 训练框架 MindSpore 与推理引擎 MindSpore Lite 的开发，在与 C9 高校交流时发现，学生和从业者对"算法之外的那半截"普遍缺乏认知：梯度算完，后面发生了什么？
市面上虽有 AI Systems 相关课程，但多以论文导读为主，缺乏从芯片到框架的完整串联。本课程因此按"硬件、编译、推理、框架"四层组织内容，每个知识点都对应实际系统实现，并逐步开源了视频、字幕与全部制作图片。
五大模块分别讲什么
| 模块 | 目录 | 核心内容 |
|---|---|---|
| AI 系统概述 | 01Introduction/ | 算法与系统结合的方式、全栈体系结构总览 |
| AI 芯片体系结构 | 02Hardware/ | CPU/GPU/NPU 基础、英伟达 Tensor Core 与 NVLink、谷歌 TPU、寒武纪等国内外 AI 芯片 |
| AI 编译原理 | 03Compiler/ | GCC/LLVM 传统编译器、AI 编译器前端与后端优化、PyTorch 2.0 编译技术栈 |
| AI 推理系统 | 04Inference/ | 推理引擎架构、MobileNet 等轻量网络、量化/蒸馏/剪枝、Kernel 与算子优化 |
| AI 框架核心技术 | 05Framework/ | 自动微分、计算图、数据并行与张量并行等分布式训练技术 |
硬件篇：从矩阵乘到比特位宽
这是最"硬核"的部分。课程先从 CPU 讲起，打开"数据与时延"两个本质问题，再引出 GPU 的并行计算，最后落到 NPU。矩阵乘是深度学习的计算核心，围绕它课程会讲清 TF32、BF16 乃至 FP8 等比特位宽为何出现。
GPU 部分覆盖英伟达近十年五代架构的演进，并单独剖析为 AI 而生的 Tensor Core 与多卡互联的 NVLink。国内外芯片对照讲解：国外是谷歌 TPU 的脉动阵列与特斯拉 DOJO 的近存计算，国内覆盖昇腾、寒武纪、壁仞、燧原。
编译与推理篇：模型跑快的关键环节
编译器部分从 GCC 和 LLVM 讲起，建立中间表示的概念，再过渡到 AI 编译器：前端负责算子融合、内存优化，后端负责 Kernel 生成与 AutoTuning，最后用 PyTorch 2.0 的编译栈串起实际工具链。
推理篇面向"让模型真正上线"这个目标：训练好的模型要经过格式转换与计算图优化，再经量化、蒸馏、剪枝等手段压缩体积，最后在 Kernel 层做算子、内存与调度优化。推理引擎还需处理负载均衡、请求调度、多副本管理等服务化问题。
框架篇：自动微分与计算图
任何 AI 框架都绕不开两个核心机制：自动微分帮你免写求导代码，计算图则是神经网络在计算机里的"图纸"，贯穿优化与执行的全过程。框架篇还覆盖大模型时代最热的分布式并行——数据并行、张量并行、ZeRO 与流水线并行，这些内容在 05Framework/ 下有独立章节。
学习路径怎么安排
入门：先建立全栈概念
从 01Introduction/ 的概述章节读起，目标是记住一张分层图：应用层之下依次是框架、编译、硬件。不急着抠细节，先把每层"负责什么"说清楚。
进阶：芯片与编译器二选一深入
想走硬件方向，按 AI 计算体系→芯片基础→GPU→国内外 AI 芯片的顺序读 02Hardware/；想走系统方向，从 GCC/LLVM 一路读到 AI 编译器前后端优化（03Compiler/）。两条线在"编程模型"处汇合，课程会解释 SIMT 硬件与 CUDA 编程的关系。
实战：推理部署与并行训练
04Inference/ 提供从轻量网络到 Kernel 优化的完整链条，可对照 03Compiler/06PyTorch/ 的 PyTorch 编译实战；大模型训练则直接进 05Framework/04Parallel/ 的并行章节。仓库中各模块的code/目录还保留了可运行示例。
配套资源与上手方式
- 资源形态：每章同时提供 Markdown 文字、PPT 源文件与 PDF 导出，多数章节附视频字幕（
srt/）、思维导图（images/）与制作过程图，方便按需取用 - 获取方式：仓库已超 10G（含全部高清制作图），直接
git clone https://gitcode.com/GitHub_Trending/ai/AISystem会很慢，建议只按需拉取目标模块目录 - 更新节奏：文字课程逐节补充中；大模型训练的新内容单独归档到 AIFoundation 项目
- 社区与落地：超过 50 位贡献者参与内容审核与字幕校对，课程已被多所高校选为《人工智能系统架构》方向课程的配套教材
从 01Introduction/ 的概述开始，挑一个模块目录读下去，配套视频与 PPT 随手可查——这套体系就是按这个节奏设计好的。
【免费下载链接】AISystemAISystem 主要是指AI系统，包括AI芯片、AI编译器、AI推理和训练框架等AI全栈底层技术项目地址: https://gitcode.com/GitHub_Trending/ai/AISystem
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考