课程定位：不是理论课，而是"用开源工具链做出能跑的 AI 应用"
建议学时：48~64 学时
核心主线：开源模型获取 → 本地部署 → 应用开发(Prompt/RAG/Agent) → 微调 → 评测 → 部署上线 → 参与开源
这门课最容易踩的坑是讲成"AI 理论导论"或"调 API 体验课"。建议主线固定为：
开源模型获取 → 本地部署 → 应用开发(Prompt/RAG/Agent) → 微调 → 评测 → 部署上线 → 参与开源
每节课都要有"跑得起来"的产出，学生才不掉队。
| 教程名称 | 特点 | 链接 |
|---|---|---|
| Datawhale《self-llm 开源大模型食用指南》 | GitHub 19.8k star。专为国内环境设计：环境配置、模型下载、部署、调用、LoRA 微调、量化、多模态，覆盖 Qwen/ChatGLM/Llama 等主流开源模型。中文、步骤极细，本科生动手门槛最低。 | GitHub |
| Datawhale《Happy-LLM 从零开始的大模型原理与实践》 | 从 NLP 基础 → Transformer → 预训练语言模型 → 手搓 LLaMA2 → 训练 Tokenizer → 预训练小型 LLM → RAG/Agent。适合作为"原理+实践"兼顾的主线教材。 | GitHub · 在线阅读 |
| Hugging Face 官方 LLM 课程 | 12 章，Apache 2.0 许可——意味着你可以直接拿来做课件而不侵权。覆盖 Transformers、Tokenizers、Datasets、微调、分享部署，第 10~12 章含 SFT、LoRA、DPO、GRPO。每章配 Colab 可运行 Notebook。 | 官网 · 中文镜像 |
| Datawhale《llm-universe》个人知识库助手 | 8.8k star。零基础走通 RAG 全流程：文档加载→切分→向量化→检索→LLM 生成→Gradio 部署。非常适合做本科生的第一个完整项目。 | GitHub |
| Datawhale《All-in-RAG》《Hello-Agents》 | RAG 全栈指南（从基础到部署）；Hello-Agents 讲 ReAct、工具调用、多步推理，帮助"穿透框架看原理"。 | all-in-rag · hello-agents |
| 微软《AI Agents for Beginners》官方中文版 | 12 节课，体系完整，讲 Agent 从零手写再用 LangGraph 重构。微软开源，课件可自由使用。 | 中文版 · GitHub |
| 模块 | 开源工具 | 说明 |
|---|---|---|
| 模型获取 | ModelScope 魔搭（国内首选）、Hugging Face Hub | 国内下载速度与稳定性差距巨大，教学务必优先魔搭。modelscope.cn |
| 本地推理/部署 | Ollama、vLLM、llama.cpp、Xinference | Ollama 一行命令跑模型，最适合入门课。ollama.com |
| 应用框架 | LangChain / LangGraph、LlamaIndex、Gradio、Streamlit | Gradio 做 Demo 最快（几行代码出网页）。gradio.app |
| 低代码平台 | Dify、FastGPT、RAGFlow | 无编程基础学生也能做出像样应用。GitHub |
| 向量库 | FAISS、Chroma、Milvus | 教学用 FAISS 本地文件即可。 |
| 微调 | LLaMA-Factory（首选）、PEFT、TRL、Unsloth | LLaMA-Factory 有 Web UI，中文文档全。GitHub |
| 评测 | OpenCompass（上海AI Lab）、C-Eval、CMMLU | 讲"模型好不好不只是感觉"，用榜单和数据说话。 |
| 训练可视化 | SwanLab（国产，中文）、Weights & Biases、TensorBoard | 微调实验必配。swanlab.cn |
| # | 实验 | 产出物 | 所需算力 |
|---|---|---|---|
| 1 | 本地跑通第一个开源模型：Ollama 拉取 Qwen2.5:1.5B，命令行对话 + Python API 调用 + REST 调用 | 可复现的调用脚本 | CPU / 4G 内存 |
| 2 | Prompt 工程实战：同一任务写 5 版提示词，对比 Zero-shot / Few-shot / CoT 输出质量 | 对比评测表 | 同上 |
| 3 | Gradio 做个人 AI 助手 Demo，支持多轮对话与参数调节（temperature/top_p） | 可分享网页链接 | 同上 |
| 4 | 量化与性能实测：同一模型 fp16 / int8 / int4 的显存占用、首字延迟、吞吐量对比 | 实测数据表 + 结论 | 同上 |
| 5 | 从零手搓 RAG：不使用框架，手写切分→embedding→FAISS 索引→检索→拼 prompt→生成 | 完整 Notebook | CPU 或 Colab |
| 6 | Dify 搭建课程知识库问答机器人（上传课件 PDF，配置切片与检索策略，发布 API） | 可访问的应用 | CPU |
| 7 | Agent 与工具调用：用 LangGraph/Function Call 实现查课表、查天气、查数据库的智能体 | 可演示的 Agent | CPU 或 Colab |
| 8 | LoRA 微调：用 LLaMA-Factory 在自建小数据集上微调 Qwen2.5-0.5B/1.5B | 微调权重 + 训练曲线 | 6~8G 显存 / Colab 免费卡 |
| 9 | 微调前后评测：自建 50~100 条测试集，人工打分 + 自动指标（BLEU/ROUGE/准确率）对比 | 评测报告 | 同上 |
| 10 | vLLM 部署 + 压测：并发 1/10/50 下的吞吐与延迟曲线 | 压测报告 | 8G+ 显存 |
| 期末 | 分组综合项目：本地模型 + 知识库/Agent + Web 界面 + 开源发布（GitHub README） | 答辩演示 | 按组自定 |
这是这门课最大的教学风险，务必提前规划
environment.yml 下发，否则第一节课就会有一半人卡在装环境。| 周次 | 主题 | 实践 |
|---|---|---|
| 1 | 导论：开源 AI 全景（模型/框架/平台/许可协议）、环境搭建 | 环境自检 |
| 2 | Python 与 LLM 基础回顾；Hugging Face Hub / ModelScope 使用规范 | 下载并跑通一个模型 |
| 3 | 本地部署：Ollama / llama.cpp / vLLM 原理与对比 | 实验1 |
| 4 | Prompt 工程：Zero-shot / Few-shot / CoT / 结构化输出 | 实验2 |
| 5 | Transformer 原理速览：Attention 手撕（NumPy 实现）+ 可视化 | 推演注意力矩阵 |
| 6 | Tokenizer（BPE/WordPiece）与 Embedding 实践 | 训练一个小 tokenizer |
| 7 | 向量库与语义检索：FAISS / Chroma、相似度度量、召回率 | 检索小实验 |
| 8 | RAG 从零实现（切分→向量化→检索→生成） | 实验5 |
| 9 | RAG 进阶：切片策略、重排 rerank、引用溯源、幻觉治理 | 优化上一周作品 |
| 10 | Dify 低代码平台实战：聊天助手 / 知识库 / 工作流 | 实验6 |
| 11 | Agent：ReAct、工具调用、记忆、多智能体（LangGraph） | 实验7 |
| 12 | 微调原理：全参 vs LoRA vs QLoRA，显存怎么算 | 显存测算练习 |
| 13 | LLaMA-Factory / PEFT 微调实战 | 实验8 |
| 14 | 模型评测（OpenCompass/C-Eval）与推理优化（量化、vLLM） | 实验9、10 |
| 15 | 项目开发周（分组，教师巡回答疑） | 期末项目 |
| 16 | 期末项目答辩 + 开源实践（给上游项目提 Issue / 改进文档，体验开源协作） | 答辩 + PR 截图 |
平时（考勤+讨论）20% ＋ 平时实验（8 次，代码 + 实验报告，重点看实测数据与反思）40% ＋ 期末分组项目（可运行演示 + GitHub 仓库 + README + 答辩）40%。
强烈建议不做期末笔试。这门课的价值在于"做出来"，笔试会把学生逼回背书。若必须笔试，改为"故障排查 + 方案设计"开卷题。
| 方向 | 资源 | 适合什么 |
|---|---|---|
| 从零训练（理论深） | Stanford CS336: Language Modeling from Scratch —— 讲义、作业、代码全部公开。课程主页 | 给学有余力学生 / 研究生衔接 |
| 直觉理解 | Karpathy《Neural Networks: Zero to Hero》（YouTube/B站有中字）—— 从反向传播手写到 GPT 训练。karpathy.ai/zero-to-hero | 课前/课后拓展视频 |
| 中文系统课 | 李宏毅《机器学习》《生成式AI》课程（台大）—— 每年更新，中文讲解最清晰。课程主页 | 原理部分可参考其讲授方式 |
| 可视化 | 3Blue1Brown 神经网络/Transformer 系列（B 站官方中文）、bbycroft.net/llm（LLM 3D 可视化） | 课堂演示 Attention 原理 |