跳到主要内容

端侧模型量化部署技术专题

面向真实设备的模型量化、压缩与部署课程书。内容以工程判断为主线, 配套 Ubuntu Server、NVIDIA GPU 和 Qwen 小模型实作。

Course Book

从方法理解到可运行实作

课程书把量化、压缩、蒸馏、runtime 选型和 profiling 放回同一个目标: 让模型在目标设备上稳定达到业务可用标准。每个核心概念都会对应图示、 代码片段、实验任务和验收结果。

Book图文课程书
LabUbuntu/Qwen 实作
SlidesHTML 课件
Start Here

三条路径,先跑通主线

本课程不追求一次覆盖所有 runtime。第一轮先围绕 Qwen、GGUF、 llama.cpp、profiling 和本地 API,把结果写进同一份部署报告。

Mainline

从 baseline 到部署报告

  1. 场景约束
  2. 模型 baseline
  3. 量化压缩
  4. runtime 加速
  5. 端侧实测
  6. API 服务
  7. 部署报告