课程主题与工作场景

这门课聚焦于使用LLama模型在本地CPU环境下进行推理，核心是C++开发实战。它主要解决的是在资源受限或对延迟敏感的场景下，如何高效部署和调用大语言模型的问题。适合需要将大模型能力集成到自有系统中的工程师，特别是那些不依赖GPU但希望利用CPU进行推理的开发者。课程内容围绕C++实现，包含从零到一构建完整推理流程的步骤，涉及模型加载、数据处理、接口封装等关键环节。

适合人群与基础要求

适合具备C++基础的开发者，需要理解类、内存管理、网络通信等核心概念。同时建议有Python编程经验，因为部分数据处理和测试环节会用到。如果你需要快速将LLama模型集成到已有的C++项目中，或者想在作品集中展示大模型落地的能力，这门课的资料能提供直接参考。课程资料会从C++网络编程基础讲起，确保不同基础的学员都能跟上进度。

学习路径与资料使用

课程资料首先会讲解LLama模型的结构和本地部署原理，建议先掌握这些概念再进入C++开发部分。前几章会演示如何用C++调用现成的模型库，理解接口设计后，再逐步学习如何自定义Prompt提示词，优化模型输出。实战项目中，资料会提供完整的C++代码示例，包括模型加载、请求处理和结果解析模块。学完可以独立完成一个基于本地CPU的模型推理Demo，并了解如何将其封装为可复用的库。

资料中的章节笔记适合课后快速回顾，每完成2-3节建议结合笔记整理学习小结。最终的独立项目实战是关键，需要将所学知识整合起来。由于侧重CPU推理，网络编程和性能优化是重点，这些内容会反复在资料中强调。配合练习时，可以尝试修改模型参数或优化内存使用，观察性能变化。


本页收录 LLama实战本地CPU推理大语言模型-C++开发实战，方向为体系课，重点涉及 C++。

课程推荐

《LLama实战本地CPU推理大语言模型-C++开发实战》本页收录 LLama实战本地CPU推理大语言模型-C++开发实战，方向为体系课，重点涉及 C++。【技能收获】学完可掌握：Prompt 提示词工程、Python 编程、C/C++ 网络编程。课程以实战为导向，覆盖从基础概念到完整项目落地的关键步骤，配套章节笔记便于课后复盘与面试前快速回顾。【学习建议】建议按目录顺序学习，先打基础再进入综合实战章节；每完成 2～3 节可结合笔记整理一份学习小结，最终尝试独立复现一套完整 Demo 写入个人作品集。【就业发展】可面向岗位：AI 应用工程师、RAG 系统开发、Java 后端 + 大模型落地、企业知识库架构师。大模型应用岗需求持续走高，具备「后端 + RAG 落地」复合能力的人才在招聘市场更稀缺，简历中可突出完整项目链路而非仅会使用 API。 若你已有一定编程或运维基础，本课程可帮助你在现有技能栈上快速叠加热门方向能力，提升求职时的项目说服力与薪资谈判空间。

视频目录（35 节）

LLama实战本地CPU推理大语言模型-C++开发实战

*   1-1.课程介绍.mp4

*   1-2.推演程序演示，基于130亿参数模型.mp4

*   2-1.llama模型分析和训练数据分析.mp4

*   2-2.git和msys2安装和llama模型下载.mp4

*   2-3.llama推理测试程序演示.mp4

*   3-1.llama.cpp构建环境说明.mp4

*   3-2.visutal_studio_2022安装.mp4

*   3-3.llama.cpp构建和项目分析.mp4

*   3-4.cmake windows安装二进制版本.mp4

*   4-1.ggml格式介绍.mp4

*   4-2.conda在windows中的安装和使用.mp4

*   4-3.conda的python环境安装.mp4

*   4-4.llama的pth格式转换为ggml的bin.mp4

*   4-5.llama量化模型到Q4_0.mp4

*   5-1.Chinese-LLaMA-Alpaca 中文模型分析和下载.mp4

*   5-2.Transformers安装和llama模型格式转换.mp4

*   5-3.合并中文LoRA权重和llama生成全量模型权重.mp4

*   5-4.使用Transformer和Web图形界面实现推理.mp4

*   5-5.使用llama.cpp量化和推理中文模型.mp4

*   6-1.llama参数ctx-size上下文大小相关代码分析.mp4

*   6-2.predict和batch-size回复数和推理批次代码.mp4

*   6-3.增加结果多样性-重复惩罚repeat-penalty.mp4

*   6-4.21温度改变随机性top-k和top-p算法分析.mp4

*   7-1.开源llamaqt项目分析说明.mp4

*   7-2.基于llama.cpp的cmake项目配置和模型加载代码实现.mp4

*   7-3.完成了推理预处理prompt代码.mp4

*   7-4.完成了推理结果逻辑表采样并输出.mp4

*   7-5.完成了精简版的推理示例程序.mp4

*   7-6.xllama接口类图设计说明.mp4

*   7-7.XGp测试项目和线程启动停止代码完成.mp4

*   7-8.XGpt用户输入和线程接收和回调反馈完成.mp4

*   7-9.完成xllama的推理和反馈接口并测试.mp4

*   7-10.XGptFac工厂类创建.mp4

*   7-11.基于cmake配置了推理QT项目.mp4

*   7-12.完成了基于QT的推理交互程序.mp4

课程目录

课程目录35 集
  • 1-1.课程介绍.mp4
  • 1-2.推演程序演示，基于130亿参数模型.mp4
  • 2-1.llama模型分析和训练数据分析.mp4
  • 2-2.git和msys2安装和llama模型下载.mp4
  • 2-3.llama推理测试程序演示.mp4
  • 3-1.llama.cpp构建环境说明.mp4
  • 3-2.visutal_studio_2022安装.mp4
  • 3-3.llama.cpp构建和项目分析.mp4
  • 3-4.cmake windows安装二进制版本.mp4
  • 4-1.ggml格式介绍.mp4
  • 4-2.conda在windows中的安装和使用.mp4
  • 4-3.conda的python环境安装.mp4
  • 4-4.llama的pth格式转换为ggml的bin.mp4
  • 4-5.llama量化模型到Q4_0.mp4
  • 5-1.Chinese-LLaMA-Alpaca 中文模型分析和下载.mp4
  • 5-2.Transformers安装和llama模型格式转换.mp4
  • 5-3.合并中文LoRA权重和llama生成全量模型权重.mp4
  • 5-4.使用Transformer和Web图形界面实现推理.mp4
  • 5-5.使用llama.cpp量化和推理中文模型.mp4
  • 6-1.llama参数ctx-size上下文大小相关代码分析.mp4
  • 6-2.predict和batch-size回复数和推理批次代码.mp4
  • 6-3.增加结果多样性-重复惩罚repeat-penalty.mp4
  • 6-4.21温度改变随机性top-k和top-p算法分析.mp4
  • 7-1.开源llamaqt项目分析说明.mp4
  • 7-10.XGptFac工厂类创建.mp4
  • 7-11.基于cmake配置了推理QT项目.mp4
  • 7-12.完成了基于QT的推理交互程序.mp4
  • 7-2.基于llama.cpp的cmake项目配置和模型加载代码实现.mp4
  • 7-3.完成了推理预处理prompt代码.mp4
  • 7-4.完成了推理结果逻辑表采样并输出.mp4
  • 7-5.完成了精简版的推理示例程序.mp4
  • 7-6.xllama接口类图设计说明.mp4
  • 7-7.XGp测试项目和线程启动停止代码完成.mp4
  • 7-8.XGpt用户输入和线程接收和回调反馈完成.mp4
  • 7-9.完成xllama的推理和反馈接口并测试.mp4
  • 课程配套资料