AIGC与NLP大模型实战：视觉与语言大模型应用

这门课聚焦CV与NLP大模型的落地应用，主要解决工作中需要快速搭建视觉问答、图像处理或自然语言交互等系统的需求。课程以Chinese、LLaMA、Alpaca等模型为基础，结合rag、SAM2等工具，帮助学员掌握从模型配置到具体任务实现的完整流程。适合具备Python和机器学习基础，希望将AI技术转化为实际业务解决方案的开发者或产品经理。学完后能独立完成视觉问答系统搭建、图像分割任务开发或基于大模型的文本生成应用，并能根据需求调整模型参数。

核心内容与学习重点

课程解决的核心问题是“如何将通用大模型转化为解决实际业务问题的工具”。建议先学习Chinese-LLaMA-Alpaca模型适配部分，掌握基础微调方法；接着重点看SAM2图像分割案例，理解视觉任务中的模型调用逻辑；最后结合第八章的视觉QA内容，学习多模态任务的结构设计。资料中的rag工具包可用于快速搭建检索增强生成应用，适合需要结合知识库的查询场景。每个模块都提供了可运行的代码示例，建议通过修改参数或替换模型（如换成main版本）来加深理解。

学习门槛在于需要学员具备基本的Python编程能力和对机器学习概念的理解。资料包配合练习的关键在于动手实践：学完SAM2部分后，尝试用不同阈值处理分割结果，观察参数对边界精度的影响；在学习rag时，练习修改向量数据库的检索相似度函数，对比召回率与准确率的权衡。课程不涉及底层算法原理，但会演示如何通过API和脚本整合模型服务，适合需要快速上手工具链的职场学习者。学完后能独立完成模型部署、数据处理和结果优化等环节，直接应用于业务场景。

课程目录

1_课程简介_ev.mp4
 2.GPT系列算法概述_ev.mp4
 3.GPT三代版本分析_ev.mp4
 4.GPT初代版本要解决的问题_ev.mp4
 5.GPT第二代版本训练策略_ev.mp4
 6.采样策略与多样性_ev.mp4
 7.GPT3的提示与生成方法_ev.mp4
 8.应用场景CODEX分析_ev.mp4
 9.DEMO应用演示_ev.mp4
 10.生成模型可以完成的任务概述_ev.mp4
 11.数据样本生成方法_ev.mp4
 12.训练所需参数解读_ev.mp4
 13.模型训练过程_ev.mp4
 14.部署与网页预测展示_ev.mp4
 15.chatgpt概述_ev.mp4
 16.挑战及其与有监督问题差异_ev.mp4
 17.强化学习登场_ev.mp4
 18.强化学习的作用效果_ev.mp4
 19.奖励模型设计方法_ev.mp4
 20.RLHF训练流程解读_ev.mp4
 21.总结分析_ev.mp4
 22.大模型如何做下游任务_ev.mp4
 23.LLM落地微调分析_ev.mp4
 24.LLAMA与LORA介绍_ev.mp4
 25.LORA微调的核心思想_ev.mp4
 26.LORA模型实现细节_ev.mp4
 27.提示工程的作用_ev.mp4
 28.项目数据解读_ev.mp4
 29.源码调用DEBUG解读_ev.mp4
 30.训练流程演示_ev.mp4
 31.效果演示与总结分析_ev.mp4
 32.langchain框架解读_ev.mp4
 33.基本API调用方法_ev.mp4
 34.数据文档切分操作_ev.mp4
 35.样本索引与向量构建_ev.mp4
 36.数据切块方法_ev.mp4
 37.DEMO效果演示_ev.mp4
 38.论文解读分析_ev.mp4
 39.完成的任务分析_ev.mp4
 40.数据闭环方法_ev.mp4
 41.预训练模型的作用_ev.mp4
 42.Decoder的作用与项目源码_ev.mp4
 43.分割任务模块设计_ev.mp4
 44.实现细节分析_ev.mp4
 45.总结分析_ev.mp4
 46.视觉QA要解决的问题_ev.mp4
 47.论文概述分析_ev.mp4
 48.实现流程路线图_ev.mp4
 49.答案关注区域分析_ev.mp4
 50.VQA任务总结_ev.mp4
 51.扩散模型概述与GAN遇到的问题_ev.mp4
 52.要完成的任务分析_ev.mp4
 53.公式原理推导解读_ev.mp4
 54.分布相关计算操作_ev.mp4
 55.算法实现细节推导_ev.mp4
 56.公式推导结果分析_ev.mp4
 57.细节实现总结_ev.mp4
 58.论文流程图解读_ev.mp4
 59.案例流程分析_ev.mp4
 60_.基本建模训练效果_ev.mp4
 61.论文基本思想与核心模块分析_ev.mp4
 62.不同模块对比分析_ev.mp4
 63.算法核心流程解读_ev.mp4
 64.各模块实现细节讲解_ev.mp4
 65.项目整体流程分析_ev.mp4
 66.源码实现细节分析_ev.mp4
 67.源码公式对应论文分析_ev.mp4
 68.Decoder模块实现细节解读_ev.mp4
 69.源码实现流程总结_ev.mp4
 70.对比学习要解决的问题分析_ev.mp4
 71.正负样本构建方法_ev.mp4
 72.Simclr框架流程分析_ev.mp4
 73.下游任务应用概述_ev.mp4
 74.视觉自监督任务分析_ev.mp4
 75.任务训练目标分析_ev.mp4
 76.建模流程分析与效果展示_ev.mp4
 77.codebook模块的作用_ev.mp4
 78.任务总结分析_ev.mp4
 79.BEITV2版本论文出发点解读_ev.mp4
 80.自监督任务中两大核心任务分析_ev.mp4
 81.整体网络架构图分析_ev.mp4
 82.框架实现细节流程分析_ev.mp4
 83.论文细节模块实现解读_ev.mp4
 84.mmselfup源码实现解读_ev.mp4
 85.网络结构搭建细节解读_ev.mp4
 86.源码实现流程总结_ev.mp4
 87.BEV要解决的问题通俗解读_ev.mp4
 88.BEV中的3D与4D分析_ev.mp4
 89.特征融合过程中可能遇到的问题_ev.mp4
 90.BEV汇总特征方法实例解读_ev.mp4
 91.DeformableAttention回顾_ev.mp4
 92.空间注意力模块解读_ev.mp4
 93.时间模块与拓展补充_ev.mp4
 94.论文知识点分析_ev.mp4
 95.核心模块论文分析_ev.mp4
 96_.整体架构总结_ev.mp4
 97.环境配置方法解读_ev.mp4
 98.数据集下载与配置方法_ev.mp4
 99.特征提取以及BEV空间初始化_ev.mp4
 100.特征对齐与位置编码初始化_ev.mp4
 101.Reference初始点构建_ev.mp4
 102.BEV空间与图像空间位置对应_ev.mp4
 103.注意力机制模块计算方法_ev.mp4
 104.BEV空间特征构建_ev.mp4
 105.Decoder要完成的任务分析_ev.mp4
 106_.获取当前BEV特征_ev.mp4
 107_.Decoder级联校正模块_ev.mp4
 108_.损失函数与预测可视化_ev.mp4
 109.DeformableAttention概述分析_ev.mp4
 110.可变形偏移量分析_ev.mp4
 111.应用场景分析解读_ev.mp4
 112.论文计算公式解读_ev.mp4
 113.整体框架流程实例_ev.mp4
 114.下游任务应用场景_ev.mp4
 资料.rar