面对海量试错数据，如何从无序的交互中提炼出最优决策策略，是强化学习领域的核心难题。这套课程并非浅尝辄止的入门科普，而是聚焦于算法落地与工程实现的系统性训练。它解决了初学者从“看懂数学公式”到“能调通代码、理解收敛逻辑”之间的巨大鸿沟。主要面向已具备Python基础、熟悉NumPy等数值计算库，且对机器学习基本参数有一定认知的开发者或转行者。若你连基础的梯度下降或概率图模型概念都未接触过，建议先补齐前置知识，否则后续章节的代码调试会消耗大量时间在基础报错上。
建议的学习路径应严格遵循从模型驱动到无模型、从离散到连续的渐进逻辑。切忌跳过第四章直接看DQN。首先，务必夯实第四章“马尔可夫随机过程”的基础，重点吃透马尔可夫决策过程（MDP）与贝尔曼方程，这是所有后续算法的数学底座，需配合代码实现反复验证状态转移逻辑。紧接着攻克第六章“经典无模型方法”，这是许多从业者容易遗忘但至关重要的环节。通过手写蒙特卡洛与Q-Learning算法，你会深刻理解时序差分（TD）的学习机制与探索-利用平衡（如epsilon-greedy策略）的细节，这些直觉在后续调试深度网络时极为关键。第七章将视线转向深度Q网络（DQN），重点不在背书，而在解决DQN四大陷阱的经验回放、目标网络、奖励裁剪与双深度等改进措施，代码实现部分需逐行拆解，理解每个组件对稳定性的贡献。
学完前七章，你将具备独立搭建离散动作空间强化学习Agent的能力，能处理如网格世界、迷宫导航或简单的游戏控制任务。针对连续动作场景，需进阶至第九章“演员-评论家算法”，这里涉及DDPG与SAC（软演员-评论家）等先进架构。这一部分对工程能力要求较高，重点在于理解策略网络与价值网络的协同更新机制，以及SAC中最大熵目标函数对探索的促进作用。若有余力，第十一章的进阶内容如基于人类反馈的强化学习（RLHF）与大模型结合是当前工业界的热点，适合关注AI落地前沿的读者深入研读。
在资料配合练习方面，视频中的代码演示并非终点。每章末尾的代码实现视频应作为起点，建议自行搭建最小复现环境，尝试修改超参数（如学习率、折扣因子gamma）观察收敛曲线变化，或更换游戏环境测试算法鲁棒性。不要盲目追求跑通代码，而应关注损失函数曲线、奖励均值波动等指标背后的物理意义。将这套课程作为构建完整RL知识图谱的骨架，结合Sutton的经典教材查漏补缺，方能将算法原理转化为解决实际工程问题的能力。
课程目录
📁 第—章 欢迎来到强化学习的世界 1_1-1-课程内容和理念.mp4 [58.5 MB] 3_1-3-课程使用的技术栈.mp4 [7.6 MB] 2_1-2-认识强化学习.mp4 [28.8 MB] 📁 第六章 经典无模型方法：离散世界的价值最大化 6_6-6-SARSA算法.mp4 [11.1 MB] 4_6-4-广义策略迭代.mp4 [10.7 MB] 7_6-7-Q-Learning&SARSA代码实现.mp4 [13.2 MB] 3_6-3-蒙特卡洛方法和时序差分代码实现.mp4 [13.4 MB] 2_6-2-时序差分方法.mp4 [18.3 MB] 1_6-1-蒙特卡洛方法.mp4 [17.9 MB] 5_6-5-Q-Learning算法.mp4 [17.7 MB] 📁 第七章 深度Q网络：他山之石，可以攻玉 4_7-4-DQN改进算法代码实现.mp4 [18.2 MB] 1_7-1-深度Q网络核心思想和原理.mp4 [24.0 MB] 2_7-2-DQN-代码实现.mp4 [19.7 MB] 3_7-3-常见问题改进和扩展.mp4 [14.9 MB] 📁 第四章 马尔可夫随机过程：憧憬和行动中追寻生命的意义 3_4-3-马尔可夫决策过程：试着-“干”.mp4 [16.5 MB] 8_4-8-马尔可夫过程代码实现.mp4 [21.2 MB] 1_4-1-序列建模与概率图模型.mp4 [21.4 MB] 6_4-6-模型分类与选择.mp4 [17.7 MB] 5_4-5-贝尔曼方程：迭代求解价值函数.mp4 [16.8 MB] 7_4-7-常见问题解析.mp4 [11.5 MB] 2_4-2-马尔可夫观测过程：学会“看”.mp4 [22.3 MB] 4_4-4-马尔可夫奖励过程：懂得“想”.mp4 [27.0 MB] 📁 第九章 演员-评论家算法：戏为兄弟，共荣共生 5_9-5-DDPG算法代码实现.mp4 [16.1 MB] 6_9-6-软性演员评论家算法.mp4 [23.9 MB] 4_9-4-深度确定性策略梯度.mp4 [18.1 MB] 7_9-7-SAC代码实现.mp4 [21.5 MB] 2_9-2-改进型演员评论家算法.mp4 [13.4 MB] 3_9-3-演员评论家算法代码实现.mp4 [13.0 MB] 1_9-1-演员评论家算法核心思想和原理.mp4 [12.8 MB] 📁 第十一章 进阶强化学习：欲穷千里目，更上一层楼 4_11-4-MADDP的代码实现.mp4 [24.6 MB] 1_11-1模仿学习.mp4 [24.6 MB] 6_11-6-基于人类反馈大强化学习.mp4 [23.4 MB] 3_11-3-多智能体强化学习.mp4 [22.9 MB] 5_11-5-AlphaStar系统.mp4 [46.6 MB] 2_11-2-博弈论与强化学习.mp4 [32.6 MB] 📁 第八章 深度策略梯度方法：行胜于言，止于至善 5_8-5-近端策略优化（PPO）代码实现.mp4 [19.4 MB] 1_8-1-策略梯度核心思想和原理.mp4 [22.7 MB] 3_8-3-策略梯度方法代码实现.mp4 [11.4 MB] 2_8-2-蒙特卡洛策略梯度.mp4 [13.3 MB] 4_8-4-近端策略优化算法.mp4 [19.7 MB] 📁 第十二章 强化学习实战：绝知此事要躬行 1_12-1-项目实战：Gym游戏.mp4 [34.4 MB] 4_12-4-下一步的学习建议.mp4 [20.9 MB] 3_12-3-强化学习最新发展趋势.mp4 [38.6 MB] 2_12-2-项目实战：大模型RLHF.mp4 [21.9 MB] 📁 第三章 环境安装和工具使用：工欲善其事，必先利其器 4_3-4-仿真环境Gym安装.mp4 [10.8 MB] 2_3-2-conda使用命令.mp4 [8.3 MB] 5_3-5-深度学习库PyTorch的安装.mp4 [5.8 MB] 3_3-3-Jupyter-Notebook快速上手.mp4 [8.7 MB] 1_3-1-CUDA+Anaconda深度学习环境配置.mp4 [11.5 MB] 📁 第十章 基于模型的强化学习：看不见的上帝之手 2_10-2-Dyna-Q算法.mp4 [25.0 MB] 4_10-4-基于模型的策略优化.mp4 [12.3 MB] 5_10-5-MBPO的代码实现.mp4 [35.0 MB] 3_10-3-Dyna-Q算法代码实现.mp4 [11.8 MB] 1_10-1-基于模型的强化学习核心思想和原理.mp4 [28.5 MB] 📁 第五章 动态规划方法：理想国中的完美人生 1_5-1-动态回归核心思想和原理.mp4 [15.8 MB] 3_5-3-价值迭代.mp4 [10.7 MB] 4_5-4-动态规划代码实现.mp4 [23.5 MB] 2_5-2-策略迭代.mp4 [21.3 MB] 📁 第二章 数学知识回顾：凡事预则立，不预则废 2_2-2-微积分.mp4 [17.4 MB] 3_2-3-概率.mp4 [25.8 MB] 1_2-1-线性代数.mp4 [16.5 MB]
