机器学习-手写决策树算法-李晓华博士

不调包，手写决策树到底值不值得学

市面上大量机器学习教程都在教你怎么调包：导入 sklearn，填几个参数，跑出准确率就算完事。这门课反其道而行，核心场景只有一个：带你从零手写决策树的分类与回归算法，不依赖现成库。如果你正准备算法岗面试，或者做模型时总被业务方追问“树到底是怎么分裂的、基尼系数怎么算”，这种追问往往暴露出你对底层机制不熟。手写一遍，正是补上这块短板的最短路径。它不解决“怎么快速上线一个风控模型”这种工程问题，而是解决“你到底懂不懂这棵树怎么长出来”的认知问题。对转行的人来说，能不能讲清楚手写逻辑，常常是区分真懂还是只会调包的分水岭。

什么基础能看，建议先啃哪几块

这门资料不适合零基础。你需要具备 Python 基本语法能力，能用 numpy 做数组切片和向量运算，同时大概知道信息增益、基尼不纯度这些概念的字面意思。不要求你精通微积分，但得理解求最大值、做条件判断的代码逻辑。资料整体分为概述、调包体验、分类树手写、回归树手写四个部分。建议先看概述和调包体验这两块，用现成库跑一遍数据，建立对模型输入输出的直观感受。接着直接进入分类树的手写部分，这是全课最核心的内容，代码量最大，涉及节点分裂、递归建树、剪枝判断。回归树部分可以在吃透分类树后再看，因为分裂准则变成了方差最小化，逻辑一脉相承。看视频时务必开着编辑器同步敲，不要只盯屏幕。

学完能独立做什么，资料怎么配合练

啃完这套资料，你能独立用纯 Python 实现一棵决策树，包括处理离散与连续特征、计算分裂增益、递归生成树结构，并完成分类和回归两种预测任务。更重要的是，再遇到面试题或模型调优瓶颈时，你能从底层代码层面去排查问题，而不是只能盲目改参数。配合练习的方法很具体：先跟着视频逐行复现代码，确保树能跑通；然后自己造一份小数据集，比如十来条带标签的表格数据，用你写的树和 sklearn 的树分别预测，对比结果是否一致。如果结果有偏差，就去查分裂点的选择逻辑。最后尝试加一个停止条件，比如限制树的最大深度，看看预测结果怎么变化。把这几个动作做完，这套资料才算真正消化成你自己的东西。