课程定位与核心价值

在电商、内容平台及零售行业，构建精准的用户画像标签体系是数据运营和个性化推荐的核心基础设施。这门课程专注于解决如何将海量且杂乱的用户行为日志，转化为具备明确业务价值的结构化标签。它不仅仅停留在算法理论层面，而是深度结合工程落地，涵盖客户价值分层（RFM）、用户活跃度分级（RFE）以及价格敏感度预测（PSM）三大经典模型的全流程开发。

课程重点展示了从数据接入、特征工程、模型训练到结果落地的完整闭环。通过ID-Mapping统一用户识别技术，解决多源数据下的用户身份关联问题；通过通用的标签模型开发框架，实现标签定义的标准化与代码的复用。这对于希望进入大数据开发、数据挖掘或数据分析领域的从业者而言，是构建具备实战意义的项目经验的关键路径。

学习门槛与前置要求

本课程具有明确的进阶属性，不适合零基础的编程初学者。学员需具备扎实的Python编程能力，能够熟练使用Linux环境进行脚本编写与调试。同时，必须对Spark生态体系有基本认知，特别是Spark SQL和PySpark的常用API，因为课程中的主要计算任务均基于Spark分布式框架完成。

此外，课程涉及KMeans聚类算法在业务场景中的应用，以及ID-Mapping中的连通图算法，这要求学员具备一定的机器学习基础，理解距离度量、特征归一化等概念。对于HBase分布式存储架构，建议学员提前了解其行键设计与读写机制，以便更好地掌握标签数据的持久化方案。若缺乏上述背景，建议在正式学习前补齐相关基础知识，以确保学习流畅度。

学习路径与资料使用建议

建议的学习顺序遵循“由易到难、由单点到系统”的原则。首先深入学习RFM模型，重点掌握总价值计算、模型调优中的超参数调整及特征归一化，这是理解后续复杂模型的基础。其次攻克RFE活跃度模型，重点理解访问日志数据的清洗与时间窗口特征的计算逻辑。随后挑战难点PSM价格敏感度模型，详细研读其业务逻辑转换及KMeans聚类的具体实现。最后，务必重视标签模板开发部分，通过重构AbstractModel基类和封装HBase工具类，掌握企业级代码规范。

资料包中的视频文件是核心学习载体，但切忌被动观看。每学完一个模型，务必动手复现代码，特别是在ID-Mapping和PSM部分，需独立实现数据连通和聚类打标逻辑。建议将视频内容与源码对照阅读，关注数据在不同节点间的流转细节，确保能独立搭建并运行完整的标签生产流水线，最终产出可展示的工作成果。

课程目录

📁 day08_20201012 19_ID-Mapping：统一用户识别（构建连通图）.wmv [47.5 MB] 15_用户活跃度模型RFE：组合特征和训练模型.wmv [71.3 MB] 03_今日课程内容提纲.wmv [18.8 MB] 18_ID-Mapping：标识符引入及认识标识符.wmv [40.7 MB] 20_价格敏感度模型PSM：PSM概念和功能.wmv [28.5 MB] 07_客户价值模型RFM：模型调优【调整超参数】.wmv [64.0 MB] 26_价格敏感度模型PSM：训练KMeans聚类模型和打标签.wmv [60.2 MB] 22_价格敏感度模型PSM：使用KMeans对单值特征聚类.wmv [39.2 MB] 06_客户价值模型RFM：模型调优【特征归一化】.wmv [98.8 MB] 05_客户价值模型RFM：模型调优概述.wmv [33.4 MB] 01_上次课程内容回顾：聚类KMeans算法.mp4
 [43.2 MB] 23_价格敏感度模型PSM：计算PSM值业务逻辑.wmv [26.4 MB] 10_客户价值模型RFM：总述开发算法模型流程.wmv [21.2 MB] 08_客户价值模型RFM：保存加载模型（一）.wmv [49.2 MB] 25_价格敏感度模型PSM：计算PSM值代码实现.wmv [74.3 MB] 13_用户活跃度模型RFE：新建标签及标签模型类.wmv [30.2 MB] 17_用户活跃度模型RFE：KMeans算法模型标签计算.wmv [43.8 MB] 14_用户活跃度模型RFE：加载访问日志数据计算RFE和打分.wmv [39.5 MB] 02_上次课程内容回顾：客户价值模型RFM.wmv [55.8 MB] 16_用户活跃度模型RFE：标签计算.wmv [38.3 MB] 09_客户价值模型RFM：保存加载模型（二）.wmv [121.6 MB] 24_价格敏感度模型PSM：计算PSM值业务逻辑.wmv [25.9 MB] 11_用户活跃度模型RFE：用户活跃度及用户生命周期.wmv [35.2 MB] 21_价格敏感度模型PSM：PSM计算方式.wmv [36.4 MB] 04_客户价值模型RFM：算法模型构建流程步骤.wmv [45.3 MB] 27_价格敏感度模型PSM：算法中距离度量方法.mp4
 [19.7 MB] 12_用户活跃度模型RFE：RFE模型概述及实践应用.wmv [21.1 MB] 📁 day03_20200928 03_上次课程内容回顾：标签模型应用调度.wmv [29.5 MB] 07_标签模型开发【用户性别标签】：新建标签（4级和5级）.wmv [47.9 MB] 12_工具类HBaseTools：read加载数据(三）.wmv [37.7 MB] 04_上课课程内容回顾：项目模块及标签模型流程.wmv [38.5 MB] 10_工具类HBaseTools：read加载数据(一）.wmv [53.0 MB] 34_标签模型开发【标签模板】：属性配置文件及解析.wmv [52.4 MB] 35_标签模型开发【标签模板】：创建SparkSession实例思路.wmv [40.4 MB] 38_标签模型开发【标签模板】：重构标签基类AbstractModel.wmv [24.1 MB] 26_标签模型开发【用户职业标签】：计算标签方式.wmv [22.2 MB] 08_标签模型开发【用户性别标签】：编写模型主类（SparkSession构建）.wmv [12.7 MB] 01_额外：项目学习建议.mp4
 [18.8 MB] 06_标签模型开发【用户性别标签】：整体概述说明.wmv [10.6 MB] 25_标签模型开发【用户职业标签】：采用UDF函数打标签.wmv [77.8 MB] 33_标签模型开发【政治面貌标签】：编码实现和测试.wmv [64.3 MB] 11_工具类HBaseTools：read加载数据(二）.wmv [25.4 MB] 13_工具类HBaseTools：write保存数据（一）.wmv [32.4 MB] 14_工具类HBaseTools：write保存数据（二）.wmv [19.7 MB] 09_工具类HBaseTools：方法声明定义.wmv [27.9 MB] 27_标签模型开发【用户职业标签】：规则匹配类型标签工具类.wmv [22.0 MB] 36_标签模型开发【标签模板】：Typesafe获取某属性文件值.wmv [24.1 MB] 15_标签模型开发【用户性别标签】：标签数据读取.wmv [40.5 MB] 23_标签模型开发【用户职业标签】：新建标签.wmv [20.0 MB] 19_标签模型开发【用户性别标签】：保存画像标签数据.wmv [17.8 MB] 30_标签模型开发【标签模板】：标签基类BasicModel结构.wmv [18.9 MB] 24_标签模型开发【用户职业标签】：构建SparkSession（集成Hive）.wmv [21.3 MB] 20_标签模型开发【用户性别标签】：回顾标签模型开发步骤.wmv [30.2 MB] 22_标签模型开发【用户职业标签】：确立标签.wmv [14.7 MB] 32_标签模型开发【政治面貌标签】：需求分析及新建标签.wmv [23.4 MB] 29_标签模型开发【标签模板】：模板方法模式（Template）.wmv [8.4 MB] 16_标签模型开发【用户性别标签】：业务标签规则.wmv [29.8 MB] 21_标签模型开发【规则匹配类型标签开发概述】.wmv [18.1 MB] 17_标签模型开发【用户性别标签】：HBase数据源Meta和读取业务数据.wmv [36.7 MB] 02_上次课程内容回顾：业务数据迁移ETL.wmv [31.7 MB] 05_今日课程内容提纲.wmv [33.4 MB] 39_标签模型开发【标签模板】：测试类（职业标签）.mp4
 [41.9 MB] 37_标签模型开发【标签模板】：工具类SparkUitls.wmv [57.2 MB] 31_标签模型开发【标签模板】：标签基类BasicModel具体代码.wmv [31.4 MB] 28_标签模型开发【标签模板】：标签模型代码重构概述.wmv [34.2 MB] 18_标签模型开发【用户性别标签】：构建标签.wmv [42.0 MB] 📁 day09_20201014 08_用户购物性别模型USG：决策树构造及优缺点.wmv [51.9 MB] 05_用户购物性别模型USG：USG模型构建过程（一）.wmv [39.7 MB] 01_上次课程内容回顾：算法模型调优.mp4
 [31.0 MB] 23_用户购物性别模型USG：模型超参数设置ParamGrid.wmv [11.7 MB] 07_用户购物性别模型USG：决策树是什么.wmv [27.0 MB] 12_用户购物性别模型USG：新建标签.wmv [41.7 MB] 09_用户购物性别模型USG：决策树算法实现（ID3、C4.5和CART）.wmv [88.1 MB] 11_用户购物性别模型USG：决策树分类官方案例（二）.wmv [64.9 MB] 17_用户购物性别模型USG：训练算法模型并预测（一）.wmv [75.7 MB] 10_用户购物性别模型USG：决策树分类官方案例（一）.wmv [45.5 MB] 20_用户购物性别模型USG：Pipeline 官方案例.wmv [43.1 MB] 22_用户购物性别模型USG：训练验证分割和交叉验证区别.wmv [34.3 MB] 24_用户购物性别模型USG：TrainValidationSplit模型调优.wmv [40.9 MB] 03_今日课程内容提纲.wmv [61.0 MB] 02_上次课程内容回顾：RFE和PSM标签.wmv [36.0 MB] 14_用户购物性别模型USG：加载订单表和维度表数据.wmv [21.6 MB] 06_用户购物性别模型USG：USG模型构建过程（二）.wmv [57.3 MB] 04_用户购物性别模型USG：USG模型概念理解.wmv [27.6 MB] 15_用户购物性别模型USG：构建维度表数据为WHEN条件语句.wmv [55.4 MB] 19_用户购物性别模型USG：Pipeline管道模型.wmv [40.1 MB] 13_用户购物性别模型USG：涉及订单表和维度表分析.wmv [33.9 MB] 25_用户购物性别模型USG：CrossValidator模型调优.mp4
 [51.3 MB] 16_用户购物性别模型USG：标注数据和打标签.wmv [93.5 MB] 21_用户购物性别模型USG：训练Pipeline模型.wmv [71.3 MB] 18_用户购物性别模型USG：训练算法模型并预测（二）.wmv [42.0 MB] 📁 day06_20201009 14_机器学习入门：线性回归算法实现之最小二乘法.wmv [39.5 MB] 16_机器学习入门：波士顿房价预测模型（一）.wmv [95.5 MB] 18_机器学习入门：逻辑回归分类算法概述（Sigmoid）函数.mp4
 [35.2 MB] 09_机器学习入门：鸢尾花数据【特征提取】.wmv [78.6 MB] 05_机器学习入门：ML定义及数据特征features.wmv [73.2 MB] 03_今日课程内容提纲.wmv [16.2 MB] 17_机器学习入门：波士顿房价预测模型（二）.wmv [67.2 MB] 02_上次课程内容回顾：推荐算法ALS.wmv [90.2 MB] 07_机器学习入门：机器学习算法库SK-Learn和SparkMLlib.wmv [45.8 MB] 11_机器学习入门：鸢尾花数据【特征features标准化】.wmv [38.4 MB] 06_机器学习入门：ML算法分类.wmv [66.1 MB] 01_上次课程内容回顾：自定义外部数据源HBase（加强版）.mp4
 [51.3 MB] 13_机器学习入门：线性回归算法概述.wmv [44.6 MB] 15_机器学习入门：线性回归算法实现之梯度下降法.wmv [27.7 MB] 08_机器学习入门：相关术语概念.wmv [32.5 MB] 10_机器学习入门：鸢尾花数据【类别标签label索引化】.wmv [53.8 MB] 12_机器学习入门：鸢尾花数据构建逻辑回归分类模型.wmv [88.7 MB] 04_机器学习入门：AI发展浪潮和机器学习核心三要素.wmv [74.2 MB] 📁 day02_20200927 02_今日课程内容提纲.wmv [21.0 MB] 18_标签存储与计算：标签存储设计.wmv [21.2 MB] 19_标签存储与计算：标签计算引擎.wmv [7.9 MB] 06_用户画像业务数据导入：数据导入方式Put和BulkLoad.wmv [15.5 MB] 16_Oozie Java Client API运行Coordinator.wmv [57.3 MB] 12_Oozie调度Spark2：回顾Oozie及工作流组成.wmv [38.5 MB] 26_用户画像模块：标签模型计算（Module创建及设置）.wmv [30.8 MB] 13_Oozie调度Spark2：使用Hue创建工作流和调度器调度Spark2.wmv [50.2 MB] 24_用户画像模块：标签模型测试（新建标签和调度运行）.wmv [39.0 MB] 28_标签开发流程：执行流程（4步骤）.wmv [14.5 MB] 11_用户画像标签数据存储.wmv [28.2 MB] 07_用户画像业务数据导入：HBase ImportTvs中BulkLoad.wmv [53.1 MB] 20_用户画像模块：模块划分及概述.wmv [33.4 MB] 15_Oozie Java Client API运行Workflow.wmv [56.8 MB] 01_上次课程内容回顾.mp4
 [59.5 MB] 05_用户画像业务数据导入：HBase ImportTvs导入logs数据.wmv [52.6 MB] 03_用户画像业务数据导入：数据导入方案.wmv [26.7 MB] 23_用户画像模块：标签管理平台（导入及测试）.wmv [38.1 MB] 25_用户画像模块：标签模型计算（概述及流程.wmv [28.2 MB] 10_用户画像业务数据导入：BulkLoad加载批量数据（Spark）.wmv [79.7 MB] 27_标签开发流程：提交流程（标签规则）.wmv [14.8 MB] 29_Spark 交互HBase：读写表数据.mp4
 [56.6 MB] 14_Oozie Java Client API使用说明.wmv [58.6 MB] 09_用户画像业务数据导入：BulkLoad加载批量数据（MR）.wmv [85.2 MB] 04_用户画像业务数据导入：SQOOP导入HBase表.wmv [22.1 MB] 08_用户画像业务数据导入：BulkLoad加载批量数据（原理）.wmv [44.7 MB] 22_用户画像模块：标签调度（测试及安装Install）.wmv [55.3 MB] 17_标签存储与计算：标签管理.wmv [15.7 MB] 21_用户画像模块：标签调度（导入）.wmv [33.4 MB] 📁 day05_20201007 23_推荐系统入门：ALS算法思想.wmv [43.6 MB] 18_自定义外部数据源HBase：传递WhereCondition测试功能（二）.wmv [52.9 MB] 16_自定义外部数据源HBase：解析WhereCondition动态生成日期范围.wmv [32.1 MB] 22_推荐系统入门：协同过滤算法核心.wmv [29.3 MB] 06_标签模型开发【订单数据相关】：其他标签（订单金额）.wmv [22.5 MB] 28_推荐系统入门：构建电影推荐模型（二）.mp4
 [34.4 MB] 09_自定义外部数据源HBase：过滤条件需求引入.wmv [20.7 MB] 27_推荐系统入门：构建电影推荐模型（一）.wmv [66.3 MB] 17_自定义外部数据源HBase：传递WhereCondition测试功能（一）.wmv [38.5 MB] 02_回顾用户画像：标签系统及模型开发步骤.wmv [32.3 MB] 25_推荐系统入门：创建Maven Module.wmv [43.4 MB] 08_今日课程内容提纲.wmv [56.6 MB] 24_推荐系统入门：矩阵因子模型预测和推荐.wmv [25.5 MB] 26_推荐系统入门：基于RDD 算法API讲解.wmv [39.1 MB] 14_自定义外部数据源HBase：业务标签规则rule传递WhereCondition思路.wmv [27.1 MB] 20_推荐系统入门：推荐引入和协同过滤算法初识.wmv [97.4 MB] 12_自定义外部数据源HBase：字段值过滤【Condition类封装】.wmv [56.3 MB] 03_回顾用户画像：标签模型开发业务逻辑流程.wmv [32.3 MB] 04_回顾用户画像：规则匹配类型标签和统计类型标签核心思路.wmv [48.5 MB] 10_自定义外部数据源HBase：HBase Filter使用.wmv [39.8 MB] 01_上次课程内容回顾：自定义外部数据源HBase.mp4
 [65.0 MB] 13_自定义外部数据源HBase：字段值过滤【测试功能】.wmv [73.9 MB] 15_自定义外部数据源HBase：日期时间工具类DateUtils.wmv [43.1 MB] 05_回顾用户画像：职业标签模型快速开发.wmv [56.9 MB] 07_标签模型开发【订单数据相关】：其他标签（订单状态）.wmv [9.0 MB] 11_自定义外部数据源HBase：字段值过滤【思路分析】及【业务代码】.wmv [48.5 MB] 21_推荐系统入门：推荐算法分类.wmv [91.6 MB] 19_自定义外部数据源HBase：优化标签模型基类.wmv [52.0 MB] 📁 day10_20201015 21_用户购物偏好模型BP：提取用户对物品评分（点击物品次数）.wmv [44.9 MB] 24_总述全方位用户画像（一）.wmv [61.5 MB] 03_集成学习算法：Ensemble Algorithm概述.wmv [37.7 MB] 05_集成学习算法：Bagging算法及随机森林RF.wmv [64.6 MB] 15_用户购物偏好模型BP：推荐算法ALS.wmv [31.1 MB] 09_业务数据多种数据源：重构加载业务数据代码.wmv [52.4 MB] 19_用户购物偏好模型BP：新建标签（用户推荐商品）.wmv [28.6 MB] 10_业务数据多种数据源：加载MySQL表（MySQLMeta）.wmv [103.0 MB] 23_用户购物偏好模型BP：保存推荐商品至HBase表.wmv [65.9 MB] 25_总述全方位用户画像（二）.mp4
 [48.9 MB] 01_上次课程内容回顾：USG模型和决策树算法.mp4
 [50.9 MB] 04_集成学习算法：Bagging算法和Boosting算法.wmv [18.2 MB] 16_基于DataFrame API构建推荐模型：加载数据及数据转换、训练模型.wmv [85.4 MB] 12_业务数据多种数据源：加载HDFS文件（HDFSMeta）.wmv [40.9 MB] 11_业务数据多种数据源：加载Hive表（HiveMeta）.wmv [40.3 MB] 02_上次课程内容回顾：管道Pipeline和模型调优.wmv [59.7 MB] 07_今日课程内容提纲.wmv [40.0 MB] 06_集成学习算法：Boosting 算法和梯度提升树GBT.wmv [27.3 MB] 18_用户购物偏好模型BP：如何获取用户对物品评分（思路分析）.wmv [47.6 MB] 13_用户购物偏好模型BP：Bp模型概述.wmv [9.9 MB] 22_用户购物偏好模型BP：构建ALS算法模型、评估和推荐.wmv [118.3 MB] 08_业务数据多种数据源：多数据源概述.wmv [24.5 MB] 20_用户购物偏好模型BP：标签模型实现思路步骤.wmv [31.6 MB] 14_用户购物偏好模型BP：推荐系统概述.wmv [59.9 MB] 17_基于DataFrame API构建推荐模型：模型推荐、评估和保存加载.wmv [52.3 MB] 📁 day04_20200929 21_标签模型开发【用户年龄段标签】：需求分析及新建标签.wmv [47.2 MB] … 其余 

88 项略，目录共 288 项