飞豹客 · 课能看,资料也能带走
飞豹客体系课

Spark+ES+ClickHouse 构建DMP用户画像

这门课解决什么问题 课程聚焦于用 Spark、ES 和 ClickHouse 构建 DMP 用户画像系统,适合希望解决数据整合与标签化场景问题的职场人士。它不侧重理论,而是通过一个完整的项目实践,展示如何将用户数据转化为可分析的特征和标签,最终形成用户画像。具体场景包括广告投放优化、精准营销、用户分

单课价¥24.00新品 上架
会员价¥4.80开通会员,全站课程按会员价下载套餐详情
123 人关注 更新于 2026-09-22 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥24.00

会员 A · 按档位折扣

永久¥9.604折
年¥12.005折
月¥14.406折
周¥16.807折

会员 B

VIP¥4.80低至
SVIP单买¥200 内可领

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

这门课解决什么问题

课程聚焦于用 Spark、ES 和 ClickHouse 构建 DMP 用户画像系统,适合希望解决数据整合与标签化场景问题的职场人士。它不侧重理论,而是通过一个完整的项目实践,展示如何将用户数据转化为可分析的特征和标签,最终形成用户画像。具体场景包括广告投放优化、精准营销、用户分层管理等。学完后能独立完成从数据接入、清洗、特征提取到标签打标和画像生成的全链路开发工作。

适合什么基础及学习顺序

课程要求学员具备 Spark、ES、ClickHouse 基础操作能力,熟悉 Python 或 Scala 编程,以及数据结构与 SQL 基础。全课分为项目介绍、环境搭建、特征工程、标签体系构建和群体用户画像构建五个部分。建议学习顺序为:先通过第 1 章了解项目整体架构和技术选型,再进入第 2 章用 Docker 快速部署开发环境。核心部分从第 3 章开始,其中特征工程(含数据清洗、维度透视等实践)和标签体系构建(涉及规则配置和算法选择)是基础,群体用户画像构建(侧重动态更新与可视化)则需在前两部分掌握后进行。资料中的代码片段需结合实际业务需求调整,配合课后练习题巩固。

学完能独立做什么

学完后能独立搭建 Spark+ES+ClickHouse 开发环境,配置集群资源;基于业务逻辑设计用户特征工程方案,实现数据预处理和衍生字段生成;构建标签体系,包括业务标签和算法标签的规则配置与动态更新;生成群体用户画像,支持按需筛选和实时查询,输出可视化报表。资料中的工具和流程设计需根据实际业务调整,而非直接套用。学习过程中应重点关注环境搭建的步骤和特征工程中的数据转换逻辑,结合资料中的示例代码进行实操,确保理解每个模块的技术实现细节。

课程介绍

Spark+ES+ClickHouse 构建DMP用户画像 属于体系课方向的教程资源,围绕 体系课 相关内容整理。

内容涵盖:DMP用户画像项目介绍、项目环境搭建、DMP和用户画像、用户画像搭建之特征工程、用户画像搭建之标签体系构建、用户画像搭建之群体用户画像构建 等主题。

适合希望系统学习 体系课 、需要完整资料对照的同学。

下方为完整资料与目录,可先看目录判断是否符合需要。

第1章 DMP用户画像项目介绍
1-1 关于这门课,你需要知道的 (08:34)
1-2 DMP项目的意义和课程的侧重点 (09:46)
1-3 DMP项目架构及各个模块介绍 (09:35)
1-4 项目技术选型及各组件版本 (04:30)
1-5 【知识点梳理】本章重难点总结
第2章 项目环境搭建
2-1 本章重点及学习计划 (01:59)
2-2 基于docker一键部署大数据开发环境 (12:34)
2-3 【项目文档】环境部署步骤
2-4 数据准备:表结构和数据导入Hive数仓 (16:06)
2-5 【项目文档】表结构和数据导入Hive数仓步骤
2-6 数据准备:Hive,ES,ClickHouse导入人群标签数据 (15:50)
2-7 【项目文档】Hive,ES,ClickHouse导入人群标签数据步骤
2-8 环境搭建和数据导入的常见问题及解决方案 (05:18)
2-9 【项目文档】 项目整体架构及整体流程
2-10 【项目文档】Hive、Hbase、ES、clickhouse表结构
2-11 Springboot+JdbcTemplate+druid整合Hive(上) (11:58)
2-12 Springboot+JdbcTemplate+druid整合Hive(下) (13:26)
2-13 Springboot+Mybatis+phoenix整合Hbase (30:48)
2-14 Springboot整合ClickHouse(上) (17:00)
2-15 Springboot整合ClickHouse(下) (06:32)
2-16 Spark+phoenix整合Hbase (19:53)
第3章 DMP和用户画像
3-1 本章重点及学习计划 (01:39)
3-2 用户画像是如何生成的 (05:34)
3-3 用户画像的标签维度 (04:12)
3-4 如何构建高质量的用户画像 (06:31)
3-5 用户画像和特征工程 (03:30)
3-6 DMP用户画像的正确使用场景 (04:49)
3-7 【知识点梳理】本章重难点总结
第4章 用户画像搭建之特征工程
4-1 本章重点及学习计划 (02:59)
4-2 特征工程流程 (06:08)
4-3 数值型数据的特征提取 (07:32)
4-4 文本型数据的特征提取 (07:48)
4-5 使用Spark实现中文分词+TF-IDF (17:34)
4-6 Spark基于TF-IDF+SVM实现电商商品评论情感提取(上) (15:32)
4-7 Spark基于TF-IDF+SVM实现电商商品评论情感提取(下) (13:57)
4-8 类别型和时间型数据的特征提取 (06:48)
4-9 构建新特征之特征交叉 (04:50)
4-10 基于FM的特征交叉 (10:22)
4-11 Spark实现基于FM的特征交叉 (41:32)
4-12 特征筛选之GBDT和xgboost (14:16)
4-13 Spark实现基于Xgboost的特征筛选(上) (19:56)
4-14 Spark实现基于Xgboost的特征筛选(下) (13:41)
4-15 特征监控方案设计 (05:27)
4-16 【知识点梳理】本章重难点总结
第5章 用户画像搭建之标签体系构建
5-1 本章重点及学习计划 (01:38)
5-2 电商行业的标签体系以及reachCTR曲线 (11:24)
5-3 用户行为标签的ES存储 (27:21)
5-4 基于TF-IDF的标签权重算法(上) (13:19)
5-5 基于TF-IDF的标签权重算法(中) (11:06)
5-6 基于TF-IDF的标签权重算法(下) (10:32)
5-7 时间衰减因子和用户偏好标签的计算(上) (18:35)
5-8 时间衰减因子和用户偏好标签的计算(下) (20:58)
5-9 ES构建Hbase二级索引对标签进行组合查询 (19:36)
5-10 商品标签与用户画像标签的匹配度 (04:10)
5-11 【知识点梳理】本章重难点总结
第6章 用户画像搭建之群体用户画像构建
6-1 本章重点及学习计划 (01:21)
6-2 朴素贝叶斯分类算法 (09:25)
6-3 使用Spark-ml实现基于朴素贝叶斯预测性别(上) (18:23)
6-4 使用Spark-ml实现基于朴素贝叶斯预测性别(中) (19:55)
6-5 使用Spark-ml实现基于朴素贝叶斯预测性别(下) (05:05)
6-6 基于RFM模型的用户价值划分及Spark代码(上) (06:03)
6-7 基于RFM模型的用户价值划分及Spark代码(下) (21:38)
6-8 使用Spark-ml实现基于Kmeans的用户消费分群 (26:16)
6-9 通过订单数据挖掘用户的的行为属性及Spark代码(上) (15:42)
6-10 通过订单数据挖掘用户的的行为属性及Spark代码(下) (08:19)
6-11 DMP的用户分群 (09:38)
6-12 【知识点梳理】本章重难点总结
第7章 用户画像搭建之DMP人群管理
7-1 本章重点及学习计划 (01:33)
7-2 通过不同算法给用户打上标签后的业务应用 (04:38)
7-3 ES,ClickHouse导入万级人群标签数据 (17:18)
7-4 Mysql导入标签数据 (06:18)
7-5 DMP的标签管理 (12:53)
7-6 DMP生成人群包数据 (19:16)
7-7 人群组合和人群去重 (22:56)
7-8 lookalike的主要算法 (04:14)
7-9 ClickHouse和ES在人群圈选上的对比 (05:40)
7-10 ClickHouse集成Bitmap (10:50)
7-11 基于宽表的ClickHouse人群圈选 (04:40)
7-12 将Hive数据导入到ClickHouse (10:33)
7-13 将Hive数据转换为ClickHouse的Bitmap (11:33)
7-14 基于Bitmap的ClickHouse人群圈选 (16:05)
7-15 本章知识点梳理
第8章 项目展示及版本升级解决方案
8-1 项目完整演示(上) (14:55)
8-2 项目完整演示(下) (12:51)
8-3 Spark模块本地运行完整演示 (05:58)
8-4 Spark模块集群运行完整演示(上) (16:56)
8-5 Spark模块集群运行完整演示(下) (14:27)
8-6 版本升级解决方案 (04:14)
8-7 课程总结 (20:05)

网盘截图:

课程目录

第1章 DMP用户画像项目介绍
第2章 项目环境搭建
第3章 DMP和用户画像
第4章 用户画像搭建之特征工程
第5章 用户画像搭建之标签体系构建
第6章 用户画像搭建之群体用户画像构建
第7章 用户画像搭建之DMP人群管理
第8章 项目展示及版本升级解决方案