解决什么工作场景

这套资料聚焦多模态AI模型的开发与落地。它解决的核心场景是:当业务线需要把图文检索、图像内容生成文本描述、跨模态推荐这类需求做成可运行的产品时,工程师往往只懂调文本或只懂调视觉接口,遇到两者融合就卡壳。课程围绕文本、图像等模态的融合展开,覆盖自监督算法原理、下游任务设计,以及具体的跨模态检索和图像描述生成案例。如果你现在的痛点是“能跑通单点模型,但无法把多模态链路串起来交付”,这套资料直接对准这个问题。

适合什么基础与学习顺序

内容不适合零基础转行者。它默认你已经熟悉Python,能看懂常见深度学习框架的模型代码,且有基础的计算机视觉或自然语言处理概念。资料按“理论—下游任务—案例实操”排布。建议先看理论基础和自监督算法两块,理解多模态对齐的数学逻辑;接着看下游任务介绍,建立全局认知;最后重点啃案例部分,尤其是图搜和跨模态检索的完整流程。案例代码是核心,不要只看视频,必须同步在本地跑通。

学完能独立做什么与练习建议

学完后,你应该能独立完成一个跨模态检索系统的原型搭建:从数据预处理、多模态特征提取、特征对齐,到模型训练与部署。配合练习时,建议先跟着案例代码复现一遍,理解模型输入输出的张量变化;然后替换案例中的数据集,用自己搜集的小规模图文数据重新训练,验证是否真正掌握。资料里的案例是参考实现,不是万能模板,重点在于理解其特征融合的设计逻辑,再迁移到自己的业务场景。


当AI从“单一模态交互”迈入“文本、图像、语音、视频多维度融合”的新时代,多模态技术已成为大厂AI岗位的核心招聘要求,更是创业创新的黄金赛道!深度之眼重磅推出《多模态实战班》,带你从技术原理到商业落地,全流程掌握多模态模型开发、训练与部署,成为稀缺的多模态AI实战人才🌟

课程目录

*   02 【01课】开营预告.mp4 (54.48 MB)

*   05 【02课】理论基础介绍.mp4 (427.99 MB)

*   07 【03课】自监督算法与图搜案例.mp4 (421.15 MB)

*   08 【04课】多模态下游任务介绍.mp4 (386.00 MB)

*   09 【05课】案例1:Image Captioning(上).mp4 (494.56 MB)

*   10 【06课】案例1:Image Captioning(下).mp4 (383.45 MB)

*   11 【07课】案例2:阿里电商跨模态检索案例(上).mp4 (549.92 MB)

*   12 【08课】案例2:阿里电商跨模态检索案例(下).mp4 (502.14 MB)

*   13 【09课】案例总结+答疑.mp4 (403.30 MB)

*   14 【10课】项目讲演1 AI智能文案.mp4 (328.42 MB)

*   15 【11课】项目讲演2 多模态手机相册管理与检索.mp4 (480.01 MB)

*   16 【12课】项目讲演3 AI唇语识别(上).mp4 (529.87 MB)

*   17 【13课】项目讲演3 AI唇语识别(下).mp4 (447.52 MB)

*   18 【14课】 项目讲演4:基于深度多模态目标检测及语义分割的自动驾驶(上).mp4 (486.78 MB)

*   19 【15课】项目讲演4:基于深度多模态目标检测及语义分割的自动驾驶(下).mp4 (295.26 MB)

*   20 【16课】项目讲演:智能电商搜索.mp4 (306.92 MB)

*   21 【17课】复盘总结+输出demo作业.mp4 (298.44 MB)

*   【试看内容】/

  *   01 【00课】开营预告.mp4 (195.54 MB)