**先看清赛道:这是算法岗的“内功”修炼**
如果你正在求职自动驾驶算法岗,或者在车企、机器人公司负责感知与规划模块,这门课解决的是“知其然不知其所以然”的问题。市面上的教程很多只教你调用现成的 PyTorch 模块,但当你面对真实的点云数据、需要调整模型推理速度、或者在仿真环境中优化控制策略时,底层逻辑的缺失会成为最大瓶颈。这套资料聚焦于全栈算法的核心逻辑,包括传感器数据融合、深度学习在感知端的工程化落地,以及规划控制中数学模型的实际应用。它不承诺包就业,也不讲泛泛的行业趋势,而是直接切入代码实现与参数调优的痛点,适合那些已经具备 Python 和基础线性代数知识,想从“调参侠”进阶为能独立设计模块的工程师。
**基础门槛与阅读策略**
请务必确认你具备扎实的 C++ 或 Python 编程基础,以及基本的机器学习常识。如果你连 PyTorch 的 Tensor 操作或梯度下降原理都还不清晰,直接看这套资料会非常吃力。建议的学习路径是“由点及面”:首先精读关于点云预处理与特征提取的章节,这是感知算法的地基;其次重点攻克基于深度学习的目标检测与跟踪部分,注意观察资料中如何处理多模态数据;最后再看规划与控制模块,理解从感知输出到车辆动作指令的转化逻辑。不要试图一次性看完所有视频,建议每看完一个核心模块,立刻动手复现其中的经典案例。资料中的配套代码和环境依赖是学习的重点,务必在本地搭建好运行环境,跟随步骤逐步执行,记录每一步的输出变化,而不是仅仅“看懂”视频。
**学完能做什么与实操建议**
学完这套全栈算法内容,你应当具备独立搭建一个小型自动驾驶仿真测试环境的能力。这意味着你能自主完成从图像/点云输入、障碍物检测、轨迹规划到控制指令输出的全流程,并能根据实验结果调整算法参数以提升系统稳定性。对于转行者来说,这能帮你建立对自动驾驶技术栈的系统认知,避免面试时只能答出概念而无法深入细节;对于在职开发者,它提供了优化现有系统性能的具体思路,例如如何通过算法轻量化降低算力需求。实操方面,建议将资料中的离线数据练习迁移到自己的小型项目上,比如用公开的自动驾驶数据集替换原有数据,验证算法鲁性。同时,利用资料中提供的答疑资源,针对自己复现过程中遇到的具体报错或逻辑冲突进行提问,比盲目猜测更能节省时间。记住,算法能力的提升依赖大量的“试错-分析-修正”循环,这套资料提供的是高质量的试错素材与逻辑框架,真正的收获取决于你动手的深度。
自动驾驶之心-新版自动驾驶全栈算法大专栏合集(视频+答疑)-AI016【专项课】
本课程隶属 加密课程 · 自动驾驶之心,完整课程目录与配套资料如下。
课程目录
CUDA与TensorRT部署实战课程(视频+答疑)/ 一、并行处理与GPU体系架构/ 001.第一章课件 并行处理、GPU体系架构与课程简介.pdf 002.1.0 课程介绍.vep 003.1.1 并行处理简介.vep 004.1.2 GPU并行处理.vep 005.1.3.1 环境搭建.vep 006.1.3.2 CUDA cuDNN TRT版本选择.vep 007.1.3.3 常用软件安装.vep 008.1.3.4 服务器的环境配置.vep 009.1.3.5 编辑器的环境配置.vep 七、实战:部署YOLOv8检测器/ 001.7.1 load-save-tensor.vep 002.7.2 affine-transformation.vep 003.7.3 deploy-yolov8-basics.vep 004.7.4 quantization-analysis.vep 三、TensorRT基础入门/ 001.第三章课件.pdf 002.3.1 TensorRT概述.vep 003.3.2 TensorRT的应用场景.vep 004.3.3 TensorRT的模块.vep 005.3.4 导出并分析ONNX.vep 006.3.5 剖析ONNX架构并理解ProtoBuf-上.vep 007.3.5 剖析ONNX架构并理解ProtoBuf-下.vep 008.3.6 ONNX注册算子的方法.vep 009.3.7 ONNX graph surgeon-上.vep 010.3.7 ONNX graph surgeon-下.vep 011.3.8 快速分析开源代码并导出ONNX.vep 012.3.9 使用trtexec.vep 013.3.10 trtexec log分析.vep 二、CUDA编程入门/ 001.第二章课件 CUDA编程入门.pdf 002.2.1.1 理解CUDA中的Grid和Block.vep 003.2.1.2 理解.cu和.cpp的相互引用及Makefile.vep 004.2.2.1 CUDA Core的矩阵乘法计算.vep 005.2.2.2 CUDA中的Error Handle.vep 006.2.2.3 GPU的硬件信息获取.vep 007.2.3.1 安装Nsight system and compute-上.vep 008.2.3.2 安装Nsight system and compute-下.vep 009.2.4.1 共享内存-上.vep 010.2.4.1 共享内存-下.vep 011.2.4.2 Bank Conflict-上.vep 012.2.4.2 Bank Conflict-下.vep 013.2.5.1 Stream与Event-上.vep 014.2.5.2 Stream与Event-下.vep 015.2.6.1 双线性插值与仿射变换-上.vep 016.2.6.2 双线性插值与仿射变换-下.vep 五、TensorRT API的基本使用/ 001.5.1 MNISIT-model-build-infer.vep 002.5.2 build-model.vep 003.5.3 infer-model.vep 004.5.4 TensorRT-network-structure.vep 005.5.5.1 build-model-from-scratch-上.vep 006.5.5.2 build-model-from-scratch-下.vep 007.5.6.1 build-trt-module-上.vep 008.5.6.2 build-trt-module-下.vep 009.5.7 custom-trt-plugin.vep 010.5.8 plugin-unit-test(python+cpp).vep 八、实战:部署BEVFusion模型/ 002.8.1 Overview-and-setting-environment-.vep 003.8.2 About-spconv-algorithm.vep 004.8.3 Export-SParse-Convolution-Network.vep 005.8.4 Spconv-with-Explicit-GEMM-Conv.vep 006.8.5 Spconv-with-Implicit-GEMM-Conv.vep 007.8.6 BEVPool-Optimization.vep 008.8.7 Analyze-each-onnx.vep 009.8.8 CUDA-BEVFusion-Framework-Design.vep 六、实战:部署分类器(CNN&ViT)/ 001.6.0 preprocess-speed-compare.vep 002.6.1 deploy-classification-basic.vep 003.6.2.1 design-of-inference-model.vep 004.6.2.2 deploy-classification-advanced.vep 005.6.3 int8-calibration.vep 006.6.4 trt-engine-explorer.vep 四、TensorRT模型部署优化/ 001.第四章课件.pdf 002.4.1.1 FLOPS和TOPS.vep 003.4.1.2 Roofline model.vep 004.4.2 模型部署的几大误区.vep 005.4.3.1 quantization(mapping-and-shift).vep 006.4.3.2 quantization(quantization-granularity).vep 007.4.3.3 quantization(calibration-algorithm).vep 008.4.3.4 quantization(PTQ-and-quantization-analy.vep 009.4.3.5 quantization(QAT-and-layer-fusion).vep 010.4.4.1 pruning(pruning granularity).vep 011.4.4.2 pruning(channel level pruning).vep 012.4.4.3 pruning(sparse tensor core).vep Occupancy从入门到精通全栈课程(视频+答疑)/ 一、占用网络概述/ 002.1.1-1.2 课程介绍和内容设计.vep 003.1.3 为什么需要Occupancy Networks?.vep 004.1.4 Occupancy数据结构.vep 005.1.5-1.6 评测指标与开源数据集.vep 006.1.7 代码实战.vep 007.1.8 代码讲解补充.vep 三、占用网络的应用/ 002.3.1 Occupancy Networks应用场景.vep 003.3.2 Occupancy Networks后处理.vep 004.3.3 代码实战.vep 二、占用网络如何训练?/ 002.2.1 本章内容介绍.vep 003.2.2 BEV架构基础.vep 004.2.3 Occupancy Head.vep 005.2.4 训练策略.vep 006.2.5 代码实战.vep 五、占用网络优化/ 002.5.1 FB-OCC算法详解.vep 003.5.2 TPVFormer算法详解.vep 004.5.3 VoxFormer详解.vep 005.5.4 OccFormer详解.vep 006.5.5 预训练Occ-BEV详解.vep 六、占用网络前沿探索/ 001.6.1 Radiance Field 和Occupancy.vep 002.6.2 NeRF监督Occupancy Networks.vep 四、多传感器和占用网络模型/ 002.4.1 多传感器硬件介绍.vep 003.4.2 基于Camera方案的Occ网络(上).vep 004.4.3 基于Camera方案的Occ网络(下).vep 005.4.4 激光雷达和BEV.vep 006.4.5 毫米波雷达和BEV.vep 007.4.6 超声波雷达和BEV.vep 008.4.7 基于Occupancy的多传感器前融合(上).vep 009.4.8 基于Occupancy的多传感器前融合(下).vep 010.4.9.1 从稀疏到稠密实战part1.vep 011.4.9.2 从稀疏到稠密实战part2.vep YOLO系列全家桶算法教程/ 101 DAMOYOLO简介mp4.vep 102 DAMOYOLO架构的改进mp4.vep 103 DAMOYOLO样本匹配mp4.vep 11 目标检测简介mp4.vep 111 YOLOXPAImp4.vep 12 目标检测数据集介绍mp4.vep 12-激光雷达-相机内外参联合标定.vep 13 目标检测方法简介mp4.vep 13-毫米波雷达视觉融合算法分享.vep 14 目标检测的常用指标与发展情况mp4.vep 14-自动驾驶传感器部署策略优化分享.vep 15 课程环境Windowsmp4.vep 15-一览无余,语义分割三十年!.vep 16 课程环境Linuxmp4.vep 16-高精地图制作关键技术及领域主流方案分享(上).vep 17-高精地图制作关键技术及领域主流方案分享(下).vep 21 YOLOv3的简介mp4.vep 22 YOLOv3 Backbone的改进mp4.vep 23 YOLOv3的FPNmp4.vep 24 AnchorBase与GridCellmp4.vep 25 YOLOv3坐标表示与正负样本匹配mp4.vep 26 YOLOv3之损失函数mp4.vep 31 YOLOv4介绍mp4.vep 32 Mosaic与Mish激活函数mp4.vep 33 Backbone网络架构的改进mp4.vep 34 PANFPN的讲解mp4.vep 35 样本匹配与损失函数mp4.vep 41 YOLOv4回顾以及YOLOv5的简介mp4.vep 42 YOLOv5的数据增强与前处理讲解mp4.vep 43 YOLOv5的架构改进mp4.vep 44 YOLOv5损失函数与样本匹配mp4.vep 45 实战YAML解析与模块解析mp4.vep 46 实战基于YAML的模型搭建mp4.vep 47 实战样本匹配与损失函数简述mp4.vep 48 YOLOv5训练推理实战mp4.vep 51 YOLOv6简介mp4.vep 52 YOLOv6之重参思想mp4.vep 53 YOLOv6的架构改进mp4.vep 54 YOLOv6之损失函数与样本匹配mp4.vep 55 YOLOv6训练配置mp4.vep 56 YOLOv6模型代码讲解mp4.vep 57 YOLOv6正负样本匹配代码讲解mp4.vep 61 YOLOv7介绍mp4.vep 62 YOLOv7ELAN梯度流设计思想mp4.vep 63 YOLOv7的架构改进mp4.vep 64 YOLOv7正负样本匹配mp4.vep 71 YOLOv8简介mp4.vep 72 YOLOv8架构改进mp4.vep 73 YOLOv8源码讲解mp4.vep 74 训练与推理实战mp4.vep 81 YOLOX简介mp4.vep 82 YOLOX的前处理部分mp4.vep 83 YOLOX的结构改进mp4.vep 84 YOLOX的SimOTA匹配mp4.vep 85 YOLOX项目配置与架构搭建过程mp4.vep 86 YOLOX的数据增强操作mp4.vep 87 Backbone与Neck的代码讲解mp4.vep 88 Decoupled的实现过程mp4.vep 89 YOLOX的样本匹配与损失函数mp4.vep 91 PPYOLOEmp4.vep 国内首个BEV感知全栈系列学习教程/ 1.1 BEV感知算法的概念.vep 1.2 BEV感知算法数据形式.vep 1.3 BEV开源数据集介绍.vep 1.4 BEV感知方法分类.vep 1.5 BEV感知算法的优劣.vep 1.6 BEV感知算法的应用介绍.vep 1.7 课程框架介绍与配置.vep 2.1 从2D到3D转换模块.vep 2.2 从3D到2D转换模块.vep 2.3 BEV感知中的Transformer.vep 3.1-3.3 融合BEV感知算法介绍.vep 3.4 BEV-SAN.vep 3.5 BEVFusion.vep 3.6 LV融合算法:BEVFusion 实战.vep 4.1-4.3 环视BEV感知算法介绍.vep 4.10 BEVDistill.vep 4.11 纯视觉感知算法:BEVFormer 实战.vep 4.4 DETR3D.vep 4.5 BEVFormer.vep 4.5 BEVFormer2.vep 4.6 BEVDet.vep 4.6 BEVDet2.vep 4.7 BEVDet4D.vep 4.8 PETR.vep 4.9 BEVDepth.vep 5.2 大作业:模块化的BEV算法设计.vep 国内首个BEV感知全栈系列学习教程.txt 国内首门毫米波&4D毫米波雷达理论实战教程(视频+答疑)/ 一. 毫米波雷达基础/ 002.1.1 毫米波雷达发展历程.vep 003.1.2 毫米波雷达的特性及结构.vep 004.1.3 毫米波雷达测距原理.vep 005.1.4 毫米波雷达测速原理.vep 006.1.5 毫米波雷达测角原理.vep 007.1.6 雷达方程和RCS.vep 008.1.7 毫米波雷达在行业中的应用.vep 三. 毫米波雷达目标检测/ 002.3.1目标检测的流程.vep 003.3.2 量产实战:从回波信号到点云提取.vep 004.3.3 量产实战:雷达点云预处理.vep 005.3.4 雷达微多普勒检测.vep 006.3.5 目标创建与滤除.vep 二. 毫米波雷达标定及遮挡检测/ 002.2.1 毫米波雷达标定概述.vep 003.2.2 静态下线标定及产线布置方法.vep 004.2.3 动态标定方法.vep 005.2.4 毫米波雷达遮挡检测.vep 五. 4D 毫米波雷达/ 002.5.1 4D毫米波雷达介绍.vep 003.5.2 4D毫米波雷达相关数据集.vep 004.5.3 4D毫米波雷达的点云检测.vep 005.5.4 4D毫米波雷达的感知策略.vep 六. 大作业:基于 Autosar 架 构的雷达感知算法设计/ 002.第六章 基于AUTOSAR架构的雷达感知算法设计.vep 四. 毫米波雷达目标跟踪/ 002.4.1 目标运动模型介绍.vep 003.4.2 为何追踪任务要用滤波方法.vep 004.4.3 扩展卡尔曼滤波的初始化设置.vep 005.4.4 点云与目标的关联策略.vep 006.4.5 量产实战:目标追踪中的调参.vep 多传感器标定全栈系统学习教程/ 002.6.1 环视相机介绍.vep 003.6.2 鱼眼相机内参标定.vep 004.6.3 环视离线标定.vep 005.6.4 环视产线标定.vep 006.6.5 环视产线标定.vep 007.第五节课 传感器在线标定方法代码实战.vep 007.第六节课 环视相机标定代码实战.vep 1.1 多传感器标定概述.vep 1.2 为什么需要传感器标定.vep 1.3 传感器标定的难点.vep 1.4 传感器标定精度如何进行验证.vep 1.5 多传感器标定的工具箱有哪些.vep 1.6 OpenCalib工具箱介绍.vep 1.7 OpenCalib应用场景介绍.vep 1.8 OpenCalib配置使用.vep 2.1 相机标定介绍.vep 2.2 内参常用的标定方法.vep 2.3 如何优化标定精度.vep 2.4 标定精度验证方法.vep 2.5 内外参联合标定.vep 3.1 产线标定以及标定间标定介绍.vep 3.2 标定间标定方法.vep 3.3 Camera2Car 产线标定方法.vep 3.4 Lidar2Car 产线标定方法.vep 3.5 Radar2Car 产线标定方法.vep 3.6 产线标定板布置方法.vep 4.1 激光雷达-相机内外参联合标定.vep 4.2 激光雷达-激光雷达标定.vep 4.3 激光雷达-毫米波雷达标定.vep 4.4 激光雷达-惯导标定.vep 4.5 毫米波雷达-相机标定.vep 5.1 激光雷达-相机在线标定.vep 5.2 Camera2Car 在线标定.vep 5.3 Lidar2Car 在线标定.vep 5.4 Radar2Car 在线标定.vep 5.5 INS2Car 在线标定.vep 多传感器融合跟踪全栈教程( 视频+答疑)/ 001.第0节-课前导学PPT.pdf 002.0 多传感器目标跟踪-课前导学.vep 003.第1节-自动驾驶中的融合跟踪PPT.pdf 004.1.1. 自动驾驶中的感知任务.vep 005.1.2. 多传感器融合的主要方法.vep 006.1.3. 多传感器后融合跟踪的基本流程.vep 007.1.4. 多目标跟踪的数据集与性能指标.vep 008.第2节-目标跟踪中的状态估计PPT.pdf 009.2.1. 概率论基础.vep 010.2.2. 状态估计问题建模.vep 011.2.3. 线性高斯系统状态估计.vep 012.2.4. 非线性非高斯系统状态估计.vep 013.2.5. 常用运动与观测模型.vep 014.2.6. 作业与实践.vep 015.第2节 作业讲解.vep 016.第3节-目标跟踪中的数据关联PPT.pdf 017.3.1. 基于距离的目标相似性度量.vep 018.3.2. 基于IoU的目标相似性度量.vep 019.3.3. 最近邻匹配算法.vep 020.3.4. 匈牙利匹配算法.vep 021.3.5. 概率数据关联与多假设跟踪.vep 022.3.6. 作业与实践.vep 023.第三章 作业代码解读.vep 024.第4节-目标跟踪中的轨迹管理PPT.pdf 025.4.1 目标轨迹的创建与发布.vep 026.4.2 目标轨迹的合并与删除.vep 027.4.3 多目标跟踪的性能评估.vep 028.4.4 实践作业.vep 029.第四章作业代码解读.vep 030.第5节-基于单传感器的多目标跟踪PPT.pdf 031.5.1 2D Camera目标跟踪.vep 032.5.1 附加代码解读:DeepSORT源码讲解.vep 033.5.2. 2D Radar目标跟踪.vep 034.5.3. 3D Lidar目标跟踪.vep 036.5.3. 附加代码解读:3D Lidar目标跟踪代码实战.vep 037.第6节-基于多传感器后融合的多目标跟踪.pdf 038.6.1 基于多传感器后融合的多目标跟踪基本架构.vep 040.6.2 代码实战:基于多传感器后融合的多目标跟踪.vep 多传感器融合:毫米波雷达和视觉融合感知全栈教程(深度学习+传统方式)/ 基于深度学习的点云目标检测任务/ 001.基于深度学习的雷达点云目标检测ppt.pdf 002.3.1.雷达点云检测算法背景.vep 003.3.2.基于原始数据的检测方法.vep 004.3.3 基于稀疏点云的检测:RadarPointGNN.vep 005.3.4 基于稀疏点云的检测:RadarPointNet.vep 实战代码/ tracking-with-Extended-Kalman-Filter.zip 毫米波雷达介绍/ 001.毫米波雷达介绍PPT.pdf 002.1.1.工作原理和传感器特性.vep 003.1.2.毫米波雷达种类.vep 004.1.3.雷达信号处理与数据格式.vep 005.1.4. 4D毫米波雷达.vep 006.1.5. 雷达激光雷达相机特性比较.vep 007.1.6. 毫米波在多个领域应用介绍.vep 008.1.7. 3D4D雷达领域产品.vep 毫米波雷达基础算法详解/ 001.毫米波雷达基础算法详解ppt.pdf 002.2.1.毫米波雷达数据处理.vep 003.2.2.聚类算法.vep 004.2.3.匹配算法.vep 005.2.4.滤波算法.vep 006.2.5.基于EKF的雷达后融合实战.vep 007.2.6.实战代码.docx 毫米波雷达视觉融合的2D检测任务/ 001.毫米波雷达视觉融合的2D检测任务PPT.pdf 002.4.1 RV融合背景介绍.vep 003.4.2 融合思路介绍.vep 004.4.3 RV融合常用的指标.vep 005.4.4 RV融合数据集介绍.vep 006.4.5 CRFNet.vep 007.4.6 RRPN~4.7总结.vep 008.4.8.1 SAF-FCOS讲解.vep 009.4.8.2 环境配置.vep 010.4.8.3 代码详解.vep 011.4.8.4 效果展示.vep 012.课程第四章节实战PPT.pdf 毫米波雷达视觉融合的3D检测任务/ 001.毫米波雷达视觉融合3D检测.pdf 002.5.1 RV融合背景介绍.vep 003.5.2 RV融合思路.vep 004.5.3 RV融合常用指标.vep 005.5.4 RV融合数据集.vep 006.5.5 RV融合算法CenterFusion详解.vep 007.5.6 RCBEV.vep 008.5.7 RV融合算法CRAFT详解.vep 009.5.8 主流融合思路汇总.vep 010.5.9.1 FUTR3D预备知识.vep 011.5.9.2 环境配置.vep 012.5.9.3 代码实战&效果展示.vep 013.课程第五章节实战PPT.pdf 多模态融合3D目标检测教程(视频+答疑)/ 001.多模态感知基础介绍PPT.pdf 002.1.0 课程介绍.vep 003.1.1 自动驾驶系统介绍.vep 004.1.2 多模态感知的常用传感器.vep 005.1.3 相关2D和3D感知基础知识.vep 006.1.4 常用公开数据集.vep 007.3D目标检测PPT.pptx 008.2.1二维和三维目标检测的异同点.vep 009.2.2基于图像的3D目标检测.vep 010.2.3基于激光雷达的3D目标检测.vep 011.2.4.基于融合的3D目标检测.vep 012.2.5本章总结.vep 013.第三章 前融合方法PPT.pptx 014.3.1 前融合方法介绍.vep 015.3.2 PointPainting.vep 016.3.3 PointAugmenting.vep 017.3.4 MVP.vep 018.3.5.1 MVP代码实战:环境搭建.vep 019.3.5.2 MVP代码实战:配置资料.docx 020.3.5.3 代码详解1.vep 021.3.5.4 代码详解2.vep 022.3.5.5 实战效果.vep 023.3.6 本章总结.vep … 共 540 条
