从底层驱动到集群架构:构建完整的存储技术视野
在职场中,许多开发者对存储的认知停留在调用 API 的层面,缺乏对数据如何在硬件、操作系统和应用层之间流动的深层理解。这套课程并非简单的工具教程,而是试图打通从 NVMe 协议、内核 I/O 机制到分布式集群的完整链路。它解决的核心问题是:当系统遇到高并发 I/O 瓶颈、数据一致性异常或集群节点故障时,你无法仅靠表面参数调整来定位根源。课程通过“自下而上”的逻辑,将零散的存储知识点串联成体系,适合那些已掌握 Linux 系统编程基础、熟悉 C/C++ 开发,并希望深入内核态与用户态交互机制的中高级工程师或资深后端开发者。初学者若缺乏基本的进程线程与内存管理概念,直接阅读部分内核模块章节会感到吃力。
建议的学习路径与核心模块
不要按视频顺序机械地观看,建议依据技术栈的依赖关系调整节奏。首先,将重点放在 NVMe 协议解析与文件系统布局设计上,这是理解后续所有存储操作的基石,务必配合代码实战,亲手实现分区逻辑与读写接口。其次,深入研读 io_uring 机制,这是当前高性能 I/O 的关键,理解其如何替代传统 epoll 减少上下文切换,直接决定你在高负载场景下的性能优化能力。接着,通过 FUSE 实践用户态文件系统,体会内核协同事件的复杂性与陷阱。最后,转向 TiDB、Ceph 等分布式系统,此时再学习集群部署与高可用架构,才能明白底层协议如何支撑上层业务。对于 FastDFS 和 RocksDB,可根据实际工作需求选择性突击,前者侧重业务落地,后者侧重本地嵌入式存储优化。
学完后的独立能力与资料配合
完成全部模块后,你将具备独立构建高可用存储系统的能力,能直接接手涉及数据持久化、I/O 性能调优及集群故障排查的工作,而不再依赖“黑盒”式的运维指令。资料包中的视频与配套代码需紧密配合:观看原理讲解时,同步在本地环境复现代码,特别是针对 page 内存管理与 slab 分配器的部分,必须通过调试器逐步跟踪,理解内存回收机制。对于分布式章节,不要只盯着部署脚本,要重点分析副本同步协议与一致性算法的实现细节。务必避免“只看不练”,存储领域的经验高度依赖对边界条件与异常处理的实战积累,只有在真实环境中复现过死锁、数据撕裂或网络分区问题,才能真正将这些知识转化为解决复杂业务问题的核心竞争力。
课程目录
📁 视频 039.【TiDB2】TiDB集群方案与Replication原理_.mp4 [238.5 MB] 038.【TiDB1】TiDB存储引擎的原理_.mp4 [237.8 MB] 037.【RockDB】不一样的kv存储RocksDB的使用场景_.mp4 [262.3 MB] 035.【ceph2】 docker安装ceph分布式存储系统(高可用)_.mp4 [235.6 MB] 036.【ceph3】分布式ceph存储集群部署_.mp4 [165.1 MB] 034.【ceph1】 内核级支持的分布式存储ceph_.mp4 [309.2 MB] 033.【fastdfs6】 产品上云公网发布测试用例_.mp4 [342.3 MB] 032.【fastdfs5】文件传输和接口设计_.mp4 [385.1 MB] 031.【fastdfs4】高负载nginxfastcgi_.mp4 [381.9 MB] 030.【fastdfs3】 fastdfs存储原理_.mp4 [353.3 MB] 028.【fastdfs1】fastdfs架构分析和配置_.mp4 [331.5 MB] 027.【KV项目-8】-kv存储测试用例与性能测试_.mp4 [190.2 MB] 029.【fastdfs2】FastDFS集群部署和同步机制分析_.mp4 [359.7 MB] 026.【KV项目-7】-为kv存储加上conf文件_.mp4 [232.4 MB] 024.【KV项目-5】btreehashmapradixtreerbtree之间的选择_.mp4 [272.8 MB] 025.【KV项目-6】-slab分配slot与释放slot_.mp4 [192.4 MB] 023.【KV项目-4】pagechunk的get与put_.mp4 [161.7 MB] 020.【KV项目-1】KV存储拆解 Set,Get,Mod,Del_.mp4 [284.0 MB] 022.【KV项目-3】kv service接口 set_get_modify_delete_.mp4 [192.7 MB] 021.【KV项目-2】bdev与blob对于kv存储的选择_.mp4 [264.3 MB] 019.【SPDK项目6】文件系统的性能测试(2)_.mp4 [195.2 MB] 018.【SPDK项目5】文件系统的性能测试(1)_.mp4 [148.0 MB] 017.【SPDK项目4】文件系统的posix api实现(2)_.mp4 [229.1 MB] 016.【SPDK项目3】文件系统的posix api实现(1)_.mp4 [175.9 MB] 015.【SPDK项目2】SPDK的工作原理与文件系统架构分析(2)_.mp4 [173.7 MB] 013.【fuse2】fuse协同事件 用户态文件系统(2)_.mp4 [289.8 MB] 014.【SPDK项目1】 SPDK的工作原理与文件系统架构分析(1)_.mp4 [155.7 MB] 011.【io_uring4】 io_uring的使用场景(2)_.mp4 [262.4 MB] 012.【fuse1】fuse协同事件 用户态文件系统(1)_.mp4 [203.1 MB] 010.【io_uring3】io_uring的使用场景(1)_.mp4 [153.3 MB] 009.【io_uring2】与epoll媲美的io_uring(2)_.mp4 [225.6 MB] 008.【io_uring1】与epoll媲美的io_uring(1)_.mp4 [161.8 MB] 007.【zerofs6】mkfs.zvvfs的partition layout完善与nvme读写_.mp4 [203.4 MB] 006.【zerofs5】mkfs.zvvfs实现partition layout的5步曲_.mp4 [185.5 MB] 005.【zerofs4】 文件系统partition layout设计与实现_.mp4 [167.2 MB] 004.【zerofs3】block_device对nvme的读写与sector大小代码实现_.mp4 [197.5 MB] 002.【zerofs1】文件系统需求分析与mkfs.zvvfs的两种实现方式_.mp4 [153.7 MB] 003.【zerofs2】nvme的lba与nblocks的重要性_.mp4 [151.1 MB] 001.存储课程技术点介绍视频_.mp4 [93.9 MB] 下载说明.txt [424.0 B]






