先把话说明白:这个标题里的「无审查」指的是模型权重在本地推理时不受云端内容策略拦截,而不是教你绕过什么。它本质上是一个可以跑在自己显卡上的开源大模型部署课题,和「软考考证」这个分类其实并不完全对口——如果你的目标是一张软考证书,这门内容帮不上忙,请直接关掉页面。如果你是开发者或运维,想搞清楚一个 30B 级别、带 MoE 结构的模型怎么在本地跑起来、怎么接进自己的程序,那再往下看。
它解决的是什么实际问题
日常工作中真正会碰到这类需求的人,通常是几种:一是做内部工具,要把模型能力嵌进自己的系统,但数据不能出内网;二是做内容或数据批处理,需要大批量调用,走 API 的成本或频率限制扛不住;三是单纯想验证某个模型在特定语料上的表现,需要能改参数、能看中间输出。这几种场景的共同点是——你需要对模型有完全的控制权,而不只是调一个接口。
这门内容围绕的就是这件事:把一个 35B 总参数、A3B(激活约 3B)的混合专家模型,从拿到权重到能在本机完成一次完整推理,中间涉及的量化选择、显存估算、推理框架配置、接口封装这些环节。它不是模型原理课,也不讲怎么训练,落点在「跑得起来、调得动、接得上」。
学完之后你能独立做什么
- 根据自己机器的显存和内存,判断该选哪种量化精度,而不是照抄别人的配置然后爆显存。
- 在本地把模型服务起起来,对外暴露一个兼容常见接口协议的端口,让已有代码几乎不改就能切过来。
- 自己写一段调用脚本,做批量文本处理、结构化抽取或者简单的多轮对话,并知道怎么控制输出长度和随机性。
- 遇到输出乱码、速度异常、显存溢出这类问题时,能定位到是权重、框架还是参数配置的环节。
需要提前说明,MoE 结构下激活参数少,单次推理的算力开销比同规模稠密模型低,但权重总量还在那里,显存占用并不会因为「A3B」就变得很小。这一点是很多人第一次上手时最容易误判的地方,内容里对这块的取舍讲得比较细。
资料结构和适合的基础
目前配套的是单节视频,属于集中讲解型,不是那种几十节的体系课。好处是信息密度高、不拖沓,坏处是没有循序渐进的铺垫,需要你带着问题去看。建议的用法是:先看一遍通览流程,然后暂停,在自己的机器上从头复现一遍,卡在哪一步再回去定位对应片段。只看不练,这类内容基本留不下东西。
基础方面,至少要满足两条:熟悉命令行操作,能在 Linux 或 WSL 下装包、看日志;能读懂一段 Python 代码在做什么,哪怕写得不熟。完全没接触过命令行的,建议先补这一块再看,否则大部分时间会耗在环境问题上,而不是模型本身。
关于分类和预期管理
再强调一次,把它归到考证方向是不准确的。它的价值不在证书,而在于你手上多了一个可自主掌控的模型服务能力,这在做内部工具、做数据处理、做技术方案选型时是能拿出来讲的具体经验。如果你正处在「想接触大模型但不想只会调 API」的阶段,这份资料的性价比是合适的;如果你只是想要一个能直接问答的聊天工具,那装个现成客户端就够了,没必要折腾这一套。
最后一句实在话:硬件门槛是真实存在的。动手前先确认自己的显卡显存和内存,再决定要不要投入时间。
视频目录(1 节)
课程目录
* Qwen3.6-35B-A3B 无限打包版






