一文讲透 MoE（大白话版）

去年 3 月，日课聊过 MoE，也就是专家混合架构。一年多过去，很多人还是不太清楚它到底是怎么回事，今天换个角度，重新讲一遍。

DeepSeek 现在的旗舰模型 V4.1 Flash，有 5520 亿个参数，但它每写一个字，只动用其中 160 亿个，大约 3%。

剩下的九成多参数则在旁待命。这种做法就叫 MoE。

一、什么是参数，为什么需要MoE？

参数可以理解成模型脑子里存知识的零件。参数越多，能记住的东西越多，模型通常越聪明。

问题在于，以前的模型每写一个字，所有参数都要参与计算一遍。假如 DeepSeek V4.1 Flash 也用这种做法，你问它「1 加 1 等于几」，5520 亿个零件都得全部转一圈。

这就像一家全科会诊的医院：不管你是感冒还是骨折，全院医生都来给你会诊一遍。医生个个都很强，但每个病人都占用全院的时间，看一个病人的成本非常高。

所以模型越做越大，每写一个字的计算量就跟着涨，成本也跟着涨。

二、MoE 的办法：开一家会分诊的医院

MoE 是 Mixture of Experts 的缩写，中文叫专家混合。

医院里还是养着一整栋楼的专家，一个都不少。但门口多了一个分诊台：你一进门，分诊台看一眼症状，把你指给最对口的几位医生，其他医生该干嘛干嘛。

放到模型里，「专家」就是把模型的一部分零件拆成很多份，每份是一个专家；

「分诊台」则是一个专门负责挑人的小模块，叫做路由器。模型每写一个字，路由器就挑出几个最合适的专家来算。