AI 的下一个Scaling law 或许发生在MOE架构里的专家数

cwyy

类似于在传统的CPU时代，单纯的提高核心频率受到物理规律的限制，在AGI时代，单纯地增加模型的参数规模，改善效果也越来越差。混合专家模型就相当于CPU的多核架构。或许以后大模型的发展方向就是越来越细粒度的MOE，大模型内部划分成越来越多的参数规模较小的模型，甚至碰到人类常识的全部边界和经济性边界。