昆仑万维开源2千亿稀疏大模型Skywork-MoE

6月4日消息,6月3日,昆仑万维宣布开源2000亿稀疏大模型Skywork-MoE。 据悉,该模型是基于之前开…

6月4日消息,6月3日,昆仑万维宣布开源2000亿稀疏大模型Skywork-MoE。

据悉,该模型是基于之前开源的Skywork-13B模型的基础上扩展而来的,是首个完整应用并落地MoE Upcycling技术的开源千亿级MoE大模型。

同时,这也是首个支持在单台4090服务器上进行推理的开源千亿级MoE大模型。

该模型的总参数量为146B,激活参数量为22B,共有16个 Expert,每次激活其中的2个Expert。

本文来自网络,不代表随客网立场,转载请注明出处。