6月4日消息，6月3日，昆仑万维宣布开源2000亿稀疏大模型Skywork-MoE。

据悉，该模型是基于之前开源的Skywork-13B模型的基础上扩展而来的，是首个完整应用并落地MoE Upcycling技术的开源千亿级MoE大模型。

同时，这也是首个支持在单台4090服务器上进行推理的开源千亿级MoE大模型。

该模型的总参数量为146B，激活参数量为22B，共有16个 Expert，每次激活其中的2个Expert。