站长之家(ChinaZ.com) 6月3日 消息:2024年6月3日,昆仑万维宣布开源了一个性能强劲的2千亿稀疏大模型,名为 Skywork-MoE。这个模型是在之前开源的 Skywork-13B 模型的基础上扩展而来的,是首个完整应用并落地 MoE Upcycling 技术的开源千亿级 MoE 大模型。同时,这也是全球首个支持在单台4090服务器上进行推理的开源千亿级 MoE 大模型。
Skywork-MoE 的模型权重、技术报告完全开源,可以免费商用,无需申请。模型的总参数量为146B,激活参数量为22B,共有16个 Expert,每次激活其中的2个 Expert。与其他主流模型相比,在相同的激活参数量下,Skywork-MoE 的性能接近70B 的 Dense 模型,推理成本下降了近3倍。
为了解决 MoE 模型训练困难[]、泛化性能差[]等问题,Sk[]ywork-[]MoE 采用了两种训[]练优化算法:[]Gating[] Logits[] 归一化操作和[]自适应的 Aux Loss。此[]外,为了高效[]进行大规模分[]布式训练,S[]kywork[]-MoE 提出了两个并[]行优化设计:[]Expert[] Data Parall[]el 和非均匀切分[]流水并行。
在推理方面,Skywork-MoE 是目前能够在8台4090服务器上进行推理的最大开源 MoE 模型。通过首创的非均匀 Tensor Parallel 并行推理方式,在 FP8量化下,Skywork-MoE 可以实现2200tokens/s 的吞吐。
•模型权重下[]载:
○https[]://hug[]gingfa[]ce.co/[]Skywor[]k/Skyw[]ork-Mo[]E-base[]
○https[]://hug[]gingfa[]ce.co/[]Skywor[]k/Skyw[]ork-Mo[]E-Base[]-FP8
•模型开源仓[]库:http[]s://gi[]thub.c[]om/Sky[]workAI[]/Skywo[]rk-MoE[]
•模型技术报[]告:http[]s://gi[]thub.c[]om/Sky[]workAI[]/Skywo[]rk-MoE[]/blob/[]main/s[]kywork[]-moe-t[]ech-re[]port.p[]df
•模型推理代码:(支持8x4090服务器上8bit 量化加载推理) https://github.com/SkyworkAI/vllm
评论区
提示:本文章评论功能已关闭