6月17日消息，当地时间6月14日，英伟达宣布开源Nemotron-4 340B（3400亿参数）系列模型。
据英伟达介绍，开发人员可使用该系列模型生成合成数据，用于训练大型语言模型(LLM)，用于医疗保健、金融、制造、零售和其他行业的商业应用。
Nemotron-4 340B包括基础模型Base、指导模型Instruct和奖励模型Reward。
模型支持4K上下文窗口、50多种自然语言和40多种编程语言，训练数据截止到2023年6月。
英伟达采用9万亿个token进行训练。其中，8万亿用于预训练，1万亿用于继续训练以提高质量。
微信扫一扫打赏
支付宝扫一扫打赏
