1 月 3 日消息,创鑫智慧(Neuchips)近日发布新闻稿,宣布将参加 2024 年 CES 大展,将推出新型 Raptor Gen AI 加速卡和 Evo PCIe 加速卡 LLM 产品。
Raptor Gen AI 加速卡此前称为 N3000,帮助企业在现有解决方案情况下,小成本部署大型语言模型(LLM)。
Neuchips 首席执行官 Ken Lau 在新闻稿中表示:
我们很高兴能在 2024 年消费电子展上向业界推出我们的 Raptor 芯片和 Evo 卡。
Neuchips 的解决方案代表了自然语言处理从价格到性能的巨大飞跃
通过 Neuchips 的新产品,任何组织现在都可以利用 LLM 的强大功能来实现广泛的人工智能应用。
根据新闻稿,Raptor Gen AI 加速卡的每秒算力为 200 TOPS,在矩阵乘法、矢量和嵌入表查找等 AI 推断运算方面表现出色,适合生成式 AI 等场景。
Evo 加速卡采用 8 通道 PCIe Gen5 和 32GB LPDDR5 内存,主机 I / O 带宽为 64GB/s,内存带宽为 1.6Tbps,单卡功耗仅为 55W。
Evo 还具有 100% 的可扩展性,客户可以通过轻松添加更多芯片来线性提高性能。Neuchips 指出,这种模块化设计有助于确保客户为未来的人工智能工作负载进行投资生产。
此外,Neuchips 还在预告其即将推出的半高半长(HHHL)外形产品 Viper,该产品将于 2024 年下半年推出。该公司表示,Viper 将拥有“更大的部署灵活性”,以紧凑、小巧的设计带来数据中心级人工智能加速。