据消息,苹果在人工智能研究方面持续发力,预计iPhone 16将会推出AI相关的创新功能,近日苹果公司公布两篇论文,透露其人工智能研究的重大进展。
据悉,苹果研究人员解决了在内存有限的设备上部署大语言模型(LLM)的一个关键挑战:
最大限度地减少了在推理过程中从闪存到内存的数据传输。一系列方法将推理延迟提高了4-5倍。在 GPU上,加速达到 20-25倍。
一项高效的语言模型推理新技术,有望让复杂的AI系统在iPhone、iPad等小内存设备上流畅运行。
语音输入将是AI、AIGC、LLM (大语言模型)的关键界面,这些优化可能很快允许复杂的人工智能助手和聊天机器人在iPhone、iPad 和其他移动设备上流畅运行。