Intel发布开源AI加速库,推动AI PC发展尚待完善


3月4日的科技界迎来了Intel的一项重大举措:为深化人工智能技术与日常电脑的融合,Intel将其NPU加速库代码开放源代码并上传至GitHub。这一行动标志着基于Intel酷睿Ultra处理器的智能个人电脑将具备运行如TinyLlama、Gemma-2b等轻量级大语言模型的新能力。

须知的是,酷睿Ultra处理器首次引入了NPU AI引擎,其设计宗旨是轻松应对AI推理任务。结合使用CPU与GPU,这套系统能高效处理多样化的AI任务。开发人员可把这次开源的NPU加速库作为工具,利用其编程技术实现个性化的AI体验。

在一次展示中,Intel的软件架构师Tony Mongkolsmai利用开源的NPU加速库在一台微星尊爵14 AI Evo笔记本上,成功运行了基于11亿参数的TinyLlma大模型,展现了一个能够进行简单对话的AI聊天机器人。值得一提的是,在这个演示中,通过Windows任务管理器我们可以见到NPU的确被有效利用。

然而,必须指出的是,目前开源的NPU加速库的功能还存在一定的局限性。尽管已经支持了8比特量化和FP16精度,但对于4比特量化、BF16精度及NPU与GPU的混合计算等功能,其实现尚未成熟,且相关的技术文档也尚未完备。

Intel对此表示,会持续投入资源和研发来充实NPU加速库的功能,预计在未来的版本中会带来更多支持的功能。这个承诺意味着未来NPU加速库的能力将比现阶段强大一倍。

值得注意的是,尽管功能尚不完善,但Intel此次的举措为广大开发人员打开了一扇大门。开源社区的协作和贡献无疑将加速NPU加速库功能的完善和优化,并推进人工智能技术在个人电脑上的普及和应用。而这样的开源实践,也体现了Intel在AI领域的开放态度和推动产业发展的决心。

全球的开发者和AI爱好者们因此可以预见,在不久的将来,随着NPU加速库功能的增强和成熟,基于Intel酷睿Ultra处理器的AI PC将更加强大和智能,为用户带来更丰富和便捷的AI体验。Intel此举也在一定程度上预示了个人电脑市场新一轮的技术革新和升级,将AI的力量更紧密地与日常电脑使用融合,拓展其在娱乐、工作、学习等多个场景下的可能性。

相关新闻