2023年科技圈最热门的技术是什么? 毫无疑问,相信大多数用户都会回答——AI。
Chat GPT的到来引发了业内外的广泛讨论,也引发了对AI发展的新一轮思考。 目前全球各大科技公司都在积极布局大规模AI模型,但现实情况是大家的注意力仍集中在云端。 相比之下,终端侧AI的发展显得有些落寞。
当前,人工智能正朝着深度学习能力的方向发展,这对计算能力提出了更高的要求。 尽管终端侧对算力的要求略低,但面对越来越复杂的计算,仍然需要终端拥有更强大的AI。 计算性能。
作为终端侧人工智能的领导者,高通一直在积极推动终端侧生成式人工智能的发展。 目前,高通AI技术(硬件、软件、工具)正在赋能包括智能手机、XR、PC、平板、汽车在内的部分终端产品。
6月16日,高通正式发布《混合AI是AI的未来》白皮书。 在这份文件中,高通不仅分享了对当前AI发展态势的一些看法和对发展趋势的预测,还明确了自己的AI发展路线—— AI是AI的未来。
高通认为,随着生成式人工智能正以前所未有的速度发展,计算需求越来越大,人工智能处理必须分布在云端和终端,才能实现人工智能规模扩展,发挥最大潜能; 智能手机、汽车、PC 和物联网端点等云和边缘终端协同工作,以实现更强大、高效和高度优化的 AI。
在技术交流会上, 产品管理高级副总裁Ziad向我们展示了在终端侧AI方面取得的进展。 以智能手机为例,目前高通在终端侧能够支持超过10亿个参数的模型。 它正在运行,未来几个月,这个参数有望突破到100亿,包括从文本生成图像,从文本生成文本,从文本生成视频,甚至从图像生成文本,从图像生成视频。
与云端AI相比,高通的解决方案可以在智能手机上完成,在全飞行模式下,仅需15秒即可完成20步推理,生成细节丰富的图像。 以下是一些值得关注的点。 一方面,当生成式AI用例完全在终端侧运行时,用户的数据会一直保存在终端上,也可以在没有互联网连接的情况下运行。 不仅安全隐私得到极大保障,终端设备还可以提供非常丰富的应用体验。
另一方面,它的处理速度非常快,我们看到也就十几秒,但是它需要的功耗和计算量比云端处理要低很多,尤其是功耗,只有几毫瓦。
另外,云处理器上的训练模型一般采用32位浮点运算,高通采用8位整数运算(INT8)。 不过,去年年底,在第二代骁龙8移动平台上,高通进一步支持了4位整数运算(INT4)能力。 与 INT8 精度相比,INT4 带来了 90% 的 AI 推理性能提升和 60% 的能效提升,使得第二代骁龙 8 在自然语言处理用例中实现了 4.35 倍的 AI 性能提升。
如今,高通的人工智能能力正在赋能多种产品。 同时,利用高通AI软件堆栈,开发者可以在高通的硬件上创建、优化和部署AI应用。 并将经验应用到采用高通技术和平台的其他产品,加速推进混合人工智能成为现实。
true 2010年中关村在线科技圈最热门的技术是什么? 毫无疑问,我相信大多数用户的答案都会指向人工智能。 Chat GPT的到来引发了业内外的广泛讨论,也引发了对AI发展的新一轮思考。 目前全球各大科技公司都在积极布局大型AI模型,但现实情况是大家的注意力还集中在云端。 相比之下,终端...