高通骁龙™888 5G移动平台的AI能力到底有多强？

2020骁龙技术峰会的第二天，进一步深入解读了高通骁龙™888 5G移动平台的强大性能，特别是其突破性的AI能力。

在去年的峰会上，我们推出了骁龙865 5G移动平台，全球首发搭载了第五代高通AI引擎，可支持终端侧实时翻译功能，将所有AI处理都转移到终端侧。我们还展示了在用户最喜爱的社交媒体APP中，如何利用AI打造出又酷又好玩的滤镜特效。

同时，我们也在助力移动行业之外的行业变革。例如，基于AI赋能的高通机器人平台RB5打造的机器人乒乓球系统，已经被用于中国顶尖乒乓球选手的陪练。此外，我们在自动驾驶领域的AI创新也在继续推进。

AI处理正变得越来越复杂，并且需要更强的AI处理能力。骁龙888移动平台正是为此而生，它搭载了功能更强大、架构更先进的第六代高通AI引擎。

第六代高通AI引擎和全新设计的高通Hexagon™处理器。

第六代高通AI引擎的核心是高通Hexagon处理器。今年我们推出了高通Hexagon™780处理器。它采用全新设计，在架构和性能上均实现了多年来最大的飞跃。我们称之为融合AI加速器架构。在过去几代产品中，我们使用了标量、张量和向量加速器。在新一代处理器中，我们消除了加速器之间的物理间隔，将它们融合成一个大的AI加速器上。我们还为这些加速器增加了一层专用的大容量共享内存，可实现高效的数据共享和转移。共享内存容量比前代产品大了16倍，其结果就是将加速器交互时间控制在惊人的纳秒级别——在某些用例中，数据交互时效的提升更是高达1000倍。

我们还对加速器本身进行了改进。较之前代，标量加速器的性能提高了50%；张量加速器比骁龙865移动平台中的加速器快了两倍，而高通Hexagon 向量扩展内核(HVX) 现在支持更多的数据类型。

去年发布的骁龙865 移动平台可实现每秒15万亿次的运算，即15TOPS，性能堪称业界翘楚。今年发布的骁龙888 移动平台实现了移动端最高的AI算力，高达每秒26万亿次运算。

高通擅长以超低功耗提供强大的性能。换句话说，我们的处理器不仅性能强大，并且效率极高。高通Hexagon 780处理器的每瓦特性能比上一代提高了整整三倍。

这么高的AI性能能做什么？今年，我们将展示一个用第六代Qualcomm AI引擎打造的全新AI用例：名为Tetras.AI的超级电影应用。

借助这个应用，你可以录制一个电影场景或视频，并用自己的形象代替其中的某个角色，并与里面的其他人物/角色进行互动。你甚至可以在开始表演和录制之前，在预览模式下实时看到最终效果。高通AI引擎负责运行和加速Tetras.AI的视频实例分割和融合算法，速度为30帧/秒，分辨率最高可达4K。

第二代高通传感器中枢

神经网络在您的设备上24小时不间断地随时准备运行。这些微小的、始终在线的AI算法需要一个完全不同的硬件，这也是我们打造高通传感器中枢的原因。

伴随着骁龙888移动平台的面世，我们推出了第二代高通传感器中枢，它比以往任何时候都更加智能。最重要的是，我们加入了始终在线的专用低功耗AI处理器，带来令人惊叹的5倍AI性能提升。

高通传感器中枢提供的额外AI处理能力，可分担通常由Hexagon处理器承担的高达80%的工作负载，从而节省更多的功耗。高通传感器中枢的处理功耗甚至不到1毫安（mA）。

为了让开发人员更容易访问高通传感器中枢，我们与谷歌及其TensorFlow Micro框架展开合作，面向Hexagon处理器和高通传感器中枢上的AI处理器上进行优化和加速。。

高通 传感器中枢的另一个新功能是能够收集和解读来自所有内核的数据，并创建情景感知的用例。有史以来，我们首次能够收集5G、Wi-Fi、蓝牙和位置信息的多重数据流，用以创建更具吸引力的用例。第二代高通传感器中枢将为明年的智能手机带来一系列全新的始终在线和情境感知的用例。例如，我们与Audio Analytic合作开发的技术，手机现在可以识别你周围的声学场景，开启一系列智能新功能，例如根据所处环境调整铃声音量。再比如，手机可以通过trinamiX应用分析用户的皮肤状况，用惊人的5G能力将终端侧AI和云端AI结合起来，向用户推荐最合适的保湿产品。

AI软件

到目前为止，你已经了解了我们新处理器核心拥有多么令人难以置信AI硬件能力，但强大的硬件必须搭配同等强大的软件才能发挥真正的威力。因此我们火力全开，加大AI软件的开发力度。

高通技术是首个将终端侧AI SDK商用化的公司。目前，高通神经网络处理SDK已在全球超过5亿台安卓终端上为出色的AI体验提供支持。 今年，高通神经网络处理SDK 带来一系列改进，包括对更多模型的支持，甚至扩大了对搭载骁龙888平台的笔记本电脑上Windows 10 AI用例的支持。。

我们打造了超快的高通AI引擎，以便AI应用程序可以充分发挥出硬件加速的优势。在骁龙865平台上，我们推出了Hexagon NN Direct，让开发者可以从他们的应用程序中直接访问Hexagon。随着搭载第六代高通AI引擎的骁龙888 移动平台的推出，我们对这一方式进行了重大升级——即为整个移动平台带来统一的Direct应用程序接口的能力。

今天我们推出高通AI引擎Direct。凭借全新的第六代高通AI引擎，我们的AI软件也正在进入新篇章。通过这个解决方案，我们扩展并增强了我们AI软件解决方案的功能，为开发者提供了直接访问硬件的途径，不仅针对Hexagon 780处理器，还包括Adreno GPU和高通Kryo CPU。

高通AI引擎Direct的设计初衷就是在骁龙888上首次带来了一个跨整个骁龙平台的统一AI应用程序接口API。此外，这个API也可以向下兼容，这将支持之前的第五代高通AI引擎。开发者和OEM厂商可以充分利用这一解决方案的优势，跨骁龙平台使用第五代和第六代AI引擎。不仅如此，我们专注于模块化和可扩展性——扩展我们用户定义的算子概念，为开发者带来新的功能，以便他们在骁龙平台上更快创造出他们自己的AI解决方案。

随着骁龙888移动平台的推出，我们将与自然语言处理NLP创新解决方案的领导者Hugging Face展开合作，利用第六代高通AI引擎的强大功能，在骁龙平台上启用并加速强大的NLP库——Hugging Face transformers，实现出色的精确性和响应性。想象一下：电子邮件客户端能在打字时为你提供自动补全建议，AI语音助手能更好地理解你的问题，语言翻译应用能够更快更准确地工作，这一切很快就能实现。

2019年我们引入了用户定义算子（user defined operators）的概念，这是第五代高通AI引擎的重要组成部分。使开发人员能够在OpenCL中或使用Hexagon软件开发包编写自定义算子，然后将其插入到高通神经网络处理SDK中。然而，即使是对于已经有利用Hexagon开发经验的开发者来说，要编写OPS脚本，也需要用汇编语言编写复杂而冗长的例程。

作为我们支持更多开发者和OEM访问第六代高通AI引擎这一承诺的一部分，今年我们宣布，我们已经扩展了用于AI加速器的开源编译器TVM，支持Hexagon。现在，开发者可以用几行简短的Python代码编写自定义算子，为Hexagon编译，并直接插入高通AI引擎Direct框架。

最后，我们增加了对AI模型增效工具包（AIMET）的支持，使用诸如Adaround等训练后量化技术以及带有范围学习的量化感知训练，以实现更好的神经网络量化，准确性上几乎没有损失。我们还增加了对循环神经网络（RNN）和长短时记忆神经网络（LSTM）的支持。随着对混合精度网络支持的增加，开发者将能够在保持准确性的同时最大限度地提高功耗与性能的平衡。与TVM一样，我们在GitHub上开源了高通AI模型增效工具包，邀请大家与我们的研究人员进行公开合作。

我们有一个很好的用例来展示AIMET的功能。我们将持续与全球最受欢迎的社交媒体应用之一Snapchat合作，通过AIMET的功能来提升热门滤镜的性能。

Snapchat 使用我们的AIMET对其AI镜头模型进行量化，以提高人脸检测的准确性和性能。这样一来，用户就可以随时使用最新的滤镜，其响应速度和流畅性都令人惊叹。

高通技术致力于打造颠覆性的尖端硬件和软件解决方案。骁龙888移动平台就是此类解决方案之一，我们借此将终端侧AI能力提升到一个全新的水平，并对我们的工程师在为全球用户打造更强大的AI体验而无比自豪。

关注微博或扫描下方二维码关注微信公众号（ID：Qualcomm_China），了解更多Qualcomm 资讯。