高通公司出席2024世界人工智能大会：终端侧ai规模化扩展释放工业化创新活力 -凯发k8游戏

7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议正式开幕。高通公司中国区研发负责人徐晧出席“ai赋工业，数智启未来”人工智能赋能新型工业化主题论坛并发表主题演讲，探讨ai如何为工业生产注入智能化的基因，实现高质量发展，推动人工智能技术在工业领域应用。

徐晧表示，异构计算、量化压缩等技术手段能帮助云端大模型落地终端，从而赋能广泛的工业应用。5g与ai相结合，将助力打造更加智能的工业环境。以工业场景中的机器人用例为例，现在的机器人主要利用计算机视觉或者深度学习完成理解和功能执行。随着生成式ai突破性的发展，未来机器人能够理解我们提出的要求，加上机器人学科实现的出色定位、导航和机械臂控制，可以打造非常智能的应用。结合5g与ai，机器人能够实现网络连接，赋能运维和质检等生产环节，打造更加智能和现代化的工业环境。

以下为演讲全文：

大家好。刚才的嘉宾分享了行业应用，我想分享一下更底层的算法设计，以及我们如何从终端侧把ai普及到人们的日常生活中。今天论坛的主题是人工智能赋能新型工业化，因此最后我会分享一些工业应用上的ai用例。

生成式ai的能力在不断增强，主要体现在以下方面：

● 语音ui，我们有更多更智能的语音支持，带来自然直观交互;

● 多模态大模型，除了早期与chatgpt进行的文字对话，现在我们看到了更多的视频/图像处理，以及图像/文字的共同处理;

● 在视频和3d方面，我们有更多的沉浸式体验;

● 更长的上下文窗口，现在有越来越长的文章甚至于一整本书，都可以用ai处理一次性总结出来;

● 个性化，终端侧的ai应用可以带来更加个性化的内容处理;

● 智能体，人们可以根据自己的喜好来打造个人ai智能体;

● 最后，现在可以看到越来越多由ai增强的高清晰度图像和视频。

此前，我们带来了全球首个运行在android手机上的stable diffusion终端侧演示，最近，我们还实现了全球首个在android手机上运行的多模态大模型(lmm)演示。比如用户可以给冰箱里的食材拍一张照片，然后问大语言模型“你看到了什么?”，ai可以很快地识别所有物体。然后用户可以接着问“基于这些食材，请给我推荐一个菜谱”，ai就可以把菜谱展示出来。这比最开始我们仅仅能问ai“今天天气怎么样”或者“给我讲一个笑话”要好很多。这个是我们在手机端或者用户端，看到大语言模型以及多模态模型能够支持的更多用例。

从技术上来说，哪些是我们把大语言模型应用落地到端侧必须实现的核心技术?首先，很多最基本的大语言模型都是10亿甚至30亿以上的参数规模，这种规模的模型想要在手机上应用其实具有一定挑战。所以，我们需要把云端的大模型算法，通过最简单、最有效且最节能地方式部署在手机和其他智能终端上。如果我们的手机能够做一些最基本的生成式ai运算支持，这要比把所有的照片和视频都传到云端运算再传回来更高效、更安全。

正如当年的云计算与在手机和电脑上计算类似，现在的大语言模型能够在云端运行，今后我们希望同样的模型能够在手机、个人电脑、机器人、汽车上运行。通过量化和压缩、推测性解码、知识提炼、高效的图像和视频架构以及异构计算这5个重要的技术手段，能够帮助把云端的大模型，包括llama、chatgpt以及国内一系列大模型落地到终端，赋能包括工业应用、手机/平板电脑应用等等。

举几个简单的例子。首先是量化，量化对于能耗、运算和存储都有很大影响，比如把32位浮点变成16位定点，看起来只是减少了两倍，但实际上，存储数据时占用的内存更少、传输数据量也更少、无论是加法还是乘法的运算量也更少，所以仅仅是从32位变成16位，就会带来4倍的能耗减少。从32位到8位，能带来16倍的能耗减少;从32位到4位，能带来64倍的能耗减少。这也是为什么所有的人工智能算法公司都在想办法把浮点变成定点，因为这会让运算的存储和数据的传输更简洁。

对于每一个类似的技术方向，我们都在积极努力尝试。比如，你可以先训练再量化;或者在训练的时候直接考虑量化的影响。

接下来是知识提炼。我们可以将其看成“教师”和“学生”的关系。比如可以将一个大模型想象成一个非常厉害的教授或者院士，但是往往在你的手机上，只需要一个小学生模型就能处理事情。比如我们只问它“冰箱里有多少菜”，小学生就能回答这个问题。如果大多数问题都在这个级别，你的手机只需一个“小学生模型”即可。知识提炼即可以通过对“教师模型”的学习，将其改为一个“小学生模型”，这个模型在手机端很容易运行。

接下来是推测性解码。比如这个大语言模型一次只能解码1个token，如果能用小模型，在同样的时间和算力的情况下，可能可以生成4个token。用一个小模型生成多个不太准确的token，然后把这些token直接送给大模型一次检查并决定接受哪些token，这就比完全由大模型一个一个生成token要高效很多。这个就叫做推测性解码。

下面是我们现在做的规划器(orchestrator)。如果用户告诉他的手机“我今天要从上海飞到北京，请帮我查找我需要的航班和酒店”，那么手机需要调用不同的程序。由于现在不存在能够把所有需求都安排好的一个程序，因此就需要智能体作为一个底层架构，把所需的程序调用起来、把所需的资源放在一起，然后安排可以满足用户需求的功能。这就是在最基本的底层方面，我们对智能体进行的支持。

接下来，我将介绍一下在机器人方面有哪些具体的ai应用。我们看到，现在的机器人大多数时候都是利用计算机视觉或者深度学习完成理解和功能执行。但是，随着近两三年来大语言模型突破性的发展，实际上机器人是能够理解我们对它提出的一些最基本的要求，那么它把“理解”这一环节解决之后，其他功能就更容易实现了。

机器人的大脑可以使用大语言模型，加上机器人学科实现的出色定位、导航和机械臂控制，可以打造非常智能的应用。结合5g与ai，机器人能够实现网络连接，赋能运维和质检等生产环节，从而打造更加智能和现代化的工业环境。在这样的工业环境中，我们可以进行实时数据分析、供应链优化、高可靠性智能控制并带来生产灵活性。我们看到在人工智能和5g的加持下，智能生产环境在中国及全球范围内可以得到日益广泛的推广。

最后，这是我们近期做的一个ai服务机器人展示。我们如果告诉机器人“我想喝水”或是“我口渴”，机器人会提供不同的饮料选择，当用户选择之后，机器人可以走到房间另一侧，识别出用户想要的饮料，比如水、茶或是可乐，然后拿给用户。像这样由人工智能驱动的机器人，已经可以在日常生活中实现类似的操作。

未来，我们会看到越来越多这样的应用场景，我们希望人工智能不仅是在云端运行大语言模型、也希望这些人工智能算法能够落地到终端，落地到手机、个人电脑、机器人、汽车、xr眼镜等等，创造出更丰富多彩的应用场景。谢谢大家。