去年,我们通过AMD锐龙AI PC向大家介绍了AI PC相比普通PC带来的新变化。彼时的AI体验仅停留在Windows Studio Effects、Topaz Photo AI等少数功能和应用中,大家一直期待AI PC带来更多突破性的改变。经过一年多时间的发展,如今AI PC的概念已被大众熟知。那么如果现在入手一台AI PC,它能带来怎样的新体验呢?
从无到有从云端到端侧AI PC应该是什么样子?在去年或许很多人都回答不了这个问题,因为尽管当时AI PC的硬件时代已经到来,但彼时能使用的AI应用程序不多,整个市场呈现出“有硬件(NPU)、无应用”的尴尬处境。当时AMD首先推出了内置NPU的处理器,但那时的AI软件生态处于发展初期,普通消费者直接能够使用到的AI应用还是AMD联合微软推出的Windows Studio Effects,它可以在系统底层为相机添加背景模糊、自动取景、眼神矫正等AI功能。
巧合的是,生成式AI应用在2023年开始火爆。尽管在硬件设备层面,市场上已经有了内置NPU的AI PC,但是大众关注生成式AI应用的焦点依然停留在以ChatGPT、文心一言、通义千问为代表的云端大模型服务上,大家使用更多的依然是通过网页的形式来打开的云端大模型服务。
▲2023年,AI PC方兴未艾,但是大众关注生成式AI的焦点仍在云端大模型服务上。
变化发生在2024年。2023年底,AMD、英特尔相继推出新一代内置NPU的处理器,搭载这些全新处理器的笔记本新品大多数在2024年春季上市,伴随着新产品的上市,芯片巨头和OEM都在努力推广“AI PC”概念。在这个过程中,芯片巨头、OEM包括一些ISV服务商还在不断完善和发展AI软件应用生态,让AI应用适配AI PC,以发挥出AI PC硬件的实力。于是我们看到华硕、联想、惠普、荣耀、雷神等笔记本厂商今年都在加速打造自家的AI大模型应用,并内置在笔记本中。
▲AMD在2023年1月份为x86平台首次带来Ryzen AI NPU,从此打开了AI PC时代的大门。
华硕在a豆14 Air笔记本中推出了全新的“豆叮AI助手”,它由字节大模型提供技术支持,为用户提供对话沟通、资料查找、文字创作等AI功能。联想推出个人智能体“联想小天”,它由嵌入本地的天禧大模型驱动,通过自然语言交互,能够在工作、学习和生活等诸多场景中带来全新的AI体验。惠普推出新一代“惠小微”个人助理,结合云端大模型和本地大模型,为用户带来全新的AI体验。荣耀则在MagicBook Pro16上推出全新的“YOYO AI超级助理”,其接入在线大模型并融合本地算力,支持智慧搜索、文档总结、智慧推荐、文本创作等AI功能。雷神在今年5月的发布会上不仅推出了内嵌本地AI大模型Euler的雷神aibook 15神启版,进而可以使用个人助理—“小雷AI”。
▲伴随着新产品的上市,芯片巨头和OEM都在努力推广“AI PC”概念。
无论是AMD锐龙7040系列、锐龙8040系列还是最新发布的锐龙AI 300系列处理器,这些内置NPU的处理器都可以在PC上提供CPU+GPU+NPU的综合AI算力,因而实现常见的各类AIGC图文创作或者进行复杂的图形处理、大型数据分析等高负载任务的处理。伴随着各家AI软件生态的不断发展,现如今AI PC市场发生的最大变化是人们关注的AI应用体验从以往的云端转向了端侧,AI PC行业参与者都在努力发掘本地AI算力的潜力。
如果现在入手一台AI PC,它和普通PC有什么区别?答案是现在的AI PC都内置了AI算力很强的NPU,能够高效地原生支持端侧的AI应用,而且在此基础上多数在出厂时就搭载了AI相关的软件和服务,可以实现许多基于本地硬件加速的AI功能,比如AI视频增强、AI语音对话、AI文本生成、AI抠图、AI绘画等。
AMD AI PC的AI应用全体验接下来我们通过一款AMD锐龙AI PC来详细体验,看看在出厂时就搭载了AI相关软件和服务的笔记本电脑究竟有何不同。我们本次选择的笔记本是联想小新Pro16 AI元启锐龙版,它搭载AMD锐龙7 8845H处理器,这款处理器内置AMD Ryzen AI NPU,NPU算力达到16 TOPS,在CPU、GPU和NPU三大引擎的加成下,AMD锐龙7 8845H平台的整体算力高达38 TOPS。
▲2024年,笔记本厂商都在加速打造自家的AI大模型应用,并内置在笔记本中。
需要说明的是,本文截稿前搭载AMD锐龙AI 300系列处理器的笔记本新品暂未发售,而酷睿Ultra平台的整体算力(34 TOPS)不及AMD锐龙7 8845H平台,所以本次通过联想小新Pro16 AI元启锐龙版来体验AI应用对大家来说具备一定的可参考性。为了便于阅读,我们将从以下几个大的方面来逐一体验。
▲AMD锐龙7 8845H处理器的整体算力达到38 TOPS。
个人智能体联想小天这是这款AI PC的一大亮点,如今各个笔记本厂商都推出了自己的智能助理,而各家的功能基本上大同小异,所以我们这里主要以“联想小天”为例。联想小天内置在联想小新Pro16 AI元启锐龙版中,它由基于本地的天禧大模型驱动,通过自然语言交互,能够在工作、学习和生活等场景中带来全新的AI体验,借助用户的本地文档,联想小天还能够不断加深对用户的认知和理解,从而提供更加精准和个人化的服务。
▲联想小天是用户专属的“个人智能体”,由嵌入本地的天禧大模型驱动,通过自然语言交互,能够在工作、学习和生活等诸多场景中带来全新的AI体验。
联想小天的核心功能点有四个方面,一是拥有本地知识库;二是本地知识总结生成,基于个人指定文档的“总结/归纳”功能,并可自动匹配输出语言;三是数据安全保护,联想小天提供了芯片级的安全方案并结合联想账号的管理系统,可以保证用户的知识库只能被本地大模型调用;四是自然交互的AI生态,可以通过手写识别、语音识别实现自然交互,形成具备个人风格的图片、内容等。
▲联想小天的AI PPT功能需要在联网状态下运行,它能够根据用户上传的资料、文档以及输入的主题,自动一键生成PPT。
联想小天支持本地个人知识库的管理和问答、AI画师、AI PPT、问答等功能。我们先来看本地个人知识库的管理和问答功能。这个功能只会调用本地大模型来处理用户上传的PPT、Word文档、PDF等文件(暂不支持上传图片),不会联网处理。所以它在数据私密性和安全性上更有保障。上传文件之后,用户可以针对上传的文件进行问答,比如要求联想小天为你翻译、朗读、总结、生成PPT等。我上传了一份AMD的英文新闻稿,让它翻译成中文,联想小天翻译得很准确,而且因为是离线大模型在处理这个任务,所以在断网的情况下也能完成翻译任务。另外,还可以让联想小天来总结文档内容,它处理得也比较准确。
▲本地个人知识库的管理功能会调用本地大模型来处理用户上传的PPT、Word文档、PDF等文件,上传文件之后,用户可以针对上传的文件进行问答。
联想小天的AI PPT功能需要在联网状态下运行,它能够根据用户上传的资料、文档以及输入的主题,自动一键生成PPT。我让AI PPT做一个笔记本推荐的PPT,上传一份Word文档资料之后,联想小天能够自动总结出PPT的大纲,此时用户也可以手动更改调整。之后就进入选择PPT模板的界面,系统提供了扁平简约、商务科技、文艺清新、卡通手绘、中国风等多种不同风格的模板,能够满足大多数办公人士的需求。之后AI PPT会自动生成PPT,并供用户下载,如果不满意也可以返回去重新编辑。
总体来说,AI PPT功能生成的PPT效果较好,对不会做PPT的人或者很少做PPT的用户来说绝对是救星。如果你是PPT老手的话,它也能起到很好的辅助作用。对了,AI PPT生成的PPT还能以PPT、图片或者PDF文件的形式下载,对新手用户来说很友好。
接下来看看AI画师功能。联想小天的AI画师功能是基于云端大模型的文生图功能,用户通过输入文字描述,AI画师会生成对应的图片。这个功能对于办公人士、设计师来说很有帮助,能够随时触发新的灵感。在联想小天中,AI画师能够按照要求生成一个趴在沙发上可爱的白色狗狗。联想小天中的AI画师并不是这个功能的完全体,它的完全体是另一个软件——Creator Zone。在这个内置的软件中,用户能够更精细地设置文生图的各项参数,包括风格、比例、分辨率、迭代步数等,功能更丰富、完整。
▲在联想小天中,AI画师能够按照要求生成一个趴在沙发上的可爱的白色小狗。
联想小天由大模型驱动,所以它也支持知识问答、文本创作等其他大模型对话助手的常用功能。重要的是,联想小天支持本地大模型和在线云端大模型,所以无论是断网还是联网都能使用,这在其他笔记本上非常少见。用户可以通过对话框上方的图标在本地和云端大模型之间相互切换。
▲在Creator Zone软件中,用户能够更精细地设置文生图的各项参数,包括图片风格、比例、分辨率、迭代步数等。
我们来看看本地大模型和云端大模型的区别。询问同一个问题时,可以看到在断网状态,联想小天基于本地大模型能够准确地回答“柔情似水,佳期如梦”的意思,只是回答得比较精简。而在云端大模型下,基于云端的高算力,联想小天回答得相当准确,既解释了这句话的来源,也向我们详细介绍了它的意思。
▲联想小天支持本地大模型和在线云端大模型,所以无论是断网还是联网都能使用,不过它在云端大模型状态下的回答内容更详细一些。
联想小天还具备小程序商店功能,联想这是计划通过小程序来接入其他AI应用,从而打造出自己的AI生态。现在小程序商店中已经集合了Kimi智能助手、美图抠图、印象笔记的H5网页生成、通义万相、闪光简历、网易有道翻译、百度度加等知名应用,用户可以根据自己的实际需求通过小程序商店一站式使用或者开通对应的AI服务,省去了单独下载软件或者打开网页的麻烦。此外,联想小天还支持“嗨聊模式”,在这个模式中,用户会模拟和联想小天进行沉浸式的语音通话,和它深入交流,讨论各种话题。
▲联想小天还具备小程序商店功能,现在小程序商店中已经集合了Kimi智能助手、美图抠图、通义万相、网易有道翻译、百度度加等知名应用。
端侧AI大模型
去年AI PC诞生的时候,有的人可能会觉得在PC上成功运行生成式AI应用很难做到,但现在已经不是难事。我们这里说的端侧AI大模型指的是将各种类型的大模型部署在AI PC本地,实现在断网的情况下也能完成自然语言的处理和其他操作。这里说的端侧AI大模型分成两类,一类是OEM自己开发的自带本地大模型的智能助理,类似联想小天这种基于天禧大模型的个人智能体,我们在前文已经体验过了;另一类则是由其他厂商开发的能够帮助用户在PC上部署大模型的类似软件,比如我们接下来要体验的AMD锐龙AI助手。
AMD锐龙AI助手依托清昴智能面向LLM推出的自研优化推理工具链MLGuider开发,基于AMD锐龙7040和锐龙8000系列AI PC平台开发运行,可加载多个类型的端侧大模型,无需联网即可快速体验生成式AI,现已支持常规问答的文生文、代码生成和健康辅助建议等功能。
由于AMD Ryzen AI平台能够提供CPU+GPU+NPU的综合AI算力,所以在AMD锐龙AI PC上通过部署本地大模型来提供AI应用解决方案,这在商用场景和消费场景中都已经实际落地。目前这些大模型涉及医学影像、编程、医疗、教育、法律等多个垂直领域,它们可以融入用户的工作流,帮助用户生成知识图谱、合同、法律意见、简报等,从而提升用户的工作效率。比如无问芯穹公司开发的高性能大模型——无穹天权,擅长逻辑推理和长文本处理,支持长达256k字符的文本,能直接处理整本《三体3:死神永生》,它可以在AMD锐龙AI PC上实现优异的推理加速。
在联想小新Pro16 AI元启锐龙版上,我们通过锐龙AI助手部署了几个主流的大模型,来看看这台机器运行大模型的实际表现吧!这些大模型包括千问14B-Chat、百川2-13B-Chat、ChatGLM3-6B、扁鹊2等。
在实际体验中,千问14B-Chat的模型参数最大,它回答的准确性也更高。联想小新Pro16 AI元启锐龙版运行千问14B-Chat模型的时候处理器功耗能够飙升到51W-60W左右,处理器占用率达到65%左右,毕竟这个大模型的参数量大,需要更强大的性能才行。ChatGLM3-6B的反应速度很快,但它似乎对中文的文学知识了解得不多。
▲千问14B-Chat的模型参数最大,它回答的准确性也更高。
▲ChatGLM3-6B的反应速度很快,但它似乎对中文的文学知识了解得不多。
百川2-13B-Chat相比千问14B-Chat和ChatGLM3-6B来说,回答得过于简洁,但回答的准确性很高。CodeGeeX2-6B则是一款轻量级的开源代码生成模型,它可以实现对多种编程语言的自动生成,有着代码生成与补全、添加注释、代码翻译及技术问答方面的强大能力。部署在PC本地之后,它可以在断网的环境下准确地回答类似“用java实现一个简单贪心算法”的问题,对于程序员群体来说很有帮助。
▲CodeGeeX2-6B大模型是一款轻量级的开源代码生成模型,它可以实现对多种编程语言的自动生成,有着代码生成与补全、添加注释、代码翻译及技术问答方面的强大能力。
▲百川2-13B-Chat相比千问14B-Chat和ChatGLM3-6B来说,回答得过于简洁,但好在回答准确性很高。
Stable Diffusion图像生成
要说目前最火的AI应用,除了生成式大模型之外,以Stable Diffusion为代表的图像扩散模型应用也受到大家广泛追捧。与各类在线AI出图的工具相比,Stable Diffusion拥有出色的高自由度,同时也拥有大量免费的资源,部署在PC本地,于用户而言在安全性、私密性、便捷性上都也有保障。
AMD AI PC在CPU、GPU、NPU三大引擎的算力协同之下,自然能够轻松玩转Stable Diffusion。Stable Diffusion Web UI主要由GPU驱动,AMD锐龙7 8845H处理器内置的AMD Radeon 780M显卡采用RDNA 3架构,配备12个CU单元,768个流处理器,具备强大的算力基础,所以AMD AI PC在Stable Diffusion图像生成方面也颇有优势。
▲在4GB显存设置下,通过AMD Radeon 780M显卡加速生成一张512×512分辨率的图片仅耗时43秒。
从实际测试来看,在4GB显存设置下,通过AMD Radeon 780M显卡加速生成一张512×512分辨率的图片耗时43秒,这样的效率能够满足类似新媒体运营人群对AIGC的使用需求。
视频会议增强
视频会议增强对于AMD锐龙AI PC来说是一个很常见的功能,这里主要是说AMD联合微软推出的Windows Studio Effects。借助NPU支持,Windows Studio Effects可以在系统底层为相机添加背景模糊、自动取景、眼神矫正等AI功能。对普通用户来说,在AMD AI PC的“摄像头”设置中就能便捷地开启由NPU驱动的Windows Studio Effects。需要注意的是,现如今AMD锐龙AI PC还带来了一个新变化——知名的HWinfo软件目前支持监控AMD NPU的占用情况,这在去年是无法实现的。
▲如今AMD锐龙AI PC还带来了一个新变化—HWinfo软件支持监控AMD NPU的占用情况,这在去年是无法实现的。
Windows Studio Effects是来自Windows系统底层的功能,它不仅作用于Windows系统的“相机”应用,还支持任何视频通话软件。比如我们通过TIM软件进行视频通话时,由于TIM不支持任何视频效果,所以如果你的笔记本不支持Windows Studio Effects,那么当通话所处的环境杂乱无章时,你可能会略感尴尬。而在Windows Studio Effects的帮助下,用户用TIM进行视频通话时也能享受到背景模糊、自动取景、眼神矫正等功能的魅力,而且这个功能是由NPU驱动的,所以开启之后也不会增加CPU或者GPU的占用率。
▲借助NPU支持,Windows Studio Effects可以在系统底层为相机添加背景模糊、自动取景等AI功能。
▲通过两张图片对比可见,有了Windows Studio Effects,用户用不支持任何视频效果的TIM软禁进行视频通话时也能享受到背景模糊、自动取景等功能的魅力。
游戏辅助
AMD锐龙AI PC已经赋能千行百业,除了端侧大模型、视频会议增强之外,在游戏娱乐方面也发挥出了自身价值。目前游戏辅助工具《游戏加加》的“超能时刻”、“外设灵动光控”、“AI游戏教练”等功能已经加入了对AMD NPU的支持。其中“超能时刻”功能主要是利用AI技术来自动识别并记录游戏中的击杀瞬间,帮助玩家轻松保存和分享游戏中的高光时刻,不需要玩家手动来录制。目前该功能支持的游戏涵盖《永劫无间》《无畏契约》《绝地求生:大逃杀》《APEX英雄》《使命召唤20:现代战争3》等。
▲用户在“超能时刻”设置中可以选择AMD Ryzen AI NPU模式来开启NPU的支持。
我们通过《永劫无间》来简单体验一下NPU驱动的“超能时刻”功能,首先在设置界面可以看到该功能的AI识别模式有两种:通用模式、AMD Ryzen AI NPU模式。在通用模式下,实现该功能需要占用GPU额外的资源,而在Ryzen AI NPU模式下,整个AI的推理全部由NPU完成,所以不会占用到GPU额外的资源,这对实际游戏的帧率影响更小,而且AMD和游戏开发商还在AI模型的训练中深度合作,进一步提升了该功能中AI识别的准确性。
▲开启AMD Ryzen AI NPU模式并进入游戏之后,《游戏加加》能够实时监测到NPU的频率和占用率。
在“超能时刻”功能的设置中开启AMD Ryzen AI NPU模式进入游戏之后,《游戏加加》能够实时监测到NPU的频率和占用率。玩了一局之后,精彩的超能时刻视频会自动保存在电脑里,很方便。
总结经过一年多时间的发展,以AMD Ryzen AI平台为代表的AI PC已经发展到一个全新阶段。现在人们已经将CPU、GPU和NPU视作AI PC的三大算力引擎,而AMD也是业界在这三个方面都有优势的创新领导者,通过三者的相互协作推动AI应用解决方案的实际落地来真正发挥出AI PC的实力。正因如此,我们才看到端侧AI大模型应用进入百家争鸣的时代。
实际上,AMD的ISV服务商和生态合作伙伴已经超过150家,未来还有更多合作伙伴加入。目前适用于AMD Ryzen AI平台的AI应用解决方案远不止我们本次体验的这几个功能,上到医疗、教育、咨询等行业领域,下到绘图、游戏辅助等消费级场景,AMD Ryzen AI平台已经带来了空前的AI PC新体验。
从云端到端侧,这是AI PC发展过程中的必然路径。一方面,AI PC在CPU、GPU、NPU的协同下本来就具备强劲的端侧AI算力,为本地部署大模型应用提供了基础;另一方面,从我们本次的体验测试也能看到,如今大模型应用已经越来越实用,能够真正为用户的日常生活和娱乐带来帮助,而且端侧大模型应用的发展也降低了普通用户体验AI应用的门槛。
最后,我们也不能忽视端侧AI应用所具备的一些优势,比如经济性—端侧部署大模型省去了在云端购买增值服务的费用,数据在本地处理也降低了云服务的成本;安全性—数据停留在用户手中,免去了隐私泄露的麻烦;便利性—本地AI服务在断网状态也能运行,避免了网络上的限制。
综合来看,以AMD锐龙AI为代表的AI PC,如今已不再停留在概念上,而是普通用户可以感知,可以体验,并且能真正给用户带来帮助的更有价值的工具。在时代的浪潮前面,大家是时候拥抱AI PC,并向AI时代迎风启航了。