文 | 田哲
编辑 | 苏建勋
在对标OpenAI之路上,智谱AI又近了一步。
今年年初,OpenAI被爆出将自研AI Agent软件,它可替代人类,自动导航至任何网站并执行指定任务。
10月25日,智谱AI推出相似产品——自主智能体AutoGLM,智谱将其称为是一个可模拟用户点击屏幕的手机操作助手,以及点击网页的浏览器助手。
智谱的展示视频显示,AutoGLM可实现网页进行线上点餐、整理小红书笔记并生成攻略、总结论文等功能。
同时,智谱AI还推出了端到端情感语音模型GLM-4-Voice。这款情感语音模型不仅能够模拟真实的情感表达,甚至连细微的停顿、喘气都表现得惟妙惟肖。
这一技术的突破,与科幻爱情电影《Her》的部分情节相似。电影中,男主角西奥多与AI助手萨曼莎偶然相识,萨曼莎正是通过富有情感的语音互动让人感到贴近、温暖。
如今,智谱AI的情感语音模型似乎正把《Her》中的科幻场景带入我们的日常生活,人工智能不再只是冷冰冰的工具,而开始具备“情感”与“个性”。
《Her》已经初具雏形,具有自我意识和情感的AI或许不久会出现。
自主智能体上线:能点外卖、夸彩虹屁与OpenAI的AI Agent相似,智谱清言AutoGLM模型,也无需用户手动操作示范,不受制于简单的任务场景或API调用,即可替代人类在电子设备执行操作。
目前,智谱AutoGLM可适配微信、淘宝、美团、小红书等8款知名应用软件,覆盖日常生活常用的线上聊天、网购、社交、地图、酒店火车订票等功能。
具体而言,当你向AutoGLM发出指令后,双方之间的对话将以语音形式展现,并实时显示字幕。
例如,你可以要求AutoGLM在大众点评给出指定的店家好评,并自动编辑评论。在执行“发送评论”这一超出指令的操作时,AutoGLM会主动提示是否进行。
你也能让AutoGLM查找淘宝某一时段的历史订单,复购指定商品。
就连向指定微信好友的朋友圈点赞、评论,这一步骤较长的任务也能完成。
据悉,为了保护用户隐私,AutoGLM不会主动获取用户的个人隐私信息,如果需要执行授权范围之外的任务,AutoGLM会主动提示以获取用户同意。
即使用户向AutoGLM授权,也不意味着AutoGLM永久拥有相关权限。每次后台启动AutoGLM,都会重新向用户申请无障碍权限。
目前,AutoGLM已上线电脑端开放使用,安装清言插件即可使用,手机端AutoGLM正开放安卓手机内测。
情感语音模型,有情感、会停顿两个月前,智谱清言首次秀了一把语音通话技术,虽然当时语音通话功能能听懂对话、回复还算准确,但语气像是机器人“背稿子”,没啥感情。要是让它来点情感表达,它还会一本正经地告诉你:“作为一个人工智能,无法表达感情”。
不过,现在升级后的情感语音模型,感觉就不一样了。语音听起来更有“人味儿”,还能加点感情,像真人一样跟你聊。
它已经学会了用撒娇、调侃、愤怒、歇斯底里等语气表达。比如,拟人语音能模仿孩子,用撒娇语气向姐姐要糖葫芦。
模仿小孩撒娇如果普通话听腻了,没问题,它还能切换为北京、东北、广东、台湾、重庆五地腔调,比如介绍美食时那句经典的“巴适得板”,直接让人食欲大开。
模仿四川方言玩角色扮演游戏也不成问题,可以把它设定为《哈利波特》中的反派伏地魔与你战斗,并能要求它以指定的语气进行扮演。比如它能以电视剧中常见的反派语气说话。
模仿伏地魔如果挑战绕口令加速,它可能就会“翻车”了,发音有点“飘”。
加速说话不过在某些时候,GLM-4-Voice说话时偶尔会出现短暂的电流声。
电流声另外,发音偶尔也可能不标准,比如将为什么的“为”,发音为“微”。
发音偶尔不标准据了解,GLM-4-Voice结合了自然语言生成(NLG)和语音合成技术,相比传统的TTS技术(Text-to-Speech),拟人语音能够理解上下文语境,实现富有情感的自然对话。
此外,GLM-4-Voice以音频 token 的形式直接建模语音,在一个模型里面同时完成语音的理解和生成,信息损失和误差积累相比传统级联方案更少,理论上有着更高的建模上限。
GLM-4-Voice 模型架构图;来源:智谱AI
这不是清言拟人语音通话的全部功能,其对标GPT 40,将在响应和打断速度、情绪感知情 感共鸣、语音可控表达、多语言多方言等方面进一步突破。目前,其已实现不同情绪,各地方言说话时,还能调节语速、音量,实现与真人般的对话。
目前,GLM-4-Voice已上线清言app,用户可与清言自然聊天。值得注意的是,GLM-4-Voice已对外开源,这是智谱AI首个开源的端到端多模态模型。
下一步,它还将支持视频通话功能,届时不仅能认出物体,还能用语气带来“眼神交流”的互动感。
加码AI手机,智谱找到商业化大入口“现在的小模型还处于找市场的阶段,需要将市场与技术磨合,提升效率的同时找到新的应用场景。”
两个月前,智谱AI CEO张鹏与《智能涌现》的访谈中,提到了这一观点。与手机厂商合作AI智能体,或许就是张鹏所说的新场景。
找到场景,是模型厂商的当务之急,这意味着模型厂商不仅能获得稳定的收入来源,完成自我造血,同时也能在场景中持续手机数据,进行产品迭代。
而AI智能体是大模型应用的主要形式之一,其具备自主感知、决策并采取行动,被认为将是电脑、智能手机下一代产品形态的AI手机、AI PC,就搭载了AI智能体。据咨询机构IDC预计,2027年,中国市场AI手机和AI PC的市占率将分别超过50%、80%。
智谱正在加紧推动大模型落地AI手机。本月22日,智谱与高通达成合作,为骁龙 8 至尊版适配优化 GLM-4V 端侧视觉大模型,提供多模态交互方式;23日,智谱与三星手机围绕GLM-4V 端侧视觉大模型合作,双方将打造AI产品。
而AutoGLM,智谱也透露正在与荣耀等手机厂商开展深度合作。事实上,今年9月智谱与荣耀已成立AI大模型技术联合实验室。
荣耀也有意进一步提升AI智能体的表现。在23日的荣耀MagicOS 9.0发布会媒体采访中,荣耀终端有限公司CEO赵明表示,荣耀正在通过AI重构操作系统,打造核心底层能力,以实现更加智慧化的服务。
AI手机风头正盛,多家手机厂商如苹果、荣耀、vivo、OPPO等争相推出具备AI功能的手机,AI功能如AI消除、AI通话摘要等。
然而,搭载AI智能体的手机目前数量较少,其中原因,既包括行业技术发展仍不成熟,另一反面相关标准长期缺失。
不过,这一情况正在逐步改善。
市场层面,Open.ai、智谱等模型厂商已传出与手机公司合作消息,将推动模型厂商、应用软件提供者与手机厂商之间的合作。
政策层面,中国信息通信研究院与国内多家手机厂商联合发布《终端智能化分级研究报告》,其中对终端智能化进行了分级定义,一定程度,这将推进国内AI手机市场的发展。
终端智能化分级定义
多款大模型已与智能手机生态公司合作,或许AI手机,将成为智谱商业驱动的主引擎。