近日,一部名为“70年,我是主角”的微电影瞬间刷爆朋友圈。
与很多静态图片或者超短小视频换脸不同,“70年,我是主角”提供网友用于换脸的视频片段包含了大量的奔跑镜头和频繁的姿态变化,要实现高质量的换脸效果,这就需要背后有非常强大的技术支持体系。
近一段时间以来,多款AI换脸的游戏在网上出现,逼真的换脸效果不禁让人们感叹技术的神奇。尤其是这个全民定制大片中京东支持的AI视频换脸,效果更可以用惊艳来形容。
在微电影中,杨洋频繁在火车车厢、室内、户外、夜间等不同场景下穿梭,扮演不同的身份感受历史变迁,造型年代感满满,没有多余的矫饰,用双眼记录新中国70年来的成就,感动与热血并存,视频中的光影极为多变。尤其男主角脸部的明暗差异变化非常大,这就给人脸关键点检测及渲染都带来了困难。对此京东AI采用了在纹理图上进行融合处理的手法,让纹理的生成独立于头部姿态的变化,从而使换脸更加的连贯和自然。
针对此需求,京东AI开发了基于RefineDet的阶段选择性改进版人脸检测网络算法,在业界顶级人脸检测榜单“WIDER FACE”三项评测集中均以优异性能排名第一,展现出京东AI出色的人脸检测技术实力。
要实现对海量用户的高质量支持,除了要在AI视觉算法上有非常全面的技术能力,还需要高水平、高可用的云计算支持体系。
针对海量视频应用的高并发需求,京东云在图片、视频的存储、智能分析、融合处理等方面定制了高效能的解决方案,并对图像、视频处理的算法进行持续优化,从每一秒、每一帧入手提升AI换脸过程的效率和体验。
不同于其他换脸应用中仅选取近景、正脸等场景,此次京东AI与人民日报合作的15秒微电影中则包含了大量的奔跑镜头和频繁的姿态变化,给脸部实时定位和渲染带来了较大的挑战,尤其是其中很多远景镜头,脸部区域较小且夹杂着运动模糊,更是给换脸带来了不小的麻烦。
京东AI创造性地运用了一种结合人脸解析的3D模型,性能超越了目前主流的3D关键点检测算法。
另一方面,京东AI的技术孵化来自京东集团丰富海量的数据和真实场景中,而选择研究的方向更是旨在产生实际的应用价值。本次与人民日报合作的AI视频换脸技术其实已经系统性、大规模、全流程地部署在零售、市政服务、融媒体等场景中,助力传统经济转型升级,让AI技术源自实战落地实战。
在H5的创意和内容之外,我们还会发现,用AI技术完成的“跨时空光影”,背后是一系列机器视觉技术的跃迁与突破。
一次生成6段视频的特征,一张图片数据匹配大量视频资源的深度交互模式,以及国庆热点中海量并发数据的处理,都让这份国庆献礼显示出庄重与激昂。