AI给我们的生活带来了许多乐趣,从AI美颜到AI变脸,再到今年火爆全网的AI修复年老北京生活的3分钟影像资料和全球首个3D版AI合成主播。这些新鲜有趣的应用为什么在年火爆全网?背后推动力是什么?
火爆B站的AI修复老北京影像--盲人爵士乐队
全球首个3D版AI合成主播新小微,图片来自新华社
北京国际广播电影电视展览会(BIRTV)期间的一场媒体活动上,NVIDIA专业可视化亚太区业务主管沈威表示,传统“离线式”渲染、预录式的内容无法加入更多互动和特效的直播视频内容已经不能够满足当前广播电视行业的需求,尤其是当下的AI时代。利用NVIDAGPU的实时光线追踪技术及深度学习技术,可以为广播电影电视行业带来更多不一样的体验。
AI带给广电行业的两大变革
修复老北京生活影像和3DAI主播恰好代表了AI给广播电影电视行业带来的两个变革——对过去缺损画面、素材残缺像素的“无中生有”,以及实时渲染带来的更强互动性。
NVIDIA中国区高级技术市场经理施澄秋表示:“我们看到广电行业的趋势是从OTT(流媒体服务)向SVOD(视频点播)过渡,并且市场也在蓬勃壮大。在这个增长过程中,要么内容极剧爆炸、要么让老影片有更高分辨率。”
GPU“无中生有”修复过去
7月份火遍全网的年的老北京生活视频,不仅用AI对视频进行上色、补帧、提升了分辨率,还通过时代原声还原了老北京味。这个视频的火爆离不开新的AI算法DeepRemaster,当然也需要有强大硬件作为支撑。
为图像处理而生的GPU是不二的选择。据悉,NVIDIA有一项叫做NGX的技术,先用像DeepRemaster这样自动完成画面修补、美化和降噪的AI算法对GPU进行训练,然后NGX就能“无中生有”来做画面插帧、超级分辨率、慢动作等。
施澄秋对雷锋网表示,对于插帧而言,如果用传统的人工方式来做,一天只能做2-3帧,借助基于GPU的AI技术后,一天的插帧和修复可以达到百万帧级别,这是一个巨大的效率提升。
AI插帧还能在大幅缩短周期的同时实现更好效果。施澄秋以很多电影中都有千*万马的场面举例,如果用一匹马复制,不仅呆板而且运动轨迹都一样。但用人工的方式周期长且成本高,借助NGX技术,就可以得到形态各异的马。
AI插帧能让老视频有更好的流畅度,达到P甚至4K、8K。借助AI插帧和着色技术,还能够实现超级慢动作。超级慢动作是用超高帧率的摄像机(桢/秒、桢/秒)拍摄视频,然后再以低帧率(30桢/秒、40桢/秒)播放。
但很多素材比如用手机拍摄的突发新闻本身就只有30桢/秒的帧率,如果做慢动作就会像放幻灯片一样卡顿。利用NVIDIANGX的“无中生有”技术生成帧间像素,就可以得到非常平滑逼真的慢动作。
帧率决定着视频的流畅度,分辨率更直接的影响着观感。“SUPER-RES(超级分辨率)不是新概念,以前要实现SUPER-RES可能需要非常昂贵的硬件,且制作周期非常长,现在利用我们的NGXAI技术就可以做实时4K分辨率的超级分辨率。”施澄秋表示。
那效果如何?当虹科技就基于NVIDIA图灵(Turing)架构GPU推出了离线超级分辨率产品,支持标清转高清/4K、高清转4K/8K等。借助AI算法训练高频细节,实现高保真缩放。
当虹科技AI超分技术
还有强氧科技的DaVinciResolve,这是一款融合了专业8K剪辑、调色、视觉特效和音频后期制作工具。能够通过插补帧做慢动作,惊艳的自动调色,也能做匹配内容、物体自动移除等。
值得注意的是,当虹科技和强氧科技都提到了NVIDIA实时光线追踪GPU的性能优势。根据当虹科技给出的数据,不同的NVIDIAGPU的AI超分深度学习推理性能相比CPU有10倍到25倍不等的性能优势。
强氧科技给出的4KBRAW、6KBRAW、8KBRAW的测试显示,NVIDIA的QuadroRTX相比CPU也有2倍左右的性能优势。
GPU实时渲染增强互动性
“无中生有”技术更多的是对已有视频素材的增强,面向未来,GPU带来的是互动效果的增强,让广电的单向推荐也借GPU的AI功能变成双向智能推荐。
文中开头提到的AI合成的主播,其实年就已经有,但受限于当时的AI技术以及计算、渲染能力,那时的AI主播只有面部表情,没有肢体动作等。因此,今年全国两会期间进行新闻资讯播报的3D版AI主播新小微一亮相就获得了极大的