从抖音、快手背后的技术,谈AI内容产品的启发( 二 )


快手则相反 , 致力于构建一个公平的平台机制 , 如果流量太高反而会被限流 , 更多的鼓励是平民生产内容 , 构建同城或者是你身边跟你很相似的人的故事 。这些人可能就与你我一样是个普通人 , 背后没有MCN机构、没有巧妙构思的脚本、专业的剪辑 , 因此这些“平民”需要AI加持、需要一些工具来低成本地创造内容 , 记录自己的生活 。
从这个角度来讲 , 快手更需要更加强大的内容创作生成技术来帮助普通人实现明星梦 , 或者是拍同款 。
虽然AI技术不是万能的 , 短视频的核心还是内容为王、围绕内容构建各式各样的玩法;但是通过AI技术加持 , 帮助大家高效地生产内容、创造有趣的、好玩的内容 , 所以接下来想谈谈 , 具体有哪些AI技术是可以应用在内容类型产品中的 。
一、物体/动作检测技术这一类应该是最早应用在短视频内容创作上的 , 包括很多自拍相机也有类似的功能 。比如眨眼睛、吐舌头、比各种手势来触发一些特效 , 这些是基于人脸的 。同理 , 基于一些生活中的图标、物体检测来触发一些特效 。
图2 比心特效
二、美颜、美妆、美体、美牙等人像美化功能这些其实都是基于关键点技术 , 无论是人脸的关键点检测还是人体的关键点检测技术 , 不论是5点、21点还是137、200+、1000+的点 , 又从2D的关键点到3D的关键点 , 这里都是为了帮助机器确认人脸的五官位置以及面部轮廓来进行的比例调整 , 比如大眼、瘦脸、瘦腰、拉腿等等 。
这些比较基础 , 对于关键数量依赖比较少 。如果想要做得更加精细 , 比如美妆里面需要进行眼妆(睫毛、眼影、眼线、眼睑下至、卧蚕)等等小部位的刻画 , 这就需要关键点数量的增加 , 甚至如果想要做丰额头、高鼻梁、低颧骨、丰苹果肌等效果 , 就需要一些3D mesh(从原来的点形成网状结构)的辅助 。
图3 2D人脸关键点和3D关键点 , 人像美化的最基础技术
图4 人体关键点技术
又或者是如果在美体这个用户体验做到既可以拉腿、细腰、丰胸 , 同时又不让背景畸变 , 就需要引入matting和inpAInting的技术了(既抠图和补全) , 有些场景下也可以使用3D人体重建的技术 。比如说剪映软件里的换背景功能也依赖于抠图能力 。
牙齿美白、口红依赖于分割技术 , 比如我最近在使用剪映牙齿美白功能的时候 , 嘴巴前面有一个遮挡物时 , 就会在遮挡物上就浮现了一个白色的月牙状不明物体 , 这是因为牙齿没有像嘴巴一样做遮挡状态的判断 , 呈现了一种俗称“穿帮”的画面 , 非常尴尬 。
三、AR类(人和环境)所谓AR类的 , 我们统一都定义为在已有的现实空间中叠加3D渲染的CG素材 , 不论是叠加在人脸上的、还是叠加在环境中的 。
这些底层技术一部分依赖于3D的人脸关键点的定位技术 , 另一部分依赖于对于空间的3D定位技术 , 如何在不同的用户手机姿态运动下、用户本身做各种动作的情况下 , 能保证叠加3D素材的绝对位置的固定(因为现实生活中的物体都是绝对静止的、不会随着手机的运动而动来动去) , 这个是对于技术考验最大的部分 。
当然3D素材的精致程度 , 很大程度也依赖于CG的生成效果 。


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: