新的非自拍照人工智能技术使您的自拍照看起来像摆姿势的人像

2021-11-19 20:22 来源:

打印 放大 缩小

无论是在Facebook,Instagram还是LinkedIn上,为了使追随者受益,人们一直在用智能手机捕捉自画像。但是这些“自拍照”看起来似乎不自然,因为它们要求被摄对象伸出手臂以捕捉最佳角度。幸运的是,位于佛兰德的Adobe Research,加州大学伯克利分校和鲁汶大学的研究人员已经开发了一种AI技术,该技术可以将自拍照自动转换为中性姿势的肖像。通过识别目标姿势并生成身体纹理,它可以在给定的自画像背景下完善和合成人。

除了社交媒体,这项工作在企业中也有明显的应用。这样的系统可以构成员工徽章创建流程的基础,员工可以在其中拍摄自拍照,然后将自拍照转换为摆姿势的人像。或者,它可以用于捕获公司网站上“关于我们”页面的专业照片。

研究人员采用的“非自拍照”方法旨在使自拍照片看起来像摄影师捕获的“精心构图”的肖像,表现出轻松的手臂,肩膀和躯干。它会向下移动任何举起的手臂,并调整肩膀和躯干的位置,并在填充任何裸露的背景区域之前先调整衣服的细节。

为了训练其技术基础的AI系统,研究人员从互联网搜索和开放源数据集中收集了23,169张正面和中性姿势的人照片以及4,614张自拍照片。他们应用了一种算法,从姿态图像中提取姿态信息,并将其写入数据库,然后从每张照片中分割前景人物,然后将其粘贴到随机图像中以增加多样性。基于收集的中性姿势肖像,该团队以算法生成了相应的自拍数据。然后通过对应关系,他们将人像图像像素映射到最近的自拍姿势。

该系统利用基于检索的方法进行自画像转换。在训练过程中,给定目标中性姿势,它将在上述数据库中搜索匹配的自拍。这样,它就可以生成综合数据,用于自我监督离散的修复模型和构图模型。(修复模型重用可见的身体像素以填充任何不可见的身体部位,而合成模型添加细节并修复身体区域中的伪像,同时填充身体与背景之间的间隙。)经过充分训练后,给定自拍照,系统可以自动搜索最近的中性姿势。

由于其新颖性,研究人员指出,他们的“自拍照”方法有几个局限性。最近的姿势搜索有时很难找到适合侧面自拍和视点的中性姿势,产生的结果包含手臂或肩膀与人的头部区域相比太细或太宽。该系统还偶尔会遇到背景生成问题,无法检测到肢体之类的东西。

尽管如此,研究人员报告说,在定性实验中,用户从系统中对“无私”的评价与基线相比较高。他们在描述其工作的论文中写道:“据我们所知,这项工作是第一个针对自拍问题进行中性姿势人像平移的工作,这在休闲摄影师中可能是一种有用且流行的应用程序。”

责任编辑:互联网