计算机视觉三大领域 计算机视觉技术的发展方向( 二 )


Unsupervised Domain Adaptation with Similarity Learning(用相似度学习实现无监督域适应 使用对抗性网络处理域适应 。作者让一个网络从标记的源域和另一个网络中提取特征,以实现从一个未标记的目标域中提取具有相似但不同数据分布的特征 。训练模型以将目标原型与所有其他原型区分开来的分类是不同的 。为了标记来自目标域的图像,作者将图像的嵌入与来自源域的原型图像的嵌入进行比较,然后分配其最邻近标签 。Image to Image Translation for Domain Adaptation (域适应的图像到图像转换 研究用于图像分割的域适应,其广泛用于自动驾驶汽车,医学成像和许多其他领域 。从根本上来说,这一域自适应技术必须找到从源数据分布到目标数据分布的映射结构 。该方法使用3种主要技术:(i)domain-agnostic feature extraction(从源域和目标域提取的特征的分布无法区分),(ii)domain-specific reconstruction(嵌入可以被解码回源域和目标域 ),和(iii)cycle consistency(正确学习映射) 。Conditional GAN for Structured Domain Adaptation (用于结构化域适应的条件 GAN 提供了一种新方法,通过结构化域自适应方法克服语义分割模型中跨域差异的挑战 。与无监督域自适应不同,该方法不假设存在跨域公共特征空间,而是采用条件生成器和鉴别器 。因此,条件 GAN 被集成到 CNN 框架中,迁移标记的合成图像域到未标记的真实图像域 。该方法的结果优于以前的模型,凸显了合成数据集在推进视觉任务方面不断增长的潜力 。训练基于深度学习的模型依赖大量带注释的数据集需要大量资源 。尽管在许多视觉识别任务中实现了最先进的性能,但跨域差异仍然是一个巨大的挑战 。为了跨域迁移知识,Maximum Classifier Discrepancy for Unsupervised Domain Adaptation 使用新颖的对抗性学习方法进行域适应,而不需要来自目标域的任何标记信息 。据观察,这种方法最小化来自目标域的样本的两个分类器的概率估计之间的差异,可以产生用于从分类到语义分割的各种任务的类判别特征 。4?—?生成对抗网络2018 年对于计算机视觉最成功的生成模型 – 生成对抗网络(GAN)来说无疑是重要的一年 。让我们来欣赏一些改进 GAN 模型的本年度最佳作品:
条件 GANs 已经广泛用于图像建模,但它们对于风格迁移也非常有用 。尤其是它们可以学习与特定图像元素相对应的显著特征,然后改变它们 。在PairedCycleGAN for Makeup中,作者们提出了一个图片妆容修整的框架 。他们为不同的面部组件训练各自的生成器并单独应用它们,用不同的网络提取面部要素 。Eye Image Synthesis with Generative Models(生成模型的眼睛图像合成) 着眼于生成人眼图像的问题 。这是一个有趣的用例,因为我们可以使用生成的眼睛来解决视线估计问题——一个人在看什么?作者使用眼形合成的概率模型和 GAN 架构来生成遵循该模型的眼睛 。Generative Image In-painting with Contextual Attention(基于内容感知生成模型的图像修复) 探讨了填补图像空白这一挑战性问题 。通常,要修复图像,我们需要了解基础场景 。而这种方法使用 GAN 模型,使用周围图像中的特征来显著改善生成 。当前最先进的基于 GAN 的文本到图像生成模型仅在句子级别编码文本描述,并忽略能够改善生成图像质量的单词级别的细粒度信息 。AttnGAN 提出了一种新颖的词级注意力机制,在制作复杂场景时效果更赞 。和普遍的看法不同的是,神经网络的成功主要来自于他们从数据中学习的强大能力,Deep Image Prior(深度图像先验) 展示了网络结构对于建立良好的图像先验的重要性 。本文提出了一种作为成像任务先验的解码网络 。有趣的是,作者展示了在任何学习之前,生成器网络就足以捕获大量的低级图像统计数据 。作者还使用该方法通过产生所谓的自然预图像(natural pre-images)来研究保留在网络的不同级别的信息内容 。同样有意思的是,使用深度图像先验作为正则项,从非常深的层级获得的预图像中仍然能获取大量信息 。尽管 GANs 很成功,但其鉴别器网络作为普通监督任务(如语义分割)的通用损失函数并不算很成功 。Matching Adversarial Networks(匹配对抗网络) 强调了背后的原因,即损失函数不直接依赖生成器训练期间的真实值(ground truth)标记,这导致从数据分布中随机产生样本而不以监督方式关联输入-输出关系 。为了克服这个问题,本文提出用匹配网络替换鉴别器,同时考虑真实值输出以及生成的示例——由孪生网络架构促成 。5?—?3D 对象理解3D 对象理解对于深度学习系统成功解释和指引现实世界至关重要 。例如,网络或许能够在街道图像中定位汽车,为其所有像素着色,并将其归类为汽车 。但问题在于它是否真的能够理解图像中的汽车相对于街道中的其他物体的位置 。


以上关于本文的内容,仅作参考!温馨提示:如遇健康、疾病相关的问题,请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容,希望对您有所帮助: