内容感知填充是如何工作的?

我是前面提到的PatchMatch论文的合著者,我领导开发了Photoshop中的原始内容感知填充功能,以及创意技术实验室的Ivan Cavero Belaunde和Eli Shechtman,以及Photoshop团队的Jeff Chien。

photoshop的内容感知填充使用了补丁匹配文件中描述的算法的高度优化的多线程变体,以及一种称为“spacetime video completion”的旧方法。这两篇文章都在下面的技术页面中引用,以了解此功能:

http://www.adobe.com/technology/projects/content-aware-fill.html

您可以在Adobe Research网页上了解更多关于我们的信息。

我猜,对于较小的洞,他们会在该区域周围抓取类似纹理的补丁来填充它。这在一篇题为“的论文中有描述。 PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing 由康纳利·巴恩斯和其他人在2009年的西格格拉。对于较大的孔,他们可以利用具有类似全局统计信息或纹理的大型图片数据库,如中所述。 Scene Completion Using Millions of Photographs “。如果他们能以某种方式将两者融合在一起,我认为应该像视频中那样工作。

有非常相似的算法 GIMP 很长时间了。它叫 resynthesizer 也许你应该能找到它的来源(也许在 project site )

编辑
在 ubuntu repository
在这里,您可以看到使用gimp处理相同的图像: http://www.youtube.com/watch?v=0AoobQQBeVc&feature=related

因为显而易见的原因,他们不会说出来。该技术的一般名称是“inpainting”,您可以查看它。

具体地说,如果你看看克里米亚人在微软的所作所为 http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.67.9407 托多·乔吉耶夫现在在Adobe做什么? http://www.tgeorgiev.net/Inpainting.html 你可以做出很好的猜测。90%的猜测,我想,这应该足够好了。

我也在解决类似的问题。据我所读,他们通常使用“补丁匹配”或“非参数补丁采样”。

PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing

一般的方法叫接缝雕刻。Ariel Shamir的团队负责这里的开创性工作,这项工作在2007年的Siggraph中介绍。见: http://www.faculty.idc.ac.il/arik/site/subject-seam-carve.asp

作为一个猜测(这就是它将要做的全部),我希望它能对图像进行一些频率分析(有些像傅里叶变换)。通过只查看选定区域边缘的图像而忽略中间部分,它可以推断回中间部分。如果设计师选择了正确的颜色平面,而不是不正确的颜色平面,他们应该能够生成一个纹理,在边缘无缝地融入到图像中。

编辑:查看视频中的最后一个示例;如果您查看任意边上原始图像的顶部,您会看到选择线沿着云中的一个“间隙”向下延伸,而在中间有一个“凸起”。这些是我想看看我的猜测是否正确的人工制品。(Otoh,我也希望看到他们是在选择边界上使用某种sudo镜像。)