|
今天不写硬件了,来点软的。
就聊聊“如何用技术去掉马赛克”这件事情。
别污,我们在聊一个把艺术和科技结合起来的黑科技。
某些时候我们需要一些能把低分辨率,也就是充满马赛克的图像还原,利用已有的软件还是比较费时费力。
之前谷歌曾有一个 RAISR 技术,全称为“快速、精确的超分辨率技术”。
它能通过识别低分辨率图像并且采样,使用过滤器来强化像素细节。
在保持图像大小不变的基础上,使画质变得高清。
但是只能作用于分辨率不会太低的图像。
而近日,谷歌大脑发表论文,阐述其最新开发的图片还原技术——
像素递归超分辨率技术
很长的名字,大家只要知道它是一项能提高图像分辨率的技术就成。
这项技术能将 8x8(64像素)的低分辨率图片还原成 32x32 分辨率。
谷歌大脑和 DeepMind 是 Alphabet 的两大深度学习研究机构。前者主要研究机器深度学习,开发的智能软件广泛用于谷歌的产品中。后者则因为其开发的 AlphaGo 而名声大噪。
8x8 分辨率有多低,看下图。
完全看不出是个啥。
经过处理后:
而原图是这样的:
为什么我觉得比原图好看多了。。。
这个技术实现的原理,用最简单明了的话来说就是:
计算机经过挑选、对比,从大量相似照片中,根据一定概率算法往低分辨率图像里填充更高清的细节。
(我提前预警一下,以下内容略深奥)
论文阐述了在复原过程中主要使用的是两种神经网络:
一个是条件网络(conditioning network)。
将数据库中的高清图片迅速降低分辨率,然后与需要还原的低分辨率照片进行对比,匹配一大堆同类相似照片。
第二个是优先网络(prior network),基于像素卷积神经网络(PixelCNN) 往低分辨率照片中增加真实的高清细节。
卷积神经网络(Convolutional Neural Network)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。
在论文的案例里,提供的同类照片是名人和卧室,优先网络根据优先级最终确认名人的照片。
跟着,优先网络在高分辨率和低分辨率的图像中根据概率做出决定,比如某个像素的位置应该是鼻孔,那么就会添加高清的鼻孔上去。
两个神经网络的最佳猜测会整合成最终的图像。
虽然最终的结果都不太像原图,而且会有怪异的图像出现,像这种:
但是人眼分辨的测试结果出乎意料。
当测试中要求观察者选出照相机拍摄的名人照片时,10% 选择了经过修复的图片(50%就属于完美得分)。
百分比为选择修复图片的比例
而在卧室照片的测试中,则有 28% 的人选择了经过还原的卧室图片。
百分比为选择修复图片的比例
尽管还原的图片能瞒过一部分人,但是这项技术是有限制的:
还原的图片是计算机经过深度学习,根据相似图像猜测细节的结果。
所以在执法领域,可以将模糊的犯罪嫌疑人、死者的图像变得更清晰,但是不能得到真实的照片。
尽管如此,能给予的帮助还是很大的。
毕竟现在我们拍出来的真实照片其实也并不真实。
最后教大家一个快速消除马赛克的方法,把眼镜摘下来,离远点看,世界从未有过的清晰。
不谢哈。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-20 03:09
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社