模糊图像处理：新的去噪方法可以更快地生成更清晰的真实感图像

• 2020/06/15

蒙特卡罗计算方法是游戏和电影中许多现实图像的基础。他们将复杂的灯光和相机物理模拟自动化，从不同的图像特征和场景的样本中生成高质量的效果图。但是蒙特卡罗渲染的过程是缓慢的，可能需要数小时甚至数天的时间才能生成一幅图像，而且通常结果仍然是像素化的，或者是“有噪声的”。

一个由麻省理工学院、Adobe和阿尔托大学的计算机科学家组成的全球团队已经开发出一种创新的方法，通过使用一种基于深度学习的方法，可以在更短的时间内生成更高质量的图像和场景设计，这种方法大大降低了图像中的噪音。他们的方法产生了更清晰的图像，有效地从样本特征中捕捉复杂的细节，包括复杂的照明组件，如阴影、间接照明、运动模糊和景深。

研究人员将于7月28日至8月1日在洛杉矶举行的SIGGRAPH 2019大会上展示他们的研究成果。这个一年一度的聚会展示了世界领先的专业人士、学者和计算机图形学和交互技术前沿的创造性思维。

“我们的算法可以用很少的样本从嘈杂的输入图像中生成干净的图像，并且可以在场景设计迭代的同时生成快速渲染的预览，”该研究的主要作者、Adobe的研究科学家Michael Gharbi说。Gharbi是在麻省理工学院Fredo Durand实验室读博士时开始这项研究的，Fredo Durand也是该研究的作者之一。

该团队的工作重点是所谓的“去噪”，一种在蒙特卡罗渲染中减少图像噪声的后处理技术。它本质上保留了图像的细节，并删除任何影响其清晰度的东西。在以前的工作中，计算机科学家已经开发出一种方法，通过提取样本图像和相邻像素的平均值来消除噪声。

“这种方法相当有效，已经有几部电影在制作中使用了这种方法，”合著者李子茂(音)说。他刚从麻省理工学院获得博士学位，也曾在杜兰特手下学习。然而，如果图像太过嘈杂，后处理方法往往无法恢复干净和清晰的图像。通常情况下，对于一幅质量合理的图像，用户平均每像素仍需要数百个样本——这是一个乏味、耗时的过程。”

有些类似的是在图形软件程序中编辑照片的过程。如果用户没有使用原始的原始文件，修改后的照片可能不会产生清晰、清晰、高分辨率的最终图像。一个类似但更复杂的问题是图像去噪。

为此，研究人员的新计算方法涉及直接处理蒙特卡罗样本，而不是大多数信息已经丢失的平均的、有噪声的图像。与典型的处理图像或视频的深度学习方法不同，研究人员展示了一种新型的卷积网络，这种网络可以学习直接从蒙特卡罗原始样本集(而不是基于像素的简化表示)对呈现进行降噪。

他们工作的一个关键部分是一个新颖的内核预测计算框架，该框架将单个样本(颜色和纹理)“拼接”到附近的像素上，以锐化图像的整体构成。在传统的图像处理中，内核用于模糊或锐化。飞溅是一种技术，解决运动模糊或景深问题，使它更容易均匀的像素化区域的样本。

在这项工作中，团队的溅射算法为每个样本生成一个二维内核，并将样本“溅射”到图像上。“我们认为这是一种更自然的后处理方式，”李说。该团队使用一个随机场景生成器训练他们的网络，并在各种现实场景中广泛测试了他们的方法，包括各种照明场景，如间接照明和直接照明。

“我们的方法在样本数量非常少的情况下提供更清晰的输出，而以前的方法通常很难做到这一点，”Gharbi补充说。

在未来的工作中，研究人员打算利用他们的方法来解决可伸缩性，以扩展到更多的样本特性，并探索技术来增强去噪图像的帧与帧之间的平滑度。

这篇论文，“基于样本的蒙特卡罗去噪使用核喷溅网络，”也是由Miika Aittala在麻省理工学院和Jaakko Lehtinen在阿尔托大学和Nvidia共同撰写。有关更多细节和视频，请访问团队的项目页面。

【文章来源：AI工程学习百家号】