纳米人

清华Nature，突破世界难题！

学研汇 技术中心
2022-10-31


特别说明：本文由学研汇技术中心原创撰写，旨在分享相关科研知识。因学识有限，难免有所疏漏和错误，请读者批判性阅读，也恳请大方之家批评指正。

原创丨彤心未泯（学研汇 技术中心）

编辑丨风云


研究背景

2D成像传感器使许多领域发生了革命性的变化，包括工业检测、移动设备、自动驾驶、监控、医疗诊断、生物学和天文学。得益于半导体行业的快速发展，数字传感器中的像素数量在过去十年中快速增长。然而，大多数成像系统的实际性能已经达到了光学瓶颈。例如，给定一个千兆像素传感器，成像系统的有效像素数通常限制在百万像素级，因为光学像差源自不完美的透镜或环境干扰，导致从一个点发出的光在2D传感器上的大区域上传播。同时，将3D场景投影到2D平面会损失光场的各种自由度，如深度和局部相干性。光学工程领域的专家们花费了数百年的时间设计了完美的成像系统，以顺序模式使用多个精密工程透镜进行像差校正。


关键问题

虽然已经设计出了完美的成像系统，但成像系统的实际性能仍存在以下问题：

1、具有大有效空间带宽的高性能成像系统非常昂贵且笨重
光学设计和制造的难度随着空间带宽积的增加而呈指数增长，并因衍射极限而具有受限的有效像素数，因此大口径望远镜和中视镜等的高性能非相干成像系统通常非常昂贵和笨重。
2、高频信息恢复困难且对小景深的动态环境像差敏感
具有编码孔径的PSF工程通过减少频域中的零点来保留更多的信息。然而，恢复低调制传送函数丢失的高频信息需要特定的数据先验和精确的PSF估计，且对小景深的动态环境像差敏感。
3、当前自适应光学方法的有效视场（FOV）非常小
对于地面望远镜，大气湍流引起的像差将自适应光学系统的视场范围限制在大约弧秒的直径，这对于大型天气观测望远镜来说太小了。


新思路

有鉴于此，清华大学戴琼海院士等人提出了一种集成扫描光场成像传感器，实现了可通用的高速像差校正3D摄影。元成像传感器通过振动编码微透镜阵列捕获超精细的四维光场分布，从而在后期处理中灵活而精确地合成复杂的场调制图像。利用该传感器，在没有数据先验的情况下使用单个球形透镜实现了高达千兆像素的高性能摄影，从而降低了光学成像的系统容量和成本。在单个集成传感器上通过基于波动光学的数字自适应光学实现具有多位置像差校正的高性能3D成像。通过利用时空连续性，开发了一种基于光流的运动校正算法，以防止运动伪影并保持成像速度（高达相机帧速率）。


1.png


技术方案：

1、设计了元成像传感器
作者提出了一种元成像传感器，实现了全分辨率焦叠加或具有扩展景深和成像透镜衍射极限分辨率的全聚焦图像。元成像传感器可以直接取代传统的成像传感器，而无需额外的硬件修改。
2、证实了元成像传感器的优越性
通过使用单个低成本镜头进行成像分辨率图证明了元成像传感器的高分辨率和稳定性。
3、开发了基于光流的运动校正算法
开发了一种基于光流的延时视频算法，可在不降低空间分辨率的情况下纠正非均匀运动伪影且可以保持静态场景的空间分辨率。
4、证实了湍流条件下的高分辨率和稳定性
以月球为目标，与已有2D传感器相比，证实了湍流条件下传感器的优越性。
5、验证了3D成像和工业检测领域的通用性
演示了元成像传感器在工业检测中的应用，再次证实了元成像传感器的优越。


技术优势：

1、低成本实现了高达十亿像素的高质量成像

该传感器在没有数据先验的情况下，使用单个球面透镜实现高达十亿像素的高性能摄影，从而使光学成像的系统容量和成本降低3个数量级，传感器分辨率提高了10倍。

2、实现了动态条件下高速且高分辨成像

在存在动态大气湍流的情况下，元成像传感器在80厘米地面望远镜上进行1000弧秒的多点像差校正，而不会降低采集速度。

3、实现了对空间角度域光场的前所未有高速测量和合成

超成像传感器通过振动编码微透镜阵列实现了对空间角度域光场的高速测量和合成，比传统的光场技术精确得多。

4、实现了在毫秒级尺度上可以同时获得百万像素深度图

在毫秒级尺度上可以同时获得百万像素深度图，其精度和分辨率优于传统光场相机，适用于不同的工业应用。


技术细节

元成像传感器原理

作者提出了一种元成像传感器，在高速压电级中集成一个编码微透镜阵列，然后将其与传统成像传感器结合。每个微透镜将不同角度的光聚焦到不同的传感器像素上进行角度采样。根据微透镜在相空间中的位置，以相同角度组装像素后，应用基于反褶积的ISA算法，以获得全分辨率焦叠加或具有扩展景深和成像透镜衍射极限分辨率的全聚焦图像。高密度深度图可以基于多视点立体图像同时检索。


2.png

图  集成元成像传感器原理


单一镜头的强大摄影效果

通过使用单个低成本3D打印塑料镜头进行成像分辨率图以证明元成像传感器的优越性。基于系统像差在整个视场平滑变化的假设，开发了一种非刚性配准算法来计算不同视场与中心视场之间的差异。通过多站点DAO方法，元成像传感器可以实现有效的4800万像素成像(受传感器像素数量限制)，并在整个视场内保持一致的性能。在相同的成像条件和曝光时间下，元成像传感器的原始数据显示出比2D传感器更好的信噪比，说明了传感框架的固有像差稳定性。通过引入环境畸变，元成像传感器仍可以保持分辨率。

3.png

图  高性能4800万像素图像


4.png

图  通过具有扩展景深的强环境像差实现稳健成像


基于光流的运动校正

开发了一种基于光流的延时视频算法，以在不降低空间分辨率的情况下纠正非均匀运动伪影。计算了从不同时间点的低分辨率图像到中心时间点的高分辨率图像的光流，并使用这些流图在高分辨率网格中通过密集采样生成这些低分辨率测量的精确坐标。然后，用精确的高分辨率坐标对25幅低分辨率图像进行离散插值，得到无运动伪影的高分辨率图像。最后，不同视图的高分辨率图像用于ISA，没有运动伪影或速度降低。该算法还可以有效地保持静态场景的空间分辨率。

5.png

图  基于光流的动态场景运动校正


湍流校正

作者将元成像传感器与中国国家天文台兴隆天文台（NAOC）清华NAOC 80厘米望远镜上包含相同CMOS芯片的传统2D传感器进行比较，以月球为目标，使用非刚性配准算法来估计平滑光流图并补偿运动伪影。然后，通过ISA和多站点DAO获得像差校正的全聚焦图像。与传统的2D传感器相比，元成像传感器在整个视场范围内（直径超过1000弧秒）实现了更好的分辨率和对比度，且具有长期稳定性，而2D传感器则快速失真。

6.png

图  地面望远镜动态湍流的多站点DAO


3D成像和工业检测

可以通过元成像传感器同时检索深度信息，与传统光场相机相比，在横向和轴向区域都具有更高的精度，为自主驾驶提供了低成本的方案。作者演示了元成像传感器在工业检测中的应用，再次证实了元成像传感器的高分辨率和更精确的深度图，降低了大视场范围内的深度误差。

7.png

图  用于自动驾驶和工业检测的高速百万像素深度传感


展望

总之，本工作中作者在波动光学DAO迭代期间使用相位生成的PSF，实现了更好的图像合成和更准确的像差估计，实现了空间分辨率和角度分辨率之间的平衡。基于学习的方法可以与预训练的模型一起使用，以使用数据先验进一步改善元成像传感器的输出。此外，在特定应用中，可以设计具有并行计算设备的更高级算法，以实现更好的性能或降低计算成本。虽然当前的元成像传感器是为灰度图像设计的，但可以通过利用角度冗余进行频谱编码来开发多色元成像传感器，而不会降低空间分辨率。通过集成非相干光数字精确光学调制的灵活性，所提出的元成像传感器为计算成像在实际的、具有数量级优势的普遍应用中打开了新的视野。


参考文献：

Wu, J., Guo, Y., Deng, C. et al. An integrated imaging sensor for aberration-corrected 3D photography. Nature (2022).

DOI：10.1038/s41586-022-05306-8

https://doi.org/10.1038/s41586-022-05306-8



版权声明：

本平台根据相关科技期刊文献、教材以及网站编译整理的内容，仅用于对相关科学作品的介绍、评论以及课堂教学或科学研究，不得作为商业用途。

万言堂

纳米人 见微知著