这个电镜，也太酷了吧！

纳米人

2021-06-28

研究背景

原位电子显微技术 (EM) 与超快探测器的发展为探索材料的动力学打开了一扇新的大门，然而，这也对透射电镜大数据压缩和存储提出了巨大的挑战。开发一种高效高保真的大数据压缩策略对于推动透射电子技术的广泛应用具有重要意义。

成果简介

近日，加州大学尔湾分校的Huolin Xin教授团队及贝尔实验室Xin Yuan在Cell Press旗下期刊Patterns上发表了题为“Super-compression of large electron microscopy time series by deep compressive sensing learning”的文章。在这一工作中， 作者结合深度学习（deep learning）和时间压缩感知（temporal compressive sensing）提出一种新颖的 EM 大数据压缩策略。

招聘信息：忻获麟的课题组（DeepEMLab.com）欢迎致力于研究和拓展电子显微学、聚合物、电池和规模生产方向的学生、博士后、学者加入和访问。有兴趣的同学请email简历至 huolinx@uci.edu。（导师简介请见文末）

第一作者：Siming Zheng（郑巳明），Chunyang Wang（王春阳）

通讯作者：Xin Yuan, Huolin Xin（忻获麟）

通讯单位：加州大学尔湾分校，贝尔实验室

电子显微镜 (EM) 是当今探测材料结构和化学的最强大工具之一。其高空间分辨率和化学敏感性在生物学、物理学、化学和材料科学中具有广泛的应用。与此同时，计算机技术与电子显微镜的发展，尤其是原位透射电子技术、电子层析三维重构、4D-STEM等技术的飞速进展使得电子显微学的应用越来越依赖大数据处理和存储。特别是，直接电子探测器的广泛使用使得成像速度高达每秒数千帧 (fps)。

一方面，这使研究人员能够以超高的时间分辨率获取更多数据，以发现自然界中的新现象。另一方面，它对处理、存储和传输电镜视频或图像提出了巨大挑战。压缩感知 (Compressive Sensing) 作为一种高效的信号处理技术，已广泛用于电镜数据采集和重建。它已被广泛用于捕获高维数据。只要数据或信号在某个变换域中是可压缩或稀疏的，就可以用一个测量矩阵将变换得到的高维数据投影到低维空间上，通过解决优化问题，可以从少数投影中以高概率重建原始数据。

目前，尽管压缩感知被尝试用来解决电镜数据采集和处理，但由于以下缺点，挑战仍然存在。一方面，基于迭代的性质使得传统的重建算法非常耗时。另一方面，有些任务对硬件的要求更高，而且压缩比越高，压缩效果也无法令人满意。

鉴于此，通过结合压缩感知和深度学习，作者提出了一种新颖的编码-解码策略来应对大数据 EM 面临的挑战。具体而言，时间压缩感知 (TCS) 首先用作编码器，将多个帧压缩为单帧测量，显着降低了带宽和数据传输、存储的内存要求。然后构建端到端的深度学习网络，以极高的速度从单帧测量中重建原始图像系列。由于深度学习框架的压缩效率和内置去噪能力比传统的 JPEG 压缩显着提高，因此可以高保真地重建压缩比高达30的原位系列图像或视频。使用这一策略可以节省大量的编码能力、内存和传输带宽。这一技术将有望在电镜和其他成像技术的大数据存储中获得广泛应用。

图1. 用于大数据电子显微镜 (EM) 的时间压感知-深度学习(TCS-DL) 框架结构。

图2.TCS-DL 框架应用于原位原子分辨率透射电镜图像压缩-解压缩。

图3. TCS-DL 框架与JPEG压缩方法的评估与对比。

图4.TCS-DL 和 JPEG 在不同压缩比下的平均 PSNR与SSIM。

参考文献

Siming Zheng, Chunyang Wang, Xin Yuan, Huolin L. Xin. Super-compression of large electron microscopy time series by deep compressive sensing learning. Patterns (2021).

DOI: 10.1016/j.patter.2021.100292

https://doi.org/10.1016/j.patter.2021.100292

作者简介

招聘信息：忻获麟的课题组（DeepEMLab.com）欢迎致力于研究和拓展电子显微学、聚合物、电池和规模生产方向的学生、博士后、学者加入和访问。有兴趣的同学请email简历至 huolinx@uci.edu。

导师介绍：忻获麟教授，康奈尔大学博士学位。2013年到2018年间，他在布鲁克海文实验室建立了三维原位表征课题组。2018年夏，转职于美国加州大学尓湾分校物理系并建立了以深度学习为基础的人工智能和能源材料研究组DeepEM Lab。忻获麟教授是电子显微学领域国际上的知名专家，是电镜行业顶级年会Microscopy and Microanalysis 2020的大会主席以及2019年的大会副主席，是NSLSII光源的科学顾问委员会成员，是布鲁克海文国家实验室的功能纳米材料中心和劳伦斯伯克利国家实验室提案审查委员会成员。他于2021年获得Materials Research Society的杰青奖（Outstanding Early-Career Investigator Award），Microscopy Society of America 的伯顿奖章（Burton Medal），UC Irvine的杰青奖（UCI Academic Senate Early-Career Faculty Award）; 2020年获得能源部杰青奖(DOE Early Career Award)。他在表征和清洁能源方面的研究受到政府和大型企业的关注。2018年至今三年不到的时间，他作为项目带头人(Lead PI)得到政府和企业界超过四百五十万美元的资助用于其课题组在绿色储能，电/热催化和软物质材料方向的研究。他是Nature, Nat. Mater, Nat.Energy, Nat. Nanotechnol., Nat. Commun., Sci. Adv., Joule, Nano Lett., Adv. Mater. 等众多期刊的审稿人。他从事人工智能电镜和深度学习、原子级扫描透射电镜以及能谱相关的理论和技术、高能电子隧道理论以及三维重构理论等方向的研究。除了理论和方法学的研究，他应用三维电子断层扫描术对锂电池、软硬物质界面、金属催化剂等多方面进行了深入的研究。其课题组发表文章超过280篇，其中在Science，Nature，Nat. Mater.，Nat. Nanotechnol.，Nat. Energy，Nat. Catalysis，Nature Commun. 这几个顶级期刊上发表文章36篇，（其中11篇作为通讯发表）。