忻获麟课题组：超简单，破局XAS和EELS中Mn混合价态测试难点！

纳米人

2023-09-07

混合价态锰的准确分解对于表征含锰电子、电催化和储能材料的电子结构、电荷转移和氧化还原中心有重要意义。Mn L2,3 吸收边的电子能量损失光谱 (EELS) 和X 光吸收光谱 (XAS) 测量被广泛用于此目的。迄今为止，尽管在样品准备得当的情况下，Mn L2,3 边的测量很简单，但 Mn 混合价态的准确分解仍然具有挑战性。对于 EELS 和 XAS，需要在同一仪器/光束线上获取 2+、3+ 和 4+ 参考光谱，并且最好在同一实验中获取，因为仪器分辨率和能量轴偏移可能因实验而异。

为了克服这一障碍，在本研究中，加州大学尔湾分校忻获麟教授课题组采用了深度学习开发了一种免校准和免参考的方法来精准分解EELS 和 XAS 中的Mn L2,3 边。该研究训练了深度学习回归模型以准确预测混合价态Mn的组成。为了合成物理信息和真实标记的训练数据集，我们创建了一个正向模型，该模型考虑了复数散射、仪器展宽、噪声和能量轴偏移。通过该模型，我们创建了一个包含 120 万个光谱的数据库，其中每个光谱拥有对应的3元的组成向量。该数据库包括同时包括了 EELS 和 XAS 光谱。通过在这个大型数据库上进行训练，我们的神经网络在验证数据集上实现了 85% 的准确率。我们对模型进行了测试，并发现它对噪声（下降到10的峰值信噪比）和多重散射（高达t/λ = 1）都具有稳健性。我们进一步使用了未用于训练的光谱数据验证该神经网络。该模型在分解Mn₃O₄、MnO、Mn₂O₃和MnO₂方面均显示出高准确度和高灵敏度。Mn₃O₄实验数据的准确分解显示该模型在量化上是正确的，并且可用于真实的实验数据。我们的模型不仅将成为研究人员和材料科学家的宝贵工具，还可以协助经验丰富的电子显微镜技术人员和同步辐射科学家自动分析锰L边。

研究细节         

锰参考光谱的收集与标准化处理

为了获得足够多样化的数据，以捕捉EELS和XAS锰2+、3+和4+边的特征，在本研究中，我们使用WebPlotDigitizer对记录在6篇文献中的23个实验EELS和13个XAS锰光谱进行了数字化，共计38个。在图1中，我们展示了用于制作训练库的所有光谱。（锰2.67+光谱未用于合成在训练库中）。在表1中，我们列出了我们数字化光谱的化合物以及它们的原始参考文献。所有数据都被标准化为从630.5电子伏特（eV）到669.4 eV的范围，间隔为0.1 eV（共338个数据点）。对于缺失数据，光谱的左侧填充为零，右侧填充为光谱的结束值。                  

图1. 制作训练库时使用的EELS和XAS锰L2,3边。所展示的Mn 2.67+未包含在训练库中。         

表1. Mn L2,3边的化合物信息和参考文献。

为了定量地组合2+、3+和4+锰光谱，我们需要按照正确的比例进行标准化处理。为了实现这一点，我们根据d电子空穴数来标准化锰L3边。元素锰的电子构型为[Ar] 3d5 4s2。因此，Mn2+、3+、4+的电子构型分别为 [Ar] 3d5、[Ar] 3d4、[Ar] 3d3。由于d层可以容纳10个电子，Mn 2+、3+和4+的空穴数分别为5、6和7。因此，在L3峰下和连续背景之上的面积应与d电子空穴数成比例。L2,3边下的连续背景可以由两个阶跃函数建模，阶跃高度遵循1:2的占据比例。（填充的2p3/2和2p1/2轨道的占据比例为1:2）。在从光谱中减去背景后，可以计算出d电子空穴面积（图2）。通过这个找到d电子空穴面积的过程，我们可以正确地将2+、3+和4+光谱进行比例调整。         

光谱的合成

s = xMn2+ + yMn3+ + zMn4+

其中，x + y + z = 1

组成= [x, y, z]

在合成光谱时，我们仅组合了从同一文献的锰光谱因为要组合的光谱必须具有相同的仪器分辨率。训练数据集的组成在表2中有详细说明。总共包含了1,200,000个合成光谱。

在光谱组合后，我们对每个光谱进行了模拟复数散射、仪器展宽、噪声和能量轴偏移的处理以追求光谱的拟真性。表3总结了每项模拟所使用的参数。

我们的大脑如何处理或识别光谱特征与识别图像中的空间特征非常相似。受此启发，我们采用了在图像分类中用于特征提取的卷积层。我们同时使用了全连接层（也称为密集层）将这些特征连接起来，用于组成回归。神经网路的输入是一维光谱，输出的是一个3元组成向量（图3）。我们将这个网络称为卷积回归网络（CRN）。与分类网络不同，回归网络的输出是连续的数字，而不是二进制数字。因此，我们使用均方误差函数作为损失函数。对于特征提取，我们使用了三个卷积层。每个卷积层后跟随着泄漏线性整流单元（leaky ReLU）和最大池化。最后一个卷积层输出41 * 128 = 5248个滤波特征。在回归层中，我们使用了三个全连接层，神经元数量依次为2048、512，然后是3个带有泄漏线性整流单元的神经元。最终输出是最后的3个神经元层的softmax归一化，以确保组成向量的总和为1。         

图3. 卷积回归网络结构。

表4总结了神经网络训练过程中的参数与细节。在输入网络之前，所有光谱都被减去均值并除以标准差。在每个最大池化层之前，都添加了dropout，dropout率为0.1。我们使用了Adam优化算法进行学习，该算法基于自适应估计的低阶矩对随机目标函数进行一阶梯度优化。学习率设置为8E-5。批大小为32。如图4所示，模型收敛迅速；因此，仅使用了4个训练周期以避免过拟合。

      表4. 神经网络训练过程中的参数与细              

图4. 均方误差（MSE）损失随处理的训练周期变化的情况。

我们对合成的训练数据库进行了80/20的划分，将其划分为80%的训练集和20%的验证集。模型的准确性是在验证集上进行评估的。准确的预测被定义为预测的化合价在真实化合价的±0.1范围内。

我们还在参考数据和测试数据上评估了我们的神经网络。参考数据是我们从文献中数字化的数据，用于构建训练数据库（图1中的光谱）。测试数据是新的实验和文献数据，从未用于训练数据库的构建。

实验结果      

在验证集上，经过训练的模型达到了85%的准确率。图5显示了预测与实际结果之间的散点图（从验证集中随机选择了2000个光谱）。为了更详细地查看预测分解的性能，我们提供了一个预测组成的表格，如表5所示。表格显示模型在验证数据集上的分解相对准确。         

图5. 预测与实际结果之间的散点图

表5. 验证光谱上的分解

表6. 验证数据中多重散射的分解稳健性

为了测试模型在噪声干扰下的表现，我们在MnO、Mn₂O₃和MnO₂上测试了噪声效应。如表7所示，模型在峰值信噪比（PSNR）为20时仍然稳健。在PSNR为10时，2+和4+比3+更稳定。

表7. 含噪声的验证数据的分解稳健性

对测试数据的验证对于理解机器学习模型的准确性和稳健性至关重要。我们对Mn₃O₄进行了实验数据收集，但未用于训练。它是具有Mn²⁺和Mn³⁺的混合态，理论比例为1:2，平均化合价为+2.67。图6显示了预测的化合价随厚度变化的情况，Mn3O4分解如表8所示。模型准确预测了2+/3+之间的比例，误差较小。预测在t/λ = 1.5处开始偏离实际结果，这大于用于训练的最大扩增范围。因此，预计性能会减弱。

图6. 神经网络在不同厚度下对Mn₃O₄进行的预测

噪声污染的Mn₃O₄光谱如图7所示。预测的化合价分解如表8所示。在PSNR降低到10（信噪比降至2）时，2+和3+之间的比例保持接近1:2。当PSNR低于10（信噪比低于2）时，组成比例开始偏离理论实际结果，这是预期的情况（噪声扩增范围为PSNR = [10,30]）。         

图7. 来自测试数据的Mn₃O₄光谱，其噪声水平的变化情况

表8. 神经网络在测试数据（Mn₃O₄）上的分解稳健性对噪声的测试

为了进一步在测试数据上测试模型，我们从文献和实验中收集了更多具有非常不同能量分辨率的EELS和XAS数据。图8中显示的所有数据均未用于训练。图中显示的EELS数据来自文献5、19，而XAS数据来自我们在NSLSII和台湾光源进行的实验收集。图7显示了我们的模型预测的EELS/XAS Mn L2, 3边的分解。所有预测都在合理的误差范围内。值得注意的是，该模型对XAS和EELS光谱均有效。XAS和EELS具有非常不同的能量分辨率。在XAS中，TEY和PFY的细微结构也有明显的差异。此外，能量起始点也各不相同。然而，如所示，我们的模型仍然具有平移不变性，并且足够稳健，能够正确地分解它们的氧化态

图8. 神经网络在未用于训练的数据上的分解敏感性

在这项工作中，我们构建了一个深度回归学习网络，用于准确分解EELS和XAS光谱中锰的混合价态。通过将锰L2,3边光谱输入神经网络，可以预测Mn2+、3+和4+的比例。为了训练网络，我们还创建了一个前向模型，用于合成混合价态锰的L2, 3边光谱。在创建前向模型时，我们考虑了多重散射、仪器展宽、噪声和能量轴偏移。使用前向模型，我们合成了一个120万个光谱的数据集，用于网络的训练和验证。网络还在测试光谱上进行了测试，这些光谱是从实验中收集的真实光谱，未在数据集合成中使用。网络在验证和测试光谱上的高准确性表明它可以准确地分解锰L2,3边。网络对抗噪声（峰值信噪比下降到10）和多重散射（t/λ达到1）的稳健性证明了我们网络的高灵敏度和稳定性。此外，网络在MnO、Mn₂O₃、Mn₃O₄和MnO₂等常见化合物上表现出色，这意味着我们的模型可以在实际实验中使用和信赖。这项工作显示，使用深度学习算法可以在没有参考和校准的情况下准确分解EELS和XAS光谱中锰的混合价态。将来，本文中描述的方法也可以推广到其他过渡金属，如铁，因为它们与锰具有类似的化学性质。这项工作为研究L2,3边的细微结构以及AI驱动的自主透射电子显微镜的发展提供了新的思路。

参考文献：

Ji, Z., Hu, M. & Xin, H.L. MnEdgeNet for accurate decomposition of mixed oxidation states for Mn XAS and EELS L2,3 edges without reference and calibration. Sci Rep 13, 14132 (2023).

https://doi.org/10.1038/s41598-023-40616-5

文章链接：

https://www.nature.com/articles/s41598-023-40616-5

作者简介

忻获麟，正教授，康奈尔大学博士学位。2013年到2018年间，他在布鲁克海文实验室建立了三维原位表征课题组。2018年夏，转职于美国加州大学尓湾分校物理系并建立了以深度学习为基础的人工智能和能源材料研究组DeepEM Lab。忻获麟教授是电子显微学领域国际上的知名专家，是电镜行业顶级年会Microscopy and Microanalysis 2020的大会主席以及2019年的大会副主席，是NSLSII光源的科学顾问委员会成员，是布鲁克海文国家实验室的功能纳米材料中心和劳伦斯伯克利国家实验室提案审查委员会成员。他于2021年获得Materials Research Society的杰青奖（Outstanding Early-Career Investigator Award），Microscopy Society of America 的伯顿奖章（Burton Medal），UC Irvine的杰青奖（UCI Academic Senate Early-Career Faculty Award）；2020年获得能源部杰青奖(DOE Early Career Award)；获全球30 Climate Action 英杰奖；Clarivate全球高引。他在表征和清洁能源方面的研究受到政府和大型企业的关注。2018年至今四年时间，他作为项目带头人得到政府和企业界超过五百万美元的资助用于其课题组在绿色储能，电/热催化和软物质材料方向的研究。他是Nature, Nat. Mater, Nat. Energy, Nat. Nanotechnol., Nat. Commun., Sci. Adv., Joule, Nano Lett., Adv. Mater. 等众多期刊的审稿人。他从事人工智能电镜和深度学习、原子级扫描透射电镜以及能谱相关的理论和技术、高能电子隧道理论以及三维重构理论等方向的研究。除了理论和方法学的研究，他应用三维电子断层扫描术对锂电池、软硬物质界面、金属催化剂等多方面进行了深入的研究。其课题组发表文章超过300篇，其中在Science，Nature，Nat. Mater.，Nat. Nanotechnol.，Nat. Energy，Nat. Catal.，Nat. Commun.等顶级期刊上发表文章41篇（其中16篇作为通讯发表）。

纪正然，美国杜克大学（Duke University ）计算机科学硕士生。2023年6月于加州大学尔湾分校获得数学与数据科学双专业荣誉学士学位。2021年6月加入忻获麟教授课题组从事人工智能电镜研究。他于2023年获得UC Irvine的校长杰出奖（Chancellor’s Award of distinction）, 校长杰出本科生科研奖（Chancellor’s Award of Excellence in Research）, 数学系杰出本科生科研与贡献奖（Undergraduate Research & Departmental Service Award）。

课题组招聘

忻获麟的课题组（DeepEMLab.com）欢迎致力于研究和拓展电子显微学、聚合物、电池和规模生产方向的学生、博士后、学者加入和访问。有兴趣的同学请email简历至 huolinx@uci.edu。