4篇Nature神仙打架，谷歌顶级研究被质疑隐藏技术细节，无法重复！
小奇
2020-10-20
虽然说在实验学科来说，实验无法重复已然司空见惯。但是，实验如果无法重复，即便成果发表在Science或者Nature，结局也只能是尴尬的。在今年1月1日，Nature上发表了一篇来自谷歌公司的关于人工智能（AI）算法系统用于筛查乳腺癌的技术，该系统能够在乳腺癌预测方面超越人类专家，且在保持不逊色的性能的同时可将工作量减少了88％。然而，近日，加拿大多伦多大学Benjamin Haibe-Kains等人在Nature期刊上发表Matters Arising，认为该论文的缺少方法和算法代码的细节，实际上破坏了其科学价值。这限制了其他人前瞻性验证和临床实施此类技术所需的证据，呼吁AI科学论文应该完全透明性和可重复性。鉴于此，Benjamin Haibe-Kains等人通过找出该研究存在的阻碍透明和可重复的AI研究的障碍，并为这些障碍提供了解决方案，对更广阔的领域具有启示意义。Benjamin Haibe-Kains等人认为科学进步取决于独立研究人员仔细研究研究结果，后面进行重复是可再现主要的结果，并在以后的研究中以此为基础。发表记录不足的研究不符合科学发现的核心要求。深度学习模型的仅用文本描述可能掩盖了其高度的复杂性。计算机代码中的细微差别可能会对结果的训练和评估产生明显影响，从而可能导致意想不到的后果。所以代码的透明性对于研究的可重复性至关重要！但是呢，McKinney等人在文中指出，用于训练模型的代码“大量依赖内部工具，基础架构和硬件”，并声称因此不可能公开代码。尽管在论文的补充部分进行了描述，但仍缺乏有关其分析的关键细节。而且，即使进行了广泛的描述，仅基于文本来重复复杂的计算也是一项主观且具有挑战性的任务。除了纯文本描述方法固有的可重复性挑战之外，McKinney等人对模型开发以及数据处理和训练流水线的描述缺少关键的细节。例如，缺少用于模型架构的几个超参数的定义（由三个网络组成，分别称为乳房模型，病变模型和病例模型），而且培训渠道的细节也丢失了。没有此关键信息，就不可能独立重复出该训练管道的。Benjamin Haibe-Kains等人还列举了用于共享人工智能研究的框架和平台，包括GitHub，认为共享在这些平台上不仅改善可访问性和透明度之外，此类资源还可以大大加速模型开发、验证以及向生产和临床实施的过渡。此外，确保可重复性的另一个关键方面在于访问模型所源自的数据。这方面会涉及隐私问题，但原始数据的共享在生物医学文献中已变得越来越普遍。但是，如果无法共享数据，则应发布模型预测和数据标签本身，以便进行进一步的统计分析。最重要的是，不应将对数据隐私的关注作为拒绝公开要求的说辞。研究人员已经对AI方法在医学上的应用寄予厚望。然而，要确保这些方法发挥其潜力，就需要这些研究在科学上具有可重复性。计算虚拟化和人工智能框架的最新进展极大地促进了复杂的深层神经网络以一种更结构化、透明和可复制的方式实现。采用这些技术将增加已发表的深度学习算法的影响，并加速将这些方法转化为临床环境。下面为Nature原文作者McKinney等人针对Benjamin Haibe-Kains等人的评论进行回复：作者同意评论者的观点：透明性和可再现性对于科学进步至关重要。所以学术界可以使用论文中使用的最大数据源（OPTIMAM数据库），这是他们机构资助的。而且已经有课题组利用该数据库发了一篇Lancet子刊了。原文作者表示在医院系统的机构审查委员会（IRB）批准后，他们才拿到来自美国的其他数据集。所以正如对方所理解的，原文作者认为他们没有分享不属于他们数据的自由。更广泛地说，广泛发布数据会大大改变患者的风险收益计算，因此机构必须考虑如何以及何时进行此操作。基于这些考虑，很少公开提供具有相关乳腺癌结果的大型医学图像数据集。针对某些超参数的省略，原文作者在补篇中进行了补充。对方建议将与该项目相关的所有代码开源。原文作者表示大部分工作都基于开源实现，剩下的大部分代码都涉及内部计算集群中的数据输入-输出和训练过程的编排，这两者的科学价值都很低，并且对组织外部的研究人员而言用途有限。鉴于第2条补充信息中的大量文字描述，他们相信精通深度学习的研究人员应该能够从这些的方法中学到并扩展。由于训练数据是私人的或受限制的访问，因此公开共享模型似乎为时过早，并且可能会引入特征不明确的风险。基于这些担忧，作者选择谨慎地共享来自患者数据（即使是未识别的）的软件。毫无疑问，评论者的动机是保护未来的患者以及科学原则。作者也认同这一观点。但是呢，这项工作只是概念的初步证明，绝不是故事的结局。他们打算在他们的软件在临床环境中使用之前，先对其进行广泛的测试，与患者、提供者和监管者共同努力，以确保疗效和安全性。一边是呼吁论文更透明和可重复，一边是出于保护患者数据隐私。关于重复不出来的顶刊论文，是科学打压还是技术保护，你们怎么看？奇物论 发起了一个读者讨论关于论文可重复性，你们怎么看？1. McKinney, S.M., Sieniek, M., Godbole, V. et al. International evaluation of an AI system for breast cancer screening. Nature 577, 89–94 (2020). https://doi.org/10.1038/s41586-019-1799-62. Haibe-Kains, B., Adam, G.A., Hosny, A. et al. Transparency and reproducibility in artificial intelligence. Nature 586, E14–E16 (2020). https://doi.org/10.1038/s41586-020-2766-y3. McKinney, S.M., Karthikesalingam, A., Tse, D. et al. Reply to: Transparency and reproducibility in artificial intelligence. Nature 586, E17–E18 (2020). https://doi.org/10.1038/s41586-020-2767-x4. McKinney, S.M., Sieniek, M., Godbole, V. et al. Addendum: International evaluation of an AI system for breast cancer screening. Nature 586, E19 (2020). https://doi.org/10.1038/s41586-020-2679-9
版权声明：
本平台根据相关科技期刊文献、教材以及网站编译整理的内容，仅用于对相关科学作品的介绍、评论以及课堂教学或科学研究，不得作为商业用途。
