显微图像分析的深度学习

在这次采访中，AZoM与MIPAR图像分析公司的首席执行官兼联合创始人John Sosa博士谈论了显微图像分析和深度学习。

你如何看待深度学习和自动化的改变和改进显微分析?

大约在去年7月，我们在MIPAR中引入了深度学习，它对我们可以用该软件解决的问题类型以及这些解决方案对日常用户的可访问性产生了深远的影响。

我们已经意识到，在世界各地的许多实验室和设施中，现在都有量化微观结构的方法，其中许多都涉及到手工组件。有时它们纯粹是手工的。

我们看到的是深度学习使我们存档,手动带注释的微观结构,或允许用户继续手动过程更长时间,然后能输入和发展智能自动化解决方案,快速的工作,取代他们的手工方法。

在如何应对自动化挑战方面，这是一个真正的转变，特别是在MIPAR。

采用深度学习驱动的自动化系统会带来哪些挑战?

在一天结束的时候，问一问自动化或实现自动化的尝试与花费时间手工操作相比是否有显著的价值是恰当的。每个人都清楚自动化的巨大潜力，从数量级和时间缩减到用户可变性的减少，以及手工获取更复杂测量的能力。

理想情况下,您将工作在早期开发一个自动化的方法解决重复性任务或项目,最初的工作后,你会完美的自动化,将不再需要做乏味的任务了,可以转移到别的东西。

然而，在现实中，无论是编写我们的图像处理脚本，还是尝试在商业产品中拼凑一个管道，你都有一个良好的开端，然后很快意识到事情没有那么简单;需要许多迭代，存在不可预见的挑战，最终您会迷失在追求自动化的过程中，并且根本没有时间去完成您试图自动化的任务。

在MIPAR软件公司，我们对此非常敏感。我们知道，许多实际问题都在努力克服激活障碍，花费时间自动化流程，并意识到该流程本可以手动完成得更快。

如何才能克服这个有关自动化节省时间潜力的特殊问题?

当我们考虑自动化而不是当前的手动或半自动化方法时，我们知道它的好处:我们的速度得到了极大的提高，解决问题的方法更加客观，同时减少了用户对用户的偏见，而且随着时间的推移，我们的结果更易于跟踪、审计和辩护。

但是，如果在尝试开发自动化解决方案时没有满足这三个需求，就很难实现这些好处。我们几乎总是需要一种自动化的解决方案，这种解决方案在我们手工操作时更精确或更好。这个解决方案不能只适用于一个图像或一个条件。
它必须处理至少一个合理水平的光照和样品准备变化，它不能要求一个计算机科学专家把解决方案放在一起并维护它。亚博老虎机网登录它必须是那些在历史上对样本进行特征描述的人能够进入的东西，以开发出一个可以在整个组织中使用的解决方案。

从历史上看，甚至在更多图形化处理应用程序出现之前，我们就为每个问题编写代码，而且在许多情况下，这仍然是一种方法。如果我们考虑一下一个非常基本的两个轴,有一个解决方案,包括要求吨经验很少在x轴上的经验,和一个不健壮非常健壮的轴,这是合理的地方我们的许多硬编码的解决方案在一个区域。

它们需要大量的专业知识来开发和操作，通常它们都是通过硬编码的设置、阈值和其他特性来严格调整特定的问题，这使得它们相当不灵活，或者至少很难适应不同的条件。

在针对特定条件编写代码时，MIPAR如何帮助解决这种复杂性和不灵活性?

多年来，我们通过MIPAR所取得的成就是进入了这样一个领域:菜谱以图形方式构建，具有非常强的交互性和无限可调节的算法，不需要编写代码，可以减少学习曲线，减少了建设和运营所需的经验，通常能够让我们得到一个更可靠的解决方案。这一切都是可能的，因为交互性和添加许多步骤的能力，可以非常迅速地适应不同的条件。

原理图比较了不同方法的相对易用性和鲁棒性，用于图像分析算法的开发。

对于更简单的解决方案，这通常非常有效。由于它们更简单，您通常需要更少的经验来构建它们，而且由于存在更简单的问题，因此解决方案不需要非常健壮。所以，达到稳健规模的中间是完全可以接受的。然而，许多常见的现实世界问题仍然不在这个解决方案范围之内，在这些问题中，您需要显著的健壮性，而且它们对于普通用户来说很难有效地自动化。

这是我们觉得深度学习的地方。在这个时候工作真的是一种荣幸，我们已经看到了这种罕见的突破性技术，你最终可以开发出更复杂的解决方案，同时也需要更少的经验。这是一个非常理想的场景，但我们已经看到了我们的部署，这是非常可能的。

你能谈谈MIPAR是如何进行深度学习训练的吗?

首先拖动参考图像。如果用户愿意，他们可以直接在培训应用程序中进行跟踪，添加图层，并使用钢笔工具开始跟踪。一旦边界跟踪完成，深度学习训练至少需要两个类。
有一个方便的工具，可以让你进行所有的追踪。如果用户只做了一个类，他们想训练它和它的逆，那么他们也可以添加所有层的逆。完成之后，就可以进行培训了。

一个特别有用的设置允许用户将图像分割成几个子字段。我们发现，这不仅在训练时减少了记忆需求，而且产生了更好的效果，因为深度学习训练往往相当渴望图像，尽管我们在仅使用3到5张图像时也取得了很好的效果。
需要选择图像的大小因子;这只是某种程度的向下采样，再次这样做是为了提高性能和减少内存负载。接下来，用户需要选择处理器。

对于深度学习训练，强烈建议使用GPU。在CPU上训练是可能的，你也可以在CPU上应用，但是对于训练和应用来说，GPU上的加速通常是你在CPU上得到的8到10倍。对于培训来说，在CPU上需要花费一整天时间的事情在GPU上可以在一个小时内完成，而在应用程序中，在CPU上应用模型可能需要10秒，而在GPU上则需要1秒。

一旦训练开始，图像将被分解成几块，并给出一个ETA。

从历史上看，识别严重孪晶结构中的晶界一直是一项挑战，EBSD已被用于实现这一目标。在这个特殊的应用程序中还会出现什么其他挑战?

识别晶界而忽略严重孪晶结构中的孪晶是我们遇到的最具挑战性的晶粒识别案例之一，在这种情况下，发现孪晶几乎比发现晶界更容易。

你对局部模式差异有很强的依赖性，这种差异告诉你的大脑何时从一个颗粒移动到另一个颗粒。如果你是经验丰富的在看这种类型的组织,你可以认识到晶界,但你必须做一些心理体操在幕后和拼凑的条纹特征为典型的粒形之前,你的大脑认识到它是观察整个粮食。在深度学习之前，我们已经尝试过各种方法，但我们从未接近让软件去做我们大脑正在做的事情。

在历史上，这完全是手工完成的。为了寻找平均粒度，用户将设置一组随机线，并计算截距，以获得平均粒度。我们有客户需要一个全尺寸分布,即使使用EBSD更无人值守,涉及的时间成本和样品准备挑战让他们坐下来,用手跟踪所有的边界,这样他们可以得到一个完整的grain-per-grain粒度分布测量。

其他挑战包括某些区域的低对比度和非常具有挑战性的局部形态变化，以及大脑如何识别这些颗粒，我们必须以某种方式教会计算机。

MIPAR深度学习与之前最先进的软件相比如何?

在与之前的客户的合作中，我们使用了一个没有向下采样的5 × 5网格，以及500个epoch。训练大约花了30分钟。在深度学习之前，我们使用MIPAR所能做的最好的事情是结合边缘查找过滤器、伪影排除，并尝试将一些孪晶吸收到它们的母粒中(如果它们很长或很长的话)。

但是，我们不能想出比这个更好的方法，你可以很好地找到所有的边界。我们只想找到晶界，而不是所有不同的孪晶界。老实说，我从没想过会有一个自动化的解决方案来解决这样的问题。

MIPAR在探测各种边界和忽略双胞胎方面做得很出色，当我们第一次看到它时，它让我们大吃一惊。图像边缘的颗粒是接触边缘的颗粒，因此不用于测量。这就是边缘和完整颗粒的分类。你可以看到平均直径弹出，因为这是食谱的一部分。

孪生黄铜颗粒的自动深度学习检测。

可能需要进行一些小的修改，如果配方是为这些更改而设置的，则可以进行这些修改。例如，要填充边界，用户可以快速编辑，MIPAR会为您清理。用户可以简单地画一条线，它将填充和清理边缘。

如果有一个错误的边界，用户可以使用擦除工具，划掉它，它就会消失。如果用户发现自己经常这样做，他们可以使用这些修正后的结果更新模型，并使用这些修正进行再培训，这样算法就可以从这些修正中学习。

那就是生成一些测量和处理单个图像。批处理如何?这个配方如何执行，不仅对其他训练图像，而且对不属于训练集的图像?

当需要批处理时，我们发现MIPAR很容易将训练中使用的图像制作的配方应用到不属于训练过程的图像。一旦数据生成，有时用户会认为他们必须将字段拼接在一起，以收集足够的区域用于统计数据或遵循标准。

这通常意味着他们最终得到的是一个笨拙的拼接图像，有时拼接的边界并不完美，他们所需要的只是一系列字段，只要他们能够从这些字段收集数据到一个分布中。使用MIPAR，测量功能工具可以从尺寸面板选择直径测量，通过点击视图测量，软件将只测量完整的颗粒。

它将测量每个字段，将所有粒度分组到一个表中，然后用户可以用单个平均值和其他统计数据将所有字段的粒度分布绘制到单个plot中。然后，用户可以根据这些数据生成报告，单击打印，并获得将存储在后处理器中的代表性图像和其余结果。

重要的是要记住，引擎只会学习它提供了什么，所以我们建议用户显示极端，如果他们有非常不同的微观结构情况，不同的照明条件，或不同的准备条件。重要的是要确保它意识到它可以看到的潜在变化。

MIPAR软件现在能够比以前的最先进的软件更容易识别的最复杂的度量类型是什么?

加法应用程序，例如识别和测量熔化池，体现了我刚才描述的许多相同的挑战:复杂的、通常微妙定义的特征，软件可能难以识别。我们可以在测量挑战方面增加一定程度的复杂性，其中包括估计相邻池之间的重叠程度。

例如,我们之前做过这个在过去没有任何注释,即熔化池的大小是由画几行声带通过主要和平均得到一个估计的尺寸,轴和重叠并不是合理的自特定的客户寻找一个空中重叠。由于许多原因，猜测游泳池继续在哪里是不切实际的。

为了处理这个注释，我们使用了半自动化的方法。我们可以非常接近准确的选择与传统配方，不使用深度学习。我们通常可以完全自动地找到80%到90%的特征，然后方便地清除错误，从而得到我们将用于训练的东西。

这就是我们在这个例子中所做的。通过拖动所使用的半自动设置食谱，该软件尽其所能在深度学习之前找到最先进的边界，然后为我们提供手动编辑干预步骤。

通过一些额外的清理，您可以使用一些东西来进行训练，这比纯手工跟踪所有这些特征要快得多。在此之后，就可以像之前一样训练以生成模型。

现在，对于每个训练过的类，用户将得到一个概率图，其中显示哪些像素最有可能属于一个选定的类。你可以把它想象成计算机预测的分割结果。但是，我们在MIPAR中所做的仍然是允许您灵活地将其转换为最终的、最准确的结果，并添加额外的变量来适应您的特定问题。用户可能想要为熔池设置一个特定的最小尺寸，或者忽略那些接触边缘的熔池。典型的方法是接受概率图，然后添加一些额外步骤，将其调整到最终分割中。

为一个先进的测量,用户可以加载在第二个食谱,不仅建立了熔池检测但工作流,以允许用户选择一个熔池,它反映在其中心轴,所以估计是重叠相邻熔池,可以估计。例如，一个特定的用户需要一个交互式工作流，允许用户抽查特定的熔体池并估计它们的重叠。

在熔池检测完成后，用户会看到一个交互窗口，在那里他们可以简单地点击他们想要测量的熔池。这将估计它的对称轴,镜像对称的熔化池的右边,轴,然后计算其交集区域与周边熔池,然后测量面积重叠的比例估计整个熔池形状。这是一个具体的度量设置示例，但是可以根据需要配置MIPAR，而不需要编写任何代码，这正是它所擅长的。

自动深度学习检测熔池边界的附加制造零件。

结果提供了一个重建池，估计出它可能继续的位置，然后有一个边界将可见部分和不可见部分分开，然后将读取重叠百分比，然后是整个池特征的估计尺寸。

我们和一些人讨论过，他们指出镜像对称在物理上可能不是理想的，因为可能有液体粉末的相互作用，或者有一种更基于物理的方法来估计池的隐藏部分。我们正在考虑如何把它整合进去。

您能否举个例子，说明MIPAR如何显著减少用户处理示例和生成度量的时间?

一个例子是，我们的团队为一个高度重叠的图像配置了一个非常定制的测量工作流。在深度学习的支持下，这些特征被准确地检测出来。我们的团队用了不到一个小时的时间来配置这个解决方案并交付给他们使用。

这是一个群体与编织的案例，它包含了许多相同的挑战，例如需要精确地找到复杂的现实世界特性，以便自动化成为可行的。在这种情况下，现有的方法是点数计数。手动列出所有内容实在是太难了。这将需要大约10分钟的图像点数，有大约50个视野的每个样本。

这个用户每天要花8个小时来处理他们的样品。在点数法中，你让另外三个人坐下来，让他们数同样的点，他们可能会对其中的一些点进行稍微不同的分类，因为在形态上有连续性，在有组织的群体和混乱的编织物之间。这意味着两三个人可以对同一点提出不同的名称。

在这种特殊情况下，跟踪的方法是快速而简单的，用户只需突出显示不同形态的一些补丁，软件就可以从中学习并完成图像的其余部分。

在这种情况下，不是对所有感兴趣的特性进行全面概述，也不是半自动化的方法，而是通过简单地分配一些类来设置培训。他们的图像被分割成一个3乘3的平铺图，大小因子约为3k乘2k。向下采样能够提高性能，同时仍然给我们足够的像素来处理。

值得一提的是，用户可以在任何时候停止培训，而软件仍然会保留在培训过程中的位置。这是一种测试这些epoch的饱和点的方法，有时你可以在仅仅100个epoch之后得到一个训练有素的结果，而不必坐着等待500个epoch，因为过程可以在达到100%之前停止并重新开始。这个分界点确实随所使用图像的数量和所训练的微结构的类型而变化。

在这种特殊情况下，训练后产生的是殖民地和编织物的完全分割。当作为批处理的一部分运行时，每个图像大约需要2秒，这意味着它能够将用户处理一个样本的时间从每天8小时减少到每个样本大约2.5分钟。

对于那些希望通过深度学习从手工处理转向自动化的用户，您如何总结MIPAR的主要好处?

我所描述的每一个案例都代表了社区多年来在自动化方面所面临的真正挑战。他们都代表的情况下,研究人员可以采取的方法和他们做什么,手工教学软件如何解释微观结构,但是现在有人工注释结转和开发一个自动化的解决方案,可以从那里接管。

在孪晶的情况下，用户能够避免EBSD进行全自动分布测量，每年节省显微镜成本50万至60万。除了在熔池分析中节省了数量级的时间外，自动化还为重叠估计开辟了一个全新的机会，这是纯手工分析无法做到的。编织袋需要用户每天花8个小时，这减少到了2分半钟，还减少了用户的主观性。

钛的自动深度学习检测菌落和编织形态。

这些示例仅仅是我们处理过的数百个应用程序中的三个，我们已经看到了我们的用户使用MIPAR处理的应用程序。但是，他们的挑战在应用程序中是相当一致的，并体现了我们在现实世界的微观结构分析中看到的很多东西。
MIPAR是一个非常强大的技术,允许大的可访问性专家输入从冶金学家和显微镜专家继续做他们做了这么长时间通过手动标记图像,然后允许深度学习培训引擎从那里接管和自动化曾经是不可能的问题。

MIPAR团队如何在整个项目中支持它的用户?

我们的团队非常努力地工作，从早期评估阶段到长期客户关系阶段，通过专家支持进行过渡。它通常从一组最初的解决方案开始，目的是解决用户的直接需求，但随着新项目的出现，他们可能需要额外的解决方案，我们通常会继续提供服务。

软件可以像我们一样由用户配置。这取决于您的内部可用性和理想的工作流程。无论您是想参加我们的自学课程以更加适应产品，还是想从我们的团队获得专家培训，这些都可以为想要更加自给自足的用户提供。但是，如果他们是那种希望我们的专家在未来根据需要开发更多解决方案的用户，这也是一个完全可以接受的模式。

我们的读者可以去哪里了解更多?

如果您想了解这些解决方案和技术是否适合您的应用程序，请查看我们的应用程序和深度学习我们网站上的页面。我们还有90秒的时间旅游视频这值得一看。读者也可以提交一个图像通过我们的网站，这将直接到我们的应用专家团队，有人将与他们联系，以讨论更详细的MIPAR是否可能是一个好的选择。你的读者也可以直接发邮件给我们(电子邮件保护)，或者给我们打电话。

关于约翰·索萨博士

John Sosa博士是MIPAR软件公司的首席执行官和联合创始人。他在俄亥俄州立大学获得材料科学和工程博士学位，专注于钛合金的2D和3亚博老虎机网登录D微观结构表征。