一种新技术将机器学习模型的推理与人类的推理进行比较

  • 发布时间:2022-04-20 13:34:39 来源:
标签:
导读 在机器学习中,理解 模型为什么做出某些决定通常与这些决定是否正确同样重要。例如,机器学习模型可能会正确预测皮肤病变是癌性的,但它可

在机器学习中,理解 模型为什么做出某些决定通常与这些决定是否正确同样重要。例如,机器学习模型可能会正确预测皮肤病变是癌性的,但它可以使用临床照片上不相关的光点来做到这一点。

虽然存在帮助专家理解模型推理的工具,但这些方法通常一次只能提供对一个决策的见解,并且必须手动评估每个决策。模型通常使用数百万个数据输入进行训练,这使得人类几乎不可能评估足够多的决策来识别模式。

现在,麻省理工学院和 IBM 研究院的研究人员创建了一种方法,使用户能够对这些单独的解释进行汇总、排序和排序,以快速分析机器学习模型的行为。他们的技术称为共享兴趣,结合了可量化的指标,用于比较模型的推理与人类推理的匹配程度。

共享兴趣可以帮助用户轻松发现模型决策中的相关趋势——例如,模型可能经常被分散注意力的不相关特征(如照片中的背景对象)弄糊涂。汇总这些见解可以帮助用户快速、定量地确定模型是否值得信赖并准备好在现实世界中部署。

“在开发共享利益时,我们的目标是能够扩大这一分析过程,以便您可以在更全局的层面上了解您的模型的行为是什么,”主要作者、可视化小组的研究生 Angie Boggust 说。计算机科学与人工智能实验室 (CSAIL)。

Boggust 与她的顾问 Arvind Satyanarayan 以及 IBM Research 的 Benjamin Hoover 和资深作者 Hendrik Strobelt 共同撰写了这篇论文。该论文将在计算系统中的人为因素会议上发表。

Boggust 在 IBM 的暑期实习期间,在 Strobelt 的指导下开始从事这个项目。回到麻省理工学院后,Boggust 和 Satyanarayan 扩展了该项目并继续与 Strobelt 和 Hoover 合作,后者帮助部署了案例研究,展示了如何在实践中使用该技术。

人与人工智能对齐

共享兴趣利用流行的技术来展示机器学习模型如何做出特定决策,称为显着性方法。如果模型正在对图像进行分类,则显着性方法会突出显示在模型做出决定时对模型很重要的图像区域。这些区域被可视化为一种热图,称为显着图,通常覆盖在原始图像上。如果模型将图像分类为狗,并且狗的头部被突出显示,这意味着当模型确定图像包含狗时,这些像素对模型很重要。

共享兴趣通过将显着性方法与真实数据进行比较来工作。在图像数据集中,ground-truth 数据通常是围绕每个图像相关部分的人工生成的注释。在前面的示例中,框将围绕照片中的整条狗。在评估图像分类模型时,Shared Interest 会比较同一图像的模型生成的显着性数据和人工生成的真实数据,以查看它们的对齐程度。

该技术使用多个指标来量化该对齐(或未对齐),然后将特定决策分类为八个类别之一。类别涵盖了从完全人为对齐(模型做出正确的预测并且显着图中突出显示的区域与人类生成的框相同)到完全分散注意力(模型做出不正确的预测并且不使用任何图像)的范围在人工生成的框中找到的特征)。

“一方面,你的模型做出决定的原因与人类完全相同,另一方面,你的模型和人类做出这个决定的原因完全不同。通过对数据集中的所有图像进行量化,您可以使用该量化对它们进行分类,”博古斯特解释道。

该技术同样适用于基于文本的数据,其中突出显示关键字而不是图像区域。

快速分析

研究人员使用三个案例研究来展示共享兴趣如何对非专家和机器学习研究人员有用。

在第一个案例研究中,他们使用 Shared Interest 来帮助皮肤科医生确定他是否应该信任一种机器学习模型,该模型旨在帮助从皮肤损伤照片中诊断癌症。共享兴趣使皮肤科医生能够快速查看模型正确和错误预测的示例。最终,皮肤科医生决定他不能信任该模型,因为它基于图像伪影而不是实际病变做出了太多预测。

“这里的价值在于,使用共享兴趣,我们能够看到这些模式出现在我们模型的行为中。在大约半小时内,皮肤科医生就能够自信地决定是否信任该模型以及是否部署它,”博古斯特说。

在第二个案例研究中,他们与机器学习研究人员合作,展示了共享兴趣如何通过揭示模型中以前未知的缺陷来评估特定的显着性方法。他们的技术使研究人员能够在典型手动方法所需时间的一小部分内分析数千个正确和错误的决策。

在第三个案例研究中,他们使用共享兴趣深入研究特定的图像分类示例。通过操纵图像的真实区域,他们能够进行假设分析,以查看哪些图像特征对特定预测最重要。

研究人员对共享兴趣在这些案例研究中的表现印象深刻,但博古斯特警告说,该技术仅与它所基于的显着性方法一样好。如果这些技术包含偏见或不准确,那么共享利益将继承这些限制。

未来,研究人员希望将共享兴趣应用于不同类型的数据,特别是用于医疗记录的表格数据。他们还希望使用共享兴趣来帮助改进当前的显着性技术。Boggust 希望这项研究能激发更多的工作,以对人类有意义的方式量化机器学习模型的行为。

  • 免责声明:本文由用户上传,如有侵权请联系删除!