机器学习测试——开放问题和方法
raybet雷竞技ios下载博世研究博客|由马蒂亚斯·韦勒和同事发表，2021-01-14
合著者:Christoph Gladisch, Christian Heinzemann, Martin Herrmann
许多工业机器学习(ML)应用都需要一定程度的安全性，特别是在自动驾驶汽车等自动化系统的环境中。几篇论文指出了安全问题和缓解方法。我们在博世的同事Oliver Willers、Sebastian Sudraybet雷竞技ios下载holt、Shervin Raafatnia和Stephanie Abrecht对此进行了详细的概述深度学习在安全关键感知中的应用任务．本研究中提到的一种主要缓解方法正处于测试阶段。
机器学习的工业应用需求不断增长，需要新的测试方法来满足安全需求。
在博世raybet雷竞技ios下载研究公司自主系统领域，我们致力于考虑安全需求的方法，并为ML的安全使用做出贡献。我们的团队特别专注于ML测试。因此，我们不断更新ML测试的新兴研究领域。此外，我们还从工业实例的文献中评估方法，并自己开发新的方法。
在去年的几篇文章中，我们的团队概述了ML测试的开放问题，并评估了几种具体的方法。下面，我们将概述与这一研究方向相关的三篇论文。
ML测试领域的研究问题
在第二届人工智能安全工程国际研讨会(WAISE2019)，我们提供了“自动驾驶学习计算机视觉功能测试中的开放性问题”的概述。在这项工作中，我们系统地调查了测试方法，并从从业者的角度详细介绍了11个示范性研究问题。我们希望为该领域的其他人提供令人兴奋的研究方向。这类问题的一个特别例子是:“哪种覆盖标准可以用来证明测试集的穷尽性?”这一具体问题指导了接下来讨论的两篇论文的研究。
什么是可能的机器学习测试技术?
在第二届安全人工智能自动驾驶研讨会(SAIAD2020)，我们讨论了一种称为组合测试的经典测试技术的使用。在这里，我们演示了来自软件测试的经典方法也可以用于ML测试领域。具体地说，我们使用组合测试来确定给定数据集覆盖相关系统域的程度。如图所示，我们分析了计算机视觉领域的一个著名数据集，并确定了数据缺失的位置。详情请观看我们的研讨会演示:
在与Fraunhofer智能分析与信息系统研究所(IAIS)的合作中，我们评估了最近的ML测试方法。具体地说，我们评估了所谓的神经元覆盖率，以帮助建立一个衡量神经网络测试效果的指标。然而，我们的实证调查表明，这种新颖的方法并不足以证明神经网络已经经过了充分的测试。
这一富有成效的合作产生的论文在第三届人工智能安全工程国际研讨会(WAISE 2020)上获得了最佳论文奖。
我们的团队继续在这方面的研究工作，目前我们正在与我们的合作伙伴合作开展公共项目。”KI Absicherung -自动化的安全AI开车由德国联邦经济事务和能源部资助，旨在提供安全的基于ml的功能。
我们感谢博世内部和我们公共项目中的所有合作者。raybet雷竞技ios下载
你对这个话题有什么看法?
请随时通过领英分享或直接与我联系。
作者:Matthias Woehrle
Matthias是系统和软件工程领域的研究人员。在苏黎世联邦理工学院攻读博士学位期间，他开始从事信息物理系统背景下的软件验证工作。Matthias热衷于将研究应用于工业环境中的实际应用。在博世raybet雷竞技ios下载，他的工作应用于嵌入式控制系统、自主系统和机器感知等各个领域。最近，他的研究重点是机器学习系统的安全性和测试。
