以深度神经网络为代表的AI技术，德州仪器TI可视化与逻辑推理

可解释AI在大数据、大算力的支撑下，以深度神经网络为代表的AI技术，在特征表达能力上取得了巨大突破，在很多场景中达到甚至超越了人类，这大大推动了各行各业的智能化进程。在某些领域，基于深度学习的AI技术可以快速实现业务效率的大幅提升，如安防、物流、推荐和信息分发等，这也使得AI在技术和商业应用上快速突破，并进入商业红利阶段。市场反哺带来的是技术向更多领域的进击，但当AI技术向自动驾驶、金融等更重视安全、隐私、伦理的应用场景落地时，遇到了巨大阻力。如在自动驾驶中，尽管技术可以带来平均事故率的降低，但仍无法满足实际应用要求。在伦理上对AI技术的要求更加苛刻，这类要求又是合理的。另外，在某些实际业务应用和决策程序中更讲究有理有据，因此对AI技术的可解释性提出了更高的要求。当前的深度学习算法模型是通过大量数据进行训练而得到的黑盒，神经网络模型中复杂的连接结构、大量的参数以及推理过程中大量的数值计算，使得识别和决策难以使用简单的逻辑进行解释。可解释性成为阻碍深度学习技术在一些应用场景中落地的最主要问题。以金融风控场景为例，深度学习模型可判别出某部分用户有欺诈嫌疑，但由于模型并未指明是如何得到这些结论的，故人们无法判断结论的准确性，业务部门也就不敢直接使用该结果来处理业务。又如，在自动驾驶领域，当前车突发事故，在急刹车也无法避免与之碰撞的情况下，自动驾驶汽车会做出相应的决策，但做出决策的依据是什么？人们对此无从知道。要解决这些问题，就需要打开黑盒，使AI透明化、可解释。对于可解释AI(Explainable AI, EAI/XAI)，尽管学术界和工业界尚未形成统一定义，但可以理解为提供一套面向深度学习的工作机理可理解、决策可解读且人类可信任的技术和方法集合，从而满足用户对解释性的诉求。这些技术包括可视化、逻辑推理等。按美国国防部高级研究项目局(DARPA)的说法，可解释AI的目的是让用户理解如下内容。 AI系统为什么这样做？AI系统为什么不这样做？ AI系统什么时候可以成功？AI系统什么时候失败？ 什么时候可以信任AI系统？ AI系统为什么做错了？在深度学习的发展过程中，可解释AI也在不断发展。在视觉领域的常用使AI具有可解释的方法有基于梯度的可解释性、基于掩码的可解释性、基于类激活映射的可解释性等，这些方法都是通过关注AI判别的区域来确定AI是否做出了正确判断。如图3-27所示，高亮区域展示了AI判别结果的重点依据，可以看到判别“狗”的关键特征区域是头部，而判别“猫”时猫的全身各部位都对决策有贡献。图3-27 基于加权梯度的、类激活映射的可解释AI通过可视化的手段及合理性的逻辑解释，可以判别AI是否真的做出了正确判断。可解释性方法不仅可以避免模型“歪打正着”，还可以分析模型学得不好的原因，从而找到改进的路径。当前机器学习主流方法基于连接主义和数据驱动的深度学习方法，在各类场景获得了极其出色甚至意料之外的效果，却难以通过学术符号和原理进行解释，这是学术界难以接受的。可解释AI的发展可帮人们将AI应用的风险掌控在自己手中。