人工智能的可解释性与结果反馈对信任的影响:一项比较研究

论文总结

摘要

研究者们进行了两组实验（分别为"Predict the speed-dating outcomes and get up to $6 (takes less than 20 min)"和相似的Prolific实验），参与者在预测约会结果的任务中与AI系统互动，以探讨模型可解释性和反馈对用户对AI的信任以及预测准确性的影响。结果显示，尽管可解释性（如全局和局部解释）并未显著提高信任度，但反馈却能最稳定且显著地提升行为上的信任。然而，增加的信任并不一定带来同等程度的性能提升，即存在“信任-性能悖论”。探索性分析揭示了这种现象背后的机制。

问题发现

研究者们发现，虽然普遍认为模型的可解释性有助于提高用户对AI系统的信任，但在实际实验中，全局和局部的可解释性并未带来稳定且显著的信任提升。相反，反馈（即结果输出）对于提升用户对AI的信任有更明显的效果。然而，这种增加的信任并没有直接转化为性能上的同等改善。

解决方案

为了更准确地评估信任，研究者采用了行为信任度（WoA）这一指标，它考虑了用户的预测与AI建议的差异，并且独立于模型的准确性。通过比较不同条件下的WoA，研究者可以分析信任和性能之间的关系。

结果

结果显示，反馈相较于可解释性对提升用户对AI的信任有更显著的影响，但这种增强的信任并没有带来相应的性能提升。进一步的探索表明，反馈会诱导用户过度信任（即在AI错误时仍接受其建议）或不信任（在AI正确时忽略其建议），这可能抵消了信任增加带来的好处，导致出现“信任-性能悖论”。研究者呼吁未来的研究应关注如何设计确保解释能培养适当信任的策略，以提高人机协作的效率。

举一反三

Q1：反馈如何影响用户对AI的信任？

A1：根据研究，反馈（例如结果输出）是影响用户信任的关键因素。它能最显著、可靠地提升用户对AI的行为信任。

Q2：解释性是否必然增强用户对AI的信任？

A2：尽管普遍认为模型的解释性有助于提高用户的信任，但实验结果显示这种增强并不明显且不如反馈效果显著。在特定情况下，如低专业知识领域，某些形式的解释可能仅带来适度提升适当信任。

Q3：结果反馈和模型解释性如何影响用户任务性能？

A3：研究发现，结果反馈能改善用户预测的准确性（减少绝对误差），从而提高与AI协作的性能。然而，解释性对用户任务性能的影响不如其对信任的影响大。这可能意味着在提升AI辅助决策的实用性和效果上，我们应更关注如何有效利用反馈机制。

原文地址：https://dl.acm.org/doi/10.1145/3613904.3642780

内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。