基于用户互动和预期的大型语言模型（LLM）拒绝：调查和技术和社会原因
论文总结
研究机构
- Aalborg University
- University of Luebeck
- Aalborg University
摘要
研究者Joel Wester、Tim Schrills、Henning Pohl和Niels van Berkel通过两项用户实验，调查了人工智能（AI）聊天机器人在无法或不应执行用户请求时的拒接方式。他们测试了四种不同的拒接风格：基础、事实性、转向式和意见性，分别对应技术原因和社交原因导致的拒接。研究结果表明，转向式的拒接方式能降低用户的沮丧感并提高满意度。研究者还根据这些发现提供了一些建议，以便更好地设计AI聊天机器人的拒接回复，使之更符合人们的期望。
问题发现
用户在与大型语言模型（LLMs）互动时可能遇到不明确或无帮助的拒接回复，这可能导致负面体验。
解决方案
研究者提出，当LLM不能执行请求时，应使用转向式拒接，即避免直接回答问题，并提供相关但不直接相关的回复。这种策略被认为比基础和意见性拒接更能满足用户需求。
结果
通过实验，研究者发现：
- 转向式拒接降低了用户的沮丧感并提高了他们对聊天机器人响应的满意度。
- 意见性拒接在某些方面优于基础拒接，但整体上不如转向式拒接。
- 用户对LLM拒接的感知受到拒绝风格的影响，转向式和事实性拒接比基础拒接更受欢迎。
基于这些结果，研究者为设计LLMs的拒接回复提供了指导，强调了在设计时考虑用户期望和社交互动的重要性。
举一反三
Q1：用户如何期望AI聊天机器人在无法完成请求时响应？
A1：用户普遍希望AI聊天机器人能以一种有用且信息丰富的方式提供拒绝，同时保持礼貌。他们期待系统能够解释为何无法满足请求，并在可能的情况下给出替代建议或引导至其他资源。
Q2：在设计LLM（大型语言模型）的拒绝策略时应考虑哪些关键因素？
A2：设计LLM拒绝时，应考虑与用户交流的社会性和情感敏感性。例如，提供个性化的反馈，使用易于理解的语言，并在必要时采取预防或纠正措施以避免进一步的不适或冲突。
Q3：如何通过实验来评估和优化LLM的拒绝策略？
A3：可以通过用户研究和互动实验来评估和优化LLM的拒绝策略。设计不同场景和交互情境，让用户与AI系统进行互动，并收集他们对拒绝响应的感受（如满意度、有用性等）。根据这些反馈，可以调整和优化系统的回应策略，以更好地满足用户的期望并改善用户体验。
信息来源
内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。