智能模拟用户：通过模拟不同用户与移动应用交互，生成可用性反馈

论文总结

摘要

本研究通过设计并实现一个名为SimUser的工具，利用基于链式思考（Chain-of-Thought）的大规模语言模型（LLMs），模拟用户与移动应用交互以生成可用性反馈。研究首先通过定性访谈收集设计师对LLMs生成可用性反馈的期望和顾虑。然后，我们根据这些发现设计并实现SimUser，它能够创建具有详细特征的虚拟用户，并能精确描述界面。实验结果表明，SimUser在信息与功能、布局和交互逻辑方面生成的可用性反馈与人类用户有80%的一致性。尽管如此，LLMs在模拟用户的审美感知和理解复杂操作方法时仍有局限，需要进一步改进。

问题发现

设计师希望得到针对原型的快速且低成本的多维度可用性反馈，他们对LLMs能否准确理解和生成这些反馈有所顾虑。通过访谈，作者发现设计师期望LLMs能够反映特定用户群体的特性，并在模拟交互中考虑上下文因素。然而，他们担心LLMs可能无法理解界面和交互，特别是难以把握用户的直观感受和深层原因。

解决方案

为解决这些问题，研究提出SimUser，它结合了链式思考结构以及用户模型，通过生成自然语言描述、利用视觉注意力模型理解和模拟用户在使用移动应用时的感知和行为。为了使LLMs能够理解界面，SimUser会解析代码文件并结合可视化模型。同时，它也考虑到用户特性如视觉需求、使用熟练度和对智能应用的态度，并生成基于这些特性的预期和用户流。

结果

通过对比人与SimUser的反馈，研究发现SimUser在信息与功能、布局和交互逻辑方面的覆盖率达到80%，且能模拟出特定用户群体（学生和老年人）的不同使用场景。然而，LLMs在理解用户的情感体验、操作方法及设计审美方面仍有不足。设计师对SimUser工具评价积极，认为其有助于快速了解多目标用户群体的反馈，并反映特性与情境的影响，但仍需改进可视化和报告生成以增强用户体验。

结论

这项研究为利用LLMs提供可用性反馈提供了新的可能性，虽然仍存在局限性，但随着模型能力的进步，未来可以期待更多样化、更深入的模拟反馈。对于设计实践，这可能意味着LLMs工具能够作为人类反馈的有效补充，帮助设计师更好地理解用户需求和体验。

举一反三

Q1：SimUser在模拟用户与应用程序交互时如何考虑到用户的特性？

A1：SimUser通过用户代理（UA）来生成用户特性和使用场景，它整合了能力、任务相关的信息，并考虑了视觉需求、使用熟练度和对智能应用的态度等额外因素，以更全面地反映用户特性。

Q2：在设计 SimUser 时，如何解决 LLM 在理解移动应用方面的局限？

A2：为了解决这一问题，SimUser 使用自然语言描述从界面代码文件中生成，并结合视觉模型来帮助 LLM 理解视觉信息，同时使用零射程提示协助 UA 推理用户对设计师的应用程序的期望。

Q3：在评估 SimUser 的反馈效果时，是如何确保模拟的用户体验与真实用户的相似性？

A3：通过进行定性和定量分析，我们将 SimUser 的反馈与人类用户的反馈进行了对比，并计算了覆盖度来衡量其有效性。此外，我们还收集并分析了用户类型（如学生和老年人）之间的特性标签，以确认 SimUser 是否能够准确模拟不同群体的体验。

原文地址：https://dl.acm.org/doi/10.1145/3613904.3642481

内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。