塑造人机协作：大型语言模型共写中的 varied scaffolding 级别研究
论文总结
研究机构
- University of Michigan
- University of California
摘要
本研究通过实验探索了人工智能辅助写作的不同层次对协作写作用途的影响。使用了一种定制的、混合式AI写作工具，实验设计采用了四分法（拉丁方）来减少顺序效应。结果表明，低级别的AI支持（如句子建议）对于提升写作质量和效率没有显著影响，但可能有助于新手和不熟悉技术的用户。高一级别的AI支持（如段落建议）能明显提高写作质量，尤其对非经常写作的人和不太熟练技术的用户效果更佳。然而，这种高级辅助可能会降低用户的满意度和内容归属感。研究者提出需要根据用户技能和需求来个性化AI的协助程度，以实现最佳协作效果。
问题发现
- AI在协作写作中的适当时机和程度尚不清楚
- 对于不同写作熟练度的用户，AI辅助可能有不同的效果
- 高级AI辅助可能会导致用户写作过程被打断，影响连贯性
解决方案
- 设计并实施了一个包含三个条件（无AI、低级别AI支持、高级别AI支持）的现场实验
- 使用定制的AI写作工具，提供句子和段落级别的建议
- 通过混合式设计来评估不同层次AI辅助对用户满意度、写作质量和认知负荷的影响
结果
- 低级别AI支持并未明显提升写作质量或效率，但对于非专业写手有帮助
- 高级别AI支持（如段落建议）显著提升了写作质量和效率，特别是对于新手和不熟悉技术的用户
- 用户对高程度AI辅助的满意度较低，可能因为控制感减弱和内容归属感降低
- 顺序和之前条件对AI协作质量的影响不大
结论
本研究提供了一种理解AI在协作写作中作用的方法，并强调了根据用户的技能和需求进行个性化AI支持的重要性。这有助于设计出更贴合用户需求的AI写作工具，提升写作质量和效率的同时保持用户满意度和对作品的所有感。
举一反三
Q1：AI辅助写作如何影响不同水平写作者的写作质量？
A1：实验结果显示，低级别的AI支持（如句子建议）对提高写作质量帮助较小，特别是对于非定期写作或技术不熟练的用户。然而，高级别的AI支持（如段落建议）能显著提升写作质量和效率，尤其对非经常写作和不太熟悉科技的用户更为有益。
Q2：AI辅助是否会对作者的情绪投入和所有权感知产生影响？
A2：实验中观察到，在使用AI辅助写作时，用户的满意度和对生成文本的所有感可能会降低。特别是在段落级别的AI支持情况下，这种下降更为明显，可能是因为用户对AI的依赖导致他们感觉对自己的作品拥有较少的主导权。
Q3：写作过程中，连续的AI辅助顺序是否会影响用户体验？
A3：研究发现，写作过程中的AI辅助顺序确实会影响用户的写作体验。随着条件的进展，文本质量有所提高，表明可能存在一种学习效应，即用户在使用较低级别的AI支持后能更好地适应和利用后续更高级别的支持。然而，从段落级回到无AI基础设置时，写作质量下降，可能意味着用户对AI的过度依赖会影响其独立写作能力。
信息来源
内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。