CollabCoder：集成大型语言模型的低门槛严谨协作定性分析工作流

论文总结

摘要

CollabCoder是一个旨在降低定性分析（CQA）门槛的工具，它结合了大型语言模型（LLMs）以支持关键的归纳协作定性分析阶段。通过共享数据和使用量化指标识别编码（不）一致，该系统促进了团队成员间在早期编码阶段的理解。一项涉及16名参与者的用户评价确认了CollabCoder的有效性，特别是对于初学者来说，它易于学习和使用，并支持独立编码。结果表明，CollabCoder通过提供深入的讨论并基于共识和分歧形成有质量的代码决策，提升了CQA流程的效率与公平性。

问题发现

在定性分析中，研究人员面临着复杂性和高成本的问题，尤其是在处理大量数据时。现有的工具如MaxQDA和Atlas.ti Web虽然支持协作，但缺乏顺畅的流程以保证符合标准的CQA步骤，并且没有充分利用AI的能力来提升效率。

解决方案

为解决这些问题，研究团队设计并开发了CollabCoder，一个整合LLMs的一站式系统。它包括独立开放编码阶段、利用LLMs进行数据共享和提供代码建议、检查编码（不）一致性的相似性计算以及生成初步代码组的功能。在保持用户自主权的同时，通过LLMs辅助提升定性分析的效率。

结果

用户评价结果显示，CollabCoder在提出代码、解决分歧和决策方面显著优于现有的工具，如Atlas.ti Web。它支持更深入的讨论，并且对于初学者来说易于使用。与 Atlas.ti Web 相比，CollabCoder减少了编码时间，并提升了对最终分析质量的信心。研究还揭示了团队合作中的三种动态模式：协作、快速但不够谨慎，以及温和但缺乏关注。这些发现为未来设计提供了一种更加全面的定性分析工具的可能方向。

举一反三

Q1：如何在团队中有效进行协作式定性分析？

A1：通过使用CollabCoder，我们可以共享数据、利用量化指标识别编码分歧，并在独立开放编码阶段促进团队成员间的理解，从而提高效率并减少从零开始建立代码书的负担。

Q2：LLMs在CQA的哪些阶段可以提供支持？

A2：LLMs可以在关键的CQA阶段提供支持，如数据导入初期生成初步代码、提供代码建议以及在讨论和代码分组阶段通过生成代码群组来辅助。

Q3：如何平衡AI的协助与用户自主性？

A3：在设计CollabCoder时，我们强调在需要深度交流和共享理解的地方利用LLMs，同时确保用户提供最终决定，以保持对分析过程的控制，防止过于依赖AI。

原文地址：https://dl.acm.org/doi/10.1145/3613904.3642002

内容由MiX Copilot生成