PromptCharm：通过多模态提示和细化实现文本到图像生成
论文总结
研究机构
- 多伦多大学（University of Toronto）
- 艾伯塔大学（University of Alberta）
摘要
本研究提出了一种名为PromptCharm的系统，旨在帮助用户通过多模态提示和细化来实现文本到图像生成。该系统利用了最先进的模型自动优化用户的初始提示，并提供了丰富的反馈环以协助用户更有效地与模型互动，生成符合其预期的艺术作品。通过两组用户研究，作者评估了PromptCharm的效果和易用性，结果显示使用PromptCharm的用户在创造更好的、更具审美性的图像方面比使用基础工具表现更好。
问题发现
- 用户在处理复杂的稳定扩散模型时对文本提示的优化存在困难。
- 缺乏丰富的反馈环来支持用户的创作过程。
- 需要填补创意意图与模型生成之间的概念鸿沟。
- 对于初学者来说，理解和控制AI生成图像的过程具有挑战性。
解决方案
- 自动化提示细化和优化，以帮助用户改进初始输入的文本提示。
- 利用模型注意力可视化提供解释，帮助用户理解AI生成图像背后的机制。
- 通过图像填充和遮罩图像生成功能实现直接操纵，允许用户在不修改提示的情况下改善生成图像。
- 提供版本控制以追踪并迭代用户的创作过程。
结果
- 用户研究显示，使用PromptCharm的参与者在创造复杂图像任务中表现更好，特别是在视觉吸引力和满足预期方面的满意度（平均评分为6）比基础工具（5）和Promptist（5.9）更高。
- 大多数用户表示他们更喜欢PromptCharm，因为它提供了丰富的反馈环，帮助他们发现多样化的图像风格并精确调整模型的注意力。
- 使用PromptCharm的用户在认知过载、努力和匆忙方面的评分并未显著增加，表明系统并未引入额外的负担。
举一反三
Q1：在使用PromptCharm时，用户如何理解和改进他们的文本提示？
A1：用户可以通过模型注意力可视化来理解文本提示对生成图像的影响。他们可以看到不同单词的重视程度，并观察这些词与生成图像的相关部分。通过这种方式，用户能得知哪些关键词被过度关注或忽视，从而进行调整。
Q2：PromptCharm如何帮助用户在没有明确设计目标时探索多样化的图像样式？
A2：PromptCharm提供了丰富的反馈和多模态提示，让用户能够尝试不同的艺术风格和词缀。通过自动推荐和显示流行修饰符，用户可以在不实际生成图像的情况下预览不同样式的效果，这种探索机制有助于激发用户的创新思维。
Q3：在使用PromptCharm进行迭代创作时，用户如何保持对版本的控制？
A3：PromptCharm提供了版本控制功能，用户可以轻松查看和切换不同的创作版本。他们不仅能看到模型对每个词的注意力分配，还能通过图像中的关键词调整生成结果，这样的设计帮助用户在整个迭代过程中保持对创作内容的掌控。
原文地址：https://dl.acm.org/doi/fullHtml/10.1145/3613904.3642803
内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。