# 多模交互设计时该注意哪些事项？
最近一年都在探索多模交互相关的知识，今天把思考的内容整理出来分享给大家:-)
# 多模态交互相关
1.操作对象应支持一种或多种交互方式。
1. 每种交互方式都具备“目标选中”和“目标执行”两个属性。
2. 系统或应用级别的操作型控件应考虑一种或多种交互方式。
3. 如果当前GUI界面中，不同控件的交互方式尽量保持统一，若存在差异，建议显性说明。
4. 语音交互可以由用户或系统自主发起。
5. 不同类型的操作控件应有不同的语音交互意图和流程来支持。
2.多模态交互过程中，同时考虑操作对象和流程颗粒度的变化和返回逻辑，建议统一以一个用户界面（User Interface）作为参照对象进行管理。
1. GUI结构和流程具有稳定性，流程变化更多属于页面跳转。
2. VUI结构具有流动性，流程变化更多属于步骤跳转或者任务跳转。
3. 实体按钮的操作变化由自身的操作方式和属性定义。
4. 由于GUI具备所见即所得的特性，建议多模交互以GUI为参照对象进行管理。
3.考虑多模态交互状态间的同步、异步、返回、同一时间操作同一对象的容错处理，建议构建一个状态机进行管理。
1. 当前操作目标为同一个操作对象时，全部通道的交互流程应以最新的操作为准，并同步更新各自交互流程和相应数据。 2. 当前操作目标不是同一个操作对象时，各个操作对象保持原有的交互流程和相应数据。 3. 如果操作对象与其他对象产生联动，联动对象的全部通道的交互流程和相应数据需要同步更新。 4. 如果操作目标为多个操作对象时，相关对象的全部通道的交互流程和相应数据需要同步更新。
4.多通道之间的信息输入、输出存在着不同效率、同步/异步以及兼容/互斥的差异，设计时请考虑用户的注意力分配。
1. 当注意力集中在某一通道时，其他通道获取信息的效率迅速降低。 2. 在阅读和聆听同一长文本时，文字阅读的效率会下降。 3. 在同时阅读和聆听不同长文本时，阅读和聆听的效率会下降。 4. 其余还在研究，后续更新。
5.应以用户当前操作对象为目标发起交互流程，用户无法感知的操作对象、操作过程或操作结果应给予反馈。
1. 在语音交互过程中，聆听、识别、播报状态难以被感知，因此语音交互流程中GUI或者其他方式应给予反馈。 2. 部分实体按钮本身操作具有触感变化，自身兼备过程和结果的反馈，如果不具备结果反馈的能力，应该通过其他用户界面（User Interface）或者其他方式给予反馈。
6.跟安全相关的交互流程应具备身份识别或者二次确认的能力。
1. 语音交互可以在有限空间内被任何人发起，安全性较低。
** GUI和VUI相关 **
1.如果内容可以用音标表示，请优先考虑使用音标。 2.文本类型的控件应支持语音播报能力，是否播报可以由业务方自行决定。 3.如果语音内容需要主动播报，请先播报音标引起用户的注意。 4.如果当前GUI文本支持语音播报，播报内容和显示文本应保持一致。 5.语音播报的内容、句式和结构需要保持简单。 6.如果长文本内容正在语音播报，建议显示当前播放进度在哪。 7.大部分人的工作记忆为10~15秒，因此语音播报内容尽可能控制在10秒以内（中文和数字约为40字以内），特殊情况可以最多15秒（中文和数字约为60字以内）。 8.语音交互内容包含的信息尽量控制在1-2项，最多不超过4项，减少用户记忆的压力。 9.当前GUI内容支持语音播报，它的阅读和朗读结构、顺序应具备相似性。 10.VUI下一轮交互不具备显性化，GUI可以充当提示的作用，但同时也会限制用户思维的发散。 11.VUI设计具备影响情感的能力，因此VUI设计不只包括播报文字的设计，还包括了音色、语速、语调、音效的设计。 12.VUI设计时应考虑统一的人物和性格设定。 相关阅读 [ 下一个人机交互的突破口在哪？ ](http://mp.weixin.qq.com/s?__biz=MzAxOTI4OTg3Mg==&mid=2649347266&idx=1&sn=5193e1725ffcc3b71c05600d7c3fabd8&chksm=83d436bdb4a3bfab7de54b1ae72dcd72001afc9f65604d8cb5285d95fffc91ddf0fd6ff340a8&scene=21#wechat_redirect) [ 零基础的你也能一分钟成为人工智能实践高手 ](http://mp.weixin.qq.com/s?__biz=MzAxOTI4OTg3Mg==&mid=2649347343&idx=1&sn=662ec9082fdb3fc6865b0a87da6ccc60&chksm=83d43770b4a3be6630a9f2650fc473b24d69dcb4a3dfbd68dfc2cd9ce5a3f0b8b3f7dfbe92cb&scene=21#wechat_redirect) [ 投影仪改变生活，让你的生活充满科技感 ](http://mp.weixin.qq.com/s?__biz=MzAxOTI4OTg3Mg==&mid=2649347248&idx=1&sn=bb30158b9d1883de080fcf37208a345f&chksm=83d436cfb4a3bfd9e321247503b8de5aaae2c20cbd170946171545ed4daa142dc60b144e5eb1&scene=21#wechat_redirect)
