穿戴式眼动仪：基于眼镜的持续低功耗面部表情追踪

论文总结

研究机构

康奈尔大学

摘要

EyeEcho是一款设计用于眼镜的干扰最小的声学传感系统，旨在实现在眼镜上连续监测面部表情。通过在眼镜上安装两对扬声器和麦克风，并使用不可听的声波信号（Frequency Modulated Continuous Wave, FMCW）来捕捉脸颊处的皮肤变形，EyeEcho能够实时追踪高精度的面部表情。与现有的基于相机或其他非可穿戴设备的方法相比，EyeEcho具有低功耗、无隐私担忧且对用户活动限制较小的优点。

问题发现

眼镜上部署面部表情追踪技术的挑战：受限于传感器尺寸和电池容量。
持续跟踪面部表情的困难：需保持高时间和空间分辨率。
存在的可穿戴设备解决方案只能识别离散的面部姿态或手势，而非连续的表情。

解决方案

通过FMCW声波信号捕捉皮肤变形：利用FMCW技术来分析脸颊处由皮肤和肌肉变形产生的回声差异。
设计轻量级机器学习算法：使用ResNet-18架构实现低功耗预测模型。
评估在不同场景下的性能：包括室内的严格实验与半自然环境中的研究。

结果

EyeEcho在追踪面部表情方面表现出色，即使在行走、多任务处理等日常活动中也能保持高精度。
在实验室测试中，平均MAE（Mean Absolute Error）为26.9，系统能适应不同的训练数据量和用户。
半自然环境实验显示EyeEcho在多种环境下有稳定的性能，包括安静的房间、嘈杂的咖啡馆以及街道等。
EyeEcho与先前的研究相比，在低功耗、跟踪连续面部表情和适应性方面表现出优势。

结论

EyeEcho通过创新的声波传感技术，成功地在眼镜上实现对全脸表情的连续追踪。该系统具有良好的性能和可移植性，为未来的眼镜或AR设备集成此类功能提供了可能。

举一反三

Q1：EyeEcho系统是如何进行面部表情追踪的？

A1：EyeEcho利用一种名为FMCW的主动声学传感技术，通过分析围绕脸颊的皮肤变形来捕捉信息。它在眼镜上安装了两对扬声器和麦克风，使用无声的声波信号，并采用机器学习算法对收集的数据进行处理，以实现连续的面部表情追踪。

Q2：EyeEcho在不同的环境噪音下表现如何？

A2： EyeEcho在安静的房间、咖啡店（有工作人员和顾客交谈）、街道等环境中进行了测试。结果显示，系统在音乐和咖啡馆噪音下的平均MAE保持在27.3和28.7，与无噪音环境（安静房间）的24.2相比，性能影响较小。然而，在街道路况下，由于温度变化可能对信号造成干扰，预测结果受到影响。

Q3：EyeEcho系统的使用舒适度如何？

A3：参与者的反馈显示，用户对EyeEcho的舒适度评价为“5/5（最舒适）”和“4.8/5（非常舒适）”。一些参与者建议未来可以针对不同用户的视力需求选择定制镜片，或者完全嵌入传感器到眼镜腿中以提高舒适度。这些反馈对系统未来的改进很有价值。

原文地址：https://dl.acm.org/doi/fullHtml/10.1145/3613904.3642613

内容由MiX Copilot基于大语言模型生成，有可能存在错误的风险。