由东京大学教授 Yoichi Sato 领导的一个研究小组开发了一种方法,可以从头戴式相机记录的“第一人称视角图像”中以前所未有的准确度预测人的视线移动。预计将用于传承传统技能和医疗等广泛领域。
要了解一个人的详细行为,重要的是要知道他或她何时关注以及关注什么。如果可以从图像中预测一个人的视线将如何移动,则可以在不使用诸如视线测量设备等特殊设备的情况下知道一个人正在看什么以及如何看。另一方面,众所周知,一个人的视线的移动很大程度上取决于该人所做的工作,但是对于现有的第一人称视角图像(由头戴式摄像机记录的图像),线-使用了视线预测方法。,没有考虑这个工作依赖性。
在这项研究中,受注意力模型的启发,我们开发了一种方法,该方法可以通过考虑取决于工作的视线移动模式,从第一人称视点图像中高精度地预测视线位置在使用深度学习的图像分析中。底部。结果,我们成功地预测了人们在厨房做饭时应该将目光移到什么时候以及什么样的事情上。
使用第一人称视点视频分析研究中使用的标准基准数据集进行评估实验时,所提出的方法获得的视线位置精度比最新方法高约40%。现有的视线预测方法,确认可以预测。
此次开发的技术广泛应用于与人类行为感知与分析相关的各个领域,如制造领域的技能传承、自闭症谱系障碍的早期筛查、驾驶员驾驶汽车时的视觉行为分析等。加以利用。