庆应义塾大学、雅虎日本公司和东京工业大学的研究小组正在使用一种新方法,通过使用智能手机前置摄像头拍摄的面部照片,通过机器学习来估计智能手机是如何被抓握的。
许多智能手机应用程序都是为屏幕显示而设计的,假设它们将使用右手拇指进行操作。随着屏幕尺寸的增加,可能难以以其他握持姿势进行操作。通过估计智能手机的握持姿势(握住哪只手,操作哪根手指),可以根据握持姿势显示屏幕,但是否需要外部传感器和估计模型取决于智能手机型号。有一个问题,如做。
由于智能手机的屏幕会发光,如果将智能手机放在脸前,会出现屏幕形状的角膜反射图像,但手指放在屏幕上的部分会是阴影,并且只有那部分会是角膜反射图像。缺失。由于角膜反射图像的切割方式因握持姿势而异,因此使用内置前置摄像头拍摄面部照片,从面部照片中切出在瞳孔中反射的角膜反射图像,并将角膜反射图像分类为机器学习,课题组认为是可以估计的。由于该方法仅使用内置的前置摄像头,因此可以单独识别智能手机的握持姿势,并且估计模型不依赖于智能手机型号。
我们验证了是否可以识别 13 位实验合作者的抓握姿势。作为使用深度学习创建估计模型的结果,抓取姿势的识别准确率为 85%。未来,预计该方法的加入将有助于提高智能手机应用程序的可操作性,并预防因长时间以相同的握持姿势使用智能手机而引起的疾病。