国立信息学研究所特聘研究员松井佑介课题组与Dwango株式会社、东京大学合作,以小内存高速对约10亿条大数据进行“聚类”能力。开发了一种高质量的方法。这甚至可以在具有一般容量的个人计算机上进行大数据集群处理。

 人工智能研究处理庞大而复杂的数据(大数据)。聚类是数据处理的基础工作,从大量数据中将相似的数据组合在一起,但是当数据变得庞大时,传统的方法会降低处理速度,需要大量的内存。用一台通用个人计算机很难执行集群,并且需要使用大量服务器的分布式并行处理。

 这一次,通过新技术(直接乘积量化)对数据进行压缩,与传统方法相比,可以用更少的内存(节省100至4000倍的内存)来表达它。接下来,对这个压缩数据重复对相似数据进行分组和平均分组的过程,但除了过去提出的技术外,通过新设计的高效平均技术进行高速聚类(10到1000)。速度)已经成为可能。

 如此一来,一台电脑(内存容量1GB,CPU核数10个),将1亿张图片分成32万类组的过程,可以在4小时左右完成(常规方法需要300台电脑左右)。 . 将 10 亿张图像数据分类为 10 种类型的过程可以在大约 12 小时内完成。

 因此,普通的个人计算机可以轻松处理社交媒体等海量图像数据。由于一般工程师和研究人员更容易处理大数据,因此有望在应用深度学习的人工智能 (AI) 开发等广泛领域中使用。

东京大学

成立于明治10年。日本历史最悠久、日本知识最前沿的大学

东京大学成立于1877年(明治10年),由东京开成学校和东京医学院合并而成。自成立以来,它作为日本领先的大学和东西方文化融合的学术中心,以世界上独特的方式发展了教育和研究。因此,在广泛的领域产生了许多人力资源,许多研究成果 […]

大学学报在线编辑部

这是大学学报的在线编辑部。
文章由对大学和教育具有高水平知识和兴趣的编辑人员撰写。