人工智能大数据分析应用于各个领域，是预测药物发现研究中分子模型有效性的重要验证手段。但是，例如在检测特定分子的情况下，经常报告实验中的检测成功率远低于计算机模型的先验预测。根本原因归咎于计算机模型，这是一个高估人工智能性能的统计指标。直到现在，TPR（True Positive Rate）、ACC（准确率）等几类指标都被用作AI性能评价指标，但这些指标真正正确地评价了AI性能，被认为是做出来的。

　在这项研究中，我们开发了一种使用统计指标准确评估人工智能性能的方法。该方法通过使用分布函数（iCDF）的统计分析来验证TPR和ACC等各个指标的特征和有效性。验证结果表明，无论采用何种AI技术，在TPR、ACC等中获得较高评价值的概率很高，且极有可能不会导致有效性实际应用。此外，发现在开发人工智能和进行评估实验之前，应通过一种新方法彻底检查评估指标本身的特征。

这次开发的方法可以应用于任何领域的人工智能。预计将有助于开发可以在演示实验中对任何数据集进行准确分类的“稳健”人工智能。

纸张信息：【分子信息学】分类器及其量化指标