2018年7月20日(金)

プレスリリース

京大、人工知能の性能を正確に評価する方法を開発

2018/3/5 14:40
保存
共有
印刷
その他

発表日:2018年3月5日

その人工知能は本当に信頼できるのか? -人工知能の性能を正確に評価する方法を開発-

 

 J.B.Brown 医学研究科講師は、統計学的分析によって、人工知能(AI)の性能評価指標そのものの有効性を網羅的に検証し、分野を問わず正確にAIの性能を評価できる手法を世界で初めて開発しました。信頼性の高いAIの開発に加えて、ビッグデータを用いた創薬研究や治療法の創出などに貢献することが期待されます。

 本研究成果は、2018年2月14日付で米国の科学誌「Molecular Informatics」に掲載されました。

■研究者からのコメント

 AI開発は日々ニュースに出ており、研究だけではなく社会の変化を導いています。AIが開発されたと聞くと、私たちはどのような印象を持てば良いでしょうか。また、報告されるAIの本当の性能はどこにありますでしょうか。本研究は、AIの性能評価指標そのものの有効性を評価したもので、今後AIを開発する前に性能評価指標として何が適切であるか事前に調査する手法ができ、一般公開しました。開発依頼元が性能条件をこの手法により決定し、依頼先に条件を指定でき、より堅牢なAI開発につながると期待しています。

■概要

 AIによるビッグデータ解析は、医療現場や市場分析など社会のさまざまな分野での活用が進み、今後さらなる普及が予想されています。また、創薬研究などで分子モデルの有効性を予測する場合にも、AIは主要な検証手段として重視されています。しかし、例えば特定の分子を検出する場合に、実験における検出成功率が、コンピューターモデルによる事前予測を大きく下回るという事例がしばしば報告されています。その根本的な原因は、コンピューターモデルすなわちAIの性能を過大に評価した統計的指標にあると考えられます。これまでは、AIの性能評価指標としてTPR(True Positive Rate:真陽性率)とACC(Accuracy:正確率)をはじめとする数種類の指標が用いられてきましたが、これらの指標は本当にAIの性能を正しく評価できていたのでしょうか?

 本研究では、AIの性能を統計的指標によって正確に評価する手法を開発しました。この手法は、TPRやACCなど各指標の特性と有効性を、分布関数(iCDF)を使った統計学的な解析によって検証するものです。検証の結果は、AI技術に関わらずに、TPRやACCなどでの高評価値を得られる確率が高く、実応用の有効性につながらない可能性が高いことを示しました。さらに、AIの開発と評価実験を行う前に、新手法によって評価指標そのものの特性を十分に吟味するべきであることが分かりました。社会に浸透しつつあるAIも、その情報の正確性を評価した上で有効利用することが必要不可欠といえます。

 ※図は添付の関連資料を参照

■詳しい研究内容について

 ・その人工知能は本当に信頼できるのか? -人工知能の性能を正確に評価する方法を開発-

  ※詳しい研究内容は添付の関連資料を参照

 ・日刊工業新聞(2月28日 30面)および日経産業新聞(3月1日 5面)に掲載されました。

 

 

リリース本文中の「関連資料」は、こちらのURLからご覧ください。

http://release.nikkei.co.jp/attach_file/0473371_01.JPG

詳しい研究内容

http://release.nikkei.co.jp/attach_file/0473371_02.pdf

保存
共有
印刷
その他

電子版トップ速報トップ



[PR]

日本経済新聞社の関連サイト

日経IDの関連サイト

日本経済新聞 関連情報