プレスリリース

富士通研究所、IoTデータの分析を高速化するデータベース統合技術を開発

2017/3/17 17:35
共有
保存
印刷
その他

発表日:2017年3月17日

IoTデータの分析を高速化するデータベース統合技術を開発

データ変換の最適化とデータ転送量削減で4.5倍高速化、さらに分散並列実行の自動化を実現

 

 株式会社富士通研究所(注1)(以下、富士通研究所)は、企業の基幹システムとしてデータの分析に利用される関係データベースと、大量の非定型なIoTデータの蓄積に利用されるNoSQLデータベースを統合して高速に分析する技術を開発しました。

 様々なIoTデバイスから出力される多様な構造を持つIoTデータの蓄積には、NoSQLと呼ばれる大量データの高速な蓄積に特化したデータベースが利用されますが、NoSQLデータベースを多機能な関係データベースに統合して横断的に分析する場合、データ構造を変換する処理時間を要するため、IoTデータなどの大量データの分析に時間がかかることが課題でした。

 今回、関係データベースへの問い合わせを記述したSQLを解析することにより、データ変換最適化とデータ転送量削減技術、データを自動的に分割し分散並列実行基盤であるApache Spark(注2)で高効率に分散実行する技術を開発し、関係データベースにNoSQLデータベースを統合した高速な分析を可能としました。

 開発技術をOSSの関係データベースであるPostgreSQL(注3)に実装し、NoSQLデータベースとしてOSSのMongoDB(注4)を使用して性能を測定したところ、データ変換最適化とデータ転送量削減技術により問い合わせ処理を4.5倍高速化できました。さらにApache Sparkで高効率に分散実行する技術によりノード台数に比例した高速化を実現しました。

 本技術により、例えば、小売業の店舗などにおいて、顧客の動線や行動などを把握する様々なIoT機器を継続的に導入しながら、従来の基幹システムのデータと関連づけた新しい分析を素早く試みることが可能になるなど、顧客ごとに適した製品・サービスを提供するOne to Oneマーケティング施策の実現に貢献します。

 本技術の詳細は、3月6日(月曜日)から3月8日(水曜日)まで岐阜県高山市で開催された「DEIM2017(第9回データ工学と情報マネジメントに関するフォーラム)」にて発表しました。

■開発の背景

 近年、IoTとセンサー技術が日々進化し、従来は入手困難だった情報が新たに取得できるようになってきました。これらの新しいデータと、既存の基幹・情報系システムのデータとを関連づけることにより、いままでできなかった多方面からの分析が可能となることが期待されています。

 例えば小売業の店舗では、顧客が持つモバイル機器のWi-Fiなどの電波強度を分析することで顧客が店舗内でどこに滞在しているのかを把握したり、監視カメラの画像データを解析することで顧客の動線や年齢性別といった属性、商品を見たのか手に取ったのかといった詳細な行動を把握するなど、様々なIoTデータを取得することが可能となっています。これらのデータを、購買商品や売上データといった既存のビジネスデータとうまく組み合わせて活用することで、顧客ごとに適した製品・サービスを提供するOne to Oneのマーケティング施策の実現が期待されています。

■課題

 従来から、関係データベース上でNoSQLデータベースと組み合わせて分析する場合に、NoSQLデータベースに格納される非構造データを関係データベースで扱える構造データに変換するためのフォーマットを事前定義することで、高速にデータ変換して分析処理することができました。しかし、IoTデータの活用が強化されている中で、センサーを追加したり、同じセンサーやカメラからのデータでも、単に人数を抽出していたものがソフトウェアの更新により顧客の視線や行動、感情などの新しい分析情報が追加されるケースも増えており、事前にフォーマットを定義することは困難です。一方でデータ分析者が分析を素早く試みるためにはフォーマットの事前定義が不要な方法が望まれていますが、事前にフォーマットを決定することができない場合、データベースへの問い合わせ時の変換処理のオーバーヘッドが大きく、分析を行う際の処理時間が増大する課題がありました。

 ※リリース詳細は添付の関連資料を参照

■商標について

 記載されている製品名などの固有名詞は、各社の商標または登録商標です。

以上

 

 

リリース本文中の「関連資料」は、こちらのURLからご覧ください。

リリース詳細

http://release.nikkei.co.jp/attach_file/0439881_01.pdf

共有
保存
印刷
その他

電子版トップ速報トップ

【PR】

【PR】

主要ジャンル速報

北海道 7:00
7:00
東北 7:01
7:00
関東 7:01
7:01
東京 7:00
7:00
信越 7:01
7:00
東海 7:05
7:00
北陸 6:32
6:25
関西 6:00
6:00
中国 15:02
6:03
四国 6:02
6:01
九州
沖縄
2:00
1:31

【PR】



日本経済新聞社の関連サイト

日経IDの関連サイト

日本経済新聞 関連情報