NTTとPFI社、ビッグデータのリアルタイム処理を可能にする新技術「Jubatus」を開発

エンタープライズソフトウェア・サービス

注目記事

2011.10.26（水）18:25

　日本電信電話（NTT）とプリファードインフラストラクチャー社（PFI）は26日、ビッグデータと呼ばれる大規模データをリアルタイムに高速分析処理する基盤技術「Jubatus」（第1版）を開発したことを発表した。

　Jubatusは、「大量データ」を「常に素早く」「深く解析」することを狙った、大規模分散リアルタイム解析フレームワーク。Jubatusでは、複数のサーバ間で緩やかに途中処理結果を共有することにより、サーバ間の通信オーバヘッドの削減や安定性の向上を実現し、高いリアルタイム性と解析精度を確保している。チーターの学術名「Acinonyx jubatus」に由来し命名された。

　Jubatusは、データ解析処理のロジックに応じて、集約計算ロジックをアレンジする「MIX計算」、サーバ間で、途中の解析結果を答え合わせする際のデータの集め方と再分配のやり方を決める「MIXプロトコル制御」、絶え間なくデータを処理するため、サーバ障害をリカバリしたり、データが溢れるまえにサーバを追加したり、リーダを決める「メンバシップ管理機能」の3つの機能から構成される「MIX処理方式」を採用している。また、共通インタフェース規定により、解析エンジン、解析モジュール、データストレージ方式（ローカル・分散）の柔軟な組み換え（プラグイン・アウト）を可能にしたプラガブル構成となっている。

　さらに、Jubatusはワークフロー化されており、データ入力から、応用解析処理、解析エンジンなどのプロセス構成間のパスおよび並列実行などの柔軟で容易な定義と実行制御を可能にしているとのこと。今回、深い解析事例としてオンライン機械学習における多値分類器を実装し、これらの方式の確認と性能測定、チューニングを実施している。

　NTTとPFI社は、研究開発をさらに進めるとともに、Big Dataに関わる情報処理技術の発展に寄与するために、Jubatusコミュニティの拡大、ならびにその上のビジネスマーケットの拡大も目指すとしている。また10月27日よりJubatus OSS提供サイトにてオープンソースソフトウェアとして公開する予定だ。今後は「SNS分析アプリケーション」「センサーデータ解析」「POSデータ解析」「Logデータ解析」「金融データ解析」「行動解析」などの適用分野での活用を目指す。

《池本淳》