NEC、5千万人の携帯電話ユーザーごとに最適情報を配信できるビッグデータ処理技術を開発

　日本電気（NEC）は19日、複雑かつ高度な分析においても高い処理速度を維持しながら、高い拡張性を有したビッグデータのリアルタイム処理技術を開発したことを発表した。

　ビッグデータを瞬時に分析するには、データの処理・分析条件（ルール）に基づき、イベント情報を処理する「複合イベント処理技術」（Complex Event Processing: CEP）が従来用いられているが、複雑な処理ルールを手動で振り分けて配置することが困難といった課題があった。

　新技術では、並列配置した各サーバに、ユーザーがあらかじめ作成した処理ルールを最適配置するアルゴリズムを開発。これにより、データの種類・量が変動しても、サーバなどの計算リソースを効率的に利用した高速処理が可能とのこと。なお処理ルール間に関連性や依存関係がある場合は、同一サーバに配置するとともに、各サーバの負荷を均一化することが可能となっている。

　さらに、配置した処理ルールに基づいて、発生したイベントを適切なサーバへ転送する技術を開発。これにより、サーバやネットワークの処理負荷を低減するとともに、将来のデータ増にともなうシステム拡張に対応した。

　NECでは、本技術の評価のため、16台（システムとして10台、負荷発生器として6台）のサーバで10万通りの処理ルールを設定し、毎秒270万件のイベントが発生するシステムに適用した場合、リアルタイム処理が可能であることを実証したという。これは、ユーザー5,000万人に対して、20秒に一回、10万件の店舗からユーザーの属性にあった情報を配信可能な能力に相当するとのこと。

　NECは本技術の研究開発を進め、機器間通信を利用した新サービスを実現するM2Mソリューション「CONNEXIVE」の機能として、2012年度中に提供する予定。