NEC、最適な店舗情報を携帯ユーザー5,000万人に20秒に1回配信できるビッグデータ処理技術を開発

NEC は2012年9月19日、複雑で高度な分析でも高速処理できる、リアルタイムのビッグデータ処理技術を開発した、と発表した。

携帯電話、自動車、家電などが生成するビッグデータを、人手を介さず処理する M2M ネットワークが拡大しつつある。これらのビッグデータをリアルタイムで分析するには、データの処理・分析条件（ルール）に基づき、発生したイベント情報を反射的に処理する、複合イベント処理技術（Complex Event Processing: CEP）が用いられている。

しかし従来の CEP では、複雑な処理ルールを手動で振り分けて配置するのが困難、ルール間の関連性や依存関係によりサーバー間で無駄な通信が発生し、処理速度が10分の1以下に低下する、サーバーの拡張性が低く、データ量の増減に対応できない、などの課題があった。

今回開発された技術は、処理ルールをサーバーに自動で配置、データの種類/量が変動しても、サーバーなどの計算リソースを効率的に利用して、高速で処理するもの。また、サーバーが増減しても、処理ルールを自動で再配置できるため、拡張性の高い（スケールアウト型）ビッグデータ処理基盤となる。

並列配置した各サーバーに、ユーザーがあらかじめ作成した処理ルールを最適配置するアルゴリズムを開発。処理ルール間に関連性や依存関係がある場合は同一サーバーに配置、処理を局所化することでサーバー間の無駄な通信/連携を減少させる。

また、配置した処理ルールに基づいて、発生したイベントを適切なサーバーに転送する技術を開発、サーバーやネットワークの処理負荷を低減する。

技術の評価のため、システムとして10台、負荷発生器として6台、合計16台のサーバーを用意し、10万通りの処理ルールを設定、毎秒270万件のイベントが発生するシステムに適用した場合、リアルタイム処理が可能であることを実証した。

これは例えば、携帯電話に店舗やクーポン情報を提供するサービスを想定した場合、ユーザー5,000万人に対して20秒に1回、10万件の店舗から、ユーザーの属性にあった情報を配信できる能力に相当する。

NEC ではさら研究開発を進め、機器間通信を利用した新サービスを行う M2M ソリューション「CONNEXIVE」の機能として、2012年度中に提供する予定。

なお、この研究開発成果の一部は、2003〜2007年度総務省委託研究「ユビキタスネットワーク技術の研究開発」、2008〜2010年度総務省委託研究「ユビキタスプラットフォーム技術の研究開発」によるもの。