第３回目はビッグデータを瞬時に分析したいという市場ニーズに応えるため、「処理スピード」・「手軽さ」にこだわった結果生まれた「ストリームデータ処理基盤」についてです。

第３回　「処理スピード」・「手軽さ」へのこだわり　〜ストリームデータ処理基盤〜

さまざまなビッグデータをリアルタイムに分析し、現場の状況や課題の把握と迅速な意思決定を支援する製品がストリームデータ処理基盤です。

開発者がストリームデータ処理基盤を開発する上でこだわったのは、「処理スピードの高速化」と「データ集計・分析の手軽さ」です。このストリームデータ処理基盤を生み出した池永絵里さん（顧客支援担当）と鳥飼智さん（開発担当）に、開発にかけるこだわりについて語っていただきました。

ソフトウェア事業部 第２基盤ソフト設計部
（左）池永絵里　／　（右） 鳥飼智

お客さまの課題：ビッグデータを瞬時に分析したい

池永：

日々発生する膨大な量のデータをビッグデータといい、これらの情報をリアルタイムに収集・分析することでビジネスへ活用する機会が増えてきています。ビッグデータには、例えば、製造・流通・交通などの現場で、日々発生する操作ログやセンサ情報、位置情報などがあります。具体的には、コンビニエンスストアなど多くの小売業が活用する『POSデータ』や交通系の『ICカードの支払い情報』などがあります。

池永：

従来、ビッグデータを活用するには、収集したデータを溜めて夜間などにまとめて分析する必要がありました。しかし、この方法だとどうしても一定のタイムラグが生じます。
そこで、データを溜めずに、その場でリアルタイムに分析することができれば、不測の事態に迅速に対応でき、ビジネスチャンスを逃すこともありません。例えば、製造ラインでは、リアルタイムなセンサ情報の分析結果から障害の予兆を迅速に検知し、不良率低減に貢献できます。また、証券取引などの金融分野では、高速なデータ分析を備えているため、アルゴリズムトレードが、市場の変化に追随できます。

鳥飼：

現在、多くの企業で採用しているDBMS^(*1)を適用したデータ処理方式では、分析する情報をいったんデータベースに格納した後、バッチ処理などで一括して集計・分析するため、情報の発生から集計・分析までに、どうしてもタイムラグが生じてしまいます。
そこで、日立は、逐次発生するデータをメモリ上でリアルタイムに分析するストリームデータ処理基盤を開発しました。ストリームデータ処理基盤では、メモリ上で、あらかじめ登録したシナリオに従って集計・分析を実施します。シナリオでは、処理するデータの条件と処理方法を定義しておきます。この集計・分析処理は、メモリ上で行うため、高速なデータ処理をリアルタイムに実現できます。

(*1)

DataBase Management System

製品が生まれるきっかけ：研究所との共同開発による最新先端技術の活用

鳥飼：

ストリームデータ処理基盤は、研究部署と製品開発部署の共同開発により製品化しました。製品化に際し、研究部署が編み出した『ストリームデータ処理の瞬発的な速さ』を持つエンジンを、製品開発部署にて、使い勝手を改善し、『集計・分析処理の手軽さ』を付加して、製品を完成させました。

こだわり（１）：「ビッグデータの処理を迅速に」

鳥飼：

ストリームデータ処理基盤では、ストリームデータを一定のデータ量、時間などの単位で切り出して処理しています。時間が経過すると、処理対象は増減しますが、データ全体ではなく、変化分のみを処理することで全体の処理数を減らす工夫をしました。
更に、状況に応じてデータ処理の処理順を最適にスケジューリングして、効率よく処理ができるよう工夫を重ねました。これらの工夫の積み重ねで、データベースによるデータ処理と比較して、桁違いの性能が実現できました。

こだわり（２）：「ビッグデータの集計・分析をカンタンに」

こだわり（３）：
「ビッグデータの分析結果を他アプリケーションで活用することがカンタンに」

鳥飼：

ストリームデータ処理基盤では、分析結果をグラフ表示したりするアプリケーションを集計・分析対象の定義だけで効率的に開発できる「アプリケーションフレームワーク」を提供しています。これにより、ストリームデータ処理基盤で分析した結果を、ほかのアプリケーションで幅広く活用できます。

幅広い分野で実用化へ

池永：

数年前まで、『ストリーム』というと、『画像処理？』と聞かれる方が多くいましたが、最近ではストリーム高速処理の重要性が広く認識され、業種を問わず、幅広い分野で実用化が進んでいます。

--お客さまの反応はどうでしたか？

お客さまの声（１）：株価の情報を素早く出すことができるようになりました

お客さまの声（２）：思ったより簡単に予兆検知ができました

池永：

また、障害予兆監視システムでは、データセンターの稼働状況から障害が発生しそうな予兆段階を検知することで、障害の未然防止に活用していただきました。特に既存のシステムに負荷や変更を加えることなく予兆検知の対象を簡単に増やせる点が大いに喜ばれました。

最後にひとこと

鳥飼：

お客さまの中にはストリームの高速処理に高い興味を示してくださるものの、具体的な活用方法が分からなかったり、シナリオ開発を敷居が高いと感じたりするお客さまもいらっしゃいます。そのため、お客さまと共同でのシナリオ検討や、お客さまにすぐ使用していただけるようなアダプタやシナリオ例を充実させ、敷居を低くしていきたいです。
また、リアルタイムJava^(*2)やFull GC^(*3)対策など性能改善を重ね、お客さまのビジネスに貢献できるよう、処理スピードの更なる高速化を目指したいと思っております。

池永：

ソーシャルメディアが生み出すテキストメッセージをはじめ、無線デバイス、GPS機器、次世代の電力システム、そのほか環境・産業・交通システムなどの刷新が進めば進むほど、生成・流通するデータ量は膨らんできます。その中で競争力を維持・強化するために、それらのデータから有益な情報をいかにすばやく取り出し、活用するかが、事業展開を優位に進めていく鍵となっています。このため、さまざまな企業でストリームデータ処理技術の関心が高まってきています。
ぜひとも、弊社のストリームデータ処理基盤をご活用ください。

(*2)

標準 Java 技術以上にリアルタイム的なパフォーマンス向上をもたらすJava 言語の拡張機能

(*3)

メモリ不足発生時に、Java仮想マシンによる、全メモリ領域を整理して空きを作るための処理のこと

関連製品

ストリームデータ処理基盤に関する情報は、以下のサイトをご参照下さい。

• Cosminexusストリームデータ処理基盤
  • Cosminexus ストリームデータ処理基盤：適用ケース
    ストリームデータ処理基盤の技術情報や収集・分析シナリオの詳細については、次のホワイトペーパーをご参照ください。
• ストリームデータ処理技術を利用したソリューションのご紹介
  −大量データのリアルタイム処理−

• ページの先頭へ