Career
キャリア
楽天エンジニアが挑む、ビッグデータの分析・活用とは
| 2012年6月12日 / 06:10 |
|
|
楽天エンジニアが挑む、ビッグデータの分析・活用とは
|
|
サービス品質を大きく引き上げる、Eコマースの膨大なデータの解析と活用
|
| ユーザーからのアクセスログは、Eコマースを運営する事業者に、貴重な情報をもたらす。どのような画面遷移で購入ページにたどり着き、何を購入したか。その行動分析と販売データには、新たなビジネスチャンスとなる宝の山があるからである。 一例を挙げれば、Webサービスの場合、よりユーザーの心に響くレコメンデーションの提供につながり、表示される画面のパーソナライゼーションを可能にする。他にも、サービスの品質を大きく向上させる様々なマーケティングデータとしての活用が可能だ。このように、多様な価値が潜むユーザーの大量のアクセスログは、事業者から見ればまさに宝の山と言えるだろう。 ピークタイムには1分間で1000件を超える購入が行われている楽天のEコマース。ページビューも1日当たり1億に達するという。これほどのデータを活用しない手はない。当然のことだが、統計上で解析の対象となる母集団の数が多ければ多いほど、マーケティングデータとしての精度は高まり、有用な価値として収斂される。 しかし、アクセスの規模が大きくなれば大きくなるほど、新たな課題が生じる。あまりにも膨大すぎて、データの管理や解析が容易ではなくなるのだ。しかも、絶えずデータは増え続けていく。 楽天もこの問題に直面していた。本来ならばリアルタイムでデータを解析し、その結果を適切に加工してユーザーの画面に表示したいところである。何故ならば、例えば人気の赤いカバンを買ったばかりのユーザーに、次の購入動機の形成のために同じ赤いカバンをその後何日にもわたってリコメンドするのは意味が無いからである。こうした不都合を解消しようにも、従来までのデータマイニングの手法では処理が到底追いつかない。そこで同社は独自のデータ処理技術の構築に乗り出した。 |
 |
 |
|
|
独自プロダクトの開発活用で、大量データの処理時間を大幅に短縮化
|
| まず構築したのは楽天スーパーDBである。楽天は「楽天市場」「楽天トラベル」「楽天銀行」など、多様なビジネス・サービスをWeb上で展開しているが、その一つ一つから得られたデータを集約。商品・サービスDB、顧客属性DB、購買履歴DB、閲覧履歴DBを統合した。さらに、これらのデータを活用し、楽天の様々なサービスにデータの解析内容を還元するレコメンデーションプラットフォームとして楽天技術研究所の技術を活用し、TOHOが構築されたのである。このプラットフォームは、各サービスの特性ごとにリコメンドロジックのカスタマイズが可能で、各種のパーソラナズサービスなどに活用されている。 そして、さらに膨れ上がるデータの処理を目的に、独自プロダクトの開発にも乗り出した。まずは分散データストレージとして「ROMA」が開発された。これは、分散キー・バリュー型のデータストアで、データを「キー」と「値（バリュー）」の組み合わせとして保存する。キーに応じてデータを複数のサーバに分散して保存させるため、サーバの増設によってデータ容量やスループットを容易に向上させることができる。その上、複製データを複数のサーバで保存するので耐障害性の面でもメリットが大きい。 このROMA は、楽天と、プログラミング言語「Ruby」の開発者である、まつもとゆきひろ氏によって開発が進められた。まつもと氏は、楽天技術研究所のフェローも務めている。また、ROMAはオープンソースとしてソースコードが公開されている。 データの処理に関しても、高速化が図られた。オープンソースの分散処理プラットフォームである「Hadoop」の活用である。楽天は2008年と早期からHadoopの検証を進め、その運用技術の蓄積を行ってきた。翌年春には早くも運用を開始。現在ではその活用対象の範囲を広げている。Hadoopによるデータ処理の高速化は顕著で、販売ランキングの集計処理で言えば、従来まで数日かかっていたものが数時間に短縮。デイリーランキングの表示を可能にした。他にもスケーラビリティの確保や煩雑な運用からの開放など、Hadoop導入のメリットは大きいようである。 |
|
 |
 |
 |
▼ビッグデータの高速処理技術を確立!ビジネス貢献へ▼
>> 楽天エンジニアが挑む、ビッグデータの分析・活用とは
New Topics
Special Ad
| “超高速無線 LAN 時代”の幕開け--新規格 11ac（Draft）に対応したバッファロー最新ルーターの潜在能力を試す | |
 |
バッファローは次世代無線 LAN 規格 IEEE802.11ac（Draft）通信速度最大 1,300Mbps 対応無線 LAN ルーター「WZR-1750DHP」を3月下旬に販売開始。今回、同機器を入手できたので、使用感や便利な機能についてレポートしたい。⇒詳細記事へ |
Hot Topics
IT Job
今週のIT求人情報
その他 IT求人情報はこちら
Interviews / Specials
Follow japan.internet.com
Popular
Access Ranking
Partner Sites