賞金100万ドル。史上最大級のアルゴリズムコンテスト「Netflix Prize」がついに決着

この記事のURLhttp://japan.internet.com/busnews/20090924/8.html

賞金100万ドルを賭けて、186か国から4万チームが参戦して争われた壮大なアルゴリズム競争が、延々3年間にわたって行なわれていたのをご存知だろうか？

このコンテスト「Netflix Prize」は、2006年10月に米国トップのオンライン DVD レンタル会社「Netflix」が開催したもので、前代未聞の超大型アルゴリズムコンテストとして大きな話題を呼んでいた。


コンテスト内容は、同社の持つリコメンデーションエンジン「Cinematch」（協調フィルタリングによる Amazon 並にパワフルなエンジン）を基準として、成果ベースで10％上回るリコメンデーションアルゴリズムを開発することだ。具体的に言うと、DVD をレンタルした人に対して、Amazon のように「こちらの商品もおすすめです」とリコメンドするためのロジックの効率化だ。

2006年に始まったこのバトルは、2011年を期限として10％に達するまで続き、年に一回“Progress Prize”という5万ドルの中間表彰まで用意されている。コンテストの方法もユニークだ。

参加者は1億件の匿名ユーザーデータをダウンロードし、自らのアルゴリズムを通して計算されたリコメンドデータを投稿する。運営サイドはその投稿データを実際のデータと比較することで改善率を計算し、Web 上の leaderboard で参加者の成績を一覧表示させている。コンテストシステムとしても実に美しく設計されているのが特徴だ。

■アルゴリズムをめぐる激戦の歴史
コンテスト開始直後から、腕自慢の個人プログラマだけでなく大学や企業の研究機関も加わり、大激戦のアルゴリズムバトルがはじまった。そしてそこでは映画の演出を見るようにドラマテックな展開が待っていた。

スタートから2週間で150件を超える応募があり、そのうち数件は「Cinematch」を上回る成果を挙げるという非常に順調な滑り出しだったが、改善のペースは次第に落ち、2006年末には早くも8％の見えない壁が立ちはだかった。

そんなこう着状態でヒーローとして登場したのが、当時3位につけていた simonfunk 氏だ。彼は自ら開発した高度なアルゴリズムを Web 上で突然公開する。このことがきっかけとなり、個人プレーに限界の感じていた多くの参加者の間で情報交換がはじまった。

複数の参加者がアルゴリズムを公開し、コミュニティが活性化し、個人がチームを組み始める。まさにコンテスト自体のレベルを底上げする触媒の役目を果たしたことになる。蛇足だが、simonfunk 氏はその後レースに加わることはなかったようだ。

続いて現れたヒーローが“Just a guy in a garage”こと、Gavin Potter 氏だ。新顔でいきなり7％を超えるハイスコアを記録すると、さらに2008年1月には8％を叩きだして常連化していた上位陣に食い込んだのだ。しかも彼は元 IBM のコンサルタントで、バックグラウンドは心理学者である。

「データの背景にあるのは人間である」という視点で行動経済学を駆使したアプローチは斬新なもので、参加者コミュニティの注目を大いに集めることになった。

■ついにコンテストが決着
そして、ついに2009年7月26日、常連メンバーが集結した最強チーム「BellKor's Pragmatic Chaos」が10.5％を達成した。彼らは7人構成の国際チームで、米国 AT＆T Research から2人、オーストリア Commendo から2人、カナダ Pragmatic Theory から2人、イスラエル Yahoo! Research から1名という、いわばオールスターによるコラボレーションチームだ。

コンテスト規約に基づき、10％を破られてから30日以内に対抗者があらわれず、ついに賞金100万ドルの獲得者となった。


ここで特筆しておきたいのは、このコンテスト設計の素晴らしさだ。データ配布によるアルゴリズム評価の自動化、leaderboard やコミュニティでの参加者交流、さらには10％という目標設定の的確さには芸術性すら感じてしまう。この分野では先駆者である Top Coder のコンペティションシステムを参考にしているのかもしれない。

なお、Top Coder については筆者コラムで紹介しているので参照してほしい。

【クラウドソーシング事例】世界の天才プログラマが争う凄いサイト
【クラウドソーシング事例】早い！安い！うまい！天才プログラマによる受託開発

ちなみに、NetPrize 社によると、100万ドルで DVD リコメンデーション能力が10％挙がるのであれば、ビジネスとして十分なりたつとか。ということで「Netfllix Prize 2」も予定されているようだ。

ツタヤディスカスさん、DMM.com さん、ぽすれんさん、楽天レンタルさん、日本の IT 業界を元気にするために、コンテストのご検討いかがでしょう？

筆者 Twitter はこちら。ご意見、コンタクトなどお気軽に。


執筆：株式会社ループス・コミュニケーションズ 代表取締役 斉藤 徹
監修：株式会社ワールド・カフェ 代表取締役 笠原 造

japan.internet.comのウエブサイトの内容は全て、国際法、日本国内法の定める著作権法並びに商標法の規定によって保護されており、その知的財産権、著作権、商標の所有者はインターネットコム株式会社、インターネットコム株式会社の関連会社または第三者にあたる権利者となっています。
本サイトの全てのコンテンツ、テキスト、グラフィック、写真、表、グラフ、音声、動画などに関して、その一部または全部を、japan.internet.comの許諾なしに、変更、複製、再出版、アップロード、掲示、転送、配布、さらには、社内LAN、メーリングリストなどにおいて共有することはできません。
ただし、コンテンツの著作権又は所有権情報を変更あるいは削除せず、利用者自身の個人的かつ非商業的な利用目的に限ってのみ、本サイトのコンテンツをプリント、ダウンロードすることは認められています。