第二回アカデメディア「検索会議」:技術動向編−「Yahoo！Next」と検索の課題

2005年3月5日、第2回アカデメディアはヤフー株式会社が協賛、テーマは「検索会議」だ。米 Yahoo！からもゲストを招き、「学生編」「ビジネス動向編」「技術動向編」の3本立てで開催された。

技術動向編では、米 Yahoo！のエバンジェリスト Jeremy Zawodny 氏とエンジニア Yongdong Wang 氏のプレゼンテーションが行われた。

まず、Jeremy Zawodny 氏は Yahoo！サーチの方向性について、公開されているコンテンツを誰でも検索できる「パブリック」、自分が作ったコンテンツ・ドキュメントを検索する「パーソナル」、ある特定のグループまたは誰かに渡すことを目的とした「シェア」の3つに分かれるだろうと語った。

Jeremy Zawodny 氏

続いて同氏は、いくつかの検索機能を紹介した。はじめに紹介されたのは業界一の15億イメージを有するという「イメージサーチ」だ。イメージサーチはシンプルなインターフェイスを備えながらも15億のインデックスから自然文検索が可能。例えば、「黒い花と白い花」「小さいサイズの鳥の写真」のように検索できることが特長だ。

また、ビデオサーチは Web やその周辺にあるビデオを検索することができる。「サイズ指定」で映像の長さ・ファイルの大きさを、「ファイルタイプ」で Windows Media か Quick Time を指定することが可能だ。さらに、ビデオにも対応した「Media RSS」を搭載するなど、高度なオプションを備えている。

デスクトップサーチでは200種類以上のファイルをインデックス化し、その他の Yahoo！のサービスとの連携を考えているそうだ。例えば、ローカルのメールと、Yahoo！メールを同時に検索することも可能になるかもしれない。

最後に同氏は、「Yahoo！Next」を紹介した。Yahoo！Next は、米 Yahoo！の新技術やβサービス、掲示板でユーザーからのフィードバックを募るなど実験的な場である。Google における Google Lab に相当するものだろうか。ここから次のサービスが始まることになる。

続いて登壇したのは、Yongdong Wang 氏。同氏は「検索エンジンを作るのは難しいと思いますか？」と問いかけた上で、開発の苦労をユーモラスに語った。

Yongdong Wang 氏

開発には大きく分けると4つの課題があるが、まずはそのスケールの巨大さだ。誰もがパブリッシングできる Web だからこそ、ページは100億から1,000億単位で存在し、しかもその数は1から2年で倍になってしまう。また、現在のネット人口は Yahoo！だけで何十億という数になるらしい。「例えば、10億のドキュメントを検索する場合、1つが平均20キロバイトだとすると200テラバイトのストレージが必要となり、1日に1回クロールするなら1秒あたり20GB、各マシーンに100万ドキュメントを載せても1万台が必要で、すべての答えは0.1秒以下で出されなければならない」ということだ。

次に、クエリーにマッチする結果を見つけるも簡単にはいかない。ここでは言語が問題となる。アクサンテギュがつくヨーロッパ、単語の間にスペースがない日本語、ヨーロッパでは珍しくスペースを使わないドイツ語など、ばらばらなのだ。

さて、クエリーにマッチした結果を見つけたとしても、そのランキングはどうすればいいのだろう。テキスト、フレーズ、リンク、言語、そして地域、これらの要素はどう組み合わせるべきか。また、キーワードスパム、インビジブルテキスト、リンクスパムなど、さまざまなスパムも課題だ。

Yongdong Wang 氏の口から出たのは途方も無い問題に思える。しかし、同氏は難問を目の前にして、むしろ楽しそうである。同氏はアカデメディア参加者に、こう呼びかけた。「夢があるなら Yahoo！に来てください。来年はあなたたちがこの壇上でプレゼンをする番です」