LookSmart、分散型インデックス化技術を導入

LookSmart (NASDAQ:LOOK) が、検索データベース更新用に、分散型データ収集クライアントを配布している。同社によると、Web 検索を劇的に改善する可能性を持つという。

同クライアントの『Grub』は、www.Grub.org で配布している。Grub はスクリーンセーバーとして機能し、インストールしたコンピュータのプロセッサ空き時間を使い、利用者が運営するサイトも含めて、様々な Web サイトのデータを収集する。もちろん、Web サイトを運営していなくとも利用できる。

Grub は、Web サイトの変更点を収集し、インデックス化のため中核データ収集システムへ圧縮送信する。Web サイトを運営している場合、データ収集の負荷を最小限にするために、収集先を自サイト内のコンテンツに限定することもできる。

Grub を開発した Kord Campbell 氏は「約1000人が Grub をダウンロードした。インデックス化能力は、1日に1億ページから2億ページ程度になる」と述べた。Campbell 氏は、1月に同技術を LookSmart に売却し、同社で働いている。

インターネット上で、Web ページをはじめとする各種文書データが急増していることから、Campbell 氏は、インターネット全体を網羅してインデックス化するには、莫大な数の分散化が必要になると述べている。従来型の検索エンジンでは、限られた数のサーバーでインデックス化の処理をしている。

LookSmart は、年内にも Web 用の API を公開し、Web サイト運営者がデータベースにアクセスできるようにする予定だ。