LookSmart、分散型インデックス化技術を導入

この記事のURLhttp://japan.internet.com/webtech/20030526/12.html

LookSmart (NASDAQ:LOOK) が、検索データベース更新用に、分散型データ収集クライアントを配布している。同社によると、Web 検索を劇的に改善する可能性を持つという。

同クライアントの『Grub』は、www.Grub.org で配布している。Grub はスクリーンセーバーとして機能し、インストールしたコンピュータのプロセッサ空き時間を使い、利用者が運営するサイトも含めて、様々な Web サイトのデータを収集する。もちろん、Web サイトを運営していなくとも利用できる。

Grub は、Web サイトの変更点を収集し、インデックス化のため中核データ収集システムへ圧縮送信する。Web サイトを運営している場合、データ収集の負荷を最小限にするために、収集先を自サイト内のコンテンツに限定することもできる。

Grub を開発した Kord Campbell 氏は「約1000人が Grub をダウンロードした。インデックス化能力は、1日に1億ページから2億ページ程度になる」と述べた。Campbell 氏は、1月に同技術を LookSmart に売却し、同社で働いている。

インターネット上で、Web ページをはじめとする各種文書データが急増していることから、Campbell 氏は、インターネット全体を網羅してインデックス化するには、莫大な数の分散化が必要になると述べている。従来型の検索エンジンでは、限られた数のサーバーでインデックス化の処理をしている。

LookSmart は、年内にも Web 用の API を公開し、Web サイト運営者がデータベースにアクセスできるようにする予定だ。

japan.internet.comのウエブサイトの内容は全て、国際法、日本国内法の定める著作権法並びに商標法の規定によって保護されており、その知的財産権、著作権、商標の所有者はインターネットコム株式会社、インターネットコム株式会社の関連会社または第三者にあたる権利者となっています。
本サイトの全てのコンテンツ、テキスト、グラフィック、写真、表、グラフ、音声、動画などに関して、その一部または全部を、japan.internet.comの許諾なしに、変更、複製、再出版、アップロード、掲示、転送、配布、さらには、社内LAN、メーリングリストなどにおいて共有することはできません。
ただし、コンテンツの著作権又は所有権情報を変更あるいは削除せず、利用者自身の個人的かつ非商業的な利用目的に限ってのみ、本サイトのコンテンツをプリント、ダウンロードすることは認められています。