良い検索エンジンは「偏り」の宝庫

この記事のURLhttp://japan.internet.com/ecguide/20020327/7.html

われわれは検索エンジンがいつも公平であると信じている。だが、専門家の多くは検索エンジンが「偏り」の宝庫であると考えているようだ。

例えば、われわれが本を探しに図書館に行った時、参考司書(reference librarian)のアドバイスは公平だと考えるだろう。彼らは情報の探し方はもちろん、その質や信頼性を評価する方法に精通しているのだ。

同様に、われわれは検索エンジンの検索結果も公平で信頼できると思う傾向がある。だが、検索エンジンは単なるコンピュータープログラムで、プログラム作成者の偏見が入るのはもちろん、クエリー自体ある情報を優先的に表示するよう設定されている。

City College of New York のコンピューターサイエンティスト Abbe Mowshowitz と Akira Kawaguchi 氏は、検索エンジンの偏りについて測定した論文「Assessing Bias in Search Engines」を発表した。同論文によれば、検索エンジンには実際に偏りが見られるものの、クエリーの検索用語が多ければ多いほど偏りが減少する傾向にあるという。

だが、図書館のカタログ司書が、オンライン・コンピュータ図書館センター（OCLC）に、トピック別に本を分類する場合を考えてほしい。偏見のない検索支援ツールがないのと同様、偏りが少ないからといって良い検索エンジンとは言えないのである。

検索が失敗する典型的なパターンには、a) 間違った構文の入力　b) 存在しない情報の検索　c) 検索語が一般的過ぎる、または複数の意味を持つ、などがある。そもそも b は検索のしようがなく a と c の場合も偏見とはほぼ無関係だ。

検索エンジンは検索ツールであるにもかかわらず、人々は答えを導き出すものと考えている。この認識が改められない場合は、検索エンジンに関する報告書などを読むのがいいだろう。

「Assessing Bias in Search Engines」 は、非常に読み応えのある論文だ。 お気に入りの検索エンジンの結果に偏りがないかどうかを疑問に思った時に、面白い論点を提示してくれるだろう。

japan.internet.comのウエブサイトの内容は全て、国際法、日本国内法の定める著作権法並びに商標法の規定によって保護されており、その知的財産権、著作権、商標の所有者はインターネットコム株式会社、インターネットコム株式会社の関連会社または第三者にあたる権利者となっています。
本サイトの全てのコンテンツ、テキスト、グラフィック、写真、表、グラフ、音声、動画などに関して、その一部または全部を、japan.internet.comの許諾なしに、変更、複製、再出版、アップロード、掲示、転送、配布、さらには、社内LAN、メーリングリストなどにおいて共有することはできません。
ただし、コンテンツの著作権又は所有権情報を変更あるいは削除せず、利用者自身の個人的かつ非商業的な利用目的に限ってのみ、本サイトのコンテンツをプリント、ダウンロードすることは認められています。