どれが TOP ページ？

この記事のURLhttp://japan.internet.com/wmnews/20030619/8.html

「クローラーにページが認識されない！」という声を耳にすることがある。よくよくサイトを拝見すると、拡張子が微妙に違うファイルが複数存在している。クローラーがデフォルトで認識するファイルは「index.html」「index.htm」のいずれかである。

例えば、Google の検索 BOX に次の検索式を入力してみて欲しい。
「link:http://www.seo-ch.jp/」
「link:http://www.seo-ch.jp/index.htm」
「link:http://www.seo-ch.jp/index.html」
検索結果は皆同じである。

しかし、弊社サイトの TOP ページは「default.asp」である。「link:http://www.seo-ch.jp/default.asp」で検索しても何も見つからない。クローラーは ROOT のデフォルトファイルを「index.html」「index.htm」として認識するのである。

上記のことから言えることは、現状で「index.html」「index.htm」の2ファイルを別ファイルとして存在させていても、クローラーが認識するファイルは「index.html」のみなのである。もし、サイト内で「default.asp」などを TOP ページとして設置している場合は、クローラーの誤認を防ぐ為、TOP ページへリンクを「/」（スラッシュ）で終わらせておくと良いだろう。サイト外からリンクを取得する際も「/」で取得しておけば、サイト TOP ページへのリンクが確実となるのだ。

上記のファイル認識以外にも、サーバーのマルチドメイン設定などは、クローラーは認識できないのである。マルチドメインを使用して、2サイト立ち上げたつもりでも、クローラーは1サイトの認識しか出来ないのである。URL の変更などを考えた場合、新 URL を認識させる為には、マルチドメインは避けた方が良いだろう。

（執筆：棚橋繁行、監修：信太明）

japan.internet.comのウエブサイトの内容は全て、国際法、日本国内法の定める著作権法並びに商標法の規定によって保護されており、その知的財産権、著作権、商標の所有者はインターネットコム株式会社、インターネットコム株式会社の関連会社または第三者にあたる権利者となっています。
本サイトの全てのコンテンツ、テキスト、グラフィック、写真、表、グラフ、音声、動画などに関して、その一部または全部を、japan.internet.comの許諾なしに、変更、複製、再出版、アップロード、掲示、転送、配布、さらには、社内LAN、メーリングリストなどにおいて共有することはできません。
ただし、コンテンツの著作権又は所有権情報を変更あるいは削除せず、利用者自身の個人的かつ非商業的な利用目的に限ってのみ、本サイトのコンテンツをプリント、ダウンロードすることは認められています。