どれが TOP ページ？

「クローラーにページが認識されない！」という声を耳にすることがある。よくよくサイトを拝見すると、拡張子が微妙に違うファイルが複数存在している。クローラーがデフォルトで認識するファイルは「index.html」「index.htm」のいずれかである。

例えば、Google の検索 BOX に次の検索式を入力してみて欲しい。
「link:http://www.seo-ch.jp/」
「link:http://www.seo-ch.jp/index.htm」
「link:http://www.seo-ch.jp/index.html」
検索結果は皆同じである。

しかし、弊社サイトの TOP ページは「default.asp」である。「link:http://www.seo-ch.jp/default.asp」で検索しても何も見つからない。クローラーは ROOT のデフォルトファイルを「index.html」「index.htm」として認識するのである。

上記のことから言えることは、現状で「index.html」「index.htm」の2ファイルを別ファイルとして存在させていても、クローラーが認識するファイルは「index.html」のみなのである。もし、サイト内で「default.asp」などを TOP ページとして設置している場合は、クローラーの誤認を防ぐ為、TOP ページへリンクを「/」（スラッシュ）で終わらせておくと良いだろう。サイト外からリンクを取得する際も「/」で取得しておけば、サイト TOP ページへのリンクが確実となるのだ。

上記のファイル認識以外にも、サーバーのマルチドメイン設定などは、クローラーは認識できないのである。マルチドメインを使用して、2サイト立ち上げたつもりでも、クローラーは1サイトの認識しか出来ないのである。URL の変更などを考えた場合、新 URL を認識させる為には、マルチドメインは避けた方が良いだろう。

（執筆：棚橋繁行、監修：信太明）