忘れていないか「クローラビリティ」

■なかなかクローラーがこない
検索エンジン最適化のため、HTML ソースのチューニングを行った。しかし、Web サイトになかなかクローラーが訪れないため、最新のページ情報が読み込まれず、検索エンジンからの評価がなかなかあがらなかった、という経験はないだろうか？実際に、弊社のクライアントも例外ではない。

■検索エンジン最適化の大前提はクローラビリティ
マークアップの最適化、リンク構造の最適化、テーマ性向上等のテクニックは検索エンジン最適化には欠かせない要素である。しかしながら、それらは、検索エンジンクローラーが Web サイトを訪れてからの話。適切な評価をされるためには、検索エンジンクローラーの訪問が必要になることを見落としている場合が多くある。つまり、検索エンジン最適化の大前提は円滑なクローラビリティ（検索エンジンクローラーがサイトを訪問し、円滑に巡回すること）であると言っても過言ではなく、クローラビリティの向上は検索エンジン最適化のために必要な要素なのだ。

■トップページ以外の「クローラビリティ向上」と「クローラー訪問」確認や管理
管理されている Web サイトの「キャッシュ」の日付を把握されているという方の中で、トップページ以外のページのキャッシュを把握されているという方はどれくらいいらっしゃるだろうか？ロボット型検索エンジンは、ご存知の通り、インデックスしているすべてのページが検索結果対象となるため、トップページだけの管理ではなく、全ページのクローラビリティを管理する必要がある。しかしながら、1ページずつ調べていくとなると、膨大な作業となることは容易に想像できる。

そこで、今回ご紹介するのが、2008年5月に公開された「Yahoo!検索サイトエクスプローラー」だ。このツールを使うことで、「クローラビリティ向上」と「クローラー訪問」確認や管理を一度に行うことが可能となる。

※Google にも同様の機能を持つ「ウェブマスターツール」という優良ツールがある。まだ登録されていない方がいらっしゃれば、この機会に登録されることをお勧めする。

■そもそも、Yahoo!検索サイトエクスプローラーとは
Yahoo!検索サイトエクスプローラーは、2008年5月に Yahoo!がサービスを提供した Web サイト管理者向けのツールである。このツールを使うことによって、Yahoo!検索でのインデックス数やページごとの最終クロール日時の確認、バックリンク数の確認、スパム報告や動的 URL の処理対応などのほか、Yahoo!ブックマークからのブックマーク数の表示や Yahoo!ブログ検索からの言及数の表示なども行える。

■Yahoo!検索サイトエクスプローラーでのインデックス状況の把握
管理サイトを登録し、認証がすむと、確認可能となる。例えば、インデックス状況の確認では、ページタイトル、URL のほか、最終クロール日、言語設定が確認でき、XML や TSV での出力が可能。ここで、最終クロール日が2か月以上前の日時である場合は、クローラビリティ向上の策を検討されることをお勧めする。

■Yahoo!検索サイトエクスプローラーでのクローラーの呼び込み
Yahoo!検索サイトエクスプローラーでの「フィード」をクリックし、Web サイトのフィード URL を Yahoo!の検索エンジン（YST＝Yahoo! Search Technology）に送信することで完了。これによって、YST が Web サイトのページを見つけやすくなる。これまで Yahoo!検索の場合、「検索エンジン用ロボットの巡回先への推薦」を行うことで、クローラーを呼び入れることが可能だったが、Yahoo!検索サイトエクスプローラーでは、フィード URL が残るため、毎回入力する必要がなく、その手間がなくなり、処理状況も確認できるのも大きなメリットだ。

■待つのではなく、呼び込もう！
HTML ソースに対する施策が終わると、施策が終わったという感覚に陥るが、まだ終わりではない。つまり、クローラーに情報を読み込ませて、ひと過程が終了するのである。今回は、クローラーを呼び込む1つの施策を紹介したが、これを機に、これまでクローラーの訪れを気長に待っていた人も、積極的にクローラビリティ向上のための施策を考えてみてはどうだろうか。

（執筆:株式会社ファンサイド AG マーケティング　SEM スペシャリスト 中村　有希）