キャッシュ更新のミステリー

Google には「ゆれ」と呼ばれる現象がある。

一定の期間、あるキーワードでの検索結果を定期的に調査してみる。 （この際のキーワードは、難易度の高いキーワードの方が好ましい。）

毎日、順位には若干の変化がある。

Googleのクローラーには、フレッシュクロールとディープクロールと呼ばれる、 2つのキャッシュ取得方式が存在する。フレッシュクロールはhtmlファイルの テキストや画像など、「頻繁に更新される」と思われる箇所を取得し、更新頻度 は1日〜1週間程度である。一方、ディープクロールは＜a＞タグの内容までを 取得するものであるが、更新頻度は遅く、1ヶ月から2ヶ月程度である。

これらの「クロール」を行うことで、検索結果が算出されているわけだが、 これらの更新のタイミングで、順位が安定せず、頻繁に変動することがある。
それが「ゆれ」と呼ばれる現象である。

この現象は一時的なもので、「ゆれ」が収まると、元の順位に戻る傾向 が見られる。「ゆれ」は、大幅なキャッシュ更新となる、ディープクロールの タイミングで訪れている事が多いようだ。

さて、Google のクローラーは、以下のようなウェブサイトを重要視している。

・情報が多い（キーワードとなるテキストが多い）

・優良な顧客から人気が高い（ Pagerank が高く、情報量の多いページからの リンク数が多い）

ご覧の通り、至極真っ当なシステムである。

「ゆれ」が収まると、順位は元に戻る傾向が見られる、と前述した。 ところが「ゆれ」とは別に、突然順位が大幅に変動することもある。

これは、Google のアルゴリズム更新によるものだと考えられる。新たな アルゴリズムが適用されたタイミングで、順位は大きく変動する。Google の アルゴリズムが、「今現在、テキストマッチがより重要である」と見なした場合、 そうしたウェブサイトが上位表示されるわけだ。ユーザーの求める、より正確で、 より最新の検索結果を追求する。それが Google のポリシーだ。独自のアルゴリズム、 ロボットのクロールの仕方にまで、その骨子が表れている。

Google が多くのコアユーザーを引きつけるのは、こういったミステリアスな 「更新」が頻繁であることも要因だろう。

ところで、昨今注目を集めている YST だが、フレッシュクロールとディープクロール のような、複数のキャッシュ取得方式を取っていないようだ。その為、キャッシュの 取得までは時間がかかり、また更新も頻繁ではないように見受けられる。

ただし、これらは2004年8月現在の状況であり、Yahoo!に YST が適用されてそれほ ど日も経っていない。今後、YST のロボットが、より深い階層までクロールを行う 可能性もあり、検索結果に大幅な変動が起こることも予測される。

システマティックに、さらなる完璧な検索結果を追求する Google と、まだまだ 未知の部分が多い YST。未来はまだまだ予測できない。当分、我々を 楽しませてくれそうである。

（執筆：コンサルティンググループ 君塚祥子、監修：信太明））