クローラーとインデックスとは｜検索エンジンの仕組みを知ろう
インターネットビジネス初心者によくありがちなのが「あれ？記事を更新したのに検索エンジン上に載っていないぞ？」というケース。
実は検索エンジンに表示されるまでにはいくつかのステップを経てから表示されるので、書いた記事がすぐに掲載されるわけでないのです。
今回はこの検索エンジンに掲載がされる仕組み、「クローラー」と「インデックス」というものについて解説をしていきます。
SEOについて理解する上でも重要なものになりますのでぜひこの記事をご覧頂き、クローラーとインデックスについて知りましょう。
Contents
クローラーとインデックスについて動画で解説
クローラーとインデックス
「クローラー（Crawler）」とは、Googleなどのロボット型検索エンジンがWEB上のファイルを収集するためのプログラムのことです。
検索エンジンにはロボット型、ディレクトリ型、メタ型などいろいろな種類があります。
その中でGoogle（およびYahoo）はロボット型検索エンジンを採用しており、このクローラーというプログラムを使って世界中にあるWebサーバーにアクセスをして情報を自動で収集しているのです。
現在世界のWebサイトの件数は10億を突破したと言われています。（2016年9月時点）
インターネットは「ネットサーフィン」という言葉に代表されるように広大な海に例えられることが多いので、そのインターネットの海をまさにクロールして泳いでいく存在（クローラー）ということでしょう。
そして「インデックス（index）」とは、このクローラーが集めてきた情報を整理整頓してデータベースに格納することです。
インデックス（index）とは英語で「索引」や「目次」という意味ですね。
クローラーは非常に大量の情報を集めてくるので、それらをちゃんと見出しと索引づけをしながらデータベースに格納しておかないと後々になってかなり見つけにくいことになるわけです。
例えば、「筋トレ」について書いてあるサイトと「英語」について書いてあるサイトのデータを同じところに格納しておいたら、ごちゃごちゃでどこに何があるのか見つけにくいですよね。
なので「筋トレ」なら「筋トレ」、「英語」なら「英語」で同じ箱に入れて整理しておく、または付箋をつけてなんのデータが入っているのか分かりやすくしておくのです。
サイトが検索エンジンに載るまでの流れ
ではクローラーとインデックスについての説明が一通り終わったとこで、今度はサイトの更新情報がどのような流れを経て検索エンジンに載るのか仕組みを見ていきましょう。
サイトを更新してから検索エンジンに表示されるまでは以下のような流れを経ます。
- クローラーが徘徊して情報を集める
- インデックスされてデータベースに格納される
- アルゴリズムによりランク付けされる
1.クローラーが徘徊して情報を集める
まずはあなたのサイトの更新情報をクローラーが見つけます。
クローラーは常に検索エンジン上を徘徊していて、基本的にはクローラーが回ってくるのを待つしかないのですが、WordPressのプラグインなどを用いてサイトの更新情報をクローラーに伝え、クローラーが来やすくすることは可能です。
⇒ PubSubHubbubでインデックス速度アップ＆盗用対策を
⇒ Fetch as Googleでインデックス速度を早めてアクセスの爆発を狙おう！
2.インデックスされてデータベースに格納される
クローラーが来て情報収集されたら今度はその情報が整理整頓されながら検索エンジンのデータベースに格納されていきます。
ここで、このサイトには一体どんな情報が書いてあるのか見られて、その情報に沿ってカテゴリー分けされるわけです。
インデックスに登録されることにより、検索エンジンで検索をしたときにあなたのサイトが表示されるようになります。
3.アルゴリズムによりランク付けされる
上の時点で検索エンジンに表示されるようにはなりましたが、まだどの順番で表示されるのかは決定していません。
ここでGoogleの検索エンジンアルゴリズムにより、あなたのページが質の高いコンテンツなのかどうか判断をされ、高いと判断されれば検索結果の上位に表示されます。
このアルゴリズムがどういった仕組みになっているのかはGoogleは公開をしていません。
⇒ SEOとは？インターネットビジネス初心者にも分かりやすく解説
まとめ：クローラーとSEOの関係
以上がクローラーとインデックスについてです。
クローラーは僕達が普段インターネットで検索してウェブページを見ていくように、リンクを伝ってサイトを徘徊していきます。
このためサイトの中にリンク切れのページがあるとクローラーがスムーズにサイトを回れないためSEO的にも不利になります。
また、クローラーに徘徊させたくない部分を設定することでクローラーに無駄な動きをさせずにSEOを強化することもできます。
このようにクローラーはSEOとも関わってくる重要なものですので、ぜひ仕組みを理解して検索者だけでなく、クローラーにとっても優しく分かりやすいコンテンツづくりを心がけましょう。
