検索エンジンのHTML解析について

質問

Googleなどの検索エンジンの仕組みについて教えてください。
Googleなどは色々なサイトを巡回し、HTML、又はXMLを取得していると思います。
その場合、そのページのHTMLコードなど全てをデータベース等に格納しているのでしょうか？

それとも本文のテキスト部、リンク部など分けて格納しているのでしょうか？
JavaScript部やコメント部等は確実に除去していると思いますが。
htmlのタグがあると文章解析は出来ないと思うので色々と除去していると思いますが、
その場合難しいのはどこが本文かは各サイトの構造によって違うことです。
人間が各サイトを解析して設定すれば出来るのでしょうが、Google位になると確実に現実的には不可能だと思います。

自分の想像力が足りないだけでしょうが、一体どのようにしてHTML文書を解析し次の段階（インデックス作成など）へ進むのか分かりません。
すみませんが教えて頂けないでしょうか?

関係ないとは思いますが、一応自分の環境だけは書いておきます。
centOS6 , PHP5.3などです。

回答No.1

naokita · ベストアンサー

HTMLを理解すれば、どこまでGoogleが理解してくれているのか、
なんとなくわかってくると思いますよ。

--------------------------------

Googleで取得する情報は、Googleウェブマスターツールの以下で確認できます。
Fetch as Googlebot

GoogleでHTMLを理解しております。
HTMLは、文章を構造化・マークアップする事によって
人間が読んで理解するのと同じようなプログラミング言語なので、
制作者がしっかりとしたマークアップをする事で、
Googleが文章構造を理解する事が可能です。
つまり、制作者がHTMLで構造化する事で、Googleも理解できますが、
HTMLで構造化しなければ、Googleにも構造を理解して貰えない。
例：
英語の本は、英語を知らない人には理解できないので構造すら理解できない。

日本語や漢字などの意味を理解しなくても、
HTMLさえ理解していれば、文章構造は把握出来ると言う事です。
（内容と文章構造は違います）

それらの情報を取得し、
該当ページ（サイト）は、何のどのようなページかを把握します。
なので、内容全部を理解すると言うより、
キーワードに対しての文章構造や重要性の把握です。
また、
検索アルゴリズムによってキーワードに対しての順位をつけます。
但し、機械的になので、
文章内容を人間の様に正確に感情的に理解する訳ではなく、
検索キーワードに対して、データを順位で返しているだけです。
（アルゴリズムは社外秘だし、時代ともに随時更新されています）

インデックスは、登録作業を行うだけの話なので、
アルゴリズムや順位とは別の話になります。

Googlebotで情報収集　→　アルゴリズム　→　インデックス