ロボット型検索エンジンの検索方法

質問

ロボット型検索エンジンは、一体どういう仕組みで検索されているのでしょうか？
サイトによっては、ＭＥＴＡタグを拾っているようですけど、
私はＭＥＴＡタグは一切入れていません。
それでもアクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトから
とんできている人が結構います。
（各サイトに登録もしていません）
また、私は全ページをＰＨＰで作成をし、
ＭｙＳＱＬからデータを取って表示するという動的ページにしています。
私の認識では、動的ページは、検索エンジンに引っかからなかったと思うのですけど、
どうやら、ログを見ると、動的ページすら引っかかっているようなのですけど…。
（さすがに引数が必要なページでは引数は拾ってませんが）
単なる素朴な疑問ですので、
詳しい方、お時間のある時にでも教えてください。
又は、詳しいサイトがあったらＵＲＬを教えてください。

回答No.1

bhoji

詳しいわけではありませんが、ＭＥＴＡタグは今主流のロボット検索ではあまり重要ではないと思います。
＞アクセス解析を見るとGoogleやYahoo、Infoseekなどなどの検索サイトからとんできている人
まず、Yahooは人手による登録ですから、ロボットはありません。
そのロボット検索システムはGoogleのシステムが代行しているのか、その基本手法を借りている
のだと思います。

Infoseekはロボットを主に人手で加工しているらしいですが、詳しくはありません。

ロボット検索と簡単に言われる事が多いですが、そのアルゴリズムや手法はノウハウの塊だと思います。
ただ基本として全文検索して、登録されている多数の単語で分類されて・・・そこから先は？
またロボットが毎日必ず、世界中の端から端まで全部を巡回しているとは思えません。

参考にGoogleを使用して、キーワード：ロボット　検索の仕組み　で出てくる中で、最初の10件の中に
個人ページのようですからＵＲＬは書きませんが、アクセス数を上げるための方法を書かれている
サイトがありますので、それが参考になります。

htmlデータでなく、すべてが画像データで貼れば、アクセス件数は落とせますし、また他サイトとリンク
しない事なども大切？です。

お礼

回答をありがとうございます。
また、お礼が遅くなって申し訳ありませんでした。

METAタグは今は重要ではないんですか。
結構、こちらの質問の中にもアクセスをあげるには？という質問で、
METAタグを入れるように、とのアドバイスが多いように思うので、
そういうものだと思っていました。

アクセス数を制限したいわけではないんです。
かといって、特にあげたいわけでもないんだけど、
どこから来ているかをログを取っていたところ、
結構検索サイトから飛んできていることが多く、
動的ページって確か検索にはひっかからなかったはずなんだけどなあ…と不思議に思って
質問をさせていただきました。

ありがとうございました。