検索エンジンの会社ってどうやってサイトがわかるの？

質問

いつもサイトを探すときはヤフー等の検索エンジンを利用していますが、なぜその会社ではここにこういうサイトがあるってことがわかるんですか？そのデーターはどうやって調べるのでしょう？
　また個人でも、そういうのに載っていないアンゴラサイトやマニアックなサイトってどうやったらみつけられるのですか？なにか方法があったら教えてください。

回答No.4

shigatsu

だいたいの検索サイトには、「サイトを推薦する」とか「登録申請」などのページが
あります。
たとえばYahooでは、各カテゴリのページを表示して、ページの下のほうに推薦ページ
へのリンクがあります。ロボット検索のサイトでは、トップページに登録申請ページ
へのリンクがあります。

その他にYahooでは、ユーザからの登録申請以外に「サーファー」と呼ばれるYahooの
社員が日夜インターネットを渡り歩いていろんなページを見ながら登録しています。

回答No.3

basil

前者がお答えになった通りです。
“登録型”は個々のユーザの登録が命です。早い話が“リンク集”と同じなんです。現在は当たり前の“リンク集”も昔は珍しく、インターネットの普及に先駆けてこのリンク集を作った“Yahoo!”などは多くのネットユーザから重宝がられ利用され、さらに「自分も登録したい」と思わせるように成長していったため、爆発的に保有情報量を増やしていったのでしょう。
“リンク集”が当たり前になってしまった現在、検索情報を集めるためには“ロボット”を使い、自動巡回によって情報を集めるしかありません。ユーザがブラウザでホームページを見るように、プログラムにホームページを見させてそのコンテンツを読み取り、情報として蓄積し、またその中にあるリンクをたどって次のホームページを探しに行く。この作業をロボット（自動巡回プログラム）にさせて情報をため込んでいるんですね。
最近ではこのロボットによって集められた情報や、頻繁に検索に使われるキーワード、アクセスを集めているサイトの情報などから、スタッフが情報を編集し、検索の精度を上げるようにするタイプの検索エンジンもあります。

アングラサイトについて...。
インターネットでは簡単に情報が配信でき、その情報の配信責任を逃れる手段があります。リアルの世界と違って無責任な行動をとることができます。つまり、罪を犯しても罰を逃れることが出来るのです。
「アングラサイト」＝「違法サイト」とは限りませんが、その確率は高いでしょう。
私はインターネット好きの１ユーザとして、インターネットを健全な感性をもって楽しみたいと思っていますし、将来においてもインターネットが健全な方向に発展していくように望んでいます。
アングラへのアクセスはとめませんが、責任のある行動をぜひ心がけてください。

回答No.2

noname#9414

基本的に、検索エンジンというのは、サーチロボットを使って、あるサイトからの
リンクをたどって、その道の中にある情報を取得していくのです。その際に、HTMLの
METAタグを使って、こういう情報だよとロボットに教えてあげることによって、
キーワードや内容を登録できるのです。しかし、手入力によって、ひとつずつ内容を
確かめていきながら、登録していく検索エンジンもありますが、これだと効率が
悪いので、たいていの場所は検索ロボットを使用しているはずです。

また、アングラサイト（アンゴラではないです。UnderGroundですから。以下UG）や
マニアックなサイトを見つける方法は、とにかくリンクをたどっていく、でしょう。
基本的に、あるサイトを見つけたら、そこから関連のサイトをたどっていくと、
うまくすれば見つけることができます。また、他には、ひとつのUGサイトを知って
いれば、そのリンクをたどるという方法もあります。

それ以外には、FTPサーチなどを使って、目的のファイル名を無理矢理引っ張って
くるという方法もありますね。

しかし、どういう方法を使うにしろ、UGサイトは移動が早いですから、逐次チェックを
していなければ、すぐに後を追えなくなってしまいますし、サイトによっては、
アクセスしてきたIPなどを悪用するサイトもあるので、自分で自分の身が守れる
ようになるまでは、いかない方が無難ですよ。脅しではありませんが、ActiveXでも
やろうと思えばリモートからパソコンをフォーマットすることだって可能ですから。

間違いがありましたらご指摘ください。
ではでは☆

参考URL：

アングラは・・・いかないに限るでしょう。

回答No.1

yousmz

簡単に言えば、登録してもらうことにより収集するという方法と、自動巡回ロボットを使って収集するという方法があります。
前者は呼んで字のごとく、直接登録してもらうわけです。HP作成者が登録することもありますし、HPを訪問してよかったと思った人が登録することもあるようです。
後者は、プログラムを利用して、HPのHTMLソース内にあるURLをたどっていって収集するという方法です。ロボットは基本的にはHTMLの<META>タグを参照して情報を収集するようです。私も詳しくはわかりませんのんでこの辺で．．．