検索エンジンの会社ってどうやってサイトがわかるの？

質問

いつもサイトを探すときはヤフー等の検索エンジンを利用していますが、なぜその会社ではここにこういうサイトがあるってことがわかるんですか？そのデーターはどうやって調べるのでしょう？
　また個人でも、そういうのに載っていないアンゴラサイトやマニアックなサイトってどうやったらみつけられるのですか？なにか方法があったら教えてください。

回答No.3

basil

前者がお答えになった通りです。
“登録型”は個々のユーザの登録が命です。早い話が“リンク集”と同じなんです。現在は当たり前の“リンク集”も昔は珍しく、インターネットの普及に先駆けてこのリンク集を作った“Yahoo!”などは多くのネットユーザから重宝がられ利用され、さらに「自分も登録したい」と思わせるように成長していったため、爆発的に保有情報量を増やしていったのでしょう。
“リンク集”が当たり前になってしまった現在、検索情報を集めるためには“ロボット”を使い、自動巡回によって情報を集めるしかありません。ユーザがブラウザでホームページを見るように、プログラムにホームページを見させてそのコンテンツを読み取り、情報として蓄積し、またその中にあるリンクをたどって次のホームページを探しに行く。この作業をロボット（自動巡回プログラム）にさせて情報をため込んでいるんですね。
最近ではこのロボットによって集められた情報や、頻繁に検索に使われるキーワード、アクセスを集めているサイトの情報などから、スタッフが情報を編集し、検索の精度を上げるようにするタイプの検索エンジンもあります。

アングラサイトについて...。
インターネットでは簡単に情報が配信でき、その情報の配信責任を逃れる手段があります。リアルの世界と違って無責任な行動をとることができます。つまり、罪を犯しても罰を逃れることが出来るのです。
「アングラサイト」＝「違法サイト」とは限りませんが、その確率は高いでしょう。
私はインターネット好きの１ユーザとして、インターネットを健全な感性をもって楽しみたいと思っていますし、将来においてもインターネットが健全な方向に発展していくように望んでいます。
アングラへのアクセスはとめませんが、責任のある行動をぜひ心がけてください。