独自の検索エンジンを作るには！？

質問

難しいと思いますが独自の検索エンジンを作成してみたいと思っています。

検索エンジンといっても自分のWebサイト内を検索するものではなくGoogleやYahoo!、A9のように全世界のWebを対象にした検索を行う検索エンジンのことです。

検索エンジンに関しては知識がないのですがDBと相性がいいPHPで作成できるのではないのかなと思っています。

そこで質問です。

PHPやPerlなどで検索エンジンを作成することは可能でしょうか？
個人が運営している検索エンジンサイトなどはあるでしょうか？
もし検索エンジンを運営することになった場合はどの位のスペックがあるサーバーが必要になってくるでしょうか？

です。どうぞよろしくお願いいたします。

回答No.1

YUTAKUN007

素人で申し訳ないですが、

もちろんPHPやPerlで検索エンジンを作成することは可能です。
しかし、ヤフーなどは独自の言語で検索エンジンを作成していると
聞いたこともあります。
大規模なサービスになるとPHPでまかない切れるかは分かりません。

検索サービスには大きくわけて２種類があるようです。
ディレクトリ型…推薦されたサイトをスタッフが手作業で登録
(Yahoo などがそうですね。最近はどうだろう…)
ロボット型…クローラーと呼ばれる巡回システム（ロボット）が
　　　　　　様々なサイトを歩き回り情報収集。

サーバーのスペックもそこそこ必要になってきますが
利用するクライアントの数によって代わってきます。
大規模なシステムの構築になれば複数のシステムを立ち上げ
それぞれデータの整合性をチェックしロードバランサーの導入なども考えなければいけません。
また、クローラーが徘徊する為の大容量の回線も必要になります。

すべてを一つのサーバーで済まそうとすると無理があるかもしれません。
素人の考えで申し訳ないですが必要最低限以下のものが必要なのでは？
・検索システム
・大容量のストレージ　ページのキャッシュなどを保存
・クローラーサーバー（巡回ロボット）
・クローラーからのデータを整形する為のサーバー

検索システムや、クローラーは各社が独自のアルゴリズムで
開発されていますので腕の見せ所でしょう。
正規表現に対応したシステムなどがあると面白いですね。

お礼

丁寧なご回答まことにありがとうございました。

私が作成したいのはディレクトリ型ではなくGoogleなどが得意とするロボット型です。

しかしざっと返答をみるだけでも個人の領域をはるかに超えているのか分かります。

もうちょっと研究してから検索エンジンを立ち上げてみようと思います。