ネット検索エンジンを自作してみたい

質問

検索エンジンの有名どころではgoogleがありますが、自分でも出来るのですよね？物理的には。実際には何を用意するとか、なにを勉強すればいいのですか？
他人のIP突っつくのでしょうから、攻撃とか不正アクセスと見なされないでしょうか？

回答No.1

akadama12 · ベストアンサー

ちゃんとした技術と知識があれば自作する事も可能です。
しかし、個人が直ぐに出来るような物ではありません。googleが今の検索エンジントップになるために、他のYahoo!やMSN、goo等よりも優れたサービスを実装しているからです。

具体的に覚える知識は多量です。多いので必要だと思う分だけ書きだしてみます。

・HTMLやCSS
・PHP
・Perl
・OSの知識
・ネットワーク関連
・データベース
以上は、最低限だと私は思っています。検索エンジンで要になる要素は以下です。

１，WEBページをどうやって登録するか？
（googleの様に自動で巡回するボットやクローラーを用意する。）

２，登録情報をどの様に管理するか？
（MySQL等の既存のデータベースで管理する。）

３，登録したWEBページをどうやって参照するか？
（PHP等を利用してデータベースから情報を引き出す。）

Yahoo!等は、以前まで自己申請形式で登録を行なっていました。それらも検索エンジンに加えられます。もし、クローラーやボットも自作というなら、WEBアプリケーションの知識も必要になってくるでしょう。今、人気な言語にC＃等が挙げられます。

質問者さんの言う、他人のIPを突くと言うのは、クローラーの事を指していると思います。これは、googleが管理しているサーバに潜んでいるプログラムで、HTMLに含まれているリンクを辿りながら、データベースにHP等のWEBページを登録します。そもそも、WEBページは他人に見せるように出来ているので不正アクセスにはなりません。不正アクセスになるのは、許可されていない領域に侵入した時等が当てはまります。でないと、私達も不正アクセスしてる事になってしまいますよね？

少しだけ専門な話になりますが、質問者さんの言う検索エンジンの利用者層も考慮しないと、準備する設備の規模が変わります。
　例えば、家族や身内しか使わないなら中古パソコン一台で事足りると思います。しかし、これを外のネットワーク＝インターネット上のWEBページを管理する場合、規模が変わります。

最低限、常時接続・常時起動のパソコンが一台は必要になると考えてください。

他の人に利用して貰う事も考慮しているなら、サーバを構築する時で良いのでセキュリティの事について詳しく調べてください。

お礼

詳細な回答をありがとうございます。
検索らしきことを興味本位でやってみたいだけなので、クローラーから勉強してみたいと思います。