検索エンジンのキーワード順位チェックソフトの開発

質問

下記のサイトのような検索エンジンのキーワードチェックソフトを
作りたいと思っています。参考になるようなサイトや書籍はありませんでしょうか。
サンプルソースコードが確認できるところだとうれしいです。
http://broadentry.com/rankingchecker/

なお、私のソフト開発能力ですが、
Perl、C、C++、Basicなどの知識と、TCP/IPなどネットワークに関する知識も有しておりますが、ネットワークプログラムの開発経験はありません。
このプログラムを契機に学びたいと考えていました。

なんとなくは、GoogleやYahooなどが公開しているAPIを使用して云々とうイメージはあるのですが、具体的にどのようなAPIをどのように呼び出すのかなどがわかりません。
少し抽象的なご質問になってしまいますが、「下記のサイトにサンプルコードがあるよ」的なご回答でもかまいませんので、よろしくお願い致します。

回答No.2

danmarino · ベストアンサー

実は同じようなことを考え、perlで開発したことがあります（今年の始めの開発だからまだ使えると思いますが…）。

それぞれの検索エンジンにコマンドを投げ、検索結果のページを「LWP::UserAgent」を使って取得します。そのページのHTMLを分析し、該当するURLが何位になるかを算出します。

泥臭いやり方ですし、ループを多用するのでサーバーに負担がかかるので、頻繁に使用されるのであればあまりおすすめしないやり方です。

お礼

ご回答ありがとうございます。

実際にキーワードに対するページを取得し、得られたページを
構文解析して該当のURLの順位を確認する方法ですね。
しかし、この方法だと、例えばgoogleで500位まで入っているかどうかを
確認したいときに、ものすごく時間がかかるような気もします。
例で上げさせていただいた下記のチェッカーでは、500位までの
キーワード順位を複数サーチエンジンに対して調べることが出来るのです、
いったいどうやっているのでしょうか・・・。
http://broadentry.com/rankingchecker/

回答No.3

danmarino

No.2です。

ご指摘の通り500位まで調べるとなると時間がかかります。
但し、検索オプションを指定すれば一気に100件ずつ取得できるので少し速くすることができます。
http://www.google.co.jp/advanced_search?hl=ja

いずれにしてもこの方法には欠点があることはわかった上でのご返答ですので参考程度にお考えいただければ幸いです。

お礼

遅くなりましてすみません。
ご回答ありがとうございました。
参考にさせていただきます。

回答No.1

shirayukix

どのAPIを使うにしてもHTTPリクエストを送ることになります。
PerlのLWPモジュールが便利です。
Perlに標準で入っていますのでサンプルはたくさんあるでしょう。
リクエストを送るだけなら数行で書けます。

参考URL：

http://www.google.co.jp/search?q=perl+lwp

お礼

早速のご回答ありがとうございます。

LWPモジュールについては少々理解しておりましたが、
これを用いて、どのように呼び出すのかが不明でした。

例えば、下記のURLにおいて、GoogleやYahooにおいて、
キーワードの検索順位を知るには、どのような呼び出し方を行えば
良いのでしょうか。

URL「http://www.abc.com/」
キーワード「検索」