google検索 キーワードとアドレスを指定して、アドレスが出てくる順位を調べる

質問

以下のサービスがどのようにして作られているのか知りたいです。
ttp://google.bookstudio.com/ranking.html

キーワードとアドレスを指定して、アドレスが出てくる順位を調べる、というものです。
googleのapiを叩いているのでしょうか。

例えば、aaaというキーワード、それとも
file_get_contents(\"http://www.google.co.jp/search?q=aaa\");
のようにファイルをゲットしているのでしょうか？

しかし、それだとアドレスが見つかるまでページ毎に何度もファイルを取ってこなければいけないと思います。
http://www.google.co.jp/search?hl=ja&q=aaa&start=10&sa=N
http://www.google.co.jp/search?hl=ja&q=aaa&start=20&sa=N
http://www.google.co.jp/search?hl=ja&q=aaa&start=30&sa=N
のように。

上記のサイトはかなり軽快に動作しています。それが不思議です。
別の方法があるのでしょうか。
わからないので、ご教授ください。

回答No.1

nkzw_spl · ベストアンサー

APIを使用しているかどうかは分かりません。
しかし、Googleはパラメータを変えることにより、100位までを一回で取得できます。
http://www.google.co.jp/search?num=100&hl=ja&q=google
（num=100の部分に注目してください）

また、そうでなくても、何度もファイルを取得しなければいけない処理は高速化できます。
たとえば、
foreach( $urls as $url){
$respons[] = file_get_contents( $url);
}
のような処理では、確かにかなりの時間がかかります。
それは、file_get_contentsが処理を終えるまで、次のループが開始されないためです。

なので、複数のリクエストを同時に処理します。（並列処理などといいます）
参考：http://blog.koshigoe.jp/archives/2006/07/php_3.html

この方法で、たとえば100位までのを一斉に取ってしまうことにすれば（無駄が出ますが）その分早くできます。

さらに、取得したHTMLをデータベースなどに保存しておけば、その分も高速化できますね。

お礼

nkzw_spl様
ありがとうございます。

誰からも回答を頂けないものと諦めておりました。
お礼が送れて申し訳ありません。

＞なので、複数のリクエストを同時に処理します。（並列処理などといいます）

PHPで並列処理が出来るのですね。！！！
並列処理は思いつきませんでした。
間違いなく並列処理だと思います。

ありがとうございます。