HTTP_Request2で検索結果を取得したい

質問

pearのHTTP_Request2を使ってサイト内の検索結果を取得したいのですが、
どうにもうまく取得できなくて困っております。

■やりたいこと

対象サイトをクックパッドにしたいと思います。
http://cookpad.com/search

料理名、食材名のフリーワードのところに例えばキムチと
入力して、その検索結果を表示したい（http://cookpad.com/search/%E3%82%AD%E3%83%A0%E3%83%81）と思っているのですが、リクエストがうまくいかず、上記URLのページがそのまま返ってきてしまいます。ソースは以下です。

<?php

require_once "HTTP/Request2.php";
require_once "Net/URL2.php";

$request = new HTTP_Request2('http://cookpad.com/search',
HTTP_Request2::METHOD_GET, array('use_brackets' => true));
$url = $request->getUrl();
$url->setQueryVariables(array(
'keyword' => 'キムチ'

));
$url->setQueryVariable('commit', 'レシピ検索');
echo $request->send()->getBody();

一体、どこが間違っているのでしょうか？
下記URLを参照して試みたのですが、どうにもうまくいきません。
お手数ですが、ご教授いただけますと幸いです。

参照ページ
http://pear.php.net/manual/ja/package.http.http-request2.request.php

回答No.2

noname#244856 · ベストアンサー

いろいろ試してみました。

User-Agent: (内容は任意)
Accept: text/html,application/xhtml+xml,application/xml(実際には任意の値で全てHTML4.01で返されてくる)
Accept-Language: ja,en-us(実際には任意の値で全て日本語で動作する)
Accept-Encoding: gzip

この4つのヘッダは必須です。"\r\n"で区切って全て「header」に入れてください。最初の3つは適当でいいですが、4つ目が重要なようです。(User-Agentは「user_agent」の方に含めてもOKです。)それに加え、「protocol_version」の値を1.1にする必要もあるみたいです。以上全ての条件を満たせば200OKを返してくるようになります。

しかし、結果をそのまま出力しても文字化けしているんですよね・・・と思ったらはい、これgzip圧縮されているのを忘れていました。gzdecode関数でデコードしてからだと正しく出力されます。

gzdecode
http://php.net/manual/ja/function.gzdecode.php

自分自身のスキルアップにつながる質問だったのでとてもためになりました。ありがとうございました。

お礼

ありがとうございます。

Accept-Encoding: gzipは知らなかったです。
中々、面倒なサイトもあるもんですねw　Yahooだからですかね？

ところで、上記解決策はどのようにたどり着きましたでしょうか？
むこうのサイトからのレスポンスのheaderなどを見てでしょうか？
ご返答いただいた後、ベストアンサーとさせていただきます。

以上、宜しくお願いします。

回答No.3

noname#244856

サーバー負荷軽減を重視してgzip応答を強制しているところも結構あるみたいですね…

たどり着いた経緯… FirefoxのLiveHTTPHeadersアドオンを利用して、その挙動を再現しながらいろいろいじってみた、というところでしょうか。gzdecode関数とか全く知らなかったのですが、「PHP gzip」でググったら見つかりました。

お礼

なるほどですね。

お約束通り、NO,2をベストアンサーとさせていただきます。

また、もしよろしければ以下の質問にもお答えいただけますと幸いです。
http://okwave.jp/qa/q8354490.html

回答No.1

noname#244856

GETでリクエストが可能なのにどうしてややこしいことをしようとされているのか分からないのですが、

<?php
require_once "HTTP/Request2.php";
require_once "Net/URL2.php";
$request = new HTTP_Request2('http://cookpad.com/search',
HTTP_Request2::METHOD_GET, array('use_brackets' => true));
$url = $request->getUrl();
$url->setQueryVariables(array(
'keyword' => 'キムチ'
));
$url->setQueryVariable('commit', 'レシピ検索');
echo $request->send()->getBody();

の代わりに

<?php
readfile('http://cookpad.com/search/' . rawurlencode('キムチ'));

では問題があるのでしょうか？

お礼

ご回答ありがとうございます。

readfileでそんな簡単にできるんですね！
おっしゃる通りで、単純にGETで送って取得したいなら、
file_get_contentsでもできますしね。

ただ、HTTP_Request2などはどのような時に使うのかがよくわからず、
且つ、HTTP_Request2はpostなどには利用するサンプルはありますが、
GETの例がほとんどなく、どのようにやるんだろうと気になり質問させて
いただいた次第です。

また、追記になりますが、以下の質問もさせてください。

file_get_contentsなどで取得できずに以下のようなエラーがでるサイトが
ありますが、理由をご教授いただけないでしょうか？

サイトURL：http://www.lifexweb.com/lab/unitsearch.php?query=php
エラー内容：Warning: file_get_contents(http://www.lifexweb.com/lab/unitsearch.php?query=php): failed to open stream: HTTP request failed! HTTP/1.1 500 Internal Server Error

大抵のサイトは取得できるのですが、中にはできないものがあります。
headerでuser_agentを設定して送ってみたりしましたが、やはりできません。

恐れ入りますが、ご教授いただけますと幸いです。