LWPでHTMLが取得できないことがある

質問

LWPを使ってHTMLを取得しようとしているのですが、取得可能のサイト、不可能のサイトがあります。
たとえばyahooのトップページは取得できますが、wikipediaは取得できません。取得できない場合、エラーメッセージは出ません。
このようになる理由を教えてください。
よろしくお願いいたします。

環境：windowsXP & ActivePerl、またはwindowsXP & cygwin

コード：
#wikipediaのトップページHTMLを取得する
use LWP::Simple;
$site = get "http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8";
print $site;

#yahooのトップページHTMLを取得する
use LWP::Simple;
$site = get "http://www.yahoo.co.jp/";
print $site;

回答No.2

kumoz · ベストアンサー

wikipedia では、LWP::Simple のアクセスを許可していないのだと思います。
get() の代わりに getprint() を使用すると、次のエラーメッセージが出ます。

$ perl -MLWP::Simple -e "getprint 'http://ja.wikipedia.ogr/';"
403 Forbidden <URL:http://ja.wikipedia.org/>

下記の URL でほぼ同じ問題を取り上げていますのでご覧ください。

参考URL：

http://www.atmarkit.co.jp/bbs/phpBB/viewtopic.php?topic=35645&forum=10&3

お礼

回答ありがとうございます。
参考URLで解決しました。

回答No.3

jjon-com

http://blog.livedoor.jp/dankogai/archives/50806567.html

お礼

回答ありがとうございます。

回答No.1

noname#208124

ユーザーエージェントで弾いてるんじゃないですか
Googleとかもlibwww-perlの方弾いてます

LWP::Simpleのリクエストヘッダはこれで403 Forbiddenとエラーページ返ってきてます

GET http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8 HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Host: ja.wikipedia.org
User-Agent: LWP::Simple/5.814

LWPを使った場合はこれで200 OKでちゃんとコンテンツ返ってきてます

GET http://ja.wikipedia.org/wiki/%E3%83%A1%E3%82%A4%E3%83%B3%E3%83%9A%E3%83%BC%E3%82%B8 HTTP/1.1
TE: deflate,gzip;q=0.3
Connection: TE, close
Host: ja.wikipedia.org
User-Agent: libwww-perl/5.814

お礼

回答ありがとうございます。