perlからアマゾンにアクセスできない＞＜

質問

いつもお世話になっております。

ハックスに記載されているスクリプトを実行したいのですが、エラーとなります。
自分でも調べていますが、perl経験が浅く、原因が特定できません。
修正箇所がわからないので、修正できる方教えて下さい(;へ;)
環境は、XP2で、Activeperl 5.8.8を使用しております。

コマンドラインからused_report.pl 4915512371（←ASIN名：例：ハリーポッター）を実行すると・・・
--------コマンドラインエラー箇所--------
Global symbol "$lastPrice" requires explicit package name at C:\hoehoe\used_report.pl line 32.
Global symbol "$avgPrice" requires explicit package name at C:\hoehoe\used_report.pl line 41.
Can't find string terminator "EOF" anywhere before EOF at C:\hoehoe\used_report.pl line 44.
---------------------------------------
ちなみにブラウザ上ではページも存在し表示されております。
http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-/4915512371/used/

以下スクリプト
////////////////////////////////////////////////////////////////
#!/usr/bin/perl
# used_report.pl
# A script to scrape Amazon, retrieve used listings, and write to a file
# Usage: perl used_report.pl <asin>

#コマンドラインからASINを取得
my $asin =shift @ARGV or die "Usage:perl used_report.pl <asin>\n";

use strict;
use LWP::Simple;

#URLを作成
my $url = 'http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list'.'/-/' . $asin . '/used/';

#URLをリクエスト
my $content = get($url);
die "Could not retrieve $url" unless $content;

#変数を設定
my $i = 0;
my $totalprices = 0;
my $thisPrice = 0;
my $highPrice = 0;
my $lowPrice = 0;

#リスティングをループ
while ($content =~ m!<b class=price>\$(.*?)</b>!mgis) {
$i++;
$thisPrice = $1;
if ($thisPrice >= $lastPrice) {
$highPrice = $thisPrice;
}
if ($i == 1 || $thisPrice <= $lowPrice) {
$lowPrice = $thisPrice;
}
$totalprices += $thisPrice;
}

$avgPrice = $totalprices / $i;

#結果を表示
print <<"EOF";
Average Used Price: \$$avgPrice
Highest Price: \$$highPrice
Lowest Price: \$$lowPrice
////////////////////////////////////////////////////////////////

回答No.10

tamahiro22 · ベストアンサー

やっぱり接続できないのは不自然ですね。
ブラウザからは閲覧できるので、perl.exe に通信が許可されていない可能性があります。
ファイアウォールがあるのなら、原因はそこかもしれません。

どのエラーも接続エラーなので、接続を試みたプログラム自体には問題がない可能性が高いです。

お礼

tamahiro22さまご回答ありがとうございます。
やはり職場に原因があるとしたら、
本日帰宅してから、今日教えて頂いたことを実行したいと思います。
ここまで詳細に教えて頂いて、できる気がします！
本当にありがとうございました。

正直、ここまでの問題とは思わず、
tamahiro22さまにはご迷惑をおかけっぱなしで申し訳ありません。
うとい私に、親切丁寧に教えて頂いて、感謝してもしきれません。
心から感謝致します。

今すぐお礼したいのですが、締め切ってしまうと、
帰宅後の実行結果をお教えすることができなくってしまいますので、
詳細は後日報告させて頂きます。

改めて、tamahiro22さまに感謝致します。
ありがとうございました！！！！！！！！！！＾＾

補足

tamahiro22さまお世話になっております。
お返事遅れてしまい申し訳ありません。

「できました！！！！！！！！！！！！！！」

本当にお世話になりました。
いろいろと苦労を重ねましたが、実行することができました。
これもtamahiro22さまのおかげです。
本当に本当にありがとうございました。
めっちゃ感動です＾＾
こんなに丁寧に指導して頂けて本当にうれしく思っております。

それでは、tamahiro22さま最高の２００８年をお迎え下さい♪
また機会がありましたら宜しくお願い申し上げますm(_ _)m

回答No.9

tamahiro22

あら、接続ができていませんね。
回線が繋がっていないはずは無いので、
やはり原因は LWP でしょうね。

http://syu-king.com/~kodomo/sources/used_report2.pl.txt
汚いですが、これを試してもらえないでしょうか。

お礼

tamahiro22さまご回答ありがとうございます。
残念ながら、また通じていませんでした＞＜
もうっっっ＞＜って感じです。

>used_report.pl 4915512371
500 Can't connect to www.amazon.co.jp:80 (Bad hostname 'www.amazon.co.jp') at C:
\hoehoe\used_report.pl line 15.

これは職場のファイアーウォールのせいなのでしょうか？
外部には禁止？みたいなことでしょうか？
本当に度重なるご指南ありがとうございますm(__)m

回答No.8

tamahiro22

エラー処理を少し厳しくしたせいだと思います。
ですがお陰で原因が少し見えてきました。

やはり Amazon 側から正しいレスポンスが返ってきていません。
なので、$i もゼロになってしまったのでしょう。

原因が特定できるかは分かりません。
LWP::UserAgent を use できているので、
環境の違いだとは思いたくはありませんが…。

ひとまず、先ほどお渡ししたスクリプトの、
unless ($res->status_line eq '200 OK') { die "Could not retrieve $url" }
の“前”に、
warn $res->status_line ."\n";
を入れて、Amazon 側から何が返ってきているか教えていただけますか。

お礼

tamahiro22さまご回答ありがとうございます。
早速、試してみたところ、
コネクトエラー？みたいなものが返ってきました。

500 Can't connect to www.amazon.co.jp:80 (Bad hostname 'www.amazon.co.jp')
Could not retrieve http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-
/4915512371/used/ at C:\hoehoe\used_report.pl line 13.

上記エラーメッセージでよろしかったでしょうか？

回答No.7

tamahiro22

こちらでは、示されたASINで取得できるので、
何かコードが不完全なのかもしれません。

他にも考えられることは色々とありますが、
ひとまず、以下のURLからスクリプトをコピーして、
実行できるか確認いただけますか。
http://syu-king.com/~kodomo/sources/used_report.pl.txt

お礼

tamahiro22さまご回答ありがとうございます。
アップまでして頂いて本当にご迷惑をおかけしてすみません。
感謝しております。

スクリプトをコピーさせて頂いて実行したのですが、
実行できず、次のような出力がされました。
>used_report.pl 4915512371
Could not retrieve http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-
/4915512371/used/ at C:\hoehoe\last_used_report.pl line 12.
またしてもアクセスできないみたいです、なぜでしょう？
原因は特定できるのでしょうか？(((;へ;)))

補足

メッセージにlastと入ってしまいましたが、すみません。正しくは

>used_report.pl 4915512371
Could not retrieve ​http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-​
/4915512371/used/ at C:\hoehoe\used_report.pl line 12.

です！

回答No.6

tamahiro22

どうしてそのような事が起こるかと言うと、
ゼロ($i)で数値を割る事が出来ないからです。
正しく価格を抜き出せない場合、$i はゼロになってしまいます。
ASIN が適合して正しいWEBページが表示されないと抜き出せません。
一度ブラウザでその ASIN で表示されるか確認いただけますか。

www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-/[ASIN]/used/

お礼

tamahiro22さまご回答ありがとうございます。
そうなんですよね、値がないとゼロになるのは理解したんですが。
ブラウザでは、確認できます＾＾

​www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-/[ASIN]/used/

[ASIN]の箇所に4915512371と入れて

http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-/4915512371/used/

とすると確認できています＞＜
試しに他のASINも入力してみたのですが、同様にとれませんでした。
tamahiro22さま、どうしてでしょう(;o;)？

補足

なんだか、文字化けしてしまいましたすみません。
[ASIN]の箇所に4915512371と入れての前後のURLは同じです。
perlって奥が深いです＞＜

回答No.5

tamahiro22

LWP::UserAgent を利用した例を示します。
できるだけ、元のソースを変更しないようにするので、
効率的とは言えない箇所もありますが、参考にして下さい。

use LWP::Simple; を use LWP::UserAgent; に変更します。
次に、以下の部分を変更します。
～～～～～～～～～～～～
#URLをリクエスト
my $content = get($url);
------ ↓ ↓ -----------
#URLをリクエスト
my $ua = new LWP::UserAgent;
my $responce = $ua->get($url, 'User-Agent' => 'Mozilla/4.0');
my $content = $responce->content;

このような感じに変更すれば、アクセスは成功すると思います。
ただし、こちらで試した限り、どうもそのサンプルコードでは正しく動きません。

というのも Amazon のWEBページの出力が少し変更されているので、価格の抜き出し(後半での処理)が上手にできないようです。
結果表示もドル表示ですし、適したサンプルではなさそうです。

日本版 Amazon を使用するので、以下のように変更すると良いでしょう。

while ($content =~ m!<b class=price>\$(.*?)</b>!mgis) {
を、
while ($content =~ m!<span class="price">.+?(\d{1,})</span>!mgis) {
に変更します。

その手前で、
my $lastPrice = 0;
my $avgPrice = 0;
という処理は入れていますね？これは必須です。
ただし、0 で初期化する必要は特にありません。

結果表示も、￥表示に変えておきましょう。

print <<"EOF";
Average Used Price: \\$avgPrice
Highest Price: \\$highPrice
Lowest Price: \\$lowPrice
EOF

このように変更した後、改めて実行すれば、
Average Used Price: \234.32
Highest Price: \450
Lowest Price: \1
のように結果が表示されると思います。

どうでしょうか。うまくいくことを願っております。

お礼

tamahiro22さまご回答ありがとうございます。
このような私に粘り強く接して頂き本当にありがとうございます。
修正までして頂き、喜びの報告をしたかったのですが…、
結果惜しい感じでできませんでした＞＜
tamahiro22さまのおかげでもうちょっとの手ごたえを感じるのですが、本当に残念です。

エラー項目です。
Illegal division by zero at C:\hoehoe\used_report.pl line 44.
実際に44行目を見てみると、
$avgPrice = $totalprices / $i;
とあり、問題はないように見えます。
ここをコメントアウトすると、全て￥0で実行されました^^;

本当に申し訳ありません。最後のご指南願えますでしょうか？
つくづく自分が無力で情けないです＞＜

回答No.4

tamahiro22

長文を書いて送信したのですが、消えてしまいました。
出来る限り、要約して解答させて頂きます。

こちらで試した結果、Amazon から 204 エラーが返ってきました。
何も取得できていないので、
die "Could not retrieve $url" unless $content;
の処理($content が空ならエラー表示)で“正しく”停止しています。

どうも、Amazon が LWP::Simple で使われるユーザエージェントを弾いているように思えます。
試しに、ユーザエージェントを一般的な、【Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)】のように変更するとアクセスは成功しました。

ここで問題となるのは、LWP::Simple でのアクセスはユーザエージェントを書き換えられないことです。
LWP::Simple に拘らないのならば、LWP::UserAgent の使用をお薦めします。
LWP::Simple でも内部的に LWP::UserAgent を呼び出す場合もあるので、恐らく利用できる環境にあると思います。

書かれたサンプルコードが少し変わってしまいますが、どうされますか。

お礼

tamahiro22さまご回答ありがとうございます。
コードチェック本当にありがとうございます。
私としては結果が得られれば、コード変更は問題ありませんっ。
Amazon が LWP::Simpleが手軽という認識だけで、
LWP::UserAgentのデメリットや使い方がわかってませんでした。

tamahiro22さまがご推奨されるLWP::UserAgentで実行したいのですが、
このLWP::UserAgentをLWP::Simpleと差し替える以外に
ドコをどのように変更すれば稼動しますでしょうか？
tamahiro22さまが成功された一般的な方法の記入箇所が＞＜

年末のお忙しい最中、ここまで面倒をお掛けしてしてしまい
本当に申し訳ありません。m(__)m

回答No.3

tamahiro22

以下の部分に注目してください。

print <<"EOF";
Average Used Price: \$$avgPrice
Highest Price: \$$highPrice
Lowest Price: \$$lowPrice

これらは、それぞれの行を、print で出力する場合と同じ意味を持ちます。
「ヒアドキュメント」と言いますが、使用には決まりがあります。

print <<"EOF"; なら、
ヒアドキュメントの終わりを指す印として、
EOF というのを書いてあげなければいけません。

つまり、
print <<"EOF";
Average Used Price: \$$avgPrice
Highest Price: \$$highPrice
Lowest Price: \$$lowPrice
EOF

というのが正しい形になります。
print <<"TEXT";
ならば、最後に、TEXT を入れてあげるということです。

お礼

tamahiro22さま、おはようございます。
本当にありがとうございます。
大変勉強になりました！ヒアドキュメントの勉強を重ねたいです。

結果として・・・別のエラーがでました（;へ;)
凹みます。。。せっかくtamahiro22さまにご丁寧に教えて頂いたのに。。。

ブラウザでは見られるのにどうして取得できてないのでしょうか？
perlの設定をどこかいじらないといけないのでしょうか？
↓エラーメッセージです。
Could not retrieve http://www.amazon.co.jp/exec/obidos/tg/stores/offering/list/-
/4915512371/used/ at C:\hoehoe\used_report.pl line 18.

甘えてばかりで申し訳ありません。
tamahiro22さまの優しさに心から感謝しています。

回答No.2

tamahiro22

No.1 です。訂正します…。

use strict; を書いているから、エラーが出ています(笑)
ですが、それらのエラーは警告してくれる、味方のようなものです。
次回書く時も、use strict; を入れておいてＯＫです。

お礼

tamahiro22さま、重ねてありがとうございます。
わざわざ訂正させてしまってすみません^^;
use strict;って大切な味方だと思うようになりました！
今後もまずはuse strict;ですよね^^

回答No.1

tamahiro22

Amazon ではなく、スクリプトに問題があります。
コンパイル自体に失敗しているので Perl が停止しています。

恐らく理由は、$lastPrice と $avgPrice のパッケージ名が明示されていないからだと思います。
my $lastPrice; のように、使用する前に宣言すると良いでしょう。

また、このようなミスを防ぐために、
次回、Perl スクリプトを書く機会があれば、use strict; をして堅く書くことをおすすめします。

３つ目のエラーは、print <<"EOF"; に対応する、EOF で終わる行が記入されていないからです。

お礼

tamahiro22さま迅速なご回答ありがとうございます＾＾。
言われた通りに変数化致しました。
しかし、3つ目のエラーの「EOFで終わる行が記入されていないから」
というのが具体的にどう処理してよいのかわかりません。
（うとくてすみません^^;）
どこにどう記入してよいのか？
をご指摘頂けると助かります。m(__)m

本からのスクリプトでしたが、スクリプト間違いってあるんですね...
tamahiro22さまにお返事頂いたからには、絶対に動かしたいです！