perlでのクローリングについて

質問

perlで簡単なクローラーを作ってます。
以前はモジュールにlwpを使っていたのですが今回はSocketを使おうと思っています。
そこで３つ質問があります。

1,lwpが簡単でSocketが難しいと漠然とした知識しかないのですが速度なども変わってくるのでしょうか？

2,lwpでサイズの大きいサイトからデータをとろうとするとCPUの使用率が100％になったりして困っています。何か解決法はありますか？

3,データ取得の速度を上げたいのですが3サイト4サイト同時に取得しにいくことは可能でしょうか？
現在はURLの一覧を読み込んでforでまわすといった形です。

ご教授いただければ幸いです。

回答No.1

taseki · ベストアンサー

１．
Socketモジュールを使うと仮定して、LWPと比較した場合、コネクトなどの前準備が少し必要なぐらいで、それほど難しくはありません。
たとえば以下のように、オープンなど前準備をし、ファイルハンドルに書き出します。

print SOCKET "GET /index.html HTTP/1.0\r\n";
print SOCKET "Host: www.okweb.jp\r\n";
print SOCKET "\r\n";

速度については、LWPも内部的にはソケットで通信していることを考えれば、よりきめ細かな無駄のない処理をさせることができる分、速いと思います。

２．
Socketで「HEAD」を送信するとデータサイズが返ってくるので、それに応じて処理してはどうでしょうか。
そしてデータ取得の際に、キャッシュされたデータをファイル保存しながら受信タイミングを調整すれば、メモリ、CPU使用率も調整できると思います。

３．
Socketを複数オープンすれば可能です。しかし当然その分メモリやCPUを食いますが。

お礼

お返事が遅れてしまい申し訳ございません。
詳しいご説明ありがとうございました。

さっそくSocketを使ってつくり始めています。

2,3についても疑問がはれてすっとしてます。