robotsでロボット巡回拒否のページもきちんと収集してくれるソフト探してます

質問

Webページ巡回ソフト、収集ソフトといわれるものを使ってみたのですがhttp://○○○/robots.txtがあるページのhttp://○○○/index.htmlが読み込めないのです。
どなたかオフライン中でもきちんと読める巡回ソフト教えてください。
robots.txtには
User-agent: Hatena Antenna
Disallow:

User-agent: *
Disallow: /
と書いてあります。
よろしくお願いします。

回答No.1

zorro

こちらはどうでしょうか？

参考URL：

http://homepage2.nifty.com/hmomo/