ユーザーエージェント名

質問

オートパイロットで保存出来ないページがあったとき、
　　1.ユーザーエージェント名を「IE」、
　　「匿名」などに変更する。(あるいは別の名を送る)
　　2.巡回の際、robots.txtを参照しないように設定する。
ことで、保存できるようになることがあるらしいのですが、方法をご教授いただけないでしょうか。

SwiftProxyなどの他のプロキシソフトを介して巡回する方法を考えてみましたが、今のところそれを試せるページが見つからないので出来るかどうか不明です。
　オートパイロット------->SwiftProxy------->インターネット

それから、 「ぶら。」などユーザーエージェント名を変更できるブラウザもありますが、
　3.普通ではユーザーエージェント名を変更出来ないブラウザの
　　ユーザーエージェント名を 「IE」、「匿名」などに変更する。
　　(あるいは別の名を送る)
方法はないのでしょうか。

回答No.1

noname#6461 · ベストアンサー

こんにちは。

3の「普通ではユーザーエージェント名を...」に関してになりますが、
Proxomitronの様なローカルプロキシ利用で対処可能ではないでしょうか。
プロキシサーバーを設定出来るブラウザであれば、
任意の文字列にHTTP_USER_AGENTを変更出来たと思います。
あと、ブラウザによっては、
Netscapeの様に隠し設定で偽装が出来る場合もありますので、
Googleなどで検索して調べてみると良いかもしれません。

参考URL：

http://www.pluto.dti.ne.jp/~tengu/proxomitron/,http://pcweb.mycom.co.jp/special/2000/proxomitron/index.html

お礼

ご回答くださりありがとうございます。
1、3についてはProxomitronを使う事で解決しました。フィルタのカスタマイズは難しそうですが、普通のプロキシソフトに比べ動作が軽いところがいいですね。

それから2に関することなのですが、Proxomitronで、

　4.文字列「robots.txt」を含むURLから送られてきたデータをオートパイロットに渡さない。

　　　オートパイロット<-----x-----Proxomitoron<------------サーバー
　　　　　　　　　　　　　　　robots.txt　　　　　　　　　　robots.txt

　5.「robots.txt」という名のファイルの中身の文字列を、別の文字列に置換する。

　　　オートパイロット<-----------Proxomitoron<------------サーバー
　　　　　　　　　　　　　　　robots改.txt　　　　　　　　　robots.txt

と言うフィルタを作る方法をもしご存知でしたら教えていただけないでしょうか。

中継する際、htmlファイルを書き換え、ブラウザやオートパイロットに渡す事は出来るようです。
しかしtxtファイル(この場合robots.txt)を書き換えさせることは出来ないのでしょうか。