ブラウザはどうやって送信するヘッダを識別している？

質問

こんにちは、いつもお世話になっております。

今回VB.netでいろんなサービスに自動でログインできるブラウザもどきを作成しています。初心者です。
HttpWebRequest/HttpWebResponsを利用してサーバーからの情報を取得しています。

が、サーバーによってうまく取得できないサーバーがあったりします。
IEや、FireFoxなどで送信しているヘッダーを調べてみると、サイトによってまちまちなようです。

調べたヘッダーと同じヘッダーを使ってHttpWebRequestで送信してやると、取得がうまくいきます。

これをプログラム内で自動でやりたいと思ってるのですが、IEやFireFoxなどのブラウザはどうやってサイトによって送信すべきヘッダーを判断しているのでしょうか？

googleや、書籍等で関連しそうなものを調べましたがうまく見つけることができませんでした。
初歩的な質問かも知れませんがご教授いただけましたら幸いです。

よろしくお願いします。

回答No.1

Werner · ベストアンサー

サイトによって変化するというヘッダーフィールドは
具体的になんなのでしょうか？
フィールド名で検索すれば情報は見つかりそうなものですが。

また、サイトによって変化するヘッダーと言われて
私が最初に思い浮かべたのはCookieですが、
Cookieが送信されてる可能性はないですか？

お礼

Werner様

ご回答ありがとうございます。大変感謝です♪

フィールド名で検索することはしていませんでした(汗
どうもブラウザの仕組みのほうにばっかりフォーカスしていたようで。

今ちょっと試していて試行錯誤してみたら解決してしまいました。

サイトによって変わるフィールドはいくつかあるようでしたが、
主な原因は、Accept-Encoding によるものでした。
これだけ変えてみたら他のサイトでもうまくいきました。

あとはこれは特殊なサイトなのだと思いますが、
Accept-Languageが設定されていないと表示できないところがありました。

ほんとうにありがとうございます。m(_ _)m