これでは家に帰れません。大量のモバイルサイトの確認。

質問

大量のモバイルサイトの内容を確認する業務を任されました。
大量のURLリストがあり、3キャリア分、URLをそれぞれの携帯に送ってあるキーワードがないかどうか等を目視で確認して、キーワードがあるURLをリストアップしております。
何千というURLがあり、携帯での確認作業は非常に時間が掛かるため、この分では家に帰れそうにありません。
PC上で簡単に確認できればと思うのですが、モバイルサイトビューアを使うくらいで、なかなか良い方法が見当たりません。
何か良い方法があれば教えて下さい。

例えば、『URLリストを入力するとPC上に全てダウンロードしてくれるソフトでかつモバイルサイトに対応しているもの』とか『キーワードがあるURLだけをリストアップしてくれるソフト』とかあったら、涙が出るくらいうれしいです。。

有料のソフトやサービスでも構いません。これでは家に帰れないからといって上司にお願いしてみます。。。

回答No.3

rinkun

携帯の識別は通常はHTTPリクエストのUser-Agentヘッダを使います。
httpリクエストを出す側ではリクエストの中に
User-Agent: <携帯ごとの端末名称など>
の形式の行を含めます。
WebサーバのCGIでは、この値が変数HTTP_USER_AGENTに入ってきます。
具体的なUser-Agentの値は参考URLなどを見てください。
# User-Agentで検索すると他にも多数あります

他にもIPアドレス範囲などでチェックする方法がありますが、あまりやってないと思います。
IPアドレス範囲を使われたら誤魔化しようがないです。

参考URL：

http://www.openspc2.org/userAgent/

お礼

ありがとうございます！
http://ash.jp/perl/socket_http.htm
をベースに頂いた以下URLからUser-Agentで選んで、繰り返すようなスクリプトを作ってみました。（かなり幼稚なものですが。。）
http://www.openspc2.org/userAgent/
それ以外にいろいろと問題が有り解決しなければならない別の問題が出てきたので、新たに質問作成しようと思っています。

回答No.2

rinkun

基本的にはリストのURLを順に開いて読み込みキーワードを検索すれば良いので、Perlを初めどのスクリプト言語でも同じように簡単に書けるとは思います。フレームなどでは一部リンク先まで見ないといけませんけど。
ただスクリプト言語の他にHTTPとhtmlの基本的な知識がないと難しいでしょう。自分は必要に応じて検索する方なので、ここが良いというサイトは知りません。お役に立てず申し訳ない。

お礼

> 自分は必要に応じて検索する方なので、ここが良いというサイトは知りません。お役に立てず申し訳ない。
とんでもございません。ありがとうございます！Perl HTTP あたりで検索してやってみます。
ちなみに、上記キーワードで検索したら、下記のサイトが見つかり、そのまま使ったらコマンドプロンプトにリクエストの応答内容（HTML文）がだらだらと表示されました。
http://ash.jp/perl/socket_http.htm
これを繰り返し実行するように改造すればいいのですかね。自分にとってはそれすら出来るかわかりませんが。。。。ネット上に転がっているサンプルを駆使して頑張ってみます！
ちなみにどのキャリアの携帯（ドコモ EZ SB）からのリクエストかは、どうやってサーバ側で判断されているのでしょうか。
もしご存知でしたら教えてください。

回答No.1

rinkun

そのモバイルサイトはPCからアクセスできるの? できるならスクリプトを書けばキーワード検索くらいは簡単にできると思うけど。
公式サイトなどはインターネットに繋がってなくて携帯からしかアクセスできないので、そちらのチェックを自動化するなら携帯をプログラム操作できるツールとか用意しないと無理ですね。

お礼

早速のご回答ありがとうございます！

> そのモバイルサイトはPCからアクセスできるの?
すみません。アクセスできないサイトがあることを知らなかったです。。
たしかに、サイトビューアで見ると見れるものと見れないものがあります。でも、ほとんどが見れるサイトなのでPCから見れるものだけでも簡単な方法があればそちらでやりたいです。

> できるならスクリプトを書けばキーワード検索くらいは簡単にできると思うけど。
本当ですか！PC上にPerlを実行する環境があるので、それで出来たりしますか？
Perl全く書いたことないですが、もしPerlでできるなら、見よう見まねでそのスクリプトを是非作りたいです。そこら辺の情報がのっているいいサイトがあればご紹介いただけますでしょうか。

> 公式サイトなどはインターネットに繋がってなくて携帯からしかアクセスできないので、。。
多分、公式サイトはこのリストには入っていないはずです。