- 締切済み
WEBデータ収集をするには。。。
オンラインショッピングの価格などを定期的に収集したいのですが、 どのように行えば可能でしょうか。 もしくはそのようなソフトやツールを知っていましたら 教えてください。
- whip
- お礼率33% (6/18)
- その他（プログラミング・開発）
- 回答数2
- ありがとう数2
- みんなの回答 （2）
- 専門家の回答
みんなの回答
- FoggyMountain
- ベストアンサー率21% (79/372)
wgetならWindows(DOS)版もあります。 わざわざLinuxを立てる必要はまったくありません。
- iichiho
- ベストアンサー率37% (416/1114)
Linuxのマシンがあるのなら、wgetというコマンドを使ってデータを収集するスクリプトを作って、それをcronで動かせばよいのではないかと思います。 収集箇所が１カ所なら、スクリプトは３行以内で収まりますし、cronは１行だけですし、とても簡単だと思います。
お礼
回答ありがとうございます。 wgetでSRVたててみます。
関連するQ&A
- 画像収集ソフト
画像収集ソフトで指定したサイト内の画像だけ集めてくれて、 それ以外の所からは集めて来ないソフトってありますか？ 何個か使ったのですが関係無いサイトまで飛んで拾って来たり。 まだ取り切ってないのに中途半端で停止してしまったりして微妙でした。 多分私の設定が悪かったんだとは思うのですが使いやすい画像収集ソフトを教えてください。 例えば、ヤフオクにある画像を指定して実行すればヤフオクの画像だけ全部拾ってきて、ヤフーショッピングなどからは一切拾って来ない様にして欲しいのです。 ヤフオクはただ思い浮かんだだけですが上記の様な感じで取りこぼし無く収集出来れば助かります。 何かお勧めがありましたら教えてください。 宜しくお願い致します。
- ベストアンサー
- フリーウェア・フリーソフト
- Web情報収集ソフト
インターネット上の情報をgoogleやYahoo!で調べるより効率的に探せ、収集しやすい専用のソフトってありますか？ ダウンロードNinjaみたいな感じでニュースやブログ等のテキストデータの収集に特化したソフトは知りませんか？
- ベストアンサー
- その他(ソフトウェア)
- iアプリでWebのデータを収集するソフト作りたい
iアプリであちこちのHPからデータ収集するソフトを作りたい iアプリであちこちのHPからデータ収集するソフトを作りたい 私はiアプリでホームページのデータを収集して画面に表示させるソフトを作りたいと考えています。 たとえば、自分の住んでいる地域の天気予報や、鉄道運行状況、株価などをWebサイトからとってきて1画面にリアルタイムに表示させるものを想定しています。 しかし、iアプリにはアプリをダウンロードしたサーバとしか通信ができないという制約があることを知りました。 あちこち調べてみて、自前でサーバを構築して、iアプリからそのサーバを経由してWebにアクセスするとよいこと(携帯フルブラウザiアプリも同様)までわかりましたが、実際に実現するとなると具体的にどのような技術をつかって実現したらよいのかわからないです。 私が調べた限りではアパッチ＋Tomcat＋Servleｔの組み合わせがあるようですが、これで合っていますか？他にも実現方法や、技術の名前があれば教えていただけませんか？ よろしくお願いします。
- ベストアンサー
- Java
- 郵便切手の収集品を買ってくれる収集家はいますか？
子供の頃から７０年以上かけて趣味で集めた世界中の郵便切手を買ってくださる収集家はいますか？ 業者に頼むとただ同様の価格でしか買ってくれませんので、収集家にお譲りしたいのです。どなたか奇特なかたはいませんか。８４歳の老人よりのお願いです。
- 締切済み
- その他（趣味・娯楽・エンターテイメント）
- テキスト部分のみ自動収集するソフトありますか？
ブログを移転したいのですが、移転ツールに未対応のブログのため、全てコピー＆ペーストでやることになってしまいました。 そこで、画像は画像収集ソフトで行おうと思うのですが、ブログの記事テキストのみを自動収集するようなソフトというのはあるでしょうか？ 御存知の方いらっしゃいましたらお教えください！！
- ベストアンサー
- フリーウェア・フリーソフト
- データロガー＆データ収集ソフトを探しています！
熱電対４ＣＨ、レゾルバ１ＣＨ、レーザ変位計２ＣＨ、接触式変位計８ＣＨのデータを収集し、 ＰＣにこれらのログを記録するソフトを探しております。 センサＣＨ数は製品の大小によって使用しない場合があります。（出力数が変化する。） 理想はEXCEL2000にこれらのデータをダイレクトに取込めるものですが、無ければ*.txtや *.csvファイルなどでログを記録するものでも構いません。 （最終的にはEXCEL2000にVBAで呼込みデータ収集処理できれば良い。） １種類のセンサー値を表示するデータロガーなどはありますが、出力形態がセンサによって （電流・電圧出力）異なり、出力レンジも異なります。 これらをまとめて収集するソフトをご存知ありませんか？ なおデータ取込み周期は１０分間隔で通信の遅れなどは無視します。 お勧めのソフトがありましたら、ご紹介ください。 宜しくお願いします。
- 締切済み
- 電気設計
- データ収集・保存ソフト
はじめまして データ収集、保管ソフトを探しています。 2次元コードを読み取り、そのコードの内容（英数10桁）、読み取った時間をパソコンに保存したい。できれば決められた時間にその内容を印字したいと思っています。 コードリーダーはOmron製またはCognex製のカメラを検討しています。 パソコンとはRS232CまたはEthernetでの通信になるかと思います。 コードリーダー、通信手順は別として、いわゆるトレーサビリティデータを収集、保管できる市販ソフトをご存知の方おりますでしょうか？ よろしくお願いします。
- 締切済み
- その他（FA・自動化）
- ホームページ収集ソフトですが
番組やメーカーなどのホームページを残したいと思い、 ホームページ・WEBページの収集ソフトを探しています。 以前、購入して使ったソフトでは、ホームページを収集しても、別の場所へ移動してアドレスが変わると表示できなくなってしまったり、Flashなどは収集できなかったり、左と右に分かれている形式のページは左だけしか表示できなかったり・・・であまり使えませんでした。 知識がないと完全に収集などをするということは無理なことなのでしょうか。それともアドレスを入力するだけで完全に収集できるソフトが存在するのでしょうか。
- 締切済み
- ホームページ作成ソフト
- 携帯のＨＰを収集してくれるソフトを探してます
タイトルのとおりです。 ＨＰを巡回収集してくれるソフトは知ってますが携帯のサイトを収集してくれるソフトがあったら教えてください。 通常のＨＰ収集ソフトでは携帯のＨＰは収集できないようなので。 フリーソフトじゃなくても構いません。 よろしくお願いします。
- ベストアンサー
- フリーウェア・フリーソフト
お礼
回答ありがとうございました。 wgetを研究してみます。