- ベストアンサー
毎日天気予報サイトを巡回させ、自動で定期的にそのページ内の情報を自分のデータベースに保存する方法
ロボット検索エンジンとまではいかないのですが、例えばある天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが、いちいち手動でやるのは面倒です。cronなど使って自動で収拾する方法を探しています。というか可能でしょうか? 一番の疑問点は、巡回する、という点です。このあたりがどうやって実現できるか全く想像もできません。 抽象的な方法でもいいので教えてください。
- tenketu
- お礼率71% (250/348)
- その他([技術者向] コンピューター)
- 回答数3
- ありがとう数3
- みんなの回答 (3)
- 専門家の回答
質問者が選んだベストアンサー
★tenketu へ >例えばある天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが、 >いちいち手動でやるのは面倒です。 ↑ 私は過去に天気予報サイトから HTML ソースをダウンロードしてそのソース内のタグを 解読して自作ツールで今日の天気、週間予報などを表示するものを作りました。 ※サイトの利用規約をよく読んだ上です。注意! ・カテゴリが『その他([技術者向] コンピューター) 』となっていますが C 言語などで プログラムを組めば自分のデータベースに毎日・自動的に保存できるように出来ます。 何かのプログラミング言語は使えるのでしょうか? C/C++ なら自動保存する仕組みなどをアドバイスできます。 ・それでは。言語の利用の有無を。
その他の回答 (2)
- Nazogramer
- ベストアンサー率51% (92/177)
>天気予報サイト内の天気予報データを自分のデータベースに毎日保存したいのですが ..... 自動で収拾する方法 と書いていますが、自動巡回を許可している「天気予報サイト」を見た事がありません。 昔のパソコン通信のフォーラムなどでは、「クローズド」された世界だったので自動巡回を行う事もありましたが、「ネチケット」としては、そのようなソフトウェアを公開できないと思います。 自動巡回はおこなえませんが、WEBのデータや画像を取り込めるソフトウェアがいくつかあるようなので、一度試してから考慮してみてはいかがでしょうか。 ちなみに、私は「WeatherTracker」を使っていますが、自動巡回なしでも、後からのデータ収集が可能なので、重宝しています。
お礼
>WEBのデータや画像を取り込めるソフトウェア >WeatherTracker この辺りについても検索して探してみようかと思います。 余談ですが、 >自動巡回を許可している「天気予報サイト」を見た事がありません。 となると、googleやその他の自動データ収拾の検索エンジンはどうなるのでしょうか、と思ったりしました。 ともかく、協力ありがとうございました。
- boeboe
- ベストアンサー率6% (1/15)
一般的に巡回ソフトってものが存在します。 ソース公開してるのもあるでしょうから、それを見て勉強するか、何個か触ってみて想像するか、ですね。 サイトによってはそういった行為を禁止しているところもあるのでご注意を。
お礼
回答ありがとうございます。 「巡回ソフト」という言葉は初めて聞きました。これで検索して探そうと思います。
関連するQ&A
- 天気予報情報を自動取得する方法
こんにちわ。 Flash+PHPにて 天気予報情報を気象情報サイト(http://tenki.jp/)から定期的に 取得したいのですが 具体的な方法がわかりません。 Windowsの常駐ソフトで気象情報サイトから情報を取得するようなソフトはあるの で実現不可能では無いと思うのです。 具体的な方法を解説したページ等をご存知でしたら是非ご紹介ください。 ちなみにPHPとかにこだわりは無いので 他言語でもOKです。 理論さえ分かればなんとかなりそうなので。 よろしくお願いします!!
- ベストアンサー
- その他(プログラミング・開発)
- 特定のWEB上の情報を収集して、自動的にDBに保存する方法
特定のWEB上の情報を収集して、自動的にDBに保存する方法を教えてください。 たとえば(あくまで例えばですが)、株価情報を株価情報のサイトから取得して、その情報を自前のサーバーのデータベースにいれる、というようなことをしたい考えているとします。 cronを使えば、定期的に何かを実行させることができる、というところまではわかったのですが、それ以上のことがわかりません。 おそらく、株価の情報サイトからHTMLのデータをひろってきて、そこから目的の値を抽出するのでしょうが、 1、どうやって(どのようなプログラム言語を使って)特定のサイトからHTMLのデータをひろってくるのか 2、どうやって(どのようなプログラム言語を使って)HTMLのデータから目的の値を抽出するか 3、どうやって(どのようなプログラム言語を使って)抽出した値をDB(mySQL)に保存するか この3つが特にわからない(知りたい)のです。 ちなみに今私が知っている言語は、mySQL,PHP,Cくらいです。 また、これを実現しようとしている環境についてですが、OSはUnix系で、レンタルサーバーであるものとします。つまり、データのロードも抽出もDB更新もすべてレンタルサーバー上で行いたいと思っています。
- ベストアンサー
- その他(プログラミング・開発)
- 天気予報のページ
会社案内のホームページを制作中ですが、コンテンツの一つに天気予報を入れたいのですが、無料でリンクできるサイトはありますか? できれば見栄え良く自分のサイトが発信しているように見せたいのですが・・・
- 締切済み
- その他(インターネット・Webサービス)
- 最近の台風
天気予報でよく聞くのは「大きい」「速度が遅い」の二点です。 漠然と地球温暖化と関係が想像できますが、具体的な原因はどういうものでしょうか。 それと日本列島の近づくと急に速度をあげるパターンも多いような気がしますが、どうしてでしょうか?
- ベストアンサー
- 自然環境・エネルギー
- SQLで、同じ値が何回連続するか、カウントする方法
1年間の天気のデータベースがあるとします。 7月のデータを抽出し日付でソート、ある日付から、その日と同じ天気が何日続いたかを、SQLで簡単に調べる方法はあるでしょうか? データベースは、ACCESSのmdb、VBでJETデータベースエンジンを使用していますので、高度なSQL文は使用できないかもしれません。 よろしくお願いします。
- 締切済み
- その他(データベース)
- 天気予報のサイトで
たくさんの天気予報のサイトがあると思いますが、 服装で標記してくれる天気予報サイト(国内・海外)を探してます。 ご存知の方、教えて下さい。 他に、サイトによってまったく違った天気を予報しているところが見受けます。 どこの天気予報が信用できると思いますか? オススメの天気予報サイトがあれば教えて下さい。 お願いします。
- 締切済み
- その他(国内旅行・情報)
- 天気予報のわかり易いサイト教えて下さい。
タイトルの通りなんですが、天気予報がわかりやすく なっているページ知っていたら教えてください。 気象庁のHPってわかりにくいような気がするので・・。 テレビ番組にある天気予報のページがいいでしょうか? オススメのページ教えてください。
- ベストアンサー
- その他(暮らし・生活お役立ち)
- 天気予報のサイト
九州北部に住んでいます。先日、除湿機を購入しましたが、雨が降らず使う機会がありません(^^ゞ。今年は空梅雨なのでしょうか?1週間の天気予報を教えてくれるサイトは知っているのですが、もっと詳しい情報を知りたいのです。たとえばどういう状況で雨が降らないとか。そういうサイトがあれば教えてください。
- ベストアンサー
- その他(生活・暮らし)
- 天気予報のサイトについて
7月29/30と北海道の富良野・美瑛に旅行に行きますが、天気が気になったので今の時点で出ている週間天気予報(28日まで)をインターネットのWeathernewsと言う天気予報のサイトで見てみると、ここの予報(週間天気予報)は、気象庁が出している予報(つまりTVなどでやっている予報)とはまた違うのですが、この場合やっぱり気象庁の予報のほうを信じていいのでしょうか?
- ベストアンサー
- メディア・マスコミ
お礼
実際に作った人がいるとなると迷わず実行に移せそうです。 でも自分にはほとんどプログラムの知識がないのでまずはそこからやっていきたいと思います。 だいたいどういう流れかがつかめました。 ありがとうございました。