ウェブ上での情報収集に便利なプログラミング言語は?

このQ&Aのポイント
  • ウェブ上での情報収集に便利なプログラミング言語は?クライアント側でhttp接続を行い、htmlを解析して必要な情報だけを抽出する方法を教えてください。
  • ウェブ上での情報収集に便利なプログラミング言語をご紹介!クライアント側で簡単にhttp接続を行い、htmlを解析して必要な情報を抽出する方法を解説します。
  • ウェブ上での情報収集に最適なプログラミング言語は?クライアント側のhttp接続とhtml解析を組み合わせて、簡単に必要な情報を抽出する方法をご紹介します。
回答を見る
  • ベストアンサー

ウェブ上での情報収集に便利なプログラミング言語は?

インターネットからサイトにアクセスして自動で情報を集めたいと考えています(例えば、yahooファイナンスから株価を集めたり、google scholarなどで論文を集めたり)。 そこで、 クライアント側でhttp接続を行い、 htmlを解析して必要な情報だけを抽出したい、 というときにおすすめの言語はありますでしょうか。 あまり本格的なものを作るわけではないので、できるだけ簡単?に作成できるものを希望します。 特にhttp接続の方法がよくわからないので、そこをお手軽にできるものを教えて頂ければありがたいです。 JavaやJava Scriptで作成を試みたのですが、なかなか進まないので質問に至った次第です。(Java: Jakarta Commonsのhttp cliantを使用したがビルド方法が分からず、Java Script: http接続法が分からず) よろしくお願いします。

質問者が選んだベストアンサー

  • ベストアンサー
  • notnot
  • ベストアンサー率47% (4848/10262)
回答No.1

Rubyですかね。 Mechanizeライブラリを使えば、ログインとか、Basic認証とか、クッキーとかお任せです。 http://www.google.co.jp/search?q=ruby+mechanize+%E4%BE%8B PerlがMechanizeの本家のようですが、現時点でどちらも知らないのであればRubyがわかりやすいのでおすすめです。

sasakida001
質問者

お礼

回答をありがとうございます。Rubyは元々興味もあったので、早速調べてみたいと思います。

その他の回答 (2)

  • oksine
  • ベストアンサー率8% (1/12)
回答No.3

サイトのhtmlの取得には外部のwgetを利用して 取得したhtmlの解析にはDOMが扱える言語でやるのが一番楽でしょう。 (もっとも言語の方でhttp接続のAPIがあるならそっちをりようすればいい。なければwgetを利用する) そうすれば自分でhtmlの構文解析のプログラムを書く必要がない。

sasakida001
質問者

お礼

回答ありがとうございます。DOMは始めて知りました。調べてみます。

  • nazotarou
  • ベストアンサー率46% (27/58)
回答No.2

ネットワーク系は、JAVAやC#も強いという話ですよー。 とはいえ、それくらいなら、PHPも含めて、何でもできるような。 JavaScriptでは、ムリなんじゃないかな?

sasakida001
質問者

お礼

回答ありがとうございます。JavaはEclipseを使っていたのですが、別のを作った時にEclipse以外から動かすためのビルドの方法が分からず中断していました。もう一回チャレンジしてみる価値はありますかね?!

関連するQ&A

  • 株価チェックソフトの情報

    フリーソフトなどの株価チェックソフトはyahooファイナンスの情報を取得して表示 しているようですが、どこにその情報ファイルがあるのでしょうか? 恐らくjavaスクリプトなので日経平均みたく(*.js)で保存されている と踏んでいますがなかなか見つかりません。お願いします。

  • 同一ページに複数の異なるJAVAスクリプトは?

    トップページに複数の異なるJAVAスクリプトを配置することは可能でしょうか? トップページにJABVAスクリプトでドロップダウンメニューを配置しております。 このたびアクセス解析をしようと思い、FC2のアクセス解析タグをBODY間に配置したところ、JAVAスクリプトが無効とのエラーが出てしまいました。 JAVAスクリプトの干渉かもしれませんが、解決方法が分かりません。 なにかうまい方法はないでしょうか?

  • Webサイトに株式情報のチャートを掲載する方法は?

    自分のWebサイトに株の情報をリアルタイムに掲載する方法がわかりません。 チャートや株価の情報をリアルタイムに掲載できるようにする方法はありませんか?単にYahooファイナンスにリンクを張るような方法ではなく、サイト上に載せたいのです

  • ブラウザの情報

    ブラウザの情報を返すような HPを作りたいと考えています。 CGIではなく、JAVAスクリプトだけで 作ることは可能でしょうか? OSの種類、 ブラウザの種類、 javaがONかどうか、 cookieがONかどうか、 の4点を知ることができれば良いのですが。 よろしくご教授ください。m(__)m

  • Webでのグラフ表示を行うには、どの言語がよいのでしょうか?

    Web開発未経験者です。 あるシステムのWeb化を検討してまして、 「Webサーバ、及び、Webコンテナとして、Apache-Tomcatを使用する。」 という方針までたてたのですが、その先が詰まってます。 「あるシステム」で最終的にやりたいことは、以下のようなことです。 (1)バイナリーファイル、及び、データベース(Oracleを予定)からデータを  読み出して、グラフに表示させる。 (2)グラフの種類は、  ・プロットグラフ  ・折れ線グラフ  ・折れ線グラフをずらしながら重ね合わせた3次元グラフ  ・プロットグラフを元にした近似曲線  等。 (3)静的なグラフにとどまらず、動的なグラフの表示。  ・http://www.amcharts.com/にあるような、範囲選択して拡大等。  ・その他 ここで質問ですが、言語(ツール)として何を使用すべきなのか?よくわかりません。 当初素人考えでWeb=Javaと考えてたのですが、調べていくうちに、 Webアプリケーション作成にあたっては、いろんな言語(ツール?)があることがわかりました。 Java、Javaスクリプト、Javaアプレット、Javaサーブレット、JSP、PHP、CGI、Ruby、Perl、そのほか・・・。 恥ずかしながら、これらの関係性もよくわかってないのですが、 何(どのような組み合わせ?)を使うのが、いいのでしょうか?

  • パスワードの入ったホームページ

    リンクにパスワードをいれたサイトを作成しようと 思います。 JAVA スクリプトでは見破られてしまう。とか、書いてあったのですが、当方、自作CGIが使えないISPのため、この方法をとらざるをえません。 あわせてHPビルダーで作成するため、仕方なくJAVA スクリプトになってしまいます、結局。 なにか良い方法は無いでしょうか?

    • ベストアンサー
    • HTML
  • ☆滑らかな画像切り替え☆

    私はJava Scriptに関しては全くの素人です。 現在Java及びVisual C++を勉強中です。 今回滑らかに画像を表示するスライドショーやノベルゲームに似たものを作っているのですが、Javaで行っているとどうしても画像の表示が遅く、断続的に見えてしまうため連続に見せるにはどうすれば良いか調べたところ、Java Scriptに行き着きました。 しかしながら、Java ScriptはJavaとは別物だということもあって一から勉強することを少々ためらっています。(学校の授業の都合もあり。。。) どうしても連続で見せるにはJava Scriptが必要なら、やってみようと思いますがいまだ私の持ちえる情報が少なく決断に至っておりません。 以上の点を踏まえた上で、Javaでも構わないのではないか?もしくはJava Scriptに変えるべきだという意見等ありましたら、回答をいただけるとありがたいです。

  • 1部のJAVAガ見れなくなりました。

    ある日突然 javaで作成していると思われる (リアルタイムで 株価などの数字が流れる)サイトが見れなくなりました。 ページの中の HTML・javaスクリプトなどはは問題なく見れるのですが。 OSは WinXPpro、セキュリーティ設定は デフォルトで使用しています。 なので 見れないのがおかしい。 2~3人の友人に聞いてみた所 全員見れるとのことでした。 私だけが見れなくなったのです。 ないがおかしくなったのでしょうか?

  • JAVAで作るプログラムとは

    HPに使うJAVAスクリプトの勉強をしたく、JAVAとスクリプトは違う事を知らずにJAVAの通信教育を申し込んでしまいました。 JAVAはサーバー側のプログラミング言語で、 スクリプトはクライアント側のスクリプト言語でブラウザ上で動作する。 申し込んだものは仕方ないので頑張ってJAVAを理解したいと思うのですが、 ネット上のJAVA講座を見ると最初にJAVAをインストールするとあります。 これはJAVAを作成するソフトのようなものですか? JAVAで作るプログラムとはOSのようなものですか? JAVAでプログラムを作ってHPの更新やスクリプトが作成できるのですか? そもそもJAVAで作るプログラムとはどのように利用するのか、 プログラムの意味がよく分かりません。 JAVAとスクリプトの違いはもう良いのでプログラムについて 分かりやすく教えてください。

    • ベストアンサー
    • Java
  • 基本情報技術者試験を受けるものですが、

    もし、受かったらその後JAVAプログラミング認定試験やC言語認定試験などを受けることを学校から進められてるのですが、 就職する上で基本情報受かった人がJAVA&C認定を受ける意味があるのでしょうか? 知り合いから聞いた話によると、基本情報を受かったとゆうことは、 JAVAやCを使いこなせる能力を持っているとゆうことって聞いたのですが どうなんでしょうか、、、 もし、不必要だったらHTMLやJAVAスクリプトのほうを勉強したいです。

    • ベストアンサー
    • Java

専門家に質問してみよう