webページの内容取得の方法

質問

はじめまして。
私は今、Webページの内容を取り出し、Webページのジャンル(傾向)を取得したいと考えています。
しかし、初心者のため何から勉強したらいいのかわかりません。
自分でも調べてみたのですが、これは、統計、クラスタリングの部類に入るのでしょうか？恥ずかしながら、全く分からなくて・・・
これからどんなことを勉強すべきか、
またもし参考になる本やサイトなどもあれば、お教えいただけると嬉しいです。
よろしくお願い致します。

回答No.2

Oh-Orange · ベストアンサー

★まずは Web ページ(HTML)ソースを取得することですね。
・過去に参考になる質問があります。
・http://oshiete1.goo.ne.jp/qa2630445.html→『InternetReadFileで大きいファイルが読み取れない』
　この質問＆回答では Windows API 関数『InternetReadFile』でホームページのソースを
　読み取ってファイルに保存しています。→つまり、ダウンロードです。
・私は『Java』と『Perl』は詳しくありませんが、上記の API 関数を呼び出してメモリ内に
　HTMLソースを蓄積します。もちろん、一時ファイルへ保存しても良いでしょう。
・その後、HTMLソースからタグの解析を行いますが、ここがポイントですね。
　『JavaScript』には『DOM』や『XML』をオブジェクトとして扱う関数が用意されていますが、
　『Java』はどうでしょうか？→あればこの関数群を利用してタグを解析します。
・もしも、ない場合は自分で HTML タグを文字列として解析します。
　文字列の解析ですので『開始タグ』と『終了タグ』をペアで処理します。
　タグの解析に再帰処理などを使えば楽になります。
・まずは『HTMLソース』の文字列を取得する方法を探って下さい。API関数を『Java』で呼び出せる
　または、類似処理の関数が見つかるか探して下さい。

最後に:
・HTML の文法はきちんと理解していますか？これが理解できていないと解析・解読できませんが…。
・下に参考になりそうな HTML のサイトを紹介します。また、『DOM』で検索すると『XML』や『HTML』
　の解読する手がかりになると思います。
・単語を抽出した後は、ジャンル別に用意した単語と比較することで種類を決定できるようにします。
　このとき、一番多いジャンルの単語が出現したものをそのジャンルとして決めましょう。
　ジャンル別の単語データを作成するだけでも大変そうです。
・以上。→『HTMLソースの取得方法』と『HTMLの文法』を理解することから始めましょう。

リンク:
・http://www.tohoho-web.com/→『とほほのＷＷＷ入門』
・http://www.htmq.com/index.htm→『HTMLクイックリファレンス』
・http://www.hajimeteno.ne.jp/dhtml/index.html→『JavaScript,ダイナミックHTMLサンプル』
※この質問『webページの内容取得の方法』は長期戦になりそうです。頑張って下さい。

参考URL：

http://nienie.com/~masapico/api_InternetReadFile.html

お礼

お礼遅くなり、すみません。
＞『JavaScript』には『DOM』や『XML』をオブジェクトとして扱う関数が用意されていますが、
＞『Java』はどうでしょうか？
Javaにも確かあったような・・・

＞HTML の文法はきちんと理解していますか？
あやふやです・・・
リンクまで貼っていただき、ありがとうございます。
参考にさせていただきます！

回答どうもありがとうございました！

回答No.1

Oh-Orange

★最初にどの『コンピュータ言語』を使いますか？
・『初心者』とはどの程度ですか？
　つまり、プログラミングの知識が全くない状態なのか、Webページの取得する方法に関して
　初心者なのか、いろいろありますがどうなの？
・また、Web ページのどんな内容を取り出したいのですか？
　まずはどんな感じで実現したいのかをはっきりと決めましょう。

最後に:
・『コンピュータ言語』には、C、C++、C#、Java、JavaScript、VB、VBA、VBScriptなどなどがありますよ。
・他にも CGI、Perl などがあります。プログラム(ソフト)を作成するのならば、上記の言語のお勉強から
　になります。参考になる『本』や『サイト』は言語などを指定してくれれば、それなりに良い回答が
　出来そうです。→よって補足要求します。プログラムを言語などで作り取得させたいのかな？

お礼

回答ありがとうございます！
説明不足ですみません。
補足しましたので、よろしくお願いします。

補足

＞★最初にどの『コンピュータ言語』を使いますか？
言語はJavaかPerlを用いたいと考えています。

＞『初心者』とはどの程度ですか？
初心者というのは、プログラミングの知識はある程度学んだことはあって、
Webページの取得方法についての初心者という意味です。（Javaは何とかできる状態で、Perlは全くの初心者です。）

＞また、Web ページのどんな内容を取り出したいのですか？
Weｂページのタグ以外の部分(単語、語句)を取り出して、そのWebページの内容が政治だったら、ジャンルは政治であるということを判定するものを作りたいと考えています。

＞プログラムを言語などで作り取得させたいのかな？
はい、既存のものを使うのではなく、プログラミング言語で作って取得させたいと思っています。