検索結果
スクレイピング
- 全てのカテゴリ
- 全ての質問
- ネットの情報を自動収集するプログラムを作りたい。
インターネットでの情報収集を、プログラムで自動的に行いたいと考えています。 この場合、どのような勉強が必要なのか教えていただけませんか。おそらく何通りかの答えがあると思いますが、複数の回答を期待しています。 また、ヒントとなる主なコマンドやキーワードがあれば教えてください。自習の参考にさせていただきます。 プログラム経験は、10年以上前にBASICを多少かじった程度ですが、これを機会に、WEB関連のプログラムをがんばって勉強しようと思います。
- ベストアンサー
- その他(プログラミング・開発)
- ozy
- 回答数2
- 正規表現で抜き出した特定の文字列をDBに格納する
外部Webページのソースから正規表現を用いて特定の文字列を抜き出したいと思っています。外部Webページのソースは以下の通りです。 <td> <div class="s-box left"> <a href="URL"><img src="" alt="" width="" height="" border="" class="book" /></a> <h3><a href="URL">書名</a></h3> <h4>著者:文字列<br />定価(税込):500円</h4> </div> <div class="s-box center"> <a href="URL"><img src="" alt="" width="" height="" border="" class="book" /></a> <h3><a href="URL">書名</a></h3> <h4>著者:文字列<br />定価(税込):710円</h4> </div> <div class="s-box right"> <a href="URL"><img src="" alt="" width="" height="" border="" class="book" /></a> <h3><a href="URL">書名</a></h3> <h4>著者:文字列<br />定価(税込):730円</h4> </div> </td> 上記のようなソースからdiv classごとに、 書名 著者:文字列 定価(税込):---円 という具合に抜き出したく思っていまが、正規表現がわからずプログラムが組めません。また、その抜き出した文字列をDB(MySQL)に自動的に格納するためにはどうしたらよいか。どなたかご教授頂けないでしょうか。宜しくお願い致します。
- 特定のWEB上の情報を収集して、自動的にDBに保存する方法
特定のWEB上の情報を収集して、自動的にDBに保存する方法を教えてください。 たとえば(あくまで例えばですが)、株価情報を株価情報のサイトから取得して、その情報を自前のサーバーのデータベースにいれる、というようなことをしたい考えているとします。 cronを使えば、定期的に何かを実行させることができる、というところまではわかったのですが、それ以上のことがわかりません。 おそらく、株価の情報サイトからHTMLのデータをひろってきて、そこから目的の値を抽出するのでしょうが、 1、どうやって(どのようなプログラム言語を使って)特定のサイトからHTMLのデータをひろってくるのか 2、どうやって(どのようなプログラム言語を使って)HTMLのデータから目的の値を抽出するか 3、どうやって(どのようなプログラム言語を使って)抽出した値をDB(mySQL)に保存するか この3つが特にわからない(知りたい)のです。 ちなみに今私が知っている言語は、mySQL,PHP,Cくらいです。 また、これを実現しようとしている環境についてですが、OSはUnix系で、レンタルサーバーであるものとします。つまり、データのロードも抽出もDB更新もすべてレンタルサーバー上で行いたいと思っています。
- ベストアンサー
- その他(プログラミング・開発)
- tenketu
- 回答数2
- スクレイパーについたワックスのカス
ホットワックスをかけた際、スクレイパーでワックスを剥いだ後にスクレイパーにワックスの残りカスが付いています。 なかなかとりずらいんですが簡単に取れる方法知ってる方いらっしゃいましたら教えてください。 本当にくだらない質問ですが宜しくお願いします。
- ベストアンサー
- スキー・スノーボード
- yuu5229
- 回答数2
- ボードへのワックス塗付方法
ベースワックスを自分でしようと思っているんですが、 あまりやり方がわかりません。ガリウムワックスSSシリーズのBlue,Violet,Pinkが手元にあるどですがどれをつければいいのか、それとも全部を順番につけていくのですか? あと、ベースワックスのあとに滑走用のワックスがあるそうなのですが、これは必要なのですか? 教えてください。。
- ベストアンサー
- スキー・スノーボード
- heartnett
- 回答数3
- PythonでFX業者のレートをリアルタイムで取得
Pythonは、FX業者のツールからほぼリアルタイムでレートを取得できますか? 例えばGMOクリックのWeb版FXツールからドル円レートを取得することはできますか?
- 締切済み
- その他(ソフトウェア)
- nanndedanazoda
- 回答数1
- 議員情報まとめサイトはありますか?
政治について考える機会が増えたため、どの党に投票するか考え始めたのですがどこの政党も一長一短があります。そこで、個々の議員について調べることにしました。議員のこれまでの賛成・反対の実績や、どんな議案を提出してきたのかを確認したいのですが、そのような情報がまとまっているサイトをご存じの方はいらっしゃいますか? もしそのようなサイトがない場合、プログラムは書けるので自力でサイトから過去情報を取得して一覧化しようと思っています。しかし今のところ、参議院の国会本会議投票結果と、衆議院、参議院の提出法律案しか使えそうなデータが見つかっていません。 衆議院の国会本会議投票結果は存在するのでしょうか? また、他にどのような情報を参考にすれば、個人の議員の功績を確認できますか? 自分の知識不足で変なことを言っているかもしれませんが、必要な情報や理解するためのアドバイスをいただけると幸いです。よろしくお願いいたします。
- 締切済み
- 政治
- tetetetetesta
- 回答数1
- VBAでハイパーリンクを抽出することについて
VBAやHTMLに詳しい人に質問です。 webサイトからハイパーリンクの値を取得するVBAコードを10年近く前に書いたのですが、全く覚えていないので困っています。 例えば下記の南関競馬の年間日程表のページから、各日程のハイパーリンクの値(4月1日なら /program/20140401200101.do )を抜き出し1つの列に並べて表示するという動きです。実行すると画像のようになります。 https://www.nankankeiba.com/calendar/201404.do しかし、現在は南関競馬は大幅リニューアルしたらしく、HTMLの仕様も変わったようなので、上手く動きません。 下はコードの一部分ですが多分ですが、サイトがリニューアルした結果、下記の行での指定("EM") では上手くアクセスできないのかと思います。HTMLも全く知識がないので、詳しい方いましたら、アドバイスお願いします。 Set Doc = ie.document Set chNodes = Doc.getElementsByTagName("EM") 'getElementsByTagName On Error Resume Next For Each chNode In chNodes Set docPart = New HTMLDocument docPart.write chNode.outerHTML Set chNodes1 = docPart.getElementsByTagName("A") myCell.Value = Replace(chNodes1(0).href, "about:", "") Set myCell = myCell.Offset(1, 0) Next chNode
- 前日以前の52週高値を更新した銘柄一覧の探し方
日本株の前日以前の52週高値を更新した銘柄一覧の探し方を教えてください。 (もしくは、年初来高値を更新した銘柄) 例えば株探だと、 株価注意報タブ→本日、52週高値を更新した銘柄 と進むと、当日に52週高値を更新した銘柄の一覧が表示されますが、 前日や前々日の52週高値を更新した銘柄一覧は表示されません。 (自分が知らないだけかもしれないですが。。。) 前日や前々日など、前日以前の日付での52週高値を更新した銘柄一覧を見たいのです。 なお、「前日比」順(前日に比べて何%株価が上昇したか)の並べ替えなどができればなお助かります。 検索してこういうサイト↓を見つけましたが、前日比順並べ替えなどはできないようで。。。 ご存じの方いらっしゃいましたら教えてください!
- 締切済み
- 国内株
- kabukabu567890
- 回答数1
