検索結果

こんばんは。 Ruby初心者ですが、現在、Selenium Webdriver、chromeにはまり、スクレイピングのような事をしています。 そんな中で困っている事があるのですが、 とあるサイトの画像URLを取得、テキストに追記で書き出ししようと色々と調べたのですが全く分からず困っています。 <div class="hoge"> <img src="http://hoge" alt=""> </div> htmlはこんなようでxpathは/hoge/imgと仮定します。 open("hoge.txt", "a"){|f| output = driver.find_element(:xpath, '/hoge/img') f.puts "#{output.text}" } のように書いてみたもののテキストに改行しか出力されない状態です。 何卒どうかご教授、よろしくお願いします。

時間があまりなかったので、 詳しく調べられてませんが、 simple_html_dom.php を使ってスクレイピングをしたのですが、 バッチが途中でkilledとなってしまいました。 エラーハンドリングにカスタマイズが必要だと思ってるのですが、 ご教授願えないでしょうか。 for($i=1; $i<100; $i++){ $param = ''; $url = sprintf('http://www.test.com?testid=%s, $i); echo "$url\n"; $html = file_get_html($url, false); } 上記で途中までは実行されるのですが、 途中でバッチがkilledとなり、 処理が終わってしまうのです。 ローカル環境ではうまく言ったのですが、 さくらのレンタルサーバでやるとそうなりました。 宜しくお願いします。

いつもお世話になります。 普段普通にネットサーフィンをする分には全く問題がないのですが、 先日から、自分の調べたいサイトから欲しい情報を、 エクセルに落とすスクレイピング自動でしてくるものを作り、使い始めたところ、 １時間程度ほっておくと、インターネットに接続できませんと表示されてしまい、 どのブラウザもネットに接続できなくなってしまいます。 再起動すると直るのですが、原因がつかめません。 もちろん根本的な原因は、スクレイピングが原因だとは思うのですが、 なぜインターネットに接続できなくなってしまうのかがわかりません。 もう一台macのパソコンがあり、そちらでは問題が生じたあとも普通にネットに接続できるため、 モデムのほうには問題はないと思います。 スクレイピングを繰り返す頻度が早すぎるのかと思い、インターバルをあけても、 あまり変わりません。 根本的にこのパソコンに問題があるのかもしれないのですが、 もしサイトやサーバーに連続でアクセスするとそうなる原因がわかる方がいらっしゃいましたら、 教えて頂けませんでしょうか？（連続でアクセスすると言っても更新を連打するようなスピードではないです。） 自分はサイトを作ったことがないため、サーバー等は言葉でしか知らず、 詳しいことがわかりません。 使っているブラウザはIE８で、ADSL、有線でつないでおり、 パソコンはPC-LL550LGのノートパソコンです。 カテゴリ DOS/V タイプ Note CPU名称 Mobile AMD Sempron 3600+ CPUクロック 2GHz 最大CPU数 1 チップセット AMD M690V チップセット(1600MHz) プレインストールOS Windows Vista Home Premium セカンドキャッシュ [容量] 256K メモリ [標準容量] 2G (単位 MBまたはB) メモリ [最大容量] 4G (単位 MBまたはB) メモリ [オンボード容量] 0 (単位 MBまたはB) メモリ [タイプ] DDR2 SDRAM PC2-5300 SO-DIMM(デュアルチャネル対応) メモリ [スロット数] 2 メモリ [空スロット数] 0 メモリ [増設単位] 2 純正対応メモリ 512MB:PC-AC-ME021C 1GB:PC-AC-ME022C 2GB:PC-AC-ME025C 標準HDD [容量] 120G 標準HDD [接続IF] Serial ATA 標準HDD 5,400rpm 標準CD-ROM関連 [タイプ] CD-R/-RW・DVD±R DL/±RW/-RAM 標準CD-ROM関連 [読込倍速] CD-ROM最大24倍速、DVD-ROM最大8倍速、DVD-RAM最大5倍速 標準CD-ROM関連 [書込倍速] CD-R最大24倍速、CD-RW最大10倍速、DVD-R/+R/+RW最大8倍速、DVD-R DL/+R DL最大4倍速、DVD-RW最大6倍速、DVD-RAM最大5倍速 PCカードスロット数 TYPEII×1、Express Card×1 PCカードスロット規格 PC Card Standard準拠、ExpressCard Standard Release 1.0準拠 CardBus ○ ZVポート × メモリメディアスロット トリプルメモリスロット×1 グラフィックコントローラ ATI RADEON X1200 グラフィックコントローラ [実装形態] チップセットに内蔵 VRAM容量 最大832MB、メインRAM共有 最大解像度 1920×1440(1,677万色) TVチューナ × ビデオキャプチャ DV動画編集 サウンドコントローラ RealTek ALC262 サウンドコントローラ [機能] Intel High Definition Audio準拠、ステレオPCM同時録音再生、Direct Sound 3D、ソフトウェアMIDI音源、マイク機能 NIC ○ LANポート 1000BASE-T/100BASE-TX/10BASE-T 通信機能 IEEE802.11a/b/g無線LAN モニタポート ミニD-Sub15ピン×1 USBポート USB2.0(4ピン)×4 IEEE1394ポート 4ピン×1 付属ディスプレイ_画面サイズ 15.4 インチ 付属ディスプレイ [仕様] ワイド高輝度高色純度低反射TFTカラー(スーパーシャインビューEX液晶)、WXGA、1280×800(1,677万色) 付属アプリ Office Personal 2007 よろしくお願いします。

やりたいことはPerlやＰＨＰなどのサーバーサイドスクリプト上で、ひとつのランダムな日本語の単語を得る、ということです。 あらかじめデータベースにいれておきそこから取得しても、毎回どこかのＡＰＩか何らかのサービスにアクセスして取得してもどちらでもいいです。 できれば後者の方が楽なのですが、一通り調べたところ、直接この要望に答えてくれそうなサービスはありませんでした。しかし、たとえば辞書サイトなどをうまく使えばいけそうな気がします。どのようにすればランダムな単語を簡単に得られるでしょうか？ あるいは前者のあらかじめデータベース化しておくという方法についても、こうすれば簡単に大量の単語を取得できるよ、というのがありましたら教えてください。 ちなみに、perlを使ったスクレイピングは経験があります。 それから、これに関連した言語としてはphpとperlとmySQLしかやったことないので、できればその範囲内でおねがいします。

http://k-db.com/site/jikeiretsu.aspx?c=4689-T&hyouji=minutely&date=2013-12-20 のサイトではyahooファイナンスからの１分足の株価データを掲載しているようですが、 ここに絶対に間違いがないとも限らないでしょうから なるべく自分で直接yahooからデータを取得したいので、 yahooファイナンス自体に 個別銘柄の１分足の株価データを掲載しているページは あるのでしょうか？ yahoo以外のデータが信頼できそうなサイトでもいいです。 リアルタイム株価として表示されている株価をスクレイピングする というやり方もあるでしょうが、 チェックする銘柄の数が多くなると 自動化プログラムに自動ゲットさせても時間がかかってタイムラグが発生し デイトレードでは不利になりそうな気がします。 ご存知の方、どうぞよろしくお願いします。

下記のように他のページhoge.ne.jp/read1000.phpからスクレイピングしたtakahashiという文字を、メインメインサイトhogehoge.jp/index.htmlの<input type="text">内に表示可能なスクリプトがあります。 【現在できていること】 ***************************************************************** 【http://hoge.ne.jp/read1000.php】 <table border="1"> <tbody> <tr> <td class="class3_sql_name">takahashi</td> </tr> </tbody> </table> 【http://hogehoge.jp/index.html】 <script src="http://code.jquery.com/jquery-1.11.1.min.js"></script> <script src="http://code.jquery.com/mobile/1.4.5/jquery.mobile-1.4.5.min.js"></script> <script> // 引っ張ってきたいサイトのURL url = 'http://hoge.ne.jp/read1000.php'; $.get(url, function(data){ var content3_sql_name = $(data.responseText).find('.class3_sql_name').text(); 　　$("[name='ca2_stock_name']").val(content3_sql_name); }); </script> <input type="text" name="ca2_stock_name" value="" /> ***************************************************************** 上記のスクリプトを実行すると、 <input type="text" name="ca2_stock_name" value="takahashi" /> という形が完成します。 ****************************************************************** 【やりたいこと】 <input type="text" name="ca2_stock_name" value="takahashi" /> ではなく、 <a href="stock.php?name=takahashi">個人ページに移動</a> というように、スクレイピングしたtakahashiの文字をURL内に表示したいと考えています。 考え方としては、変数として切り取り、URL内に　+my_name+ という形で代入しようと思います。 ダメだったスクリプトその1 <script> url = 'http://hoge.ne.jp/read1000.php'; $.get(url, function(data){ var content3_sql_name = $(data.responseText).find('.class3_sql_name').text(); }); </script> <a href="stock.php?name="+content3_sql_name+"">個人ページに移動</a> ダメだったスクリプトその2 <script> url = 'http://hoge.ne.jp/read1000.php'; $.get(url, function(data){ var content3_sql_name = $(data.responseText).find('.class3_sql_name').text(); }); var my_name = .text(content3_sql_name); </script> <a href="stock.php?name="+my_name+"">ストックページに移動</a> 上記のように2つを試したのですが、takahashiという文字が代入されることはありませんでした。 どうすれば、takahashiという文字をURLに代入させることができるでしようか? よろしくお願いいたします。

スプレッドシートを使い、Google検索結果のURLをスクレイピングしたいと思っています。 いろいろなサイトで紹介されている方法を試してみましたが、取得できたURLの前後に余分な文字列が含まれており、これを除いて純粋にURLの文字列だけを取得することは不可能なのでしょうか？ 私がやった方法は以下のような感じです。 A1セルに「パソコン」と入力 A2セルに=IMPORTXML("http://www.google.co.jp/search?hl=jp&gl=JP&q="&A1,"//div[@id='res']//h3[@class='r']/a/@href")と入力 結果は以下のとおりです こういったものが１０サイト分(検索結果１ページ分)表示されます /url?q=https://www.biccamera.com/bc/c/pc/intel/index.jsp&sa=U&ved=0ahUKEwjBvvX0ia3dAhWuxVkKHcVcB4MQFgghMAI&usg=AOvVaw185ZVa-oN20szNKSbDcXJv

現在pythonでwebスクレイピングの勉強をしている者です。 質問があるのですが、 from selenium import webdriver browser=webdriver.Chrome() browser.get("https://movie.jorudan.co.jp/cinema/") #クラスからリンクを抜き出してクリックさせる。 siwake=[] elems=browser.find_elements_by_class_name("item-body") for i in elems: elem=i.find_element_by_tag_name("a") elem.click() ＃クラスのジャンルからaタグのテキストを抜き出して前のページに戻る。 　　elem=browser.find_element_by_class_name("genre") elem=elem.find_element_by_tag_name("a").text browser.back() 　　＃抜き出した情報をsiwakeの空のリストに追加する。 siwake.append(elem) 上記のコードで映画のジャンルの一つ目を抜き取りたいのですが、for文を回すとエラーが出てしまいます。 どなたか原因が解る方がいらっしゃいましたらご教示して頂けると幸いです。 参考HPはhttps://movie.jorudan.co.jp/cinema/です。 よろしくお願い致します。

python初心者でございます。 python2.7,beautifulsoupを用いて競馬情報をスクレイピングしましたが、 作成されたhorse.csvファイルにデータ保存が出来ず、困っております。 csvファイルに保存出来るスクリプトを、御教示よろしくお願いいたします。 小生が作成したソースコード -*- coding:utf-8 -*- import urllib2 import codecs from bs4 import BeautifulSoup f = codecs.open('horse.csv', 'w', 'utf-8') f.write('tr1') tpl_url='http://db.netkeiba.com/?pid=jockey_detail&id=00663&page={0}' for i in xrange( 1, 2 ): url=tpl_url.format( i ) soup = BeautifulSoup(urllib2.urlopen(url).read(),"lxml") tr_arr = soup.find('div', {'id':'contents_liquid'}).findAll('tbody') for tr in tr_arr: lrg1 = tr.findAll('td',{'class':'txt_l'}) for tr1 in lrg1: print tr1.a.string f.close() 試したこと 上記のプログラムを動かすと作成されたCSVファイルには何も記録、保存されておりませんでした。 御教示よろしくお願いいたします！！！

powerAutomateでスクレイピングのため、以下のようにアクションを設定しました 「新しいMicrosoftEDGEに移動する」アクションでウェブブラウザを開き、 「pythonスクリプトの実行」アクションで、以下のようにURLを結合 『s='https://www.youtube.com/watch?v='+'SC42pCNLoJk' print s』して %PythonScriptOutput%に値を出力 「Webページに移動します」アクションで、%PythonScriptOutput%のURLにジャンプするようにしました すると、 『URL が無効です。絶対 URL を使用していることを確認してください。: Microsoft.Flow.RPA.Desktop.Modules.SDK.ActionException: URL '%EF%BB%BFhttps://www.youtube.com/watch?v=SC42pCNLoJk%0D%0A' が無効なため、移動できませんでした。 ---> System.UriFormatException: URL が無効です。絶対 URL を使用していることを確認してください。』 というエラーがでました。 %0D%0A'という改行？を示す文字列が自動的に付与されているみたいです。 この改行を取り除く方法はありますか？ 解決方法をよろしくおねがいします

教えてください。 スクレイピングのために、よく分からないままに、 PHPでHTMLをXMLに変換して、Xpathで参照しようとしています。 が。 その前段で、「HTML内に存在する内容が、XMLに変換した際に 消えてしまう」という現象に悩まされております。 例を挙げますと、 --------------------------------------- <html> <body> <table> <tr> <td><b>foo</b> bar<br> </td> </tr> </table> </body> </html> --------------------------------------- みたいなページを、 --------------------------------------- <?php $html = file_get_contents('http://xxxxxxxxxxxxxxxxx.com/foobar.html'); $dom = new DOMDocument(); @$dom->loadHTML($html); $xml = simplexml_import_dom($dom); print_r($xml); ?> --------------------------------------- のように処理すると、 --------------------------------------- SimpleXMLElement Object ( [body] => SimpleXMLElement Object ( [table] => SimpleXMLElement Object ( [tr] => SimpleXMLElement Object ( [td] => SimpleXMLElement Object ( [b] => foo [br] => SimpleXMLElement Object ( ) ) ) ) ) ) --------------------------------------- のような結果になって、「あれ？fooはいるけど、barは何処いった？」となります。 分かっている方には、「そりゃ、おまえ、あたりまえだよｗｗｗ」 「つーか、なにやっとんのｗｗｗ」って感じなのかもしれませんが、 さっぱり分かりません。 元のHTMLの書きぶりがダメだからということでしょうか。 お手数をお掛けしますが、どうぞ、ご教授ください。 よろしくお願いいたします。

プログラミング初心者です。 fifiaのランキングのページ（http://www.fifa.com/worldfootball/ranking/lastranking/gender=m/fullranking.html）を対象にして、スクレイピングを行おうとし、 require("win32ole") ie =WIN32OLE.new("InternetExplorer.Application") でIEオブジェクトを取得し、 ie.visible =true ie.Navigate("http://www.fifa.com/worldfootball/ranking/lastranking/gender=m/fullranking.html") while ie.busy == true sleep 0.1 end ここまではいいのですが、表の中の値を取得しようと ie.document.getelementsbytagneme("td") を実行してみてもnilが帰ってきてしまいます。 HTMLのソースを表示してみても<td>タグは含まれているはずなのですが、試しにie.document.getelementsbytagname("td").lengthを実行してみると０が返ってきてしまい、どうしたらいいのかさっぱりわからない状態です。 ie.document.getelementsbytagname("div")などはちゃんと機能するので、おそらく問題の原因は<td>タグがAJAX.updaterメソッドを使ったページの内容更新の対象となっていることだと思うのですが、いかんせん不勉強で解決方法がわかりません。 どなたか詳しい方、ご教授していただけないでしょうか。

Ruby初学者です。 スクレイピングをしています。 Capybara + PhantomJSを用いているのですが(動的要素も取得したいため)、 session.visit "sample.com" variable = session.find_all(:xpath,"//a[contains(text(), "なんとか")]") puts variable といったコードを書くと #<Capybara::Result:0x0325d6honyaefccf0f8> という風な表示がされてしまいます。 上記の例に限らず、xpathで抽出したものをputs等を用いて表示しようとすると、上述のようにわけのわからん表示が出てきて困ります。 Nokogiriだとputsを使うとDOM?html?がそのまま文字通り表示されてくれるのですが。。 Capybaraだと何らかの変換を行うような処理がされてしまっているのですかね。（というかputsでコードを表示するような目的のものではない？） 解決方法（抽出したコードをputsでそのまま表示する方法）があれば教えてください。

スクレイピングの勉強をしようとしていて、 そういえばエクセルのVBAをつかって簡単にできたはずだと 思い、IEの打ち切りも決まったので書籍を安くかって勉強しようと したのですが、 昨今のながれで、VBAは打ち切りのながれ。 .Net coreとかつかったり、power platformをつかって エクセルで新しく実装された power pivot for excelとかを使うことに なるときいたのですが、 VBAを勉強するのは意味ないですか？ 就労移行のスタッフにこないだ面談したときに いまVBAでマクロを組めるように勉強しているんですよー とか得意げに話したんですけど、 ガラパゴスだったり沈み行く泥舟でがんばっているだけなんでしょうか？ 何を勉強すればいいですか？とりあえず、エクセルを活用する プログラミング言語を学びたいです。 というかもうエクセルもオワコンになるんですかね、、、 BIとかにおきかわるんでしょうか？ アドバイスよろしくおねがいします。 (´・ω・`)

DOMを使ってテーブルのスクレイピングをしたいと考えています。 【sample.html】 <table id="rates"> <tr> <th>施設名</th> <th>所在地</th> </tr><tr> <td>大谷地</td> <td>東3丁目3-20</td> </tr><tr> <td>札幌</td> <td>東1丁目1-20</td> </tr></table> 【scre.php】 <?php $entries = []; $dom = new DOMDocument; @$dom->loadHTMLFile('sample.html'); $xpath = new DOMXpath($dom); foreach ($xpath->query('//tr') as $i => $node) { if (!$i) { continue; } $entries[] = [ $xpath->evaluate('string(td[0])', $node), $xpath->evaluate('string(td[1])', $node), ]; } echo "<pre>"; print_r($entries); echo "</pre>"; ?> *************** 結果(出力値) *************** Array ( [0] => Array ( [0] => 大谷地 [1] => 東3丁目3-20 ) [1] => Array ( [0] => 札幌 [1] => 東1丁目1-20 ) 【やりたいこと】 この結果をカンマ区切りとして抽出したいと考えています。 ***************** 希望結果(希望出力値) ***************** 大谷地,東3丁目3-20 札幌,東1丁目1-20 また、このテーブルは別途CSVファイルに落とす予定のため、 echo $data; という形で出力可能なようにしたいと考えています。 初心者的質問で大変恐縮ですが、どうすればいいかご教授いただけましたら幸いです。 よろしくお願いいたします。

現在pythonでwebスクレイピングの勉強をしている者です。 質問があるのですが、 from selenium import webdriver browser=webdriver.Chrome() browser.get("https://movie.jorudan.co.jp/cinema/") #クラスからリンクを抜き出してクリックさせる。 siwake=[] elems=browser.find_elements_by_class_name("item-body") for i in elems: 　elem=i.find_element_by_tag_name("a") 　elem.click() ＃クラスのジャンルからaタグのテキストを抜き出して前のページに戻る。 　elem=browser.find_element_by_class_name("genre") 　elem=elem.find_element_by_tag_name("a").text 　browser.back() 　　＃抜き出した情報をsiwakeの空のリストに追加する。 　siwake.append(elem) 上記のコードで映画のジャンルの一つ目を抜き取りたいのですが、for文を回すとエラーが出てしまいます。 エラーとしては、 elems=browser.find_elements_by_class_name("item-body") for i in elems: ……→elem=i.find_element_by_tag_name("a") 上の一文がエラーとして出てきます。 また、一番下にはMessage:stale element reference: element is not attached to the page document という表記が出てきます。 　 どなたか原因が解る方がいらっしゃいましたらご教示して頂けると幸いです。 参考HPはhttps://movie.jorudan.co.jp/cinema/です。 よろしくお願い致します。

Cakephp 2.0のConsole/Commandで、スクレイピングを行う処理を実装しようとしています。 PhantomJsを使おうとしていますがどうもうまくいきません。 composerを利用してPhantomJsを、 /XAMPP/xamppfiles/htdocs/cakephp/app/Vendor にインストールしました。 ”/XAMPP/xamppfiles/htdocs/cakephp/app/” に test.phpとして、 <?PHP require_once('vendor/autoload.php' ); use JonnyW\PhantomJs\Client; $client = Client::getInstance(); $client->getEngine()->setPath('vendor/bin/phantomjs'); $request = $client->getMessageFactory()->createRequest(); $response = $client->getMessageFactory()->createResponse(); $request->setMethod('GET'); $request->setUrl('https://pg.kdtk.net/sample/phamtomjs_test.html'); $client->send($request, $response); echo "request url: " . $request->getUrl() . "\n"; echo "response: " . $response->getStatus() . "\n"; if($response->getStatus() === 200) { echo "content: \n"; echo $response->getContent(); } ?> というサンプルプログラムを実行するとうまくいきました。 これを、Console/Commandで実装したいのですが、どのように実装したら良いかわかりません。 例えば /XAMPP/xamppfiles/htdocs/cakephp/app/Console/Command に、 SampleShell.php として保存し、 <?php class SampleShell extends AppShell { public function startup() { parent::startup(); App::import('Vendor', 'Client', array('file' => 'JonnyW/PhantomJs/Client.php')); } // メイン実行関数 public function main() { $client = Client::getInstance(); } } ?> php cake.php Sample を実装すると、 PHP Fatal error: Class 'Client' not found ・・・ とエラーとなります。 インスタンスを生成できるようにするにはどのようにすれば良いのでしょうか？ ご教示いただきますよう、何卒宜しくお願い申し上げます。

下記のように「サブページその1 　hoge.ne.jp/read1000.php」からスクレイピングしたtakahashiという文字を、「メインページ　hogehoge.jp/index.html」の<input type="text">内に表示可能なスクリプトがあります。【現在できていること その1】 また、メインページで取得した変数123456を、URLという形で「サブページ2 read2222.php」のPHPに渡し、サブページ2の中で「123456についてのPHP処理した結果」を、再度メインページで取得して表示するスクリプトがあります。【現在できていること その2】 【やりたいこと】 この2つのスクリプトを合体させ「サブページ1 read1000.php」からスクレイピングしたtakahashiという文字を、URLという形で「サブページ2 read2222.php」のPHPに渡し、サブページ2の中で「takahashiについてのPHP処理した結果」を、再度メインページで取得して表示したいというのが今回の趣旨で、スタックしている部分となります。 ***************************************************************** 【現在できていること その1】 【サブページその1 http://hoge.ne.jp/read1000.php】 <table border="1"> <tbody> <tr> <td class="class3_sql_name">takahashi</td> </tr> </tbody> </table> 【メインページ　http://hogehoge.jp/index.html】 <script src="http://code.jquery.com/jquery-1.11.1.min.js"></script> <script src="http://code.jquery.com/mobile/1.4.5/jquery.mobile-1.4.5.min.js"></script> <script src="js/jquery.xdomainajax.js"></script> <script> // 引っ張ってきたいサイトのURL url = 'http://hoge.ne.jp/read1000.php'; $.get(url, function(data){ var content3_sql_name = $(data.responseText).find('.class3_sql_name').text(); 　　$("[name='ca2_stock_name']").val(content3_sql_name); }); </script> <input type="text" name="ca2_stock_name" value="" /> ***************************************************************** 上記のスクリプトを実行すると、 <input type="text" name="ca2_stock_name" value="takahashi" /> という形が完成します。 ****************************************************************** 【現在できていること その2】 【サブページその2 http://hoge.ne.jp/read2222.php】 <div id="news200"> こんにちは <?php echo $_GET["name"]; ?> さん </div> 【メインページ　http://hogehoge.jp/index.html】 <script type="text/javascript"> var usr_id='123456' $(function(){ $("#read200").load("https://hoge.ne.jp/read2222.php?name="+usr_id+" #news200 ul", function(data) { if(data == null){ $("#read200").append("読込みに失敗しました"); } }); }); </script> <div id="read200"></div> ***************************************************************** 上記のスクリプトを実行すると、 メインページ 上で、サブページ2の<div id="news200"/>....<div> 間を拾ってきて表示することができます。 　　　　　　　　　　　　　　　→　こんにちは123456さん メインページ内で「read2222.php?name="+usr_id+"」という形でURLとして一旦サブページ2にトスし、 $_GET["name"]　でサブページで処理しものをあらためてメインページで表示させています。 ***************************************************************** 【やりたいこと】 上記の2つのスクリプトを合体させ、 var usr_id='123456'　の代わりに、 【http://hoge.ne.jp/read1000.php】にある<td class="class3_sql_name">takahashi</td> のtakahashiを表示させたいと考えています。 　　　　　　　　　　　　　　　→　こんにちはtakahashiさん 考え方としては var content3_sql_name　の変数をvar usr_idの代わりにすればいいだけです。 ************************************************************** 【試したがうまくいかなかったスクリプト】 <script type="text/javascript"> url = 'http://hoge.ne.jp/read1000.php'; $.get(url, function(data){ var content3_sql_name = $(data.responseText).find('.class3_sql_name').text(); $(function(){ $("#read200").load("https://hoge.ne.jp/read5555.php?name="+content3_sql_name+" #news200 ul", function(data1) { if(data1 == null){ $("#read200").append("読込みに失敗しました"); } }); }); }); </script> <div id="read200"></div> ********************************************************** どこがいけないのかご指導いただけませんでしょうか? 宜しくお願い致します。

ExcelでWebスクレイピングを行うための、VBAのソースをご教示頂きました。 過去の質問｜https://okwave.jp/qa/q9420082.html このソースは完璧に動くのですが、googleに負荷を掛けてしまい、100件ほど抽出するとエラーが出て使えなくなってしまいます。 そこでsleepやwaitを使って、間隔を空けて実行させたいと考えています。 以下のどの部分に追加すれば良いのか、教えてください！ お願い致します。 ――――――――――――――――――― ' Option Explicit ' Sub Macro1() ' 　　Dim SheetW As Worksheet 　　Dim SheetO As Worksheet 　　Dim Start As Integer 　　Dim URL As String 　　Dim NowCell As String 　　Dim RowI As Integer 　　Dim RowO As Integer 　　Dim RowEnd As Integer 　　Dim Col As Integer 　　Dim ColEnd As Integer ' 　　Set SheetO = ActiveSheet 　　[A10:C10] = Array("番号", "URL", "説明") 　　[A11:C1048576].Clear 　　Set SheetW = Sheets.Add 　　SheetW.Name = "Webクエリ" 　　RowO = 11 　　ColEnd = [A5].End(xlToRight).Column ' 　　For Start = SheetO.[B2] To SheetO.[C2] Step SheetO.[D2] DoEvents 　　　　URL = SheetO.[B1] & SheetO.[C1] & SheetO.[D1] & Start 　　　　With ActiveSheet.QueryTables.Add( _ 　　　　　　Connection:="URL;" & URL, _ 　　　　　　Destination:=[A1]) 　　　　　　.Name = "Google検索結果" 　　　　　　.WebSelectionType = xlEntirePage 　　　　　　.WebFormatting = xlWebFormattingAll 　　　　　　.BackgroundQuery = False 　　　　　　.Refresh 　　　　End With ' 　　　　With SheetO 　　　　RowI = [A:A].Find(.[B3]).Row + 1 　　　　RowEnd = Cells(Rows.Count, "A").End(xlUp).Row 　　　　While Not Cells(RowI, "A") Like .[B4] And _ 　　　　　　　RowI < RowEnd 　　　　　　NowCell = Cells(RowI, 1) ' 　　　　　　For Col = 2 To ColEnd ' 　　　　　　　　If NowCell Like .Cells(5, Col) Then 　　　　　　　　　　Exit For 　　　　　　　　End If 　　　　　　Next Col ' 　　　　　　If Cells(RowI, 1).Hyperlinks.Count > 0 And Col > ColEnd Then 　　　　　　　　.Cells(RowO, "A") = RowO - 10 　　　　　　　　.Cells(RowO, "C") = NowCell 　　　　　　　　NowCell = Cells(RowI, "A").Hyperlinks(1).Address '　　　　　　　 SheetO.Cells(RowO, "B") = NowCell 　　　　　　　　.Hyperlinks.Add Anchor:=.Cells(RowO, "B"), _ 　　　　　　　　　　Address:=NowCell, _ 　　　　　　　　　　TextToDisplay:=NowCell 　　　　　　　　RowO = RowO + 1 　　　　　　End If 　　　　　　RowI = RowI + 1 　　　　Wend 　　　　End With 　　Next Start ' "Webクエリ"シート削除 　　Application.DisplayAlerts = False 　　SheetW.Delete 　　Application.DisplayAlerts = True End Sub

全くプログラミングをやったことがないのですが あがいているのでアドバイスお願いします。 私が利用したい施設は、webで施設の空きを状況の確認、予約できるのですが、 いつも予約で埋まっており、大概キャンセルをみつけて利用しています。 キャンセルはそこそこ出るらしいのですがタイミングが合わないと 全く予約が取れないことがあるので困っています。 そこで自動で空き状況を確認してくれて、空きができたらメール通知をしてくれるプログラムは作れないかと思いました。 予約サイトはjavascriptが使われており、色々条件を選択し検索すると○、×で空きがわかります。 検索でなにかとっかかりを探していたところ ・ruby,php,perl等の言語がおすすめ ・スクレイピングをする ・javascriptが使われているのはめんどう ・画像で空きを判定する ・メールを送信する ・レンタルサーバーを使う このような情報を集めました。 あっちこっちのサイトを見ながら実践していたのですが ほぼ理解ができず、何となく書いてあることを雰囲気でやってみるができないという繰り返しで 時間だけが過ぎ、何をすればいいのかわからなくなりました。 ネットで断片的な情報を集めてどうにかなるかなと思ったのが甘かったようです。 どこから手を付ければよいか何かアドバイスがほしいです。 （おすすめの本を教えていただけると嬉しいです） また本を2冊程度読むやる気はあるのですが その程度でくめるプログラムなのでしょうか？ よろしくお願いします。