検索結果

GASでスクレイピングを行いたいと思います。 pythonででスクレイピングを行う場合、ログインが必要なサイトの場合には、（すでにブラウザでログインしていてもそのログインは有効とならず）seleniumを用いて、毎回ログインする必要があると思います。 GASでparserなどを活用してスクレイピングを行う場合、ログインが必要なサイトの場合には、やはりログインの部分を作成する必要があるのでしょうか（ネットで見るとちょっと私には高度なので）。 ログインしている状態で、そのまま見に行ってくれるわけにはいかないものなのでしょうか。 （実際にやってみろと言われそうですが）

Nokogiriスクレイピングがうまくできない。 RubyのNokogiriを利用して、下記サイトのデータを整理するためにスクレイピングをしようと思っています。 https://sv.j-cg.com/compe/view/entrylist/1274 具体的には、サイト中部の「登録デッキ」の一覧にある使用クラスのデータをまとめるプログラムを組もうと思っています（添付画像参照）。 XPathのサイトを参考にしつつ、試しにこの使用クラスの画像データをテキストで出力するため以下のコードを組んで実行しました。 require 'nokogiri' require 'open-uri' url = 'https://sv.j-cg.com/compe/view/entrylist/1274' charset = nil html = open(url) do |f| charset = f.charset f.read end doc = Nokogiri::HTML.parse(html, nil, charset) p doc.xpath('//img[contains(@src,"clans")]') ですが、 [] と表示されるだけで何も取得できません。 containsの引数を（取得対象のimg要素内の）どの値に変えて試しても、色んな表示が出はするのですが肝心の画像URLの部分が取得できません。 （ページのソースコードを見た所、使用クラスの判別が画像URLでしか出来ないため、URLをまず取得しないことには目的を達成できないだろう、という前提で話しています。） 私の推測では、どうやらURL部分だけjsonファイルらしい（他者には見られない）外部のファイルから引っ張ってきているため、プログラムから読み取ろうとしてもうまくURLを引用できないのだと思ってます。 ですが、ブラウザ上の検証ツールではURLが表示されるのにプログラムでは正しく読み込めないのが疑問です。 何にせよ、うまく使用リーダーを整理する方法があったら教えていただきたいと思います。 （ちなみにスクレイピングで画像URL等を取得した後のうまい整理方法も現段階ではよくわかっていないですが、とりあえずこのURLデータ取得だけでもまず理解してからということで質問をしています。）

私はネットショッピングが大好きで、普段からAmazon、楽天、Yahooショッピングなどで買い物しております。 ネットショッピングで買い物するようになって気づいたのですが、サイトが違うと、同じ商品にも関わらず値段が全然違うのですね。(もちろんですが...) 同じ商品の価格を比較してくれる「価格.com」のようなサイトもあるのですが、私が普段買い物するような商品は価格.comに載ってないような商品やサイトもあるため、自分でネットサーフィンしながら、安いサイトで買っています。 その際に、商品が同じであるかどうかは写真だけでは判りません。そこで使っているのが、「JANコード」です。 これは商品ごとに割り当てられた13ケタの数字なので、商品名や写真で同じ商品か分かりにくい場合にも判別することができました。 最近スクレイピングというテクニックの存在を知りました。 もちろん相手のサイトに迷惑がかからないように気を付けないことは承知しております。 岡崎図書館事件の様なことにならないために、スクレイピングするのは一回限りです。 私がやりたいことですが、Lohacoのサイトで商品の一覧から、 (1)商品名(2)値段(3)JANコード(4)URL 以上の４つを抜き出して、エクセルにまとめることは可能でしょうか？ また可能の場合は、どのようなプログラミングで出来ますでしょうか。 LOHACOホーム>コスメ・スキンケア・美容>スキンケア・基礎化粧品>化粧水>エイジング化粧水 http://lohaco.jp/g4/55-5501-5501004-55010040002/?resultCount=100&va... 例えば以上のページです。このページにはスキンケア用品が74商品登録してあります。(現時点) 最終的にはExcelのA列に商品名、B列に値段、C列にJANコード、D列にURLを抜き出したいです。 私はこれまでプログラミングを勉強したことがなかったため、かなりハードルが高かったです。 いちを「データを集める技術(佐々木拓郎 著)」と「ExcelVBAでIEを思いのままに操作できるプログラミング術」という本を購入して勉強してみました。 しかしプログラミングの知識が全くないまま進んで行ったために、一か月くらい勉強しましたが、途中で挫折してしまいました。 また、VBAの基本から勉強しないと思い「Excel VBA 本格入門」という本を勉強しましたが、こちらは一通り理解することができました。 既存のスクレイピングツールを色々試したのですが、「Octoparse」というツールがなかなか使いやすかったです。 しかしホームページごとに構成が違ったためか、なかなか思い通りにツールが動かず、上のサイトのJANコードを抜き出すことができませんでした。 回答を頂ければ幸いです。よろしくお願いいたします。 補足もしプログラミングにお詳しい方がいらっしゃいましたら、一つの例として参考にさせて頂きたいので、上記の質問が解決できるプログラミングをご教授頂けると嬉しく思います。 ※言語は問いませんので、幅広い回答をお待ちしております。

WEBスクレイピングでログインまで自動化したいのですが、ログインボタンの要素が見つからず困っています。 <canvas>要素上の処理であることは確認できましたが、どうログイン処理を記述するかで詰まりました。 座標を具体的に指定して組めはしましたが、異なる端末環境で使用する予定の為あまり意味がありません。 JSから数値取得して座標指定するといったことはできるのでしょうか？ VBA/SELENIUM環境です。 また他に具体的に良い方法があれば教えて下さい。よろしくお願いします。

こちらのサイトの利用規約について、 https://www.alc.co.jp/policy/other/?_ga=2.217780950.1991101772.1649155659-1480968598.1649155659#eowp 利用規約に「利用者は、アルクグループ、提携先、広告主に事前の文書による承諾を受けた場合を除いて、サービスもしくはソフトウェアまたはそれらに包含される内容（一部あるいは全部を問わず）を複製、公開、送信、頒布、譲渡、貸与、翻訳、翻案、使用許諾、転載、再利用しないことに同意するものとします。」 と書いてあったのですが、この場合、スクレイピングは可能ですか？

PHP Simple HTML DOM Parser を使って、スクレイピングをやってみようと 試行錯誤している最中なのですが、上手く出来なくて困っています。 具体的に分からないのは、以下の点です。 -------------------------------------------------------------------- $html = file_get_html('http://...'); foreach($html->find('ここの指定方法が分かりません') as $item); echo $item->plaintext; -------------------------------------------------------------------- こういった場合の文字列の指定方法は、 何をどう勉強すれば理解出来るようになるのでしょうか。 具体的に教えて頂けると助かります。 また、http://www.iimy.co.jp/item/p-33969.htmlに記載されている、 「1口以上の価格」の数値をこの方法で表示させたい場合（単位の"円"を除く）、 どのような指定方法になりますか？ 「class="infoBoxContents"」を含めれば指定しやすそうだと考えて、 foreach($html->find('.infoBoxContents') as $item); echo $item->plaintext; と記述して、ひとまずこのclassを全て表示させようとしたのですが、 表示されたのは「ポイント 0 ポイント」だけでした。 参考にしたのは以下サイトです。 [PHP Simple HTML DOM Parserの使用方法] http://www.crystal-creation.com/web-appli/technical-information/programming/php/library/simplehtmldom/manual.htm

DesktopのExcel2019を使用しています。 特定のWebからExcelに3分おきにデータを取り込んでいます。 これは正常に動作します。 その取り込んだテーブルデータの一部を別シートのセル（Sheet1A1とします）から参照しています。そのSheet1A1の値が自動スクレイピングの結果変更になったとき、特定のマクロを実行することを試していますが現在まで実行されていません。 VBAはイベント系列のWorksheet_Change(ByVal Target As Range)を使用しています。VBAコードの置き場所はSheet1のあるシートのWorksheetのコード用域です。 Sheet1の任意のセルの値をマウスカーソル変更するとマクロは実行されます。 Worksheet_Changeは、自動webスクレイピングで更新したデータを検知できないのでしょうか？

amazonでapiを使わず、スクレイピングをしたいと考えています。ソースを取得後、取得ソース中の下記部分を正規表現で抽出したいと考えていますが、実行すると、「Array ( [0] => Array ( ) [1] => Array ( ) )」 と表示されてしまいます。どこに問題がありますでしょうか？ <a href="http://www.amazon.co.jp/gp/offer-listing/B000JJRWIU/ref=sr_1_olp_9/377-5056805-4862865?ie=UTF8&s=dvd&qid=1330077227&sr=1-9">9 点の全新品/中古品を見る</a> <span class="otherprice">￥ 1,197</span>より</span></td></tr><tr><td class="pointsEarnable"></td></tr><tr><td class="fastTrackList">通常5~7日以内に発送</td></tr> <tr><td class="srListSSS"><span class="srEmphSSS">通常配送無料</span></td></tr> <?php include( "scrape_func2.php" ); $_rawData = getURL( "http://www.amazon.co.jp/%E6%81%8B %E6%84%9B-%E5%A4%96%E5%9B%BD%E6%98%A0%E7%94%BB- DVD/b/ref=bw_ab_562016_5? ie=UTF8&node=589344&pf_rd_p=106708969&pf_rd_s=left- 1&pf_rd_t=101&pf_rd_i=562016&pf_rd_m=AN1VRQENFRJN5&pf_rd_r=1G XM2TY1R5SDE3MA35XJ" ); $_rawData = mb_convert_encoding($_rawData, "SJIS", "ASCII,JIS,UTF-8,EUC-JP,SJIS"); /*<a href="http://www.amazon.co.jp/gp/offer-listingで始まり、</span></td></tr>で終わる部分を抽出*/ preg_match_all("/(<a href=\"http:\/\/www.amazon.co.jp\/gp\/offer-listing <\/span><\/td><\/tr>)/", $_rawData, $match); print_r($match); ?> scrape_func2.php <?php function getURL( $pURL ) { $_data = null; if( $_http = fopen( $pURL, "r" ) ) { while( !feof( $_http ) ) { $_data .= fgets( $_http,1024 ); } fclose( $_http ); } return( $_data ); } ?>

AmazonやYoutubuなどの大手サイトでは度々スクレイピングが禁止されていますが、ユーザーがサイトで検索をかけて閲覧することができる範囲であれば運営側が禁止と明言していても、よくてサービス利用禁止になる程度で法律には触れないと私は考えていますが、その是非を教えてください。

ニコニコ動画で自分がみた動画の履歴をスクレイピングしたいと思っているのですがどうにもコードを作成中に行き詰ってしまいました。 下記のURLまでは知恵袋に投稿をして教えて頂いたのですが、こっからどうすればURLが取得できるのかわかる人は教えてください！ http://codepad.org/abOibM6Z この上記のURLのPHPを作動すると下記のものしか出力されません！ array(0) { } 誰か教えてください！ それかもっと簡単に自分がみた動画の履歴が見れるAPIなどがあれば教えてください^^

スクレイピング処理後、元のURLが/hoge.jpgなのでURLが正しく表示されません。 修飾子？みたいなので文章を追加して表示させるしか方法はないのでしょうか？ このような状態です。 <img src="/hogehoge.jpg">の状態だと自分の管理しているHPのURLで開いてしまう。 これを <img src="/hogehoge.jpg">を<img src="http://hogehoge/hogehoge.jpg">としたいです。 あと、画像のサイズは変更できるのでしょうか？ よろしくお願いします。

**お世話になります、python初心者ですpython2.7,beautifulsoupを用いて、競馬データをスクレイピングしておりますが、どうにも困っております。 １行だけはprintすることが出来るのですが、２０行をスクレイピングするスクリプトと、併せて、CSVに出力させるスクリプトが分かりません。 ** 発生している問題・エラーメッセージ **csvに保存が出来ないこと ２０行をまとめてスクレイピングすることが出来ないこと` ** ###該当のソースコード python2.7 -*- coding:utf-8 -*- import urllib2 import codecs from bs4 import BeautifulSoup f = codecs.open('horse.csv', 'w', 'utf-8') f.write('race_date,kaisai,weather,race_number,race_name,tousuu,frame_number,horse_number,single_win_ratio,popularity,horse_arrival,horse_name,weight,distance,baba, race_time,difference,horse_pass,pace,nobori,horse_weight,win_horse,prize_money'+ u"\n") tpl_url='http://db.netkeiba.com/?pid=jockey_detail&id=00663&page={0}' for i in xrange(1, 5): url=tpl_url.format( i ) soup = BeautifulSoup(urllib2.urlopen(url).read(),"lxml") tr_arr = soup.find('div', {'id':'contents_liquid'}).findAll('tbody') for tr in tr_arr: 日付#race_date lrg1= tr.findAll('td')[0].string 開催#kaisai lrg2= tr.findAll('td')[1].string 天気#weather lrg3= tr.findAll('td')[2].string 第○レース#race_number lrg4= tr.findAll('td')[3].string レース名#race_name lrg5= tr.findAll('td')[4].string 映像（この部分、削除したいです） lrg6= tr.findAll('td')[5].string 頭数#tousuu lrg7= tr.findAll('td')[6].string 枠番#frame_number lrg8= tr.findAll('td')[7].string 馬番#horse_number lrg9= tr.findAll('td')[8].string 単勝#single_win_racio lrg10= tr.findAll('td')[9].string 人気#popularity lrg11= tr.findAll('td')[10].string 着順#horse_arrival lrg12= tr.findAll('td')[11].string 馬名#horse_name lrg13= tr.findAll('td',{'class':'txt_l'}) [1] 斤量#weight lrg14= tr.findAll('td')[13].string 距離#distance lrg15= tr.findAll('td')[14].string 馬場#baba lrg16= tr.findAll('td')[15].string タイム#race_time lrg17= tr.findAll('td')[16].string 着差#difference lrg18= tr.findAll('td')[17].string 通過#horse_pass lrg19= tr.findAll('td')[18].string ペース#pace lrg20= tr.findAll('td')[19].string 上り#nobori lrg21= tr.findAll('td')[20].string 馬体重#horse_weight lrg22= tr.findAll('td')[21].string 勝ち馬#win_horse lrg23= tr.findAll('td',{'class':'txt_l'}) [2] 賞金#prize_money lrg24= tr.findAll('td')[23].string print lrg1,lrg2,lrg3,lrg4,lrg5,lrg6,lrg7,lrg8,lrg9,lrg10,\ lrg11,lrg12,lrg13.a.string,lrg14,lrg15,lrg16,lrg17,\ lrg18,lrg19,lrg20,lrg21,lrg22,lrg23.a.string,lrg24 f.close() （参考）下記のコードが苦慮しておりますスクレイピング対象のHTMLの 最初の１行部分でございます。 開催日毎に、これが１つのページに、２０行、連続してございます。 １行しか捕らえられず、困っております。 <tbody> <tr class=""> <td><a href="/race/list/20160807/">2016/08/07</a></td> <td><a href="/race/sum/04/20160807/">2新潟4</a></td> <td>晴</td> <td class="txt_right">12</td> <td class="bml txt_l"><a href="/race/201604020412/" title="3歳上500万下">3歳上500万下</a></td> <td> <a href="/?pid=movie&amp;id=201604020412" target="_blank"><img src="/style/netkeiba.ja/image/icon_douga.png" border="0"></a> </td> <td class="txt_right">15</td> <td class="txt_right">7</td> <td class="txt_right">13</td> <td class="r3ml txt_right">6.9</td> <td class="r3ml txt_right">3</td> <td class="r2ml txt_right">2</td> <td class=" txt_l"> <a href="/horse/2013103614/">チェイスダウン</a> </td> <td>54</td> <td>ダ1200</td> <td>良</td> <td class="txt_right">1:11.9</td> <td class="txt_right">0.3</td> <td>8-8</td> <td>34.5-37.1</td> <td class="r1ml">36.6</td> <td>468(+2)</td> <td class=" txt_l"> <a href="/horse/2013101531/">クリムゾンバローズ</a> </td> <td>300.0</td> 試したこと forなどで、ループさせてみましたが、スキル不足でうまくいきませんでした。 補足情報(言語/FW/ツール等のバージョンなど) python2.7 findAllを多用して、力ずくで作ったプログラムでございます。 先輩の皆様方、御教示よろしくお願いいたします。

独自ドメインがスクレイピングされました。スクレイピングされたサイトはhost.ioです。APIも公開されています。移管する予定のドメイン会社に問い合わせしてみた所、スクレイピング対策はしていない、質問する場を探すならYahooかGoogleで検索と行っても内容的にドメインもしくはサーバー会社で対策しないとダメなような理由は→APIがLinuxコマンド用。ほぼ個人で出来る事柄があればやりますの段階です。 また、詳しい人でも回答が出来ない内容なのであれば、適切に質問出来るサイトを探しています。よろしくお願いいたします。問題のAPI hxxps://host.io/docs#authentication ※画像に出ているサーバー名の部分は既に解約済み。

スクレイピングをするために 下記のようなログインサイトにpythonでログインしたいです。 仮定url ="https://aaaaaaa/signin" <form> <p class="signin-label">ログイン画面</p> <ul class="signin-list"> <li class="signin-item"> <div class="hoge1"> <label class="hoge2">メールアドレス</label><div class="hoge3"> <input id="email" autocomplete="email" class="hoge4" type="email" required=""></div> </div> </li> <li class="signin-item"> <div class="hoge5"> <label class="hoge6">パスワード</label> <div class="hoge7"> <input id="password" autocomplete="new-password" class="hoge8" type="password" required=""></div> </div><p class="txt-right"> <a class="signin-link" href="/d/forgot_password">パスワードをお忘れの方</a></p></li></ul><div class="txt-center"> <button type="submit" class="hoge9">ログイン</button> </div> </form> ★行っているコード import requests from bs4 import BeautifulSoup from urllib.parse import urljoin # メールアドレスとパスワードの指定 MAIL = "aaa@mail.net" PASS = "555" # セッションを開始 session = requests.session() # ログイン login_info = { "email":MAIL, "password":PASS, } # action url_login = "https://aaaaaaa/signin" res = session.post(url_login, data=login_info) res.raise_for_status() # エラーならここで例外を発生させる res.text ※エラー内容 HTTPError: 404 Client Error: Not Found for url:https://aaaaaaa/signin 上記となります。 お知恵拝借いただけないでしょうか。

ウェブページに対して、XPATHを書く事で手軽にテキストデータを取得できないかと思っています。 イメージしているのは、プログラムを書いてスクレイピングするのではなく、ブックマークレットみたいな感じで、ウェブページに対してXPATHを書いたらすぐにスクレイピング結果のテキストデータが取得できるようなものです。 HighlightXPath( http://haraita9283.blog98.fc2.com/?tag=Bookmarklet )っていうのがありますが、こんな感じにブックマークレットを呼び出してXPATHを書いたらパっとテキストデータが取得できるようなもの、ないでしょうか。

初心者ですが宜しくお願いいたします。 環境：EXCEL 2007 簡単な情報を取得してシートに入れていきたいと思っています。 参考サイトを拝見し以下のコードを見つけました。 Sub test() Dim oHttp As Object Set oHttp = CreateObject("MSXML2.XMLHTTP") oHttp.Open "GET", "取得サイトのＵＲＬ", False oHttp.Send Debug.Print oHttp.responseText End Sub 試しに天気予報から今日の天気を取得しようと思い、 http://weather.yahoo.co.jp/weather/jp/27/6200.html　のサイトからＨＴＭＬを取得し、 イミディエイトウィンドウで "今日の天気" の語句を検索しましたが、見つかりませんでした。 他のサイトでも試してみましたが、必要な情報がＨＴＭＬに含まれていないようです。 切り出したい文字列が見つからないのは、取得方法に何か問題があるのでしょうか？ 素人質問で本当に申し訳なく思います。 何か参考になるサイトや参考書等でもかまいませんので、 お知恵を貸していただけると助かります。 宜しくお願いいたします。

pythonで特定のHPの<a>タグから、「title」を取ってきて、「title」.txtとというテキストファイルを複数作りたいのですが、エラーが出て困っています。 beautifulsoupを用いて取ってきたタイトル名をファイル名するソースコードです。 links=soup.findAll("a",href=s,title=fuyou) for link in links: 　title=link.get("title") 　filename=title+".txt" 　print filename 　f2=open(filename,"w").close() >>> バックパック.txt 寝袋（シュラフ）/マット.txt Traceback (most recent call last): File "C:\Python27\test1.py", line 35, in <module> f2=open(filename,"w").close() IOError: [Errno 2] No such file or directory: u'\u5bdd\u888b\uff08\u30b7\u30e5\u30e9\u30d5\uff09/\u30de\u30c3\u30c8.txt' 上のようなエラーが出ます。途中までTXTファイルは出来るのですが、途中からこのようなエラーが出ます。 さっぱり意味が分かりません。どなたか助けてください。

python2.7でbeautifulsoupを用いて、netkeiba.comから競馬情報（騎手の成績）をスクレイピングしています。 定法に基づきまして、『検証』からページのツリー構造を把握して、プログラムを作成しました。 馬名部分の構造が<td class="txt_l"> <a href="/horse/2011105901">テンテマリ</a></td> #テンテマリは馬名 となっておりましたので、"txt_l"を拾い出せるようにスクリプトを作りました。 しかしながら、 馬名以外の"txt_l"は全部スクレイピング出来るのですが、馬名部分だけがNoneと返ってまいります。 エラーメッセージではありませんが、何が原因でNoneとなるのかが、どうしても分かりません。 ちなみに、馬名以外で、ほぼ同様の構造を持つ、『レース名』、構造は <td class="bml txt_l"> <a href="/race/201603020812/" title="3歳上500万円下">3歳上500万円下</a> (3歳上500万円下はレース名) では、問題なくレース名を拾うことが出来ました。 該当のソースコード -*- coding:utf-8 -*- import urllib2 import codecs from bs4 import BeautifulSoup tpl_url='http://db.netkeiba.com/?pid=jockey_detail&id=00663&page={0}' for i in xrange( 1, 2 ): url=tpl_url.format( i ) soup = BeautifulSoup(urllib2.urlopen(url).read(),"lxml") tr_arr = soup.find('div', {'id':'contents_liquid'}).findAll('tbody') for tr in tr_arr: lrg1 = tr.findAll('td',{'class':'txt_l'}) for tr1 in lrg1: print tr1.string 試したこと 馬名以外の('td',{'class':'txt_l'})に準ずる『レース名』は、うまく拾うことが出来ました。 lrg1 = tr.findAll('td',{'class':'txt_l'}) で馬名を得ることが出来ない理由、併せて馬名を拾えるスクリプトを御教示くださいますよう、よろしくお願いいたします！

goutteを使って2箇所スクレイピングをして、1ページに表示したいです。 1カ所目(http://www.example1.html)はうまく表示出来たのですが、2カ所目http://www.example2.htmlが出来ません。 <?php require __DIR__.'/goutte.phar'; use Goutte\Client; $client = new Client(); $crawler = $client->request('GET', 'http://www.example1.html'); ?> <div> <?php $crawler->filter('table')->eq(0)->each(function($today) { echo $today->html(); }); ?> </div> <?php require __DIR__.'/goutte.phar'; use Goutte\Client; $client = new Client(); $crawler = $client->request('GET', 'http://www.esample2.html'); ?> <div> <?php $crawler->filter('table')->eq(0)->each(function($tomorrow) { echo $tomorrow->html(); }); ?> </div> 変数名を変えて見ましたがうまく行きませんでした。どうすれば表示されるのでしょうか。

複数のクライアントからサーバー経由で平行してスクレイピングをする場合、適している言語・フレームワークは何でしょうか？