動的なページのスクレイピング

動的なページのスクレイピング まず下記のurl御覧ください。 https://detail.chiebukuro.y...

donttalktome さんからの 回答

  • 2019-03-11 07:39:18
  • 回答No.1
donttalktome

ベストアンサー率 90% (10/11)

実ブラウザ上でスクロールしないと読み込まれないなら
ヘッドレスブラウザ上でもスクロールしないと当然ダメです。
phantomjs scrolldown
くらいの検索語で調べればコードはすぐわかるでしょう。
補足コメント
ont_rt

お礼率 61% (81/132)

rubyのcapybaraを通してphantomjsを動かしているんですが

session.visit "https://sv.j-cg.com/compe/view/entrylist/1489"
session.execute_script('window.scroll(0,1000);')



session.visit "https://sv.j-cg.com/compe/view/entrylist/1489"
execute_script("window.scrollBy(0, window.innerHeight);")

を使ってもスクロールされたデータが取れないので今回質問しました

調べてもrubyでの書き方はわかりません(こういうのhttps://stackoverflow.com/questions/33484890/how-to-access-elements-from-finite-scroll-with-capybara-poltergeist-and-railsを参
考にしても。)

正しい表記法を教えてください。
投稿日時 - 2019-03-11 19:16:08
お礼コメント
ont_rt

お礼率 61% (81/132)

あ、なんか調べたいページが出ちゃってますが…
スクレイピング対象は特に気にしないでいただけるとありがたいです
投稿日時 - 2019-03-11 19:17:21
この回答にこう思った!同じようなことあった!感想や体験を書こう!
この回答にはまだコメントがありません。
あなたの思ったこと、知っていることをここにコメントしてみましょう。
関連するQ&A
ページ先頭へ