• 締切済み

あるサイトの商品ページをすべて取得したい

http://japan.webike.net/ ↑こちらのサイトの商品詳細ページのURLをすべて取得したいのですが、何か方法はありますか? 動的ページが生成されてしまうので、ソースが変わってしまいます。

みんなの回答

  • think49
  • ベストアンサー率59% (285/482)
回答No.3
全文を見る
すると、全ての回答が全文表示されます。
noname#203464
noname#203464
回答No.2

最近の状況を把握してなく的確な回答はできませんが >何か方法はありますか? 基本的には手操作で全てのリンクを辿って表示し印刷すればいいだけですが。 まぁ場合によっては大量にあって「めんどくさい」かも知れませんが 自分の要望を実現したいなら少々の苦労は我慢しましょう。 とはいえ、お客が見る為のホームページですから見ていてイヤになり 飽きられるような作りにはなってないでしょう、なので人力での追跡は多分可能だと思われます。 質問の意図は「自動的に」でしょうか。参考に検索例 https://www.google.co.jp/?gws_rd=ssl#q=%E3%83%96%E3%83%AD%E3%82%B0+HP+%E4%B8%B8%E3%81%94%E3%81%A8%E4%BF%9D%E5%AD%98+%E3%83%95%E3%83%AA%E3%83%BC%E3%82%BD%E3%83%95%E3%83%88 をヒントに探していけばもっと目的に近いモノが見つかるでしょう。

全文を見る
すると、全ての回答が全文表示されます。
  • ORUKA1951
  • ベストアンサー率45% (5062/11036)
回答No.1

firefox + scrapbook( https://addons.mozilla.jp/firefox/details/427 ) ドメインと階層の深さを指定して・・

全文を見る
すると、全ての回答が全文表示されます。

関連するQ&A

  • PHP 各商品毎にSNSボタン 設置

    SNSボタン設置について質問です。 ショッピングサイトなどでよく見かける、各商品ごとにfacebookのいいね!ボタンなどを設置する方法を教えて下さい。 各商品ページはPHPで生成されています。CMSは使用しておりません。 ボタンを生成する時に指定したURLだけをシェアするボタンを張る方法はわかったのですが、 それを各ページのURLを自動で取得するにはどうすればいいでしょうか? 設置したいボタンはfacebook、ツイッター、google+1なのですが、 ツイッター、google+1ボタンは作成する時に、URLを指定しなければ、そのボタンが表示されているページのURLが自動で取得されるということでしょうか? それともとりあえずトップページのURLを入れてボタンを作成し、それをPHPで取得した、自分自身のURLと置き換えるということでしょうか? どうかわかりやすく解説していただけると助かります。 このサイトの各商品ページのようなものをイメージしております。↓↓ http://www.ttrinity.jp/ よろしくお願いします。

    • ベストアンサー
    • PHP
  • あるサイトにあるページを全て取得したいのですが

    こんにちは。質問があります。(少し長文になると思います) 私はとあるサイト(データベースを利用した情報系サイト)をよく利用しているのですが、 このサイトは例えば花などの情報をまとめてあるサイトとして、 4000件程度の花が登録されていて、クライアントのボタン一つで「育てやすさ」「何月から栽培 できる」「人気がある」など画像付で並び替えができるサイトとします。(このサイトをBサイトとします) さらに並び替えた画像をクリックすると「専用ページ」に飛んで詳しい育て方や実際育てている 写真などが掲載されています。(さらにはその花の命名者など数多くの情報が登録されていて 非常に有用なサイトです) 私はそのBサイトの並び替えなどのシステムがとても使いにくいためいつもイライラしていました。 (ページも非常に見にくいです) ならばいっそ自分で作ってしまおうと思い、初めてphpとmysqlを勉強してようやく最近完成しました。 作り方として 並び替えはデータベース内で行いphpで呼び出す形として、花の名前や値段、育て方や写真のパスなども全てデータベース に入れ、phpで文字などを出力させるというサイトにしました。(画像はサーバーに置いてあります。 データベースに今情報を入れているのですが種類が4000種類以上もあるためおそらく何年もかかると思いますが今は少しずつ入れています) それでアップロードしてとりあえず予定道理の動きはしているのですが、一つ困ったことがありまして 、文字情報を全てデータベースに入れているため検索にまったくひっかからないのです。 例えば 「チューリップ」「育て方」と検索しても私のサイトは絶対ひっかかりません。 これではせっかく作ったのに誰にも使ってもらえません。 しかし、そのBサイトは「チューリップ」「育て方」と検索すると「チューリップの専用ページ」が検索にヒットします。 私も専用ページは設けていますが、そのページもデータベースから文字など全てphp出力なので検索にはひっかかりません。 Bサイトが検索にヒットするということは、ちゃんとhtml上にチューリップまたは育て方という文字が存在するということになると予想できるのですが・・4000以上もの内容の異なったhtmlのページがサーバー上に本当に存在しているのでしょうか・・。 そうでないと説明がつかないのでそういう結論に行き着いたのですが間違いないでしょうか・・? そうすると私も一つ一つhtmlのページを作らなければならないのですが何年もかかる作業に なりそうなので、Bサイトが本当に4000ものページを持っているのか知りたいのですが、 相手のサーバーにあるページを全て取得する方法は存在するのでしょうか?

  • ページ内の特定の部分の取得

    http://nekota.jp/cqst/testtest 上記ページの、「詳細」というリンク内のURLをjavascriptで取得したいのですが、どうすればいいでしょうか?ページのソースは変更できません。どなたかご存知の方いらっしゃいましたら宜しくお願い致します。

  • 動的なページのサイトマップの書き方について

    こんにちは。 SEOで、GoogleのWebマスターツールを使っています。 知りたいのは、たとえば「detail.php」で商品詳細ページを動的に生成しているとき、 Googleに送信するXMLサイトマップの書き方は、次のどちらが相応しいのでしょうか? (1)detail.phpのみでOK (2)detail.php?id=1、detail.php?id=2…と存在する商品の分だけリストを作る ECショップを運営しているのですが、商品詳細ページは 商品ID(4ケタまでの番号)で自動的に生成しております。 実際に自分で検証してみたのですが、 (2)でリストを作って送信した当初、8割以上インデックスされました。 ところが、今年の9月か10月ごろに、Webマスターツールの機能が一部 変更されたあと、どんどん減少し、今では2割程度しかインデックスされていません。 ちなみに、商品点数は、4000点あまりです。 心配なのは、確実に存在している商品ページとはいえ、 動的なページを大量に送信すると、スパム扱いにならないかということです。 Googleは50,000URLまでは1つのサイトマップで対応されるそうなので、 数的には問題ないと思いますが、動的なページの扱いが分からず、 模索している状態です。 かなり技術的につっこんだ話になるかと思いますが、 ご回答いただければ大変助かります。よろしくお願いいたします。

    • ベストアンサー
    • SEO
  • カテゴリー商品の前後ページを取得する方法

    あるカテゴリーの商品詳細ページで前後詳細ページへのリンクを設けたいのですが、 後ろページの取得は上手くいきますが、前のページの取得がうまくいきません。 カテゴリーと商品は別テーブルで関連付けテーブルで紐づけさせてます。 PHP+MySQLで構築中です。 ・カテゴリー関連付けテーブル(catgory_term) --------------- | category_id | id | --------------- ・商品テーブルテーブル(items) ----------------------- | id | title | url | ・・・・・・・・・ ----------------------- SQL文は下記のような感じです。(並び順でもSQL内容は変わります.。下記の例は商品ID降順) SELECT items.title,items.id,items.url,MIN(items.id) FROM category_term Left JOIN items ON category_term.id = items.id WHERE category_term.category_id = 'カテゴリーID' AND items.status = 'publish' AND items.id > '商品ID' お手数をおかけしますがご教授いただける幸いです。

    • ベストアンサー
    • MySQL
  • URLからそのページのタイトルを取得したい

    こんばんは。 任意のURL(例:http://okwave.jp/)から、そのページのタイトルを取得したいのですが、どのようにすれば良いでしょうか。 なるべく簡単な方法をお願いします。 ちなみに http://okwave.jp/qa1965843.html のソースではうまくいきませんでした。 それでは、よろしくお願いします。

    • ベストアンサー
    • PHP
  • VBS「開いているページ」のURLを取得したい

    VBSで、「現在開いているIEのページ」のURLを取得する方法、 もしくはそれが載っているサイトなどはありませんでしょうか? http://www.happy2-island.com/vbs/cafe02/capter00706.shtml を参考にしながらやってみたのですが、 「現在開いているページ」の取得方法がどうしてもわからず… 使用方法としては、 (1)IEのツールバーにオリジナルのアイコンを作り、 (2)それがクリックされた際に表示されていたページのURLを、テキストファイルに保存。 というスクリプトを作りたいと思っています。 初心者で、ネットや本で調べ調べやっているのですが、 中々うまくいかず…。どうかご助力お願いいたします。

  • 次へのページの内容を取得

    今見ているサイトで多数の商品があり、1ページ30件でしか表示がなく 1000件以上あるので次へのページに行くのが大変苦労しております。 商品の登録を行うため、simple html domを利用して情報を取得しています。 しかし、次のページの商品を取得する方法が思いつきません。 手間はかかりますが、例:1~30(全1500件) とかの部分を取得し 全ページの取得もできると思いますが もっとスマートな取得方法はありませんでしょうか。 ご教示のほどよろしくお願い申し上げます。

    • ベストアンサー
    • PHP
  • PHPで外部サイトの内容を取得する方法

    いまPHPをやっているのですが。外部サイトのソースを文字列で取得する方法はあるのでしょうか? (例えばwikipediaの内容を文字列で取得して echo で表示させたい) wikipediaの内容はソースを見れればいいだろうと思ったからです。 fopenでURLを入れれると書いていたのでしてみたのですがタイムアウトしてうまくいきません。 なので例としてwikipediaのページのソースを取得しechoで表示させるプログラムを教えていただけませんでしょうか?。よろしくお願いします。

    • ベストアンサー
    • PHP
  • VBA:webページのデータ取得

    お世話になります。 現在、VBAを勉強しており、webページのデータを取得するツールを個人的に開発しております。開発中に不明点がでましたのでご質問いたします。 ※インターネット上で一通り探しましたが、解決策は見つかりませんでした。 現状、HTMLファイルのデータは取得はできております。(ソースといわれるものです) ただ、ソース上にはjavascriptで記述されているところが多々あり、javascript側でHTMLを生成している場合、このデータを取得することができません。 ソースではなく、実際にwebページに表示されているHTML・CSSなどを取得したいと考えておりますが、取得する方法は存在するのでしょうか? もしご存知でしたらご教示いただきたく思います。 以上、よろしくお願いいたします。