• 締切済み

ホームページ巡回ソフト

ホームページ巡回ソフトを探しているのですが 以下のような機能を持ち合わせているものはありますでしょうか。 ・あらかじめ巡回するURLをテキストファイルに記述しておいて 　それに従って巡回して別ファイルに保存する。（html or txt） ・できればテキストファイルからではなく、連番部分を定義して 　その定義から自分でURLを生成しながら巡回する。 　（http://www.test0001.com→http://www.test0002.com→・・・といった感じ） ・画像、リンク先保存、ローカルで見るためのリンクURL置換えなどは一切必要ない。（持っていなくてもいいし、OFFにできるものでもいい） 　指定したページのテキスト情報のみを高速にダウンロードする。 ・URL一つ一つに１ファイルでもいいし、１つのファイルに追記方式でテキストを次々と追加していく形でもOK ・フリー、もしくは試用期間付きのシェアウェア 　（ただし機能制限中でも今回の機能が実現できる） ・巡回するページはJavaやフラッシュが使われているものではない。 心当たりがあれば教えていただけると助かります。 以上、よろしくお願いいたします。

みんなの回答

noname#39970
noname#39970
回答No.2

自分ならfirefoxで urlリストのテキストをbookmarkに変換するものを作成し取込み フォルダをタブで開く で全オープン　おわり かな。 というか巡回用のフォルダを作ってブックマークを移して行くだけで巡回するときはフォルダをタブで開けば良いだけだからリスト作る方が手間

whiteline507
質問者

お礼

ダウンロードしたいページは何百万とあるので一度にオープンするのは 厳しいのかなと思っています。HDD容量はたくさんあるのですが、 メモリはそれほど積んでいないので．．． できればテキストやツールで直接ファイルへと落とせるツール、コマンドを探しています。 ファイルもURLファイルではなくテキストファイルとなるなら１ファイル あたりのサイズが減るので非常にいいと思っています。

  • koko_u_
  • ベストアンサー率18% (459/2509)
回答No.1

簡単なところで wget -r -nc -i file とか？(まぁ連番は予めスクリプトで生成するとして。) (以下どうでもいいこと) 昔はダイアルアップ回線だったから Web サイトの巡回ソフトもそれなりに需要があったけど最近はめっきりですね。 いまだに使うのは、何かのマニュアルが Webサイトにしかなくて、しかも PDF 形式でズラズラ載せてあるようなケースくらいかなぁ。

whiteline507
質問者

お礼

回答ありがとうございます。 コマンドベースでもWebページダウンロードはできるんですね。 早速http://members.at.infoseek.co.jp/futora/wget153/から ダウンロードして使ってみました。 wget http://www.yahoo.co.jpやwget http://www.google.com であればうまく保存できるのですが私が保存したいのは 情報がデータベース化されたホームページで http://www.database.com/infoid?search=12345 http://www.database.com/infoid?search=12346 といったようなURLアドレスになり、こういったものをダウンロード しようとするとinfoid?search=12345: Invalid argument と表示されてダウンロードが正常に行われません。 今回のような多少特殊なアドレスの場合、どのようにすればよいか 分かりますでしょうか。よろしくお願いいたします。

  1. カテゴリ
  2. パソコン・スマートフォン
  3. ソフトウェア
  4. その他(ソフトウェア)

関連するQ&A

  • 自動巡回＋一部のテキストを抽出するソフト探しています

    ホームページのデータを収集してEXCELで表にしたいのですが、 ホームページのURLおよびHTMLソースは一定しているものの、 収集したいデータは数百ページもあり、いちいちソースを開いて、 探して抽出するのは非常に非効率で、途方にくれています。 一定の連番の持つURL(予め用意したURLリスト)を自動巡回して、 HTML内の一部のテキスト(行指定して１行～数行)を抽出するソフト探しています。 もちろんHTMLソースが一定の法則になっています。 (htmlタグは変わらないが、テキストとURLだけは違う・・・) 例えば、 　http://www.***.com/data/1255.html 　http://www.***.com/data/1256.html 　http://www.***.com/data/1428.html のようにURLは一定していること。 個別のHTMLソースでは例えば、 18行目の・・・ 『 <td width="100"><b><font size="-1">●●●●</font></b></td>』 　の●●●●だけを抽出するとか・・・ 　これをCSVやウェブでテキストベースで表示できれば幸いです。 そのようなソフトはございますか？ よろしくお願いします。

  • ＵＲＬ（１００以上）巡回ソフト

    指定したＵＲＬ（１００以上）を巡回して、 そのソースをテキスト形式で保存するツールがあれば、 教えてください。 フリー、シェアは問いません。

  • Web巡回してローカルファイルにするソフト

    こんにちは。 Webを巡回し、ローカルディスクにファイル化するソフトを探しています。 過去の質問なども参考にさせて頂いたのですが どれもしっくりこなくて。。。 昔、GetWeb!なるシェアウェアを使っていたのですが これはファイルの数が増えすぎて HDDの動作がもたつくのでやめました。 市販ソフトではNetRecorderがありましたが こちらは単一ファイルにサイト丸ごとがまとめられて 重宝しました。 ただ、閲覧にも同ソフトが必要ですが。 探しているソフトは ・あるURLを指定し、そのリンク先まで辿ってローカルディスク上に保存し、オフラインで参照できるもの ・できればあまりファイルの数は増やしたくない。 といったものなのですが おすすめのソフトがあれば教えて頂けないでしょうか。 ２点目については多少目をつむってもかまいません。 また、フリーソフトが一番いいですが シェアでも市販ソフトでもいいです。 宜しく御願いします。

  • Web巡回ソフト

    インターネットを巡回してWebページにアクセスし、必要な情報をとってくる（ファイルなどにおとす）ソフトをご存知ないでしょうか？ 前もって巡回するページを記録しておき、その通りにアクセスする感じのものです。 例えば、 http://www.a-dos.com/jp/products/sitearc/ などがそれにあたりますが、マニュアルを読む限り、スクリプトプログラムを書いたりと、操作が難しい気がするので。

  • インターネットのページに表示されているテキストを保存する良い方法はない

    インターネットのページに表示されているテキストを保存する良い方法はないでしょうか？ ものすごく文章の多いページをテキストで保存したいのですが、選択・コピー・貼り付けにものすごい時間がかかってしまいます。 また「ファイル＞名前を付けて保存」でも同様に時間がかかってしまいます。 FireFoxだと保存は早いのですが、リンクが貼られているとそのURLが出てしまい、後で消すという手間が発生してしまいます。 リンクURLは抜きで、テキストのみを保存する良い方法があったら、教えていただけないでしょうか。

  • link rel canonicalについて

    link rel canonicalを入れることになって調べてたのですが色々分からず質問させてください。 違うURLで同じページとみられる場合に使う。。 例えば下記のURLのような場合全部同じページへ飛ぶ。。 http://www.test.com/index.html http://www.test.com/ http://www.test.com http://test.com 上記でindex.htmlに、正しいURLを2番目のにしたい場合、 <link rel="canonical" href="http://www.test.com/" />と記述するということで正しいでしょうか？ 又、ルートディレクトリにsitemap.htmlというファイルがあったとして、 このファイルが特に重複するようなページで無い場合には記述はいらないということでしょうか？ 仮にこのsitemap.htmlに<link rel="canonical" href="http://www.test.com/" />を記述してしまっている場合よろしくないでしょうか？ もう一つ質問になってしまうのですが、PHPが絡むファイルがある場合、 例えば応募フォームで下記フォルダで、htp://www.test.com/oubo/でsend.htmlが表示されるような場合。 /oubo/index.php（画面、入力等の制御） /oubo/send.html（入力ページ） /oubo/confirm.html（確認ページ） /oubo/thnk.html（完了ページ） この場合、 htp://www.test.com/oubo/でURLを打っても、 htp://www.test.com/oubo/index.phpでURLを打っても表示されるページは同じですが、 この場合に重複とみなされるのでしょうか？ こういった場合に/oubo/send.htmlに、 <link rel="canonical" href="http://www.test.com/oubo/" />という記述をすれば良いということなのでしょうか？ 頑張って勉強したいのでご教授お願いします！

    • 締切済み
    • SEO
  • FC2で携帯にホームページをのせているんですが、

    Moba8.netで広告の認証を受け、テキストをFC2の編集ページのリンクテキストへ貼り付けしましたが、反映されません。リンクＵＲＬへ貼るとリンクＵＲＬの形式が違いますとでます。 どのようにして貼ればいいのか教えてください。

  • ファイル名一括変換ソフト

    ■[フォルダ０]の中 [保存1] ＞[フォルダ１] ＞ [テスト] ＞ Text.txt [保存1] ＞[フォルダ２] ＞ [テスト] ＞ Text.txt [保存1] ＞[フォルダ３] ＞ [テスト] ＞ Text.txt [保存1] ＞[フォルダ４] ＞ [テスト] ＞ Text.txt ">"は下位のフォルダです。 こういうフォルダ階層がありファイルがあったときに 一括で各Text.txtの名前を たとえば [保存1] ＞[フォルダ１] ＞ [テスト] ＞ Text.txt だったら、 "Text.txt" から "フォルダ1.txt"にしたいのです。 数階層上のフォルダ名を指定し、ファイル名にリネームしたいのですが、なにかよいフリーソフトはないでしょうか。 まとめると、 Windowsの検索機能後、ドラッグ&ドロップ、もしくはソフトの検索機能で変更したいファイル名を指定し、好きなフォルダ名を指定してファイル名に付加できるものがないかと思っています。 いままでリネームソフトにはNamery というソフトを使用してきたのですができませんでした。 どなたか、ご存知のソフトがありましたら、教えていただけると助かります。よろしくお願いいたします。

  • ホームページ（リンク先を含む）を丸ごと保存するソフト

    あるホームページを丸ごと（そのホームページ以外に、そのホームページにあるリンクのリンク先ページや、PDFファイルなどのダウンロードファイルなどすべて）保存できるソフトを教えてください。 フリーソフトでもあるですが、使い勝手や機能が豊富なら市販ソフトを購入しようと思います。 よろしくお願いします。

  • ホームページのまるごと保存用のソフト

    お知恵を拝借させてください。 あるホームページ（http://www.abc.co.jp のような）を そのページからのリンクを含めて（外部へのリンクはのぞいて） 丸ごと、そのまま保存できるようなソフトを探しています。 できれば、リンク先を(1)元々のURLのまま、(2)ハードディスク 上のファイル名に変更（後々オフラインで、内容を確認できる） の２種類のオプションを持っているソフトがあればと思います。 web上ではかなりの数のソフトが紹介されており、どれが良いのか わからない状態になってしまったため、お勧めのものがあれば 教えてください。 よろしくお願いいたします。

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する