- ベストアンサー
wgetでfile1とfile2を順番にダウンロードする方法は？
zemの回答
こんにちは、当方の環境は Fedora Core 4 です。wget のバージョンは 1.9 です。 $ wget --version GNU Wget 1.9+cvs-stable (Red Hat modified) テスト用のスクリプトを作ってみました。 -------------------- #!/bin/sh wget ftp://.../file1 -t1 --passive-ftp -q wget ftp://.../file1 -t2 --passive-ftp -q -------------------- が、いわれたように同時にダウンロードされるという現象は確認できませんでした。file1 がダウンロードされたあと、改めて file1 をダウンロードしています。 もしかしたらバージョンの違いかもしれませんが…… -q オプションをはずしてみて、実際にどのような動作が実行されているか目で確認してみるというのも１つの方法だとおもいます。 あとは、何か wget がバックグラウンド・モードで動作するような設定がどこかにありませんでしょうか。ログインしていない時はバックグラウンド・モードで動作するようなので、cron で自動実行しようとするのであれば、何か工夫が必要かもしれません。 あとは、出力するファイルのダウンロード先ディレクトリを別に指定する方法は如何でしょう。そしたら同時にダウンロードが始まっても、あとはスクリプト次第でなんとかなりそうな気がします。
関連するQ&A
- wget でのファイル取得
FTPサーバから、ファイルを取ってこなければならなくなったのですが、サーバ上のファイル名に「日本語」がついています。 Windows の FFFTP では、普通に日本語のファイル名が表示されています。サーバはWindowsのようです。 [xxxxx@xxxxxx Aug]$ ftp ftp.foo.co.jp Connected to ftp.foo.co.jp. 220 Microsoft FTP Service <SNIP!> Name (ftp.foo.co.jp:username): username 331 Password required for username. Password: 230 User username logged in. Remote system type is Windows_NT. ftp> というような表示です。 で、ダウンロードするファイルが多い（10GBのオーダー）なので、wgetで一気に取得しようとしたのですが、うまく取得できません。 ダウンロードするホストのOSはCentOSで日本語が表示されている（LANG=ja_JP.UTF-8）状態です。 ここで wget --no-passive-ftp -nH -np -r ftp://username:password@ftp.foo.co.jp/ と実行すると、index.htmlが生成され、ファイルはダウンロードされません。ファイルはそのまま見ると文字化けするのですが、lvでUTF8に変換するとディレクトリ名などが正常に確認できます。 なぜ、ファイルがダウンロードされないのでしょうか？
- ベストアンサー
- その他（インターネット・Webサービス）
- wgetでのダウンロードについて
wgetでのダウンロードについて はじめまして。 HPのバックアップを取ろうと思い、wgetというものを使おうと思うのですが 取得できる物と、できない物があり、何故かがわからずに困っているので 理由、もしくは解決方法を御存じの方がいらっしゃいましたら、是非お教え下さい。 パソコンは、windows xpです。 (例) www.hoge.co.jp L css(フォルダ) L photo(フォルダ) L image(フォルダ) index.html aaaaa.html という様な構造なのですが、cssフォルダの中の いくつかのファイルしか取得できませんでした。 （同じ様なスタイルシートで、拡張子は全て.cssです。） コマンドプロンプトで wget -r www.hoge.co.jp -P C:\wget という感じで実行しています。 全部DLできない訳ではないので、余計に悩んでいます。 みなさま、よろしくお願いします。
- ベストアンサー
- Windows系OS
- wgetのコマンドでは不可能？
はじめまして、こんにちは。 wgetでpdfをダウンロードしようと試しているのですが、上手くいかず困っている為質問させて頂きます。「ttp://www.***.jp」というサイトの中の「/yuho/」より下のディレクトリにあるpdfファイルをダウンロードしようとしています。 ttp://www.***.jp ↓ ttp://www.***.jp/list/s1000.htm （s1000はs2000,s3000,,,s9000まである） ↓ ttp://www.***.jp/code/1301.htm （1301は1000,1001,,,9999まである） ↓ ttp://www.***.jp/yuho/1301.htm （1301は1000,1001,,,9999まである） ↓ ttp://www.***.jp/mark/20141114/S1003FL5.htm （20141114とS1003FL5はそれぞれ変動、このページにpdfファイルへのリンクがある） 上記の様にリンクが繋がっていて、 ディレクトリ「list」「code」「yuho」「mark」を取得対象とすれば良いのだろうと考え、wgetで -I オプションでディレクトリを list/,code/,yuho/,mark/と指定してみたのですが、上手く働きませんでした。 これはやはり階層構造になっていない為でしょうか？ 余計なページのpdfをダウンロードせず、ディレクトリ「yuho」以下の階層にあるpdfをダウンロードする場合はどのようなwgetのコードを書けば良いのでしょうか？ wgetでは不可能なのでしょうか？ Irvineというダウンローダーで ttp://www.***.jp/yuho/1301.htm の「1301」の部分を1000から9999にして、ダウンロードする拡張子をpdfに指定、階層を２にして実行しましたがこれも失敗でした。 現在も色々調べておりますが、知恵が足りず大変困っております。 こういった分野に造詣が深い方がいらっしゃいましたら、どうかご教授下さい。 宜しくお願い致します。
- 締切済み
- Linux系OS
- wgetの後
只今、linuxを勉強中です。わからないところがあるのでおしえてください。 postgreSQLのインストールを実施するため [root@localhost root]#wget ftp://ftp.jp.postgresql.org/source/v8.2.1/ を実行ダウンロードしたのはいいのですが保存先のディレクトリが わかりません(つまりpostgresql-8.2.1.tar.gz ) 上記作業後 [root@localhost root]# ls Desktop ifcfg-eth0 index.html.1 install.log passwd anaconda-ks.cfg index.html install.log.syslog smbpasswd ls すると index.html となっているようですが 本来ならソースファイル、postgresql-8.2.1.tar.gz ではないのですか？？ 次の作業 #cp postgresql-8.2.1.tar.gz /usr/local/pgsql に移れないのです。 いまいちよく理解できてないので教えてください。
- ベストアンサー
- Linux系OS
- wgetで指定したファイルだけダウンロードするには？
wgetのファイル収集ツールで 指定したファイルだけをダウンロードする方法はどうしたら良いのでしょうか？ イメージとしてはこのサイトの http://shupla.w-jp.net/items/wget.html 『３．使い方』 を応用したいのですが、 余計なファイル、ディレクトまでダウンロードしていまい上手くいかないのです。 例えばテキストファイルに http://www.yahoo.co.jp/index.html http://k.yimg.jp/images/top/sp/logo.gif http://k.yimg.jp/images/sh/recommend/84_84_0053.gif こんな感じで書いて、この“３ファイルだけ”を差分ファイルとしてダウンロードしたい場合です。 ちなみに仕様してるOSはWindowsXPです。 ご教示いただきたくお願いいたします。
- 締切済み
- Windows系OS
- wgetインストールconfigure:error
○質問の主旨 Linux(CentOS6.5)のサーバーにおいて、 ファイルをダウンロードするするための、 wgetのバージョンを、 下記のコマンドで1.12から 1.16にアップデートさせたいと考えています。 $sudo wget http://ftp.gnu.org/gnu/wget/wget-1.16.tar.gz $sudo tar zxfv wget-1.16.tar.gz $cd wget-1.16 $sudo chmod +x ./configure $sudo ./configure $sudo make $sudo make install ところが、 $sudo ./configureのところで、 configure: error: --with-ssl=gnutls was given, but GNUTLS is not available. というエラーが出ます。 このエラーを出さずに、後に続く make,make installコマンドを実行するためには どうすれば良いでしょうか？ ○質問の補足 $sudo ./configure以外にも、次の2つのコマンドを実行しましたが、 やはりエラーが出ます。 1. $ sudo ./configure --with-ssl=openssl configure: error: --with-ssl=gnutls was given, but GNUTLS is not available. 2. $ sudo ./configure --with-ssl=openssl --with-libssl-prefix=/usr/local/ssl configure: error: --with-ssl=openssl was given, but SSL is not available. ちなみに、 opensslとgnultsのインストール状況は以下の通りです。 $ rpm -qa | grep openssl openssl-1.0.1e-16.el6_5.15.x86_64 $ rpm -qa | grep gnutls gnutls-2.8.5-14.el6_5.x86_64 以上、よろしくお願いします。
- ベストアンサー
- Linux系OS
- wgetで対象ページをミラーリング
wgetを用いて対象ページを保存しようとしています． 具体的には， (1)指定URL以外のソースは入手しない (2)画像ファイルもローカルに保存 (3)画像ファイルへのリンクは相対リンク化 を満たす方法を探しています． イメージとしては，IEを使って[ファイル]→[名前を付けて保存] の操作をし，Webページをダウンロードした時と同じ方法を求めています． 色々と試してみましたが，該当する方法を見つけられませんでした. どなたか，よろしくお願いいたします.
- ベストアンサー
- Linux系OS
- Windows2000のＦＴＰサーバについて
室内LANからルータにつないだWindows2000をFTPサーバにして、同じく室内LANにつないだ(ルータにはつないでません)Vine LinuxをFTPのクライアントにしました。 そして、クライアントからサーバにLoginを行うことはできたのですが、"ls"コマンドを用いたファイル一覧を実行しようとすると "227 Entering Passive Mode(xxx.xxx.xxx.xxx,zzz.zzz)" と出て、その後何の反応も返ってこないため、表示させることができません。 どのようにしたら、クライアント側からのファイル一覧を実行させることができるのでしょうか？
- 締切済み
- ハードウェア・サーバー
- コマンドでWEBサイトのバックアップを取得する方法
WEBサイト全体のファイルのバックアップをバッチファイルを利用して取りたいと考えています。※最近ファーストサーバーでファイルが消失した障害があったので、私もバックアップをしたい、やるなら自動化したいと思い立ちました。 ローカルの容量があまりないので、ただ全ファイルをダウンロードするだけでなく、ダウンロードしたファイルを圧縮したいです(圧縮形式は何でも構いません)。 ローカルの環境はWindowsVistaSP2です。 以下のようなバッチファイルを作成したのですが、makecab実行時にフォルダをファイルではないから・・・と「<フォルダ名>is not file」のようなメッセージが出てエラーになってしまいます。 結果、圧縮ファイルは作成されません。圧縮が完了したら、元のファイルはフォルダ毎削除するようにしているので、何も残らないです・・・ ---------------- C:\wget.exe --ftp-user=user --ftp-password=password --passive-ftp -P C:\Users\user\WebSiteFile -r -l 0 -nH ftp://hogehoge.com/hogehoge.com/ Dir /S /B C:\Users\user\WebSiteFile\hogehoge.com > C:\Users\user\WebSiteFile\list.txt makecab /D RptFileName=NUL /D InfFileName=NUL /D CabinetNameTemplate=sitebackup.cab /D DiskDirectoryTemplate=C:\Users\user\WebSiteFile\ /F C:\Users\user\WebSiteFile\list.txt del C:\Users\user\WebSiteFile\list.txt rmdir /S /Q C:\Users\user\WebSiteFile\hogehoge.com ---------------- そこで質問なのですが、ダウンロードしたフォルダ全体を圧縮するためのいいやり方はありますでしょうか？ また、できれば、バッチファイルを毎日実行して、圧縮されたファイルを3日分くらいは残して他は削除するようにしたいのですが、いい方法が思いつきません（知識不足ですみません）。 やりたいことをまとめると、、、、 1. WEBサイト上(FTP上)にあるファイルをすべてダウンロード 2. 容量確保のためにダウンロードしたファイルを圧縮 3. 圧縮前のファイルは削除 4. 圧縮ファイルを常に新しい順に3つ保持（それ以外は削除） このようになります。 どうかお助けいただきたく存じます。 よろしくお願いいたします。
- ベストアンサー
- Windows系OS
お礼
ご回答ありがとうございます。 返事遅くなって申し訳ないです。 そのときと環境が違うのですが、 今やると順番にダウンロードされました。 お騒がせしました。m(_ _)m