• ベストアンサー

存在するURLのデータのみ保存する方法

あるリンクからデータをダウンロードしたいのですが、存在するURLのデータのみダウンロードするための識別が上手くいきません。何か良い方法は無いでしょうか。 if test -e "http://test"; then curl -O "http://test" fi (URLは適当です)

質問者が選んだベストアンサー

  • ベストアンサー
  • notnot
  • ベストアンサー率47% (4846/10257)
回答No.1

あなたの言う「存在するURL」とはどういう意味ですか？ もし「ダウンロード可能」という意味なら、ダウンロードしてみないとわかりません。って、これは自明か。 データが存在するURLの一覧がファイルにあるなら、grep でファイル中のデータとの一致が判別できます。

sasmostmilk
質問者

お礼

ありがとうございました。

その他の回答 (2)

  • Tacosan
  • ベストアンサー率23% (3656/15482)
回答No.3

http://okwave.jp/qa/q8287715.html とはなにが違うんだろう.

sasmostmilk
質問者

お礼

ありがとうございました。

  • oooioi
  • ベストアンサー率29% (16/55)
回答No.2

curlでそのURLに対してステータスコードを取得してそのステータスコードが200かどうかでチェックして その後に別途curlでダウンロードする。

sasmostmilk
質問者

お礼

ありがとうございました。

  1. カテゴリ
  2. [技術者向] コンピューター
  3. OS（技術者向け）
  4. Linux系OS

関連するQ&A

  • 存在するURLのデータのみダウンロードする方法

    あるリンクからデータをダウンロードしたいのですが、存在するURLのデータのみダウンロードするための識別が上手くいきません。何か良い方法は無いでしょうか。 if test -e "http://test"; then curl -O "http://test" fi (URLは適当です)

  • リンクされていない、ネット上に存在するURLを探す方法

    リンクされていない、ネット上に存在するURLを探す方法 こうしたケースにて、そのアドレスを探したり、 ダウンロードすることは不可能でしょうか。 例） abc.com というドメインにて、どこのページからもリンクされてないけれど、 ネット自体には公開されているようなページ。 つまり、 abc.com/abc.html というページで、URLを知っている人だけはアクセスをしているけれど どこからもリンクはされていないので、検索サイトにも載っていないけれど ネット上に存在しているページです。 URLが分からなくなり、いくつか思いつきで入力してみましたが 管理者に尋ねることなく、URLを見つけることができると一番ありがたいのです。

  • リモートのファイル存在確認

    標題の通り、 リモートファイルのファイルの存在チェックをしようと思っているのですが、 シェルに詳しくないのでご教授願いないでしょうか。 通常の同サーバ内では下記のように出来るかと思いますが、 それをssh で別サーバ内のファイル存在チェックをしたいです。 if [ -e /usr/test/test.txt ]; then echo "存在" fi 宜しくお願い致します。

  • シェルスクリプト構文で「もしファイルが存在しなかったら」を表すには?

    シェルスクリプトのif文で「存在しなかったらthen節へ」の表現方法を伺っても宜しいでしょうか？ 現状「存在するならthen節へ」を使い下のようにしています。 if [ -e XXXXX ]; then # XXXXXが存在しなかったら echo # 存在時は処理なし。が、構文不明の為、無意味なechoを入れてる else # 存在しない時の処理がここにある fi 上を自然な文法に修正したいです。以上どうか宜しくお願い致します。

  • URLを進数で表す方法

    お世話になります。 掲示板などで、検索項目があると思います。 たとえば、テスト投稿という文字で検索した場合、http://○○.com/index.cgi?kensaku-koumoku=テスト投稿というURLになったとします。これをhttp://○○.com/index.cgi?kensaku-koumoku=%83e%83X%83g%93%8A%8DeなURLにしたいのです。 最初の検索の際は、上記のようになってくれるのですが、検索項目に当てはまる投稿が多い場合、次へというリンクがありそこにはkensaku-koumoku=テスト投稿となってしまいます。どのようにしたら、次へのリンクもkensaku-koumoku=%83e%83X%83g%93%8A%8Deのように出来るのでしょうか。 どなたか方法を教えていただけませんか。 宜しくお願いします。

    • ベストアンサー
    • Perl
  • cshでのリンクファイルの存在確認方法

    cshで if (-f ***) then endif とすると *** というファイルが存在するかどうか調べられますが、*** というファイルが、リンクファイルかどうか調べるにはどうすればよいですか？

  • データのURLリンクで受渡し方法

    メール本文上に、URLリンクをつけて、 大容量データ（ビデオデータ、エクセルデータ）を受渡しする方法を素人にわかりやすく教えてください。 よろしくお願いいたします。

  • curlでファイル名にURLの一部を利用するには？

    Mac環境(OS10.8.5)のターミナル利用 プログラミングは知識が無く、ネットで調べても自力では解決しなかったので、皆様のお知恵を頂ければ幸いです。 「url.txt」には下記のようなURLが複数記載されています。 ～.com/test/1594/data ～.com/test/6416/data ～.com/test/5168/data ※「1594」「6416」などの個所は、実際には規則性の無いランダムの１０桁の数字となっております cat test/url.txt | xargs -P3 -t -n1 curl -O 上記の状態では、出力されるファイルは「test」と言うファイル名のファイルが１つしか出来ません。（全て上書き保存されてしまうため） これを「1594.html」「6416.html」「5168.html」と言うように、１つ１つファイルを保存したいと思っております。 どのように記述をすれば良いのかアドバイスを頂けますでしょうか。 何卒、よろしくお願い致します。

  • D&Dで画像のURLを取得したいです。ＶＢ．ＮＥＴ

    VB.NET、WinXPなのですが、 Private Sub TextBox1_DragEnter(ByVal sender As Object, ByVal e As DragEventArgs) If e.Data.GetDataPresent("UniformResourceLocator") Then e.Effect = DragDropEffects.Link Else e.Effect = DragDropEffects.None End If End Sub Private Sub TextBox1_DragDrop(ByVal sender As Object, ByVal e As DragEventArgs) Dim url As String = e.Data.GetData(DataFormats.Text).ToString() TextBox1.Text = url End Sub この方法でファイルＷＥＢサイト上の画像をドラッグ＆ドロップすると 例えばこのページのＧＯＯのロゴの場合 テキストボックスには「http://www.goo.ne.jp/」というリンク先のＵＲＬが 表示されるのですが、 そうではなくて、ロゴそのもののＵＲＬ「http://www.goo.ne.jp/img/logo/gootop_logo.gif」 を表示させたいのですが、どのようにしたら良いでしょうか。 よろしくお願いします。ｍ（＿＿）ｍ

  • シェルスクリプトのif文

    シェルスクリプトのif文について質問です。 あるファイルが存在しないときだけ処理を行いたい場合、 下記のような記述をするしかないのでしょうか？ if [ -e /tmp/test.txt ]; then 　ダミー処理（val1=1など意味のない処理) 　（ダミー処理を入れるのは何も書かないとエラーとなってしまうため） else 　 行いたい処理 fi elseを使わずに if　 fi だけですますことはできないでしょうか？ -eはファイルが存在するならば真なので 逆に意味が真となるようにしたいのですが・・・

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する