crulでリスト記載のURLの一部をファイル名に

質問

• Mac環境(OS10.8.5)のターミナルを利用して、curlでリスト記載のURLの一部をファイル名にする方法を教えてください。
• 質問者はプログラミングの知識がなく、ネットで調べても解決できなかったため、皆さんの知恵を求めています。
• url.txtには複数のURLが記載されており、それぞれのURLの末尾の数値部分をファイル名として保存したいと思っています。しかし、全てのURLの末尾が同じであるため、ファイル名の作成に苦労しています。アドバイスをお願いします。

回答No.2

trapezium · ベストアンサー

> 「xargs」を利用したのは、リストに記載されているURLが数百以上あるので、マルチスレッドのように同時に処理させたいと思い、「xargs」と言うコマンドを見つけて利用する事に致しました。

-P オプションですね。正確にはマルチプロセスですが並行動作は同じです。マルチスレッドは１つのプロセス内で複数のスレッドを並列動作させる事です。表面上はあまり区別しなくていいですが、プログラマは厳密に区別します。

> わがままな希望だと思いますが、教えて頂いたプログラムに「xargs」などを利用して、マルチスレッドで並行処理させる事は可能でしょうか？

wrapper script 用意するのが簡単でしょう。まず curl を呼び出すシェルスクリプトを作成し (ファイル名はなんでもいいですが)
----- curl.sh
#!/bin/sh
i="$1"
o="${i%/*}"
exec curl -o "${o##*/}.html" "$i"
------
chmod +x curl.sh
cat test/url.txt | xargs -P3 -t -n1 ./curl.sh

元の xargs に渡すように段階踏めばいいです。-n1 してるので $1 しかみてません。

お礼

お礼が遅れてしまい、大変申し訳ありません。

教えて頂いたプログラムで実行したところ、多段スレッドのように同時に処理する事が確認出来ました。

数日調べても自力では解決出来なかった事なので、大変感謝しております。

まだいくつか自力で解決出来ないか頑張っている事もありますので、自力解決が難しくなった時は、またここでご質問させて頂こうと思います。

ありがとうございました。