テキストファイルにURLが5.000個程羅列されて

質問

テキストファイルにURLが5.000個程羅列されていますが、重複しているURLを削除して整理したいのですが、このような作業をしてくれるフリーソフトがごさいましたら、ぜひ教えて下さいませ。

エクセルでもできると聞いた事がございますが、エクセル2000しか持っておりません。

回答No.4

Nobu-W

データ→フィルタ→フィルタオプションの設定の「重複するレコードは削除」
ってのをいじって　できませんか？

お礼

ありがとうございます。

回答No.3

skp026

Excelにはテキスト形式を読み込む機能があります。
手順としては以下のような感じになります。
http://enterprisezine.jp/iti/detail/675

今回のテキストファイルはURLのみとのことです。
上記の例では複数列に区切られてましたが、
今回のデータは１列のみになります。
ウィザード画面で調整は必要ないはずですから、
すぐに完了を押しても差し支えないです。

読み込んだあとは、並べ替えをして、
重複を目で確認し、必要ないものは行削除します。

お礼

ありがとうございます。

回答No.2

kawais070

秀丸マクロで重複行の削除をするやつがあります。
http://hide.maruo.co.jp/lib/macro/erasesameline213.html
秀丸は有料ソフトですが、短期間であれば試用も可能です。

お礼

ありがとうございました。
頑張ってみます。

回答No.1

bardfish

Perlという言語で可能です。

Perlには連想配列という他の言語にはない独特の仕様があり、配列番号に文字列を使用できます。
配列番号にURLが格納された変数を使い、一応件数をカウントさせる。
URLが記述されたファイルから読み込んでこの処理を行わせる。

読み込みが終わったら、配列の終わりまでループさせて配列番号である文字列を新しいファイルに書き出せば重複行がなくなっているはずです。

Excelでもシートにインポートしたらソートかけてピポットテーブル？か何かで重複行をまとめさせてエクスポートすればいいだけのはずです。
Excel2000でも出来るはずですよ。

Excelは手元にないので詳しい操作は説明できないので試行錯誤してみてください。

お礼

ありがとうございました。
挑戦してみたいと思います。