- 締切済み
データ比較から抽出ができなくて困っています。
はじめまして。どなたかご存知の方がいらっしゃれば教えてください。 大量のデータが入ったフォルダがA,B(約90,000枚の画像データ)それぞれありますが、そのA,Bを比較し重複していないデータのみ抽出を行いたいのですが、良い手法及びソフトはございませんでしょうか。
- sweeper
- お礼率75% (3/4)
- 画像・動画・音楽編集
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
みんなの回答
- jizou7
- ベストアンサー率31% (116/363)
SimiPix を使ってます が、９万枚ですか・・ 上記ソフトは画像を並べて確認しながらの作業です
関連するQ&A
- awk データの抽出
awkでスクリプトを作っているのですが、 それぞれのデータの抽出が解りません a100b200* b200* b300* というデータを比較することを扱っています これの意味するところは、 1つ目aが100 bが200 2つ目aが100 bが200 3つ目aが100 bが300 なんです 私が考えているのはa100b200*というデータから、 *をFSとしてそれとは別にaは100ですよ bは200ですよ とデータを抽出して 2つ目と比較aは省略されてますが、意味は同じなので同じ 3つ目と比較bが違うので違う と こうやりたいと思っています 長くなってしまいましたが、 セパレータ内のデータの抽出方法を教えてください
- ベストアンサー
- その他（プログラミング・開発）
- 大量データから抽出する効率よいperlプログラムは
以前も質問させていただきましたが、 大量データから抽出する際の効率よいperlプログラム作成について また、教えてください。 例） 大量データ Aファイル 3列 可変値（数値、URL、数値）タブ区切り 重複値あり 123 http://www.XX.co.jp/XX 4567 1111 http://www.XX.co.jp/XX 3333 3 http://www.XX.co.jp/YZ 4567 1111 http://www.YYY… 116 … 抽出対象データ Bファイル 1列（URL）重複なし http://www.XX.co.jp/X http://www.YYY.co.jp … BファイルにあるURLで始まるURLがAファイルにある場合 Aファイルのその行を抽出したい。 grepで実施すると すごい時間がかかってしまうため、効率よい抽出方法をおしえてください。 今回は、完全一致ではなく、Bファイルに入っているリストのURLから始まるものにしたいと考えているので、前の手法（hash連想配列）が使えないと考えております。 Aファイルが容量大きいため、ｇｒｅｐ処理では1週間たっても終わらないのです。
- ベストアンサー
- Perl
- エクセル データの抽出について教えてください。
エクセルのデータの抽出について教えてください。 大量のデータ（数字のコード）がランダムに縦に並んでいるのを、並び替えで日付順にしたのですが。 重複しているのがとても多く重複しているのは日付が早いのだけを取り出したいのですが。なにかよい方法はないでしょうか？ 重複しているのに（重複していらないのに）標しでわかりやすくしてあとでフィルタで抽出して削除でもしようかと思うのですが。 標しがつけれるようなやりかたおしえてください。
- ベストアンサー
- オフィス系ソフト
- エクセルの重複データを抽出し、最新のデータを残した
エクセルの重複データを抽出し、最新のデータを残したいです。 A列 B列 1 aaa@aaaa.co.jp 2014/1/1 2 bbb@aaaa.co.jp 2013/1/2 3 aaa@aaaa.co.jp 2014/1/10 4 aaa@aaaa.co.jp 2014/10/10 A列にアドレス、B列に日付が入っているデータがあります。 （他にC列などにも顧客情報が入っています。） アドレスの重複データを抽出し、最新の日付の行が残るようにしたいです。 この場合ですと2と4が残るようにしたいです。 膨大なデータの為、困っています。 良い方法をご存知の方、よろしくお願い致します。
- 締切済み
- Excel（エクセル）
- セル内の同じデーターを抽出したい
エクセル表の中で重複するデーターを抽出し一方を消去していきたい。 関数でやるのかソフトがあったのか忘れてしまいました。 ご存知の方お聞かせください。
- ベストアンサー
- その他(データベース)
- ACCESSで２つのテーブル比較で一致データのみ抽出したい
ACCESS初心者です。 ２つのテーブルのあるフィールドを比較して、 両方のフィールドに存在するデータであれば、それを抽出する といったことをしたいのですが、どなたか手法を教えて下さい。 よろしくお願いします。
- ベストアンサー
- その他(データベース)
- 大量データから抽出する際の効率よいperlプログラム作成について教えて
大量データから抽出する際の効率よいperlプログラム作成について教えてください。 例） 大量データ Aファイル 3列 可変値（数値、URL、数値）タブ区切り 重複値あり 123 http://www.XX.co.jp/XX 4567 1111 http://www.XX.co.jp/XX 3333 3 http://www.XX.co.jp/YZ 4567 1111 http://www.YYY… 116 … 抽出対象データ Bファイル 1列（URL）重複なし http://www.XX.co.jp/XX http://www.XX.co.jp/ZZZ … Aファイル、BファイルともにURL降順ソートされている BファイルにあるURLがAファイルにある場合 Aファイルのその行を抽出したい。 grepで実施すると すごい時間がかかってしまうため、効率よい抽出方法をおしえてください。
- ベストアンサー
- Perl
- 条件に一致したデータの検索・抽出について
エクセルで２つのデータから条件に一致したデータを検索・抽出がしたいのですが、うまく抽出することができないため、質問させていただきます データＡ ｜入荷日｜商品番号｜商品名｜数量｜金額｜ ｜１．１｜１１１１｜〇〇〇｜１０｜１０｜ ｜１．２｜２２２２｜◎◎◎｜１５｜１５｜ ｜１．３｜３３３３｜△△△｜２０｜２０｜ ｜１．４｜４４４４｜◆◆◆｜１０｜１０｜ データＢ ｜販売日｜商品番号｜商品名｜販売数｜ ｜３．１｜１１１１｜〇〇〇｜ ｜ ｜３．２｜ ｜ＡＡＡ｜１００｜ ｜３．３｜ ｜ＢＢＢ｜１２０｜ ｜３．１｜２２２２｜◎◎◎｜ ｜ ｜３．３｜ ｜ＣＣＣ｜１００｜ ｜３．１｜３３３３｜△△△｜ ｜ ｜３．１｜４４４４｜◆◆◆｜ ｜ データＢから商品番号の一致したデータの一部を抽出してデータＡに追加したいです （一部が難しいようなら１行そのまま抽出でも大丈夫です） 理想は ｜入荷日｜商品番号｜商品名｜数量｜金額｜販売数｜ ｜１．１｜１１１１｜〇〇〇｜１０｜１０｜ ｜ ｜ ｜ ｜ＡＡＡ｜ ｜ ｜１００｜ ｜ ｜ ｜ＢＢＢ｜ ｜ ｜１２０｜ ｜１．２｜２２２２｜◎◎◎｜１５｜１５｜ ｜ ｜ ｜ ｜ＣＣＣ｜ ｜ ｜１００｜ ｜１．３｜３３３３｜△△△｜２０｜２０｜ ｜ ｜１．４｜４４４４｜◆◆◆｜１０｜１０｜ ｜ もしくは、関数を利用して以下の形にできれば、と思います ｜入荷日｜商品番号｜商品名｜数量｜金額｜商品名｜販売数｜商品名｜販売数｜ ｜１．１｜１１１１｜〇〇〇｜１０｜１０｜ＡＡＡ｜１００｜ＢＢＢ｜１２０｜ ｜１．２｜２２２２｜◎◎◎｜１５｜１５｜ＣＣＣ｜１００｜ ｜ ｜ ｜１．３｜３３３３｜△△△｜２０｜２０｜ ｜ ｜ ｜ ｜ ｜１．４｜４４４４｜◆◆◆｜１０｜１０｜ ｜ ｜ ｜ ｜ データＡをベースに、データＢから重複データのうちすでにデータＡにあるものを省き（１件目は重複データなので２件目以降）抽出する １．データＢ商品番号重複しています。重複データの１件目はデータＡと共通で、２件目以降を抽出したいです ２．データＢ商品番号の重複はそれぞれ違うため、１件も重複してないものもあれば３件ほど重複しているものもあります ３．データＡは入荷日の範囲を指定したデータですが、データＢは入荷日項目がないため抽出する必要のない内容・件数のデータもはいっています。その為、データＡから抽出するのではなく、データＡをベースにデータＢから抽出がしたいです。 よろしくお願いします。
- ベストアンサー
- Excel（エクセル）
- データの比較
SQLserver2005を使用ています． ----------------- 日付 値 6/9 13:10 158 ・・・1 6/9 13:00 154 ・・・2 6/9 12:50 40 ・・・3 6/9 12:40 158 ・・・4 6/9 12:30 37 ・・・5 6/8 08:45 152 ・・・6 6/8 08:40 159 ・・・7 ----------------- というデータの中から Aの一つ前の時間のBと比較して値が100以上少なく 変化していたらそのAのデータを抽出． 例として， 3は4に比べ-100以上変化しているので抽出． 5は6に比べて-100変化しているが， 日付が違うので抽出しない． という条件を作りたいのですが， いまいちピンと来ないのでご教示いただけると幸いです． よろしくお願いします．
- ベストアンサー
- SQL Server
お礼
ありがとうございます。 実はSimiPixは使ってみました。 A,Bのフォルダで多いのが重複している方が多いので、結構引っかかりながら行う形になると思います。 90,000枚は厳しいですよね。 90,000枚のうち重複していないデータが約2,000～4,000枚。 この2,000枚から4,000枚を抽出したいのです。 もう少し探してみます。