Windows10エクスプローラーのバグ？ダウンロードしたファイルに重複が発生

2021/05/04 10:14

このQ&Aのポイント

Windows10のエクスプローラーでIZ＊ONEのインスタグラムのファイルをダウンロードし、Falconアプリで再生中に通信の切断が発生しました。エラーが発生し、再起動するたびに同じファイル数になるかは不明ですが、ファイルのダウンロード時に重複が発生しています。
Tablacus Explorerを使用して同じ操作を試したところ、重複が解消されました。Windows10のエクスプローラーにバグがあるのか、Falconアプリとの相性の問題なのかは不明です。
利用環境はWindows 10 Homeの20H2バージョンであり、Falconのバージョンは2.4.0.3、Tablacus Explorerのバージョンは21.4.19.0です。問題の原因を特定するためには詳細な調査が必要です。

Windows10 、エクスプローラーのバグ？

Falconという神アプリで、IZ＊ONEのインスタグラムのデータを全てダウンロードしました。（Instagramからちゃんと全てのファイルをダウンロードできるアプリを探すのに苦労しました。紹介サイトはどこも同じようなことばかりで（コピペしてるだろ！）、しかも実際は期待した結果にならず、役立たずばかりでした。コピペするにしろ、使える情報を掲載しろよな。）３度か４度くらいか通信を切断したことでアプリがエラーを出し、その都度開始　し直しているので、再現時に同じファイル数になるかは分かりません。問題はそこではないので大丈夫でしょう。 Windowsの（ファイル）エクスプローラー上で、IZ＊ONEのインスタグラムをダウンロードする用に作ったフォルダ上で、【全て＆jpg＆mp4＆txt】それぞれで検索した結果が下記です。ファイル総数　5634点　フォルダ4　サイズ970MB ディスク上のサイズ979MB （サイズとディスク上のサイズに差が出るのは、環境によると思います。） jpg 4023点 502MB 510MB mp4 351点 466MB 467MB txt 1267点　638kb　1.58MB ダブり　７点！！どういうこと？ファイルの種類を変えて検索してるのに、なぜかダブりが発生しています。なぜですか？バグですか？しかたないので Tablacus Explorer を使って同じ操作をしてみた結果、差異は下記だけでした。 txt 1260点 638ＫＢ　1.58ＭＢダブりの７点分が無くなって計算上合致するようになりました。利用環境エディション Windows 10 Home バージョン 20H2 インストール日 ‎2021/‎04/‎11 OS ビルド 19042.928 エクスペリエンス Windows Feature Experience Pack 120.2212.551.0 Falcon2.4.0.3 Tablacus Explorer21.4.19.0 ポンコツWindowsちゃんでしょうか？宜しくお願い致します。

回答お願い（@74te）
お礼率99% (989/993)

Windows 10
回答数1
ありがとう数3

みんなの回答 （1）
専門家の回答

質問者が選んだベストアンサー

ベストアンサー

兼元謙任（@kanekaneto）
ベストアンサー率90% (1446/1601)

2021/05/20 09:45 回答No.1

専門家ではありません。クローラー（スクレイピングツール）が、たどるディレクトリー構造から、同じファイルが見つかり、それをクローラーが同じものかどうか判断しかねてクロールしてしまっているのか？　それとも重複しているものを回避するというルーチンが甘いのか？　いずれにせよどのサイトもグーグルさんにクロールされやすい構造にしようとしているので、グーグルさんのクロール変更に伴い変更したサイト構成に他のクローラーが惑わされているのかもしれません。 ”大規模で定常的にクローリングするための手法” https://codezine.jp/article/detail/10400 ”クローラーとは？サイト巡回の仕組みを解説” https://cluster-seo.com/blog/crawler.html 後から重複ファイルを削除するとかで対応してみては・・・ ”複数フォルダの重複ファイルを検索して削除できるソフト。” https://forest.watch.impress.co.jp/library/software/filemany/ ”無料重複ファイル・類似画像検索ソフト” https://freesoft-100.com/pasokon/duplication.html （画像引用） https://pixabay.com/ja/photos/search/%E8%91%89%E3%82%92%E7%86%8A%E6%89%8B%E3%81%97%E3%81%BE%E3%81%99/ こちらも参考に！ ”Webスクレイピングツールにオススメの10選【2021年更新】” https://www.octoparse.jp/blog/the-10-best-web-scraping-tools/ 「クローリングソフト」に関する質問と回答 https://okwave.jp/search?word=%E3%82%AF%E3%83%AD%E3%83%BC%E3%83%AA%E3%83%B3%E3%82%B0%E3%82%BD%E3%83%95%E3%83%88 「スクレイピング」に関する質問と回答 https://okwave.jp/search?word=%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0%E3%80%80 良いデータ収集ができますように！参考になれば幸いです。