平面上のデータから異常値を取り除きたい

質問

次のようなxy座標データがあります
これを平面上にプロットして、人間が眺めると、6番目から12番目のデータが異常と判断できます
コンピュータでこの異常値を取り除くにはどうすればよいでしょうか
例えば、最小二乗法で楕円近似 -> うまくいかない
ハフ変換で楕円近似 -> メモリと時間が大量に必要
(565,444)
(583,452)
(597,464)
(605,484)
(611,504)
(593,520)
(587,539)
(574,553)
(554,564)
(536,553)
(524,540)
(509,530)
(497,514)
(498,493)
(503,472)
(513,456)
(529,447)
(548,442)

回答No.2

noname#221368 · ベストアンサー

いつも使える手ではありませんが、やってみました。

　まずデータの様子を見るために、データ系列をExcelでプロットすると、添付図の図-1の青線のようになります。黒点線はExcelのオートシェイプ（楕円）を使って、手動でフィッチングしたものです。異常値は、ランダム誤差のように見えました。

　異常値がランダム誤差なら、ランダム誤差の特性として、積分すればほぼ０になる、という性質があります。見やすい形で積分するために、データ系列を極座標で表す事を考えます。楕円の中心は、その重心に一致するので、データ系列の重心位置を極座標の原点とします。多角形の面積Ａと重心座標(x0，y0)は、次式で計算できます。

　　Ａ＝1/2×Σ(x[i]・y[i＋1]－x[i＋1]・y[i])　　　　　　　　　　　　　(1)

　　x0＝1/6×1/Ａ×Σ(x[i]・y[i＋1]－x[i＋1]・y[i])(x[i＋1]＋x[i])　　　(2)
　　y0＝1/6×1/Ａ×Σ(x[i]・y[i＋1]－x[i＋1]・y[i])(y[i＋1]＋y[i])　　　(3)

　(1)～(3)において、Σはi＝1，2，・・・，nについて和を取り、x[i]，y[i]は、多角形頂点を左回りに順序付けた時の、頂点座標です（データ系列はそうなっています）。i＝1が始点， i＝nがデータ系列の終点，i＝n＋1は始点に一致させます。
　(1)～(3)は折れ線近似での結果ですが、実用的にはけっこうそれで十分です。さらに(1)～(3)は本質的に積分計算なので、ランダム誤差の影響をほとんど受けない重心位置を計算できるだろう、と予想しました。

　　x0＝551.8036，y0＝498.4852（Ａ＝9572.5，Excelです）　　　(4)

となりました。

　(4)を中心に、図-1のようにr^2とθを計算し、θの昇順に並べ、台形公式で数値積分します（Excelです）。
　f(θ)＝∫r^2・dθをグラフにするとすぐわかりますが、f(θ)はほとんど直線に載ります。Excelで線形近似を選び、近似式を表示すると、

　　g(θ)＝3138.5θ＋9538.6　　　(5)

になります。(5)のg(θ)とf(θ)との相関係数（Ｒ二乗値）は、0.9996でほとんど1.0です。(5)をθで微分したものをr^2(θ)とみなし、ルートをとってr(θ)を計算するのは容易です。r(θ)＝√(3138.5)＝56.02232＝半径一定（円）を、(4)を中心に元データと重ねたものが、添付図の図-2になります。

　今回は簡単にやったので、円になっちゃいましたが、f(θ)の近似式を、楕円の理論式から導かれる式にとりかえ、最小二乗法を実行するのは、可能と思います。また以上の手順は、プログラムに載ると思います。

補足

詳しく説明していただき、ありがとうございます。
最小二乗法で楕円近似しても、説明していただいた結果と同じようになってしまいます。
説明していただいた方法を参考にして、どうすればよいか考えたいと思います。

回答No.1

f272

> これを平面上にプロットして、人間が眺めると、6番目から12番目のデータが異常と判断できます

と書いているが，どうして異常と判断できたのか？

補足

> と書いているが，どうして異常と判断できたのか？

　まさにそれが本質です。
　正常(と思われる)データから最小二乗法で楕円近似すれば、良好な近似曲線が得られます。
　従って、この近似曲線から外れたデータが異常値と判断できるわけですが、この近似曲線を得るためには異常値を取り除く必要があるので、堂々巡りになってしまいます。
　また、近似曲線から外れたデータを異常値として取り除けば、残りのデータは近似曲線で良好に近似できるのは当然のことであり、その近似曲線が「正しく」近似しているかどうかは、不明です。
　どうして人間は異常と判断できるのでしょうか。