異常値の排除方法

質問

ある特定の業界の財務データを集計する作業を行っています。
毎年毎年実施する統計業務です。
サンプルサイズは約５万社で、その決算書のデータを入力し、集計します。
「売上高経常利益率」など多くの財務比率が計算できるのですが、異常値の排除の仕方で悩んでいます。以下いくつか質問です。

案としては、
1.いわゆる3シグマチェックで、3シグマを超えているデータを排除
2.上限値・下限値を設定し、超えたものは排除
3.トリム平均（上位5％、下位5％を排除した上で計算）
を考えています。

私としては、
1の「3シグマ」は仮平均・仮標準偏差などを経なければならないので、計算が複雑
2の「上限値・下限値」は、経済環境によっては、上限値・下限値を超える企業が多くなる年があり、サンプルサイズに影響を与えるし、上限値・下限値を見直したら経年比較ができなくなる。
3の「トリム平均」は、上限値・下限値をその年により自動的に変更する効果を持つため、経済環境の変化に柔軟に対応できる。また、ルールが簡単なため、理解しやすい。
と考え、「3」でいこうと思っています。統計学的に問題はないでしょうか？

また、「トリム平均」を採用するとして、上位及び下位の何％を排除するのが一般的でしょうか？

もう一つ、いずれの排除方法であれ、ある特定の財務比率で「異常」扱いとなった企業のデータは、他の財務比率において使用できるでしょうか？
つまり、財務諸表は、個々の数値が独立しているわけではなく、他の項目とも影響を与え合って、全体として整合性が取れているものです。1つでも異常データとみなした以上、他の項目が正常範囲内にあるとしても、異常データの影響を受けている（あるいは正常データが影響を与えた結果、異常データとなっている）可能性があるため、もうその財務データはすべて使えない、という考え方と、

例えば「トリム平均」による正常、異常の判断は、あくまで相対的なものであって、たまたまある指標が全体の上位又は下位に属しているからといって、財務諸表全体として矛盾するわけではなく、他の指標は他の指標として集計に入れるべき、という考え方もあると思います。
また、全排除してしまうと、連鎖的にサンプルサイズが減るおそれがあり、計算方法も「仮トリム」で排除後、「本トリム」で正式な平均値を取り直すなど、複雑化するおそれがある、と私は思っています。

なるべく統計利用者にとって、簡単で理解しやすい集計方法にしたいと思っていますが、統計学的には、どういう形が適切なのでしょうか？

回答No.1

info22

トリム平均を使うとして
排除する％は正規分布の±３σの範囲（全体の約99.7％有効、0.3％排除）、
±２σの範囲（全体の約95.4％有効、4.6％排除）
が目安になるかと思いますが如何でしょうか？
これらの排除率を採用する場合のトリム平均をそれぞれ
0.15％調整平均、2.3％調整平均と言います。

もっと大まかでいいなら
正規分布の±σの範囲（全体の68.27％有効、31.73%排除）に相当する
トリム平均の15.9％調整平均でもいいですね。

正規分布との対比ができますから統計的に理解されやすい集計方法かと思いますが如何でしょうか？

参考URL：

http://www.oak.dti.ne.jp/~xkana/psycho/stat/stat_18/index.html

お礼

早速のご回答ありがとうございました。参考になりました。