経済学で線型回帰の勉強してます。そこで誤差項がでてきますが誤差項はUi

質問

経済学で線型回帰の勉強してます。そこで誤差項がでてきますが誤差項はUi＝・・・みたいな式で表すことはできるのでしょうか？また分析の仮定で誤差項は確率変数で期待値E（ui)は０、母分散V(ui)はбの２乗とする。E(ui)とV(ui)は、uiの理論的な平均と分散を意味する。式で表したとき　E(ui)=0 V(ui)=бの二乗 i=1,2,・・・,n　としたときにi個あるu(誤差項)を何故бの二乗で表しているのでしょうか？また何故E=0なんでしょか？わかるかたいらっしゃったらわかりやすく教えていただきたいのですが・・。お願いします。

回答No.3

bigorange9

１．誤差項はＵｉ＝・・・のような式では表せません。
　理由：もし表せるとすると、その誤差項には系統的な説明要因があることになり、ランダムに変動しないことになってしまいます。すると元々の回帰式にも系統的な説明変数が不足することになります。その場合、この回帰式を推定したときに求められるパラメータの推定量は、不偏性や一致性といった大事な性質を満たさないことが統計学的に分かっているのです。

２．誤差項が確率変数であること
　理由：誤差項が確率変数ではなく定数であるとすると元々の回帰式の説明変数があることになり、推定すべきパラメータが不足してしまうことになります。誤差項は、「回帰式のうち系統的な説明要因以外の全ての雑多な変動要因の集まり」ですから、それらは確率的に変動するものと想定しているわけです。

３．期待値と分散
　理由：期待値＝ゼロとする仮定は、ゼロでないと困るからです。ゼロでないとすると定数にせよ確率変数にせよ、回帰式には系統的な要因が存在することになり、元々の式が間違っていることになるからです。なお、２で誤差項が確率変数だと仮定したので、その変動は何らかの確率分布に従っていると考えます。確率分布の形状の特徴は積率（モーメント）によって決まります。一次のモーメント＝期待値（平均）、二次のモーメント＝標準偏差（分散）です。これより高次のモーメントも存在するのですが、初歩的な回帰分析では「誤差項の平方和を最小にすることが統計学的に最適だ」ということが分かっているので、二次のモーメントまでの情報しか必要がなく、σの二乗までの情報で事が足りると仮定しているのです。したがって、期待値Ｅと分散σ二乗で誤差項の特徴を表しています。

（余談）
・誤差項が正規分布しない場合の推定方法もいろいろあります。
・高次のモーメントを考慮した推定方法もあります。
・誤差項の確率分布のパラメータが未知の定数ではない、と考える推定方法もあります。
・そもそも誤差項の分布のパラメータを仮定しない推定方法もあります。
ただしこれらはかなりの応用になりますので、まずは１変数の単純回帰分析の方法（特にその前提条件が何を意味するのか）について理解することが大事と思います。

回答No.2

LTCM1998

イメージしやすいように，ものすごく乱暴に説明してみます。
線形回帰というのは，元は中学校の一次関数のy＝ax＋bですよね。これのxが一つでなくて，x1やx2がある。
誤差項というのは，「x20まで入れたけど，まだ必要？」となったときに，「面倒だ，誤差項に押し込んでしまえ！」というものです。
言い換えれば，誤差項はモデルが説明しきれない部分の「寄せ集め」です。説明しきれない残りを「誤差」として，見なかったフリをするのです。
これでいいのかと思うでしょうし，そこへの突っ込みは当然学問上ありますが，根拠もないわけではありません。
パラメータxの数を増やせば増やすほど，実際のyに近くなっていくでしょうが，たとえば年度ごとに大きく変動するデータの場合，ようやくモデルの示す値と今年のデータがきっちり合うようにできても，翌年は全くダメになるかもしれません。モデルのxに何を選ぶか，xの係数a1,a2…をどう定めるかを厳格にしすぎると，現実を説明しきれなくなることがあります。

誤差項は確率変数である，という仮定は，各年ごとのこの変動のうち，たとえば「右肩上がり」ということはxのほうで説明したい，それでも残るモデルとの差は，年ごとに上や下に出る予測できないものだから，コイン投げと同様の確率であるとしてしまえ，という意味です。
いつも上または下に出るとしたら，新たにa10x10のような項(10個目の項)を入れられるはずですが，上下どちらに出るか分からないから確率変数だろう，とするわけです。

「期待値0」は，この確率変数が上下に偏らないことを示します。コイン投げ10回で表が出たときに賞金が出て裏が出たら賞金なしであれば，表5回裏5回となるのが期待値0です。期待値がプラスマイナスいくつかになっているとすれば偏りがあります。
「σの2乗」というのは，誤差項は「どうせ説明できないものの集まり」であり，「確率でしか分からん」としているので，ならばデータの散らばり具合は分散で表せるだろう(標準偏差σの2乗は分散)ということです。
多くのモデルでは，「誤差(残差)は正規分布に従うと仮定する」といった仮定を決めた上で説明しようとします。
正規分布を仮定する根拠は，ひとつは，ぶっちゃけていうと扱いやすいからです。正規分布は線形性・再生性を持っているため，複数の正規分布をまとめた結果も正規分布になりますし，平均や分散もまとめて扱えます。
もう一つは，中心極限定理によって，多くのデータを集めればどんな場合でも正規分布に近づくためです。これは，模試をイメージしてください。受ける教室に10人程度しかいないと，教室内では上位に集中したり，平均点が異常に高かったりしますが，全国模試の全体を見れば平均点に多くの人がいて，上下に行くほど人が少なくなるきれいな正規分布のカーブになります。
このあたりは線形回帰よりも，簡単な確率論・統計学のテキストのほうが親切かもしれません。

回答No.1

Willyt

これは誤差伝播の法則と呼ばれているものです。下記を参照して下さい。

参考URL：

http://www.enveng.titech.ac.jp/morikawa/lecture/tottori/00sokuryo/node16.html