• 締切済み

最小二乗法による残差の和について

質問させていただきます。 最小二乗法による残差の和が0になることが保障されているのは以下のどれでしょうか? 1、Y=βX+ε 2、Y=α+βX+ε 3、Y=αX+βZ+γW+ε 4、Y=α+βX+γZ+δW+ε ただし、X,Y,Zは説明変数である。また、εは誤差項を表す よろしくお願い致します。

みんなの回答

  • ramayana
  • ベストアンサー率75% (215/285)
回答No.1

出題者の意図がいまいち分かりません。 (1)2や4のように定数項が明示的に使われている場合 (2)明示的に定数項が使われていない1や3のようなものでも、説明変数と定数との間に一次従属の関係がある場合 は、計測に用いたデータ全体での残差の和が、結果的に0になるように、パラメータα~δが推計されます。 しかし、確率モデルを推計しているに過ぎない式に対して、上記のような状況を「残差の和が0になることが保障されている」などと表現していいのかどうか、自信がありません。

関連するQ&A

  • 最小2乗

    (1) (x,y)=(-3,4),(-2,1),(-1,0),(0,-1),(1,1),(2,2),(3,3)を 方程式 y = ax^2 + bx + c で最小2乗法に当てはめたときの a,b,cを求める (2) 要素(x,y,z)=(1,3,2),(2,1,1),(3,2,4),(4,5,3),(5,4,5)が z = ax + by + p とモデル化されるとき、残差の2乗Σp^2 が 最小になるように定式化して、最小となるa,bを求める という問題です。 これらを行列を用いて解きたいのですが、どのようにすればよいか分かりません。よろしくお願いします。

  • 残差*従属変数の総和、最小二乗法(重回帰)にて

    最小二乗法(重回帰)にて、 個別残差=個別予測値ー個別従属変数であり、 Σ(個別残差×個別従属変数)=0…(1) になるのです。 (回帰の平方和+残差の平方和)=全体の平方和 という定義(?)を疑問に思い、 解いていくと、上記(1)にたどり着きました。 なんとなくなりそうな気もするんですが、 どなたかすっきりと理由を教えては頂けないでしょうか。

  • C/C++での最小二乗法について

    いつもお世話になっております。 初めての質問で不備があるかと思われますがよろしくお願いします。 現在Excelのソルバー機能で、測定した値とは別に 計算式f(x)で求めた推定値との残差二乗和((測定値-推定値)^2の和)から 計算式f(x)の変数a,bを算出しています。(変数a,bの初期値は適当な値を設定) このソルバーでの最小二乗法の計算をc/c++にて実装するにはどのようにすれば良いのでしょうか。 (ソルバー機能では目的値を残差二乗和、変化対象を変数a,bとし、準ニュートン法より最小値を求めています。) 御教授よろしくお願いします。

  • 最小二乗法

    n組のデータ (xi, yi) を,特定点(X0, Y0) を通る直線 y = ax+b でフィッティングしたい。最小二乗法で係数a,bを求めるため の式を導きなさい。 という問題で 各データの残差を二乗した和が最小になるときのa,bを求めるのですが 特定点(X0,Y0)を通るにはどうすればよいでしょうか? ただ単に、特定点を通らずフィッティングするやりかたはわかるのですが・・・。 よろしくお願いします。

  • Rを使った非線形最小二乗について

    はじめまして。 Rを使った非線形最小二乗のフィッティングについて、ご教授お願いします。 (カテゴリーが違うようでしたらご指摘お願いします) 二つのデータの組Y=(y1,y2,y3,・・・)、Z=(z1,z2,z3,・・・)について、これらをf(x) = α / { 1 + β exp(-γx) }の関数でフィッティングしたいと考えています。 ここで、f(x)の未知パラメータα、βはYとZで同じ値を持ち、γはYとZに固有のパラメータとして、フィッティングしようとしています。 以上のことをRのnls関数を用いて行いたいが、どのようにすればよいか。 以下の流れでフィッティングしてみましたが、上手くいきませんでした。 (1) Yをf(x)でフィッティングして、α、β、γを求める。 (2) (1)のα、βを用いてZをf(x)でフィッティングする。 そもそも、αとβを共通の値と考えること自体が間違いというご指摘があるかもしれませんが、 あくまでもαとβが共通の値と考えたとき、YとZをf(x)で最も上手くフィッティング(Yの残差とZの残差の和が最小になる)したいと考えています。 よろしくお願いいたします。

  • 最小二乗法について

    最小二乗法では二乗和の誤差 Σ[i=1~n]{Yi-(α+βXi )}^2 (iは添え字です) を最小化するα,βを推定することを考えますが、 これは単純にα,βで偏微分してそれを0とおいて 連立方程式を解くだけでよいのですか? といいますのも、2変数関数の極値を求める場合、 Hessianを計算して判別しますよね? ただ一階偏導関数が0になるからといって、 そこで極値をとるとは限らない気がしたので… それとも最小二乗法の場合は必ずとるようになっているのでしょうか? 手元の本には、 「この二乗和は非負値なので、αとβで偏微分したものを0とするα,βが上式を最小にする値である」 とあるのですが、一般に非負値だとこの ようなことが言えるのでしょうか?

  • 最小二乗法 ニュートン法

    ニュートン法で最小二乗法を使うとき、x+Δxを近似解として、テイラー展開して f(x+Δx)=f(x)+f’(x)Δx この式から新しい近似解を得ると思います。 この時のfは何の関数なのでしょうか? 残差の二乗和でいいのでしょうか? わかる方お願いします。

  • 回帰分析  最小二乗法の直線

    質問ですが 最小二乗法の直線はどうして残差dの二乗和が最小になる直線なのですか? 信頼区間がナントカ・・・みたいな? 数学には詳しくないので簡単に教えてください。

  • 最小2乗法

    2つの変数x,yについて5つの標本点 (-2,1) (-1,-1) (0,0) (1,2) (2,2) が与えられたとする。最小2乗法を用いることでこれらの標本点にもっともあてはまるような直線y=ax+bを求めよ って問題なのですが友達との計算結果があわなくて・・・あとやり方もあんまり理解してないので教えてください

  • 3次元の最小二乗法

    A(x1,y1,z1)とB(x2,y2,z2)とC(x3,y3,z3)とD(x4,y4,z4)の点で 最小2乗法ほうを使い直線近似したいのですが、どのような式になりますかご存知の方教えていただけますか?