- ベストアンサー
最小二乗法 ニュートン法
- みんなの回答 （4）
- 専門家の回答
質問者が選んだベストアンサー
ありゃ、日本語が変だ。 f(x) は、x を、残差二乗和の x による導関数 (x がベクトルなら、勾配ベクトル)ヘ対応させる 写像(一般に、n 次元から n 次元ヘ)だろうけれど。
その他の回答 (3)
- hashioogi
- ベストアンサー率25% (102/404)
「残差の平方和を偏微分した関数が0となる値をもとめられば、残差の平方和の極小になる」というのは最小二乗法の一般的な考え方だと思います。 でも通常は正規方程式を解けば回帰式の係数が求まる訳で、そこでニュートン法を使うということは回帰式が冪関数で表現できないようなものだということでしょうか？
- alice_44
- ベストアンサー率44% (2109/4759)
ニュートン法で最小二乗法を使う？ 何じゃそりゃ。 最小二乗法で残差二乗和の極小点を探すのに ニュートン法を使おうって話なら、 x は、未定係数(を成分に持つベクトル)で、 f(x) は、x を、残差二乗和の x による導関数 (x がベクトルなら、勾配ベクトル)だろうけれど。 「ニュートン法」は、多次元版を使うことになるね。 多次元のニュートン法↓ http://www.slis.tsukuba.ac.jp/~fujisawa.makoto.fu/cgi-bin/wiki/index.php?%C2%BF%BC%A1%B8%B5%A4%CE%A5%CB%A5%E5%A1%BC%A5%C8%A5%F3%A1%A6%A5%E9%A5%D5%A5%BD%A5%F3%CB%A1
- hashioogi
- ベストアンサー率25% (102/404)
ニュートン法と最小二乗法はどういう関係があるのでしょうか？ 残差の二乗和の最小値は一般的には正の値を取りますからニュートン法は使えないような気がしますけど。私の認識が違っていたら申し訳ありませんが。
お礼
回答ありがとうございました。
補足
それならば、残差の平方和を偏微分した関数が0となる値をもとめられば、残差の平方和の極小になるのではないでしょうか？
関連するQ&A
- 最小二乗法 ニュートン法
ニュートン法を使うとき f(x＋Δx) ＝ f(x)＋f'(x）Δx＋・・・テイラー展開すると思います。 このとき、xは近似解ｘ（n）のことで、x+Δxは新しい近似解ｘ(n+1)のことでいいのでしょうか？ 後、図1の操作と上記のテイラー展開をつかって新しいx(n+1)を求める方法が結びつきません。 わかる方お願いいたします。
- ベストアンサー
- 数学・算数
- C/C++での最小二乗法について
いつもお世話になっております。 初めての質問で不備があるかと思われますがよろしくお願いします。 現在Excelのソルバー機能で、測定した値とは別に 計算式f(x)で求めた推定値との残差二乗和（(測定値-推定値)^2の和）から 計算式f(x)の変数a,bを算出しています。（変数a,bの初期値は適当な値を設定） このソルバーでの最小二乗法の計算をc/c++にて実装するにはどのようにすれば良いのでしょうか。 （ソルバー機能では目的値を残差二乗和、変化対象を変数a,bとし、準ニュートン法より最小値を求めています。） 御教授よろしくお願いします。
- ベストアンサー
- C・C++・C#
- ２変数のときのニュートン法
ニュートン法で多変数関数を最適化する方法についてやったことあるんですが忘れてしまいました。 １変数ならわかります。f(x)=0の解を求めたい場合は、 Xn+1=Xn-f(Xn)/f'(Xn) という漸化式で徐々に近づいていけばいいんですよね？ では、例えば 「3x^2+6xy+5y^2-4x-6yを最小化せよ」 なんてのを解く場合にはどうすればいいんでしょうか？ 漸化式だけ教えてくれればあとは思い出せると思います。お願いします。
- ベストアンサー
- 数学・算数
- ニュートン法について
ニュートン法について ３次方程式x^3-30x^2+200x=0は0,10,20を根とする。 このことを使って、ニュートン法を１回用いることにより、x^3-30x^2+200x+1=0の根で10に近いものの近似値を求めよ。 ちなみにニュートン法は「aがf(a)=0の根に十分近ければ、a-f(a)/f’(a)は更に精密な近似値となる」です。 数学に詳しい方に答えていただけると幸いです。 宜しくお願いいたします。
- ベストアンサー
- 数学・算数
- 円の最小二乗法の公式
いくつかのデータから最小二乗法で近似曲線を求めたいのですが、よくわかりません。そのデータ集の近似曲線は円になります。 最小二乗法を調べ、１次、２次関数についてはわかりました。ある点の座標を（x1,y1）, (x2,y2）…、近似曲線上の座標を(x1,y’1)，(x2,y’2)… とした時、 (y’1-y1)^2 + (y’2-y2)^2 … が最小となるような係数a,b などを偏微分 → 連立方程式で求めるという方法でした。 円についても、同様の方法で r^2 = (x-a)^2 + (y-b)^2 のような近似曲線の式が求められるのでしょうか？１次関数などのように、y’1-y1を求めようとすると、±√ が出てきてしまい、ややこしくなる気がしますが、これを解くしかないのでしょうか？もしくは別の解法があるのでしょうか？詳しく教えていただけたらと思います。よろしくお願いします。
- ベストアンサー
- 数学・算数
- ニュートンラフソン法について
ニュートンラフソン法についての質問です。ニュートンラフソン法を利用するプログラム課題は理解できるのですが、別の問題の一つである次の問題をどう考えていけばよいのかわからないです。 「次の連立方程式f(x,y)=0、g(x,y)=0に対するニュートンラフソン法の反復公式を誘導せよ。」 参考書を調べますと一般のニュートンラフソン法はテーラー展開を用いて証明しているので、これも何らかの形でテーラー展開を利用するのではないかと思いますが、そこから先へ進めなくて困っています。よろしければどなたかコメントお願いいたします。
- ベストアンサー
- 数学・算数
- ニュートン法の問題がどうしてもわからないので教えてください。
非線形方程式の解を求めるアルゴリズムのひとつに、ニュートン法と呼ばれる方式がある。この方法ではf(x)=0の解の近似値を次の漸化式から求める。 x_(i+1) =x_i - f(x_i)/f'(x_i) なぜこのアルゴリズムで解を得られるのかをf(x)=x^2 - e^x -2 =0 を例に説明せよ。 という問題です。 どなたかわかる方がいたらお願いします。
- 締切済み
- 数学・算数
- 回帰分析 最小二乗法の直線
質問ですが 最小二乗法の直線はどうして残差ｄの二乗和が最小になる直線なのですか？ 信頼区間がナントカ・・・みたいな？ 数学には詳しくないので簡単に教えてください。
- ベストアンサー
- 数学・算数
- ニュートン法に関して
数値計算初心者です。数値計算で分からないことがあるので質問します。よろしくお願いします。 y=f(x,a)という関数があってパラメータaを非線形最小２乗法のニュートン法やマルカート法を使って求めたいのですが、計算過程でf(x)を各パラメータで偏微分してヤコビ行列を求める必要があると思われます。 例えばf(x)が複雑な関数で偏微分するのに困難な関数であった場合、 偏微分をしなくてΔxを決定するにはどのような方法があるのでしょうか？
- 締切済み
- 数学・算数
お礼
解決しました。 ありがとうございます。