- ベストアンサー
L1ノルムの最小化
最適化問題で、 特異値分解法は最小２乗解を得ることができるので、L2ノルムの最小値に向かって推定が行われていると思うのですが、一般てきにポピュラーなL1ノルムを最小化するアルゴリズムにはどのような方法が使われているのでしょうか。 よろしく御願いします。
- DeepSkyObj
- お礼率58% (84/143)
- 数学・算数
- 回答数1
- ありがとう数1
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
何十年も前のロシア（当時はソ連）の本では、線形計画法でやってました。「距離は非負」という条件のもとで、距離の和を最小化ですから、すなおです。 下の URL のようなのもあります。はっきりおぼえてないし読みなおしてもいないのですけど、以下のような考え方だったかと思います。 絶対値の最小化は原点で微分が使えなくなるから、やりにくい。だから原点で角が丸くなるような関数の列を考える。その極限では角の丸みが取れて、L^1 の最小化になるようにする。そしてその関数列を使って、次々と最小化をする。関数の番号がじゅうぶん大きくなったら、それは L^1 の最小化と同じだと思うことにする。
関連するQ&A
- 特異値分解法、最小２乗法について
「ＮＵＭＥＲＩＣＡＬ ＲＥＣＩＰＥＳ ｉｎ Ｃ」 （ニューメリカル レシピーズ イン シー） と言う、本に載っている 特異値分解法と最小２乗法のプログラムを完成させたいのですが 誰か、教えていただけないでしょうか？ 別に、それでなくても、特異値分解法と最小２乗法のＣ言語でのプログラム の作り方を教えてください！ また、特異値分解法と最小２乗法についてもよくわからないので 何かわかりやすい説明あれば教えていただけると幸いです！ よろしく、お願いします！
- 締切済み
- 数学・算数
- 非線形最小二乗法のNewton法およびGauss-Newton法について
最小二乗法という本を読んでいて、2次元での非線形最小二乗法のNewton法およびGauss-Newton法のアルゴリズムが、難しくてわかりません。 例題でのパラメータ推定をやってみたいので、ご専門の方ご教示くださいませ。
- 締切済み
- 数学・算数
- Ｃ言語について教えてください。
「ＮＵＭＥＲＩＣＡＬ ＲＥＣＩＰＥＳ ｉｎ Ｃ」 （ニューメリカル レシピーズ イン シー） と言う、本に載っている 特異値分解法と最小２乗法のプログラムを完成させたいのですが 誰か、教えていただけないでしょうか？ 別に、それでなくても、特異値分解法と最小２乗法のＣ言語でのプログラム の作り方を教えてください！ よろしく、お願いします！
- 締切済み
- C・C++・C#
- 最小二乗法について
最小二乗法では二乗和の誤差 Σ[i=1～n]{Yi-(α+βXi )}^2 （iは添え字です） を最小化するα,βを推定することを考えますが、 これは単純にα,βで偏微分してそれを0とおいて 連立方程式を解くだけでよいのですか？ といいますのも、2変数関数の極値を求める場合、 Hessianを計算して判別しますよね？ ただ一階偏導関数が0になるからといって、 そこで極値をとるとは限らない気がしたので… それとも最小二乗法の場合は必ずとるようになっているのでしょうか？ 手元の本には、 「この二乗和は非負値なので、αとβで偏微分したものを0とするα,βが上式を最小にする値である」 とあるのですが、一般に非負値だとこの ようなことが言えるのでしょうか？
- ベストアンサー
- 数学・算数
- 連立方程式と特異値分解
連立方程式と特異値分解 (方程式の本数)>(変数の数)という過剰条件の連立方程式における、最小二乗法を用いた最適解の算出について学習しています。 まず簡単に前提知識をまとめます。 (1)行列Aとベクトルb、xを用いた Ax=b という連立方程式について、||Ax-b||^2を最小にするために、 各変数での偏導関数=0を解くと、Aの転置行列A^Tを用いた正規方程式 (A^T)Ax=(A^T)b が得られ、擬似逆行列を用いて最適解xを求められること。 (2)Aの列ベクトルが1次従属である場合に、 (A^T)Aが逆行列を持たず、正規方程式が解けないこと。 (3)(2)の場合に特異値分解を用いると、数値計算精度の観点から 信頼性のある解を得られるらしい？こと。 ここまでは理解しています。 化学的な収支の問題を解く途中過程で特異値分解にぶつかってしまいまして、 線形代数を復習しているのですが、なかなか特異値分解の解説が見当たらず。。 素人的な観点で申し訳ないのですが、 【疑問1】特異値分解によって何故、(2)の状態の最適解を導けるのか？ 【疑問2】特異値はどんな指標として扱うことができるのか？ といった内容に関して、アドバイスを頂ければ幸いです。 特に【疑問2】については、1次従属の状態を判別するのに役立つとかなんとか、、 といった情報も見てしまい、その真偽を知りたいところです。 また、「連立方程式」「最小二乗法」「特異値分解」のキーワードで学習に向いている 参考書やWebサイト等あれば、是非お願いします。 長々と失礼致しました。
- ベストアンサー
- 数学・算数
- 共役勾配法の解法について
Ax = b の形の式を共役勾配法で解く方法は，インターネットでいくつか見つけることができました． しかしながら，Ax = b の解が１つでない場合などに， ||Ax-b||^2+α||Cx||^2 （ノルムは２ノルム）を最小にする問題を，共役勾配法によって解く方法がわかりません． 最小自乗法に関する知識が必要なのかと思うのですが，どうにもならないのが現状です． どなたかご存知ありませんでしょうか？
- ベストアンサー
- 数学・算数
- 重みつき最小２乗法について
最小２乗推定値mの分散を最小にする重みwiの値がわからずに困っています。 ラグランジュの未定乗数法を用いて導くらしいのですが、回答に辿り着けません。 最小２乗推値の分散は、var(m)=Σwi^2*var(mi)で、 制約条件は1=Σwiです。 よろしくお願いします……
- ベストアンサー
- 数学・算数
- 半ノルム族によって誘導される位相について
多様体V上の連続関数全体F(V)の位相に関して、 任意のコンパクト集合Lに対して、 P_Ｌ(ｆ) = max |f(x)| ※xはL上を走る P_Ｌ(ｆ) は、半ノルムとなり、F(V)にこれらの半ノルム族に誘導される位相が入るらしいです。 半ノルム族に誘導される位相とは、具体的に、開集合はどのように定義されるのですか。 Vがコンパクトであれば、通常のMAXノルムというやつですが、コンパクトでない一般的でない場合の位相の入れ方に関する質問です。 おそらく、ブルバキの位相に載っているかと思うのですが、当方、社会人のため、見ることができません。定義の問題なので、どなたかお願いします。
- ベストアンサー
- 数学・算数
- 非線形回帰式のパラメータ推定について
あるデータの予測値がこの関数に当てはまると考え 関数のa,b,y∞のパラメータを推定したいと考えています． そこで実値と予測値の誤差から，最小２乗法を用いてのパラメータ推定は行いました． が，初期値に依存することから，別のパラメータ推定を考えています． そこで最尤法を用いたいと考えているのですが，この場合どのような確率密度関数になりますか． その後パラメータで偏微分を行い，ニュートン法により最適解を求めたいと考えています． こちらの方法も初期値に依存することは理解していますが， 文献より最尤法の初期値は最小２乗法で求めた値を使用しようと考えています． 要はこの場合，最尤法でパラメータ推定はできるのか． どのような手順で行うのか． 最小２乗法と何が違うのか． の回答をよろしくお願いします． また，似たようなことを行っている文献紹介などもしていただけると嬉しいです． 式は，添付ファイルにて．
- 締切済み
- 数学・算数
