- ベストアンサー
連立方程式と特異値分解
連立方程式と特異値分解 (方程式の本数)>(変数の数)という過剰条件の連立方程式における、最小二乗法を用いた最適解の算出について学習しています。 まず簡単に前提知識をまとめます。 (1)行列Aとベクトルb、xを用いた Ax=b という連立方程式について、||Ax-b||^2を最小にするために、 各変数での偏導関数=0を解くと、Aの転置行列A^Tを用いた正規方程式 (A^T)Ax=(A^T)b が得られ、擬似逆行列を用いて最適解xを求められること。 (2)Aの列ベクトルが1次従属である場合に、 (A^T)Aが逆行列を持たず、正規方程式が解けないこと。 (3)(2)の場合に特異値分解を用いると、数値計算精度の観点から 信頼性のある解を得られるらしい？こと。 ここまでは理解しています。 化学的な収支の問題を解く途中過程で特異値分解にぶつかってしまいまして、 線形代数を復習しているのですが、なかなか特異値分解の解説が見当たらず。。 素人的な観点で申し訳ないのですが、 【疑問1】特異値分解によって何故、(2)の状態の最適解を導けるのか？ 【疑問2】特異値はどんな指標として扱うことができるのか？ といった内容に関して、アドバイスを頂ければ幸いです。 特に【疑問2】については、1次従属の状態を判別するのに役立つとかなんとか、、 といった情報も見てしまい、その真偽を知りたいところです。 また、「連立方程式」「最小二乗法」「特異値分解」のキーワードで学習に向いている 参考書やWebサイト等あれば、是非お願いします。 長々と失礼致しました。
- zim7updown
- お礼率41% (10/24)
- 数学・算数
- 回答数2
- ありがとう数0
- みんなの回答 （2）
- 専門家の回答
質問者が選んだベストアンサー
> 実際には計算処理によりまず最適解を求め、その中に負の値があればそれを取り除いて再計算を行う等の対策を講じます。 「理屈に合わない値があれば、それを除く」のですね？ 勇ましいなぁ。厳しく突っ込まれることでしょう。袋叩きかも。 困るような推定値が出るなら、推定法がへんだと思いませんか？ 頑健推定というのがあって「理屈に合わない値を捨てる」に近いことをします。けど、それは数字の書きまちがいなどの可能性を理論に組み込んで、データを全て開示した上で「これは書きまちがいなどの可能性がこんなに高い」と言ってから捨てるのです。単に「困るから捨てちゃえ」じゃないです。 > 過剰条件の連立方程式を解く際の原理的な部分で、 > ・特異値分解の有効性 > ・特異値の意味合い > に対する理解を深められれば、、といったところが質問の意図です。 既に方程式があるのですよね？ なら、まずはとにかく特異値分解でやってみたらどうでしょう？ そのために必要なのは理論の理解ではなく、software とその使い方です。昔はどこから下の特異値を 0 と見なすか、という判断が必要でした。実用上むずかしいのは、ここです。今はそれを自動的にみつくろってくれるのもあるだろうと思います。 やってみて非負制約などにひっかからず話のつじつまが合うなら、安心して特異値分解って何をやってることになるのか、勉強すれば良いです。資料の探し方は既出。 話のつじつまが合わないなら、別な方法を考えざるを得ません。その場合、おそらく定式化に戻って方考えることになるので、特異値分解を勉強する必要は当面、消えます。こちらのシナリオの方が可能性が高いという意見が、ANo.1 の「それより気になるのは」以下です。
その他の回答 (1)
- ur2c
- ベストアンサー率63% (264/416)
特異値分解や一般化逆行列に関する資料は singular value decomposition generalized inverse で検索すれば、たくさん見つかります。疑問はそれらで解消するでしょう。 それより気になるのは > 化学的な収支の問題を解く途中過程で特異値分解に という部分です。本当に「無制約の 2 乗距離最小」で良いのでしょうか？ 化学なら、別な目的関数とか非負条件や制約、あるいは先験情報とかがありそうな気がするのです。どういう意味かは、たとえば http://okwave.jp/qa/q6019248.html をごらんください。
補足
仰る通りで、確かに非負条件はあります。 実際には計算処理によりまず最適解を求め、その中に負の値があればそれを取り除いて再計算を行う等の対策を講じます。 過剰条件の連立方程式を解く際の原理的な部分で、 ・特異値分解の有効性 ・特異値の意味合い に対する理解を深められれば、、といったところが質問の意図です。 まだまだ未熟なため、引き続き勉強を進めたいと思います。 早速のご回答ありがとうございました。
関連するQ&A
- 連立１次方程式の解法
0 0 2 行列A= 1 2 3 -2-4-3 1 行列x= 2 3 4 行列b= 1 4 とする。 (１) 同時連立１次方程式Ax=0は自明でない解をもつかどうかを、その理由とともに書き、自明でない解をもつ場合は、その解を書け。 どなたか教えてください。
- 締切済み
- 数学・算数
- 行列と連立１次方程式
行列と連立１次方程式 連立１次方程式AX=Oの解 (1)連立１次方程式{ax+by=p⇔(a b)(x)⇔(p)⇔AX=Pと行列で表される。 cx+dy=q (c d)(y) (q) (1)の方程式で、P=Oのとき (2)方程式AX=Oは常にX=０を解にもつ (3)方程式AX=OがX=O以外の解をもつ⇔⊿(A) 解説 [1]A^-1が存在するとき AX=Oから、A^-1(AX)=A^-1O ゆえにX=O→解はx=y=0だけ [2]A~-1が存在しないとき すなわち ⊿(A)=ad-bc=0のとき,ad=bcであり、ax+by=0とcx+dy=0は、ともに定数項が０であるから同値となる。 教えてほしいところ １．(3)の場合なんですが確かに、X=Oを解にもたないのでO以外と言えますが、O以外で必ず解をもつといえる理由を教えてください また、⊿(A)=0と同値であるといえる理由を教えてください。 ２．ax+by=0とcx+dy=0は確かに定数項は０ですが、a=c,b=dかどうかわからないと同値とはいえないのでは？？
- ベストアンサー
- 数学・算数
- 行列の連立方程式の問題がわかりません。
行列の連立方程式の問題がわかりません。 次の連立1 次方程式が自明な解以外の解を持つようなa をもとめよ． ax1 + x2 = 0 x1 + (a － 1)x2 + x3 = 0 x2 + ax3 = 0 という問題なのですが、どなたかわかりやすく解説していただけないでしょうか？
- ベストアンサー
- 数学・算数
- 方程式と因数分解
問題１ 2a-b=-2 (a＾2)-b(c＾2)=-35 bc=-12 a、ｂ、ｃを求めるとき 連立方程式をかんがえたのですが求まらなかったので 例えば 2a-b=-2の場合 適当にー２になるには a=1、b=4と代入をしたら偶然うまく計算に当てはめられたのですがこれは連立方程式でもとけますか？ 問題２ ((t＾2)+1)＾2 -4(t-3)＾2=0 を因数分解すると ((t＾2)+2t-5) ((t＾2)-2t+7)=0 になるらしいのですが４乗の因数分解がわかりません ((t＾2)+1)＾2 -4(t-3)＾2=0 を展開したら (t＾4)-2(t＾2)+24t-35 になりました
- ベストアンサー
- 数学・算数
- 線形代数・連立方程式
４次の正方行列 A=(1 α β 0) (2 β 10 α) (α 4 β -4) (1 2 3 -4) とベクトルbを用いて表される４元連立１次方程式Ax=bについて、解空間が t(x1 x2 x3 x4)=t(5+2s -3s+2t 1+s-t 3-s+t) s,tは実数 で与えられているときの、α、βを求めたいのですが、どのような条件を使って考えていけばよいのでしょうか？同次方程式を考えたりしてみたのですが、うまくいきません。どなたかお力添えをお願いします。 なを、カッコの前のtは転置行列という意味で使用させていただきました。大変読みにくいかもしれませんが、よろしくお願いします。
- 締切済み
- 数学・算数
- 行列の連立一次方程式
問題は 連立一次方程式（*）Ax=bの1つの解をx_0とする。同次形の連立一次方程式（**）Ax=0の解x_1に対しx_0+x_1は（*）の解であること示せ。（→ここまではわかりました。）また（*）の解はすべてx_0+x_1と書けることを示せ。 「（*）の解はすべてx_0+x_1と書けることを示せ。」 のところなんですが、回答には「（*）の解をｘとすると（→この時点でよくわかりません。。なぜ置いたのか…）A（x-x_0）＝Ax-Ax_0＝b-b＝0となるから、x_1＝x-x_0とおくとx_1の同次形の方程式の解でx＝x_1+x_0.」と書いてあります。 よろしくおねがいします。
- ベストアンサー
- 数学・算数
補足
度々ありがとうございます。 至らない説明ばかりで申し訳ありません。 既にソフトウェアによる過剰条件の連立方程式は計算していて、 私の目的は、ソフトウェアの「計算アルゴリズムの理解」にあります。 マニュアルは日本語ではありませんが、計算式も記載されており、 特異値分解が使われる中で、特異値がある指標(後述)として用いられているようなのです。 そこで、一般的には特異値分解と特異値がどういった意味合いを持つのか？といった疑問点にぶつかったのです。 「理屈に合わない値」云々はソフトのオプションの部分で、 私が勇ましく「理屈に合わない値を除く」ことはありません。 「理屈に合わない値」の判定にも、特異値が絡んでいるようで、その解釈に苦労しています。 私の検索が甘いのもあると思いますが、連立方程式と特異値分解の関係、 及び特異値の意味合いを基礎的な部分から解説したページには行き着けませんでした。 そこでこちらで質問させて頂いた次第です。 何にせよ、私自身の努力が第一であることには変わりないので、目下勉強中です。