エネルギー関数についてものすごく困っています。

質問

現在大学４回生で夜間に通っています。２５歳のものです。
セミナーという形で、論文を書かなければならないのですが、
私は一番不得意な数学をよく使う研究室に配属されてしまいました。
テーマも自分ではきめれず、かといって教授は難しい論文を渡すだけで教えてはくれません。
　題目は「エネルギー関数についての応用？」みたいなかんじで、とりあえず今はエネルギー関数がどういうもので、どんな事に応用されているか調べています。HPでも調べているのですが、なかなかずばりはなく困っています。
どなたか詳しくて、頭の悪い私に教えてくださいませんか？
卒業が危ないのでどーぞ宜しくお願いします。

回答No.4

stomachman

ニューラルネットでエネルギー関数を使うと言ったら、これは大概、シミュレーテド・アニーリング（焼きなまし）と絡んでますね。
シミュレーテド・アニーリングという手法は、何もニューラルネットに限った話じゃない。
一般に沢山のパラメータ（ベクトルpと書きましょう）があって、パラメータによって何かの評価値 E(p)が決まる。というシステムに於いて、E(p)を最小化（あるいは最大化）したい、っていう最適化問題です。pが二次元なら、でこぼこした二次元曲面にビー玉を転がして、一番低いところはどこ？っていうわけです。（この場合位置エネルギーの最小化をやってる。）
　pとE(p)の関係が単純でなく、非常に非線形性が強い場合には、解析的に扱ってもどうにもならない。pの空間（１００個パラメータがあれば１００次元空間）の中をどうやって探せば良いの？ものすごく広い空間なので、総当たりしたんじゃいつまで経っても終わらない。

そこで、pをいい加減に決めてみて、そこにビー玉を置く。つまりその場所での局所的なE(p)の傾き(∂E/∂p）を見て、Eが小さくなる方にビー玉を「転がす」と、少なくとも「極小」は分かる。最小ではないけど、少なくとも周りよりはEが小さい。local minimumとも言います。ランダムに選んだ沢山のpについてこの操作を行うと、それぞれてんでに極小に落ち着きます。でもこれだと、本当の最小は分からないです。
そこで、「熱」を加える。感覚的に言えば、システムを揺する。ビー玉に運動エネルギーを与えてやるんです。そうすると、pが動く。動いて、極小から抜け出して、より低いところへ移っていくことが出来ます。揺すったら、またしばらく静かにしてpが転がるのを待つ（これが焼き鈍し）。それぞれが極小に落ち着きますが、さっきよりは低いところに移動したものが多いでしょう。
この操作を繰り返します。最初の内は派手に揺する。高い熱を加えるんです。で、だんだん加える熱を少なくしていく。こうして、ホントの最小に落ち込むビー玉が出てくるだろう。
シミュレーテド・アニーリングって、こういうやり方です。

　んで、ニューラルネットの場合にも、何かある条件を満たす解を探すのに、このやり方を使う。「ある条件」を、その条件が満たされると値が小さくなるような評価関数Eで置き換えてやるんですね。

　あんまり具体的に説明しすぎるとsiegmund先生に怒られちゃいますから、このへんにしておきましょう。

　でもね、siegmund先生てば。最近botanさんという方の質問がありまして、それによると１２月に卒論のテーマを天下りで与える。１月には提出。っていう「国立大学」があるようです。学生も教官もどっちも大学レベルとは思えない。とんでもねー話じゃございませんでしょうか。日本の将来が心配だあ。