• 締切済み

ニューラルネットに関する数学的な解説図書等

system7の回答

  • system7
  • ベストアンサー率100% (3/3)
回答No.2

tullioさんの紹介されている 上坂 吉則,ニューロコンピューティングの数学的基礎,近代科学社,ISBN 4-7649-0219-2,1993 も非常に良い本ですが、もう少し基本的なところから勉強するのであれば Kevin Gurney: "An Introduction to Neural Networks" UCL Press,1997 ISBN:1-85728-503-4 をお薦めします。 英語の本ですがこれでもかいうぐらい詳しく簡単に書かれいます。 また 「株価のような予測が難しい変動を学習させてそれを近似するような関数式を取り 出すようなことはできないかと考えているのですが、どうでしょう?」 とのことですが 上記の本でも軽くふれていますが、具体的な経済時系列データの予測へのニューラルネットの応用例は 松葉育雄:「カオスと予測」 応用カオス(合原一幸編),サイエンス社 に記載があります。 参考までに...

関連するQ&A

  • ニューラルネットの標準化について

    ニューラルネットの学習前に,データ[X,Y] を標準化  (x-ave(x)) / std(x)  ave(x):xの平均  std(x):xの標準偏差 というようにすべてのデータについて,[0,1]に標準化しています. 学習後(BP法),ニューラルネットから得られた回帰式は,標準化したので, パラメータが[0,1]の範囲になってしまっています. この学習後得られたパラメータの標準化を解除して,標準化しないで学習して得られたパラメータのようにしたいのですが, 学習後のパラメータの標準化はどういうふうに解除すればいいのでしょうか?

  • 重回帰分析による株価予測に用いる変数

    重回帰分析による株価予測に用いる変数で何か適当な ものはないか悩んでいます。 過去の価格や出来高などを入れると説明能力は上がりますが、実際に売買のシミュレーションをしてみると使いものになりません。 ニューラルネットといった手法を使わなければダメなのでしょうか・・・?

  • ニューラルネットワークの正規化されたデータを元に戻すには

    ニューラルネットワークで正規化し、パラメータを求めた後、パラメータの正規化をもとに戻したいのですが、方法が分かりません。 以下は、私がやっている途中を示します。 たとえば、データの入力が年齢と身長、出力が体重のデータがあるとします。 年齢x1  身長x2   体重y 21    160     55 24    172     63 私は、正規化するために  x1’=(x1-ave(x1))/std(x1)  x2’=(x2-ave(x2))/std(x2)  y’=(y-ave(y))/std(y) として正規化しました。aveは平均、stdは標準偏差 ニューラルネットとしては、次の式で表される三層パーセプトロンを利用しています。  f=W0+Σ{Wj*hj} Σはj=1からJまで  (中間層-出力層)  hj=sigmoid(Σ{Wjk*xk’}) Σはk=1,2  (入力層-中間層)  Error=(f-y’)*(f-y’) 入力層のバイアスはなしで、中間層のバイアスはありを考えています。 活性化関数は、中間層がシグモイド関数、出力層が線形関数です。 正規化したxとyに対して各wを求めるプログラムは作れたのですが、 ここからどうやってwの正規化を解除すればよいか分かりません。 正規化する方法は載っているサイトはいくつかあるのですが、解除する 方法が載っているのは見つかりませんでした。 回答よろしくお願いします。

  • 4階層型ニューラルネットワークで学習(準ニュートン法)

    準ニュートン法の学習方法の中に出てくるヘッセ行列の逆行列の近似行列Hについてなんですが、よく最適化についての本に更新式が載っているのを見るのですけど、(DFP法やBFGS法)アルゴリズムの中に探索方向の計算についてあるんですが、4層のニューラルネットに準ニュートン法を導入すると、それぞれ入力層-中間層1と中間層1-中間層2と中間層2-出力層の3つの所でそれぞれ重みwや微分式∇f(w)の更新を行うと思うのですが、このときにHをそれぞれの層間で探索方向を用いて次のHを更新するみたいですが、このHはよく初期値として単位行列を設定しているようなのですが、これはそれぞれの層のユニット数を同じにする必要とかあるのでしょうか?例えば中間1-2層のユニット数は10個とか

  • 筑波大学知識情報・図書館学類への編入について

    私は某国立大学で国文学を学んでいる大学1年生です。 今、この大学に通っているのは、第一に図書館司書の資格を取るため、第二に日本文学を学ぶため、です。  私は、将来的には図書館司書として働きたいと考えています。 しかし、図書館司書の求人は少なく、その方面への就職は狭き門となっている、と聞きます。  私の今所属している学部の就職先一覧を見てみたのですが、毎年図書館への就職者はわずか1~2人ほどのようです。(全体の約1~2%)  やはり図書館への就職は難しいのかと、半ば諦観を抱くようになり、他の職種への就職も考えなければならないなと最近は思っています。 (まあ、その1~2人になれるように努力はもちろんすべきですが)  私は進路へいろいろ不安を重ねつつ、図書館司書についてネットサーフィンをしていました。そして筑波大学 図書館学類の存在を知ったのです。調べてみると、図書館関係の仕事に就く人は毎年30人ほどいるようです。  そこで筑波大学 図書館学類への3年次編入を考え始めたというわけなんですが、どうでしょう。その図書館学類では、1、2年次にプログラミングや統計学、数学を履修することになっているのです。 しかし私は完全に文系よりの人間で、数学やプログラミングはほとんど手に負えないのです。  ちなみにその図書館学類は、3年次からは図書館学や情報処理、情報サービスを主に学ぶようです。 そこで質問です。 1、現在通っている大学が図書館への就職者が少ない、という理由で、筑波大学 図書館学類へ編入するというのは、良いアイデアと言えるのでしょうか? (どうしても図書館司書になりたいと考えている私は、これはありだと考えていますが、念のため客観的な意見が欲しいです) 2、もし編入をする場合、数学やプログラミングの知識に乏しい私が、  3、4年次においてうまく学んでいけるのかどうか? (上記のように、シラバスを見る限りでは、学習内容的にはついていけそうですが、実は1、2年次での知識を利用する機会があり、ついていけないのではないか? という疑問があるのです) 以上二つの疑問に関して、参考になればどんなアドバイスでも結構です。どなたかよろしくお願いします。 筑波大学図書館学類 関係者(現生徒、卒業者)の方や、詳しい情報を持っておられる方、見ておられたらぜひとも情報提供お願いいたします。 長文かつ拙い文章失礼しました。  

  • 2つの結果が近似していることを言うには?(統計)

    初めまして。もしよろしければお教えください。 自分で計算した理論値(モデル)があります。これが妥当(正当)かどうか見るてみようと、コンピュータで別な方法で複数回実験・計算(シミュレーション)させました。 2つは確かに近似しているのですが、これを数学的に言うにはどのようにしたらよいでしょうか?(検定?) 自分でも統計の本を見てみたのですが、いまいちわからず、どうすれば良いか困っております。 例) 理論値 24.3496 実験  1回目25.713        2回目24.779        3回目23.539        4回目25.118        5回目25.211 以上のように5回実験したのですが、回数が少ないでしょうか?適当な回数などあるのでしょうか? 未熟者ですが、どうかよろしくお願いいたします。申し訳ございません。

  • 高校数学のやり直し

    大学1年、理学部で応用数学に近い学科に属しています。 中学時代不登校で、高校時代も学校の授業が中学の内容がわからないような生徒が周りに多かったため、IIBまで一式授業があったものの、各単元最初の方だけ触れて終了といった感じで、授業ではほとんど勉強という勉強をせず卒業を迎えました。 東進には通っていましたが、当時の無気力と周りのモチベーションのなさに、ほとんどやらずじまいで終わってしまいました。 以下に書くように青チャートで独学も少々しましたが、結果失敗に終わっています。 それでも数学が好きだという理由で大学を推薦で受験した結果受かってしまい、案の定講義内容が理解できずに春学期の線形代数は大変困ってしまいました。 これまでの人生、数学はもちろんいろいろな意味で後悔しています。 そこで夏休みを利用して高校数学のやり直しをしようと思って計画を立てています。 単にやり直しと言っても、ほとんどわかっていないに等しいので復習ではなく本当のやり直しになると思います。 到達目標は、これからの夏休み期間で、秋学期から始まる微分積分の授業に普通についていけるぐらいの学力をつけることです。 また、秋の講義で使う微積の教科書を先に入手しましたので、講義の予習もできれば尚いいかなと思っています。 ちなみにこの言い方が適切かはわかりませんが、インターネット上で言われている大学のランクはEランク程度のようです。 この目標に到達するために、どのように学習していくのがいいのか、アドバイスをください。 いま手元にある参考書・問題集・教科書などは以下です。 [教科書]教研出版 新編 数学I ・ II ・ A ・ B [教科書]啓林館 数学III [教科書]教研出版 数学C [参考書]青チャートIA [参考書]本質の解法 数学IIB [参考書?]一目でわかる数学ハンドブックI・A/II・B(東進ブックス) [問題集]よくわかる数学 問題集I ・ II ・ A ・ B (Gakken) [その他]東進衛星予備校 高等学校対応 数学【基礎】 の映像なしテキストのみ(IIIIIIABC) [その他]河合塾 2011 基礎・完成シリーズ 数学基本事項集 教科書はすべて改訂版との表記があります。 数学IIIC の教科書は、高校卒業する時に学校向けの試供品?としてあったものを分けてもらってきたものですので、パッと見た感じでは使い勝手や難易度が違う気がします。 ちなみに高校で数学IIICは履修していません。 参考書は高校時代にとりあえずレベル考えず何か一冊と思って適当に選んだもので、実際ほとんどやっていません。問題集も同様です。 青チャートは、結構時間をかけて三角比のはじめあたりまでやりましたが、上の数学ハンドブックはじめの二次関数範囲をやったところいまいちわからない(模範解答をじっくり読めば解けるようになるレベル)といった感じだったので抜けているものと思います。 河合塾のものは古本で入手しましたがとても難易度高そうです。 上の参考書・教科書・問題集を利用して学習を進めていこうとおもっています。 ただ時間もないので、レベルを下げた白・黄チャートあたりを揃えたほうが良いようであれば新しく購入します。 最適な参考書と順番、それとできればかけるべき時間の概算までお教えいただけると嬉しいです。 乱文、長文失礼しました。 よろしくお願いいたします。

  • 階層型ニューラルネットに準ニュートン法のDFPを用いて学習するプログラムをC言語で作成する

    //出力層と中間層2の結合荷重を更新 for ( i = 0; i < NUM_hh+1; i++)   {  for ( j = 0; j < NUM_o; j++) { deltaw3[i][j][ilearn+1] = (y[j] - teach[j]) * y[j] * (1.0 - y[j]) * hh[i]; w3[i][j][ilearn+1] = w3[i][j][ilearn] -0.05 * H2[i][j][ilearn] * deltaw3[i][j][ilearn]; //中間層2と中間層1の結合荷重更新 for ( i = 0; i < NUM_hh+1; i++ )  {   net_input1[j] = 0;  for ( j = 0; j < NUM_o; j++ )   { net_input1[j] += w3[i][j][ilearn] * deltaw3[i][j][ilearn];   }     net_input1[i] = net_input1[j];  } for ( i = 0; i < NUM_h+1; i++)  {  for ( j = 0; j < NUM_hh; j++)   { deltaw2[i][j][ilearn+1] = net_input1[j] * (1.0 - hh[j]) * h[i]; w2[i][j][ilearn+1] = w2[i][j][ilearn] - (0.005 * H2[i][j][ilearn] * deltaw2[i][j][ilearn] );   }  } //中間層1と入力層の結合荷重更新 for ( i = 0; i < NUM_h; i++ )  {  net_input2[j] = 0;  for ( j = 0; j < NUM_hh; j++ )   {  net_input2[j] += w2[i][j][ilearn] * deltaw2[i][j][ilearn];   }  net_input2[i] = net_input2[j];  } for ( i = 0; i < NUM_i+1; i++)  {  for ( j = 0; j < NUM_h; j++)   { deltaw1[i][j][ilearn+1] = net_input2[j] * (1.0 - h[j]) * x[i]; w1[i][j][ilearn+1] = w1[i][j][ilearn] - (0.005 * H2[i][j][ilearn] * deltaw1[i][j][ilearn] );   }  } for ( i = 0; i < NUM_h; i++) // Hの更新 //  {   for ( j = 0; j < NUM_hh; j++)   { sigma2[i][j] = w2[i][j][ilearn+1] - w2[i][j][ilearn]; gamma2[i][j] = deltaw2[i][j][ilearn+1] - deltaw2[i][j][ilearn];   }  } for ( i = 0; i < NUM_h; i++) {  for ( j = 0; j < NUM_hh; j++)   { H2[i][j][ilearn+1] = H2[i][j][ilearn] + ((sigma2[i][j] * sigma2[j][i]) / (sigma2[j][i] * gamma2[i][j])) - ((H2[i][j][ilearn]*gamma2[i][j]*gamma2[j][i]*H2[i][j][ilearn])/(gamma2[j][i]*H2[i][j][ilearn]*gamma2[i][j]));   } } プログラムの最初に戻り学習を繰り返す。 準ニュートン法(DFP)を階層型ニューラルネットに用いて学習を行うプログラムを作成しているのですが、ヘッセ行列の逆行列を更新がうまくできず、学習ができません。どこに問題があるのかわからず困っています。。 ※各層のニューロン数は、NUM_i:5 NUM_hhとNUM_h:30 NUM_o:31 w123は結合荷重、deltaw123は勾配 gamma2は勾配の差分 sigma2は結合係数の差分 学習結果を見るために関数近似を行ってます。誤差は二乗誤差を用いているのですが、結果が学習回数2回目辺りから1.#qNaN0になり、それ以降は-1.#ind00という出力になってしまいます。

  • Mie散乱の濁度への近似

    現在、サブミクロン粒子を用いた材料の透過率計算を要しております。 粒子のサイズパラメータ:α=2πr/λが十分に小さい、α<<1の範囲ではRayliegh式から予測した算出結果と実測値がよくマッチしています。 が、当然ながらα>1の範囲では予測値と実測値に2オーダー以上の差が生じています。 そこでα>1においてMie理論からの近似を図っていますが、当方の物理関係への知識不足により理論の理解が頓挫しております。 粒径D=2rが波長λと同程度になった際の近似として、 F=Kπr^2*N (式1)   F:濁度 という計算式が発表されているそうなのですが、手元にある文献では該当項目の十分な調査ができておりません。 関連文献としてM.Kerker著"Scattering of Light"を探していますが、近くの図書館・大学図書館などにも蔵書が見当たらない状況です。 http://omlc.ogi.edu/calc/mie_calc.html http://www.philiplaven.com/mieplot.htm なども英語に悪戦苦闘しながら利用していますが、算出した散乱係数Qsca・垂直/水平散乱パラメータi1/i2等からの濁度F算出に至る過程が理解できておりません。 物理・光学・量子・数学関連の知識が乏しく、専門の方から見れば稚児に物事を説くようなものと思われますが、 1:粒子パラメータ・媒質と粒子の屈折率を用いた、式1の近似過程 2:Qsca・i1・i2からの、透過率I/I0もしくは濁度Fの算出 どちらかに関してご教示頂けましたら幸いです。 よろしくお願いいたします。

  • ゼロから始める大学受験の数学の教材ルートについて

    独学で、中学レベルから始める大学受験の数学の教材ルートにアドバイスをお願いします! 中2の6月から完全不登校で、今度の4月にN高に入学予定の息子が、今から独学で大学受験の勉強をしたいといっており、おすすめの教材が知りたいです。 【教材ルートの案】 辞書がわりに、「小倉悠司のゼロから始める数学1・A」と、「白チャート」と、スタディサプリの動画を使用しながら、下記の教材の順番でやる。 ①「中学校3年間の数学が1冊でしっかりわかる本」 ②「高校の数学I・Aが1冊でしっかりわかる本」 ③入門問題精講 ④基礎問題精講 ⑤標準問題精講など?標準レベルの問題集 ⑥応用レベルの問題集 ⑦赤本 【補足】 ネットでよくおすすめされている「やさしい高校数学」は、書店で見てみたところ、途中式など飛ばされている部分がありそうで、文系で数学が苦手だった私の視点から見るとそこまでわかりやすくなさそうに感じてしまいました。「初めから始める数学」は、フォントや色などが見やすくなくなんとなく、やる気がおきなそうな気がしました。(ワガママですみません!私が数学が嫌いだったので、やる気になれそうな、本当に噛み砕いた、わかりやすく、スモールステップで出来そうなものが良いと、つい思ってしまいます。ひとつひとつわかりやすくシリーズのようなものが良いのかと思いましたが、その場合、どのあたりで使い、その後、何をやればよいかわかりません。) とりあえず見やすくわかりやすそうな、「小倉悠司の ゼロから始める数学1・A」を買ってみたのですが、他にもっと、初学者でも本当にわかりやすいオススメの物があれば知りたいです。(もしかすると、教科書が良いでしょうか?その場合は、効率良く学習を進められる一緒にすすめると良い問題集などを教えて頂けると有り難いです。) 息子の学習のレベルについてですが、勉強習慣は身についていませんが、中学ではテスト前に少ししか勉強しなくても平均点か平均点より上は取り真ん中くらいの順位で、成績はオール3を基本にいくつか数学や英語など4の時もあったくらいで、勉強が特に苦手で全く出来ないというわけではなく、得意というわけでもない感じですが、親から見ると、もう少しテスト前に勉強すればもっと点は取れたのではと感じており、やれば出来ると思います。 家族以外の人と会う事や外に出るのが嫌になってしまっている為、塾やオンライン家庭教師は嫌がるのと、以前から年間購読しているスタディサプリや、進研ゼミやスマイルゼミなどの通信教育を利用するのはどうかと勧めましたが、参考書などを使い自分でやりたいとのこだわりがあり、自分で調べる元気がないから調べて揃えて欲しいとのことで、私が調べています。 社会も理科もあまり好きでは無いようなので、親としては私立にして科目を絞ればやりやすいと思うのですが、本人は今から頑張って、出来るだけ難関の国立に行きたいと言っています。 まだ文系か理系か、私立か国立かも絞られていないので、とりあえず、1年のうちは、英語と数学を、中学基礎レベルから始めて高校基礎レベルは余裕なくらいに出来ればいいなと思っています。(数学は上記の③くらいまで。英語は基礎レベル単語と文法くらい) まだエネルギーが完全に戻ったわけではなく最初から何時間もできないと思いますが、本人はやりたい気持ちは強く、習慣をつけるため筋トレをここ何週間か頑張っていたり、生活リズムを整えるなど自分なりに努力しています。 まずは英語と数学を1日10分など少しでもいいので始め、徐々に時間を増やしていくのが良いかと思っています。 年8日ぐらいしか登校しないコースなので、レポートを早く仕上げてしまえば時間はたくさんあるのですが、なかなか自己管理してやるのは大変だというのは承知しているので、まずは私が声をかけながら少しずつ始め、習慣がついて元気も増えてきたら、オンライン自習室や、図書館や、自習室を借りる、オンライン家庭教師など、徐々に環境を整えていくのが良いと思っています。 ちなみに主人は理系卒なので土日に理系科目を、私も英語学科卒なので英語は教えられます。 本人は英語は嫌いではなく、中2の始めに英検準2級の1次は合格し、ちょうど不登校になり外出が怖くなり2次の面接は行けませんでしたが2次試験の勉強を見ていた限りでは受ければ受かっていたと思うので、高1のうちに準2級、高2で2級に合格出来るように並行して出来れば良いなと思っています。 本人も高校のうちに英検準1級を取って受験に少しでも有利に出来たらいいな、大学で留学もしてみたいからTOEFLも受けたい、と言っているので、実際にやれるかどうかはわからず、準1級はかなり大変だとは思いますが、少しずつ頑張っていって欲しいと思っています。