• 締切済み

ノード数の増減するニューラルネットワーク

今ニューラルネットワークを勉強しているのですが、ノード数の増減するニューラルネットワークのモデルはありますか？ また、実際のニューロンには興奮性と抑制性という性質を持ち合わせているそうですが、これらの性質を反映してたモデルの資料などをご存知でしたら、是非教えてください。

みんなの回答

  • Tacosan
  • ベストアンサー率23% (3656/15482)
回答No.1

増やすのは見たことないけど, あるノードの出力の重みを全部 0 にすればそのノードをなくしたのと事実上同じだよね. で, 重みを負にすれば抑制性にできる, と.

hikuta0924
質問者

お礼

なるほど、抑制性の意味がわかりました。 減らすのも重みの操作でできるのですね。 ご回答ありがとうございます。

  1. カテゴリ
  2. 学問・教育
  3. 数学・算数

関連するQ&A

  • 3層構造　階層型ニューラルネットワークについて

    入力層、中間層、出力層の３層構造からなる基本的な階層型ニューラルネットワークの結合荷重値はどのようにして与えられるのでしょうか？ また、中間層のニューロンの数はどのようにして決められるのでしょうか？入力層のニューロンの数と相関があるのでしょうか？中間層が多層の場合、１層のニューロンの数はみな同じですか？

  • ニューラルネットワークの変数の数とサンプル数

    ニューラルネットワークでは解析に用いる変数の数とサンプル数をどの程度の割合にすればよいのか、教えてください（例えば、変数：サンプル数＝3:100のように）。 またその情報が記載されているHPや文献もできればお願いします。 変数の数を増やせばサンプル数も多く必要になるのは、文献などに記載されていることがあるのですが、実際の数についての記載が見つからないのでよろしくお願いします。

  • ニューラルネットワークとAI

    まさに今、書籍でもマスコミでもなんでもこの方面が賑やかのように見えます。 実際に本を読んでみてそれを実行するという面ではそれほどハードルが高くないように思えます（基礎理論は軽い線形代数と微積を少々）（これを考え付いた人はエライですが）。システムの枠組みがあってデータを学習させてシステムの変数を同定していくということですかね。そのため逆にいうと独自性を出すところとか頭１つ他よりも上に行くのは難しいだろうと思いますが、私の立場は単純にユーザです。言われた通りのことをやってみるってだけのことです。そういう立場で見ると、入力層とか出力層は問題設定で決まらざるを得ないのですが、中間層のノード数、層数はどうやって決めていくのかな？という疑問があります。教科書のサンプル例では中間層が1層で５ノードとかの事例が示されています。１層５ノードとなっているところを４層で各層10ノードとかに設定したとしてもプログラム自体は特に問題なく動くように思えます。今どきのコンピュータだと苦も無く計算してしまいそうです。ただし、そうなると学習させるデータがそれに見合って多くないと意味がないかもしれませんが。中間層の層数・ノード数の決め方に何か指標があるでしょうか。未知の変数が多くなるので十分学習すれば複雑な問題に対応できるのかもしれませんが、そこまでしなくていいだろうというような感じなのでしょうか。 また、AIって結局ニューラルネットワークのことだ、と思っていいのでしょうか。多分、ビッグデータがあるから皆出来るようになったんだなと思いますが。

  • ニューラルネットワークでのバイアス項と活性化関数について

    ニューラルネットワークについて http://mars.elcom.nitech.ac.jp/java-cai/neuro/menu.html を参考に勉強しています． １． ニューラルネットワークのあるノードの出力は，前層のノードの重み和で表され， 　out_i　=　Σ{W_ji*x_j}　　from　j=0～n となる． ここで，バイアス項として，W_0i，x_j0=1.0　というのがあるのですが， このバイアス項はどういう役割をするためにあるのでしょうか？ ２． ノードx_iへの出力は，活性化関数g　を用いて， 　x_i　=　g(out_i) となる． ここで，「活性化関数は非線形関数でなければならない」というふうに 言われているのですが，なぜ非線形でなければならないのでしょうか？ 以上の１．２．について御教授お願いします．

  • バックプロパゲーション(誤差逆伝播法)について質問です

    ニューラルネットのバックプロパゲーション(BP)について勉強してますが、いまいち理解できないところがあります。どなたかご教示ください。 中間層のあるニューロンj の結合加重を更新するとき 一つ後の層のニューロンの誤差の総和を反映させると書いてあったのですが、 誤差 E は 　　　E = 1/2Σ(t_k - out_k)^2 　　　　　　t_k=ニューロンkの教師信号、out_k=kの出力 で与えられますが、 例えば仮に10層くらいのネットワークがあって、第3層の あるニューロンj の結合加重を更新するときも、その一つ後ろの第4層のニューロンの誤差の総和を計算する必要があるんですか?。誤差って何と何の誤差なんでしょうか? またそのニューロンj は教師信号と関わってくるんでしょうか?、 説明が分かりにくかったらすいません…どなかご存知でしたら教え下さい。

  • 神経軸索での情報伝達の仕組みについて

    神経細胞の情報伝達についての質問です。 神経軸索で情報伝達される際、膜電位やイオンチャネルがどういった働きをして、伝達されるのでしょうか。神経細胞の構造とも関連しているのですか？ また、シナプスでは興奮性ニューロンと抑制性ニューロンがどうかかわって情報伝達されるのでしょう。 これらの仕組みのできるだけ詳しい、まとまった解説をお願いします。 高校時代、生物を選択していなかったため、現在エッセンシャル細胞生物学をもとに勉強していますが、基礎知識が乏しくさっぱりな状況です。 よろしくお願いします

  • 実際のニューロンの出力先が複数か単数かについて

    いくら探しても無かったので質問させていただきます。 今私はニューラルネットワークを学ばんとす。 階層型ＮＮだと出力が配列になっていて、例えばある入力層の素子からは全ての中間層の素子に向かって軸索が伸びています。 では実際の、私たちの頭の中のニューロンは、出力先が複数あるのですか？ いろんなサイトを見ていますと、「出力先は１つである」という明記が無いけれども、イラストなんかを見てると必ず出力次数が１なんですよ。入力次数は４つとかあって。 で、出力次数が１の場合を考えていましたら、「無意味な閉回路」「フィードバックはありえない」というおかしな問題に気付きました。 「ニューロンＡＢＣＤがあります。Ａ→Ｂ→Ｃ→Ｄという順に出力先を結合します」 「次に、Ｄの出力先を辿るとＡがある場合、閉回路ができあがり、このニューロン集合からはいかなる出力も生み出されません。Ｄの出力先を辿ってもＡが絶対に出ない場合、ラストは末端の出力素子につながっていると考えられますが、フィードバックを利用するようなＮＮは作れない」 ということです。やはり生ニューロンの出力軸索は複数本あるのですか？どんなイラストを見ても１本なのですが。 伝わりましたでしょうか。随時補足させて頂きます。宜しくお願いします。

  • ニューラルネットワークの「重み」について

    「ニューラルネットワークの重みの初期値によって、学習の結果は変わることはないが、学習の進み方や速さには影響が出る」という話を聞きましたが、この知識は正しいでしょうか？ （私は重みの初期値はニューラルネットワークの学習の結果にも進み方・速さにも影響があると思っているのですがいかがでしょうか？）

  • ニューラルネットワークについて

    　私は今、ニューラルネットワークやDeepLearningといったものに興味があり、 その仕組みや設計方法、プログラムや使い方等を、ネットや本で調べているのですが、 どれを見てもたくさんの専門用語や複雑な数式で説明されているものがほとんどで、 それらを全く理解できないわけではないですが、詳細な解き方や、直感的な考え方の説明が 欲しいです。自分でも色々調べましたが、私が今知っていることと言えば、ニューラルネットが どんなもので、どんなことが出来て、どんな種類があるか、また、ニューロンの動作を表す数式が なんとなく理解できる程度で、そこからもっと発展した話についてはほとんど分かりません。 さらに調べていくうちに、DeepLearningや、SOINN等の、高い性能を持つニューラルネットの 存在も知り、もっと強い興味が湧いてそれらについても調べてみましたが、英語で書かれた サイトや、大学の論文と思われるものが出てくるばかりで、これについても分かっていることは、 段数の多いニューラルネットで、認識精度がとても良いということくらいです。もっと詳しく分かる ようになり、自分でも何か認識させたり、ロボットに組み込んで使うなど、色々やりたいことは あります。誰かに質問することも考えましたが、周りにいるのはロボット専門の人で、ニューラル ネットワークについて分かりやすい説明を得るのは難しいと考えました。私自身も学力があまり よくなく、どうすれば良いか分からない状態です。ニューラルネットワークやDeepLearningの 数式の詳細な解き方、ネットワークの説明を直感的で分かりやすい、詳しい設計方法等が 書かれている、サイト、書籍等をご存知でしたら、教えて頂けるととても有難いです。曖昧な 表現で分かりにくく、カテゴリが合っているかどうかもよくわからず、また、虫がいい質問である とは思いますが。よろしくお願いします。

  • ニューラルネットワークについて

    最近ニューラルネットについて勉強しています。 特に準ニュートン法での学習について考えています。 ある日手に入れたデータで学習したところ、誤差があまり小さくならなかったので(何度も学習を試し、ノイズ混入も試したので、ローカルミニマムに引っかかっている感じではないと思います)、中間層のユニット数を莫大に大きくしました(最初試したときの100倍以上です)。 しかし誤差が全然変らない、という結果が出ました。 このように、自由度を上げても学習しきらないことってあるんでしょうか。もしあるのなら、その原因は何でしょうか。また、学習しない原因となっている邪魔なデータを探す方法ってあるのでしょうか(出来れば視覚的に見えると嬉しいです)。 宜しくお願い致します。

注目のQ&A

カテゴリ

専門家に質問してみよう

職業から探して質問する

あなたにピッタリな商品が見つかる！ OKWAVEセレクト

質問する