事前分布について
- ベイズ推定を行う際には事前分布を仮定する必要があります。共役事前分布としては、二項分布にはベータ分布、多項分布にはディリクレ分布が使われることが一般的です。
- 共役事前分布として選ばれたこれらの分布は、計算の容易さや経験的な成功の理由によるものです。
- ベータ分布やディリクレ分布は、ベイズ推定の計算を単純化するだけでなく、データの結果を反映しやすくする性質を持っています。
- ベストアンサー
事前分布について
事前分布について質問させてください。 ベイズ推定を行う場合、事前分布を仮定しますよね？ その際に、共役事前分布ってものがあるかと思います。 二項分布→ベータ分布 多項分布→Direchlet分布 この共役事前分布はなぜこう決められているのかご存知の方おりますでしょうか？ 恐らく、単に計算がしやすいからといった理由だけではないですよね？ 二項分布→ベータ分布、で納得ができれば、 多項分布→Direchlet分布、でも納得が得られるかと思います。 計算がしやすいし、経験的にうまくいくからということも考えられますが、 ご存知の方がいましたら助言をお願いします。
- kumav
- お礼率76% (32/42)
- 数学・算数
- 回答数1
- ありがとう数2
- みんなの回答 （1）
- 専門家の回答
質問者が選んだベストアンサー
なにが知りたいのか質問の意味がいまいちよくわからないのですが。 与えられた尤度分布のもとで、事前分布と事後分布とが同じ分布になるような事前分布を共役事前分布といいます。 例えば、尤度分布が二項分布に従うってことがわかっているなら、事前分布としてベータ分布を仮定しておくと、ベイズの定理から計算する事後分布も必ずベータ分布になります。
関連するQ&A
- 試行回数が多ければ好きな事前分布を選んでもよい理由
機械学習について勉強している者です． 事前分布の性質について分からないことがあるので教えてください． http://gihyo.jp/dev/serial/01/machine-learning/0010?page=2 このページには 「どのような事前分布を持ってきても，試行の回数が十分多ければ，ベイズ事後確率の一番高い値は単純な『表の回数/投げた回数』に近づくことがわかっています」 と書かれています． なぜこのような性質が成り立つのでしょうか？ また，この性質は一般的に成り立ちますか？ このページの例に限って言えば，事後確率が二項分布に似た形になるので「試行回数を増やすと正規分布に近づくのかな？」と考えました．しかし，この説明だと，コイン投げ以外の問題で上記の性質が成り立つかどうか説明できません．もしコイン投げ以外の場合でも成り立つ性質であるならば，なぜ成り立つのかを知りたいです． よろしくお願いします．
- 締切済み
- 数学・算数
- ガウス分布に対するベイズ推定
計算・演算が苦手で嫌いな理系大学生です． 質題にもありますが，ガウス分布に対するベイズ推定の計算がほとんど分らない状態で困っているので，この場をお借りして質問させていただきました． 問題は以下の通りです． p(x|u)=N(x|u,b^-1) D={x_1,x_2,・・・,x_N} ：観測データ集合 p(u)=N(u|m,a^-1) ：uの事前分布 uは未知パラメータ，b,aは精度，m,uは平均，Nはガウス分布とする． このときのベイズ推定でパラメータ推定分布p(u|D)と推定分布p(x|D)を求めよ というものですが，計算が複雑で計算力もないため答えが求まりません． ちなみに答えは p(u|D)=N(u|Um,g^-1) Um=1/(N+λ)*(Σ^N_n=1*x_n+λ*m) g=a+N*b p(x|D)=N(x|Um,a^-1+b^-1) となるらしいです． この計算ができる方にご回答いただけたら幸いです． 詳細な説明もできるだけ含みで，ご回答よろしくお願い致します．
- ベストアンサー
- 数学・算数
- 二項分布のパラメータ推定の信頼度について
確率は全くの初心者ですので，記載にミスがあるかもしれません． n回コイントスをしたとき，そのすべてで表となったコインがあったとします．このデータからコインの性質を調べた際に，どれだけの推定誤差と信頼度でこのコインは表しか出ないということができるでしょうか？ 二項分布のパラメータ推定問題としてとらえると， 確率pで1，(1-p)で0となる試行に対して，n回すべて1となった時の，pの推定値の誤差と信頼区間を求めたいです． 100回中48回表だった際の～などの場合は分散をnp(1-p)のように標本分散で近似して計算すればいいと思うのですが，100回中100回だと標本分散が0になってしまって，どのように計算すればよいのかわかりません． もしかしたら計算に何らかの仮定を置かないといけないのかもしれません． 確率に全く知識がないので，もし分かる方がいましたら，丁寧に教えていただけると幸いです．
- 締切済み
- 数学・算数
- ベイズと頻度論はデータ量が多ければ漸近してくるもの
次に関して本当かどうか、教えて下さい。 (1)ベイズの方法は予測に価値を置いているのですか。 計量経済学は何かの予測をゴールにしていることが多いので、ベイズの方法とは相性がいいのですか。 (2)「医学の疫学研究のように間違いが決して許されない分野では、頻度論が使われる。ベイズは必ず仮定を置いて考えるが、間違いが決して許されないときには、仮定なんか置かないほうがいいという立場だ」と言っている人がいますが、仮定とは事前分布のことだと考えられますか。 頻度論のほうが強引な仮定を置くと思うのですが・・・ (3)「ベイズと頻度論は目的に応じて使い分ければよい。ビッグデータの場合には両方の結果が収束してくると思う。ベイズの方法でたとえ極端な仮定から出発しても、サンプル数が増えていけば頻度論で真値といわれる値に近づきます。 」 と言っている人がいますが、それって、ベイズで全数データを使うということを言っているのでしょうか。
- ベストアンサー
- 数学・算数
- ベイズ推定についての質問です
ベイズ推定に関する質問です。 ある料理店のコース料理のコースがnコース(ここでは5コース)あったとして、1品1品の料理が運ばれてくる中で、「今日は○コースである確率」を更新したいと考えています。 (例) 運ばれてくる料理の順番はランダム ・Aコース ピザ、パスタ、サラダ、アイス ・Bコース ピザ、パスタ、ラザニア、アイス ・Cコース ピザ、ラザニア、サラダ、アイス ・Dコース パスタ、ラザニア、サラダ、アイス ・Eコース パスタ、ラザニア、サラダ、ケーキ それぞれのコースが出やすい確率（事前分布？）はAコースから（0.3,0.3,0.2,0.1,0.1)とします。 【求めたいことをおさらいします】 たとえば今日のコースがAコースとし サラダ→アイス→ピザ→パスタ と1品ずつランダムにでてくると仮定します。 そのときのそれぞれのコースである可能性（確率）の推移を求めたいのです。 1品目(サラダが出された）の時点ではBコースである確率は○％、Eコースである確率は○%など・・・ ここでいくつか質問なのですが (1)コースは多項分布にあたるのでしょうか？または違う分布なのならば教えて頂きたいです。 (2)皆様ならどのような形で推定しますか？ベイズは用いて欲しいです。 例を用いてくださっても結構ですし、運ばれてきた料理を勝手に仮定して更新されていく様子を表してくださっても構いません。 質問の意味が伝わっているか分かりませんが、よろしくお願い致します。 皆様からの質問には返信で対応致します。 皆様の力を貸してください。
- 締切済み
- 数学・算数
- 不偏分散の分布は？
不偏分散の分布について混乱していますので、ご助言頂けましたら幸甚です。 例えば母集団の分布を正規分布N(μ,σ^2)とした際、 標本平均x(=1/nΣxi)を区間推定する場合、正規分布の再帰性より、標本平均の分布はN(μ,(σ/√n)^2)となることから、μの区間推定が可能と理解しています。 また、若干やり様は異なりますが、標本分散s^2=1/nΣ(x-xi)^2に対し、ns^2/σ^2がΧ2分布に従うことから、σの導出が可能と理解しています。 ここで、上記と同様に、不偏分散(=1/n-1Σ(x-xi)^2)についての分布とは、どのような分布になるのでしょうか？ おそらくΧ2分布になると推察しますが、証明できてません。 また、不偏分散の導出方法は、 E[S^2]、即ちS^2の平均と理解していますが、 S^2を確率変数とした際の分布がΧ2分布なのであれば、 このΧ2分布の平均が、不偏分散になってもよさそうですが、 Χ2分布の平均＝n ですので、不偏分散とは不一致です。 上記のとおり、整理がついておりませんので、教えて頂けましたら助かります。 特に上記のとおり混乱しておりますので、現在はむしろ、「不偏分散については、点推定でのみ用いるのか？」と考えております。
- ベストアンサー
- 数学・算数
- ベイズ統計の練習問題について
ベイズ統計の練習問題のについてお尋ねします。 問題：1袋100g表示の袋が数多くあり、３つのサンプルを取り出して計測すると100,102,104gだったとします。 この袋の重さは分散１の正規分布であることが分かっている場合、袋の重さの事後分布を求めなさい。 ベイズの式は事後分布∝尤度×事前分布ということで、尤度と事前分布を求めて式を変形するようです。 回答によると 尤度：正規分布の式（平均=μ,分散1）に100,102,104のそれぞれを代入して得た表示式の積を取る。 事前分布：値100に対する正規分布(平均=μ,分散1）の値（表示式） として進めていきます。 ここで質問ですが、正規分布（確率密度関数）の式の値に積極的な意味があるのかなという気がして、どういうことなのだろうと思います。 確率密度関数はそれを積分したときに確率が表示されるものであり、積分しないと物理的な意味がないような気がするのですが。 さらに回答を読むと、事前分布について分散1に限定かと思ったら事前分布は未知なので（←いつもそう言われますが）分散を3にして計算してみる、ということになっています。これはなぜでしょうか。 3にしてみるという試行の結果を示すだけで回答が成立するものなのでしょうか。定期試験などで。3でないといけない理由が見出だせないのですが。 よろしくお願いします。
- 締切済み
- 数学・算数
- 二項分布の成功確率を求める方法（再）
先日、同じ内容で質問しましたが質問の仕方が良くなかったので改めて質問させてもらいます。 先日、助言をいただいた方にはお礼を申し上げます。 目的は二項分布の成功確率を求めると言うことです。 具体的な例で考えたいと思います。 成功確率:0.01 試行回数:200回 以上の二項分布は以下のようになります。 試行 0 1 2 3 4 ... 分布 0.1340 0.2707 0.2720 0.1814 0.0902 ... それでは逆に以上の分布が得られている（試行回数含む）が成功確率が未知である時この分布から成功確率を求めることがでますか？ よろしくお願いします。
- ベストアンサー
- 科学
- ベイズ統計の公式と積分について
涌井さんの「道具としてのベイズ統計」という本で、勉強をしているのですが、理解できない点があります。 下記のベイズの公式 π（θ|D) = k f(D|θ) × π(θ) ( k = 1/p(D) ) …(1) π（θ| D) ∝ f (D | θ) × π(θ）…(2) より、比例定数kの計算方法がわかりません。 本では、kは確率の総和が１、すなわちθのすべてについて和が１になる性質を利用する と記載されていますが、いまいちピンときません。 例えば、 表が出る確率がθのコインがあり、表・表・裏・裏の順に結果が出た、という問題があります。 そこで１回目の事後分布を求める際、 理由不十分の原則で事前分布はπ(θ)=1、尤度はf(表|θ)=θ よって、事後分布π(θ|D1) ∝ θ × 1 …(3) 0≦θ≦1で確率の総和が1という条件から比例定数が求められます。 よって、１回目の事後分布π(θ|D1) = 2θ …(4) ・・・・以下省略 ここの(3)から(4)を導き出す、計算がわかりません。 どなたか、やさしく教えていただけると大変助かります。 よろしくお願いいたします。
- ベストアンサー
- 数学・算数
お礼
ご回答に感謝いたします。 尤度分布が二項分布の場合、 どんな理由でベータ分布を事前分布にするのか？といった疑問でした。 やはり計算がしやすいから、 というか、事後分布が同じに分布の形になるからという理由だけなんですかね・・。 文書分類などのモデルでDirichletが使われるのは、 多項分布の事前分布に使われるからなんですかね・・。