理論に基づいた回帰モデル作成の意味について

質問

あるデータから回帰モデルを構築し，別のデータを予測する場合，各変量間の関係が理論的にわかっている場合は，回帰モデルの形をデータだけで決めずに，理論的に決めたほうがよいと思います。ところが，どうして理論的に決めたほうがよいのかと聞かれると，うまく答えることが出来ません。

ご存知の方がいらっしゃいましたら，教えて頂ければ幸いです。

上記の抽象的な文では内容が伝わらない場合に備えて，長くなりますが下記に具体例を書かせていただきました。上記の文で足りる場合は，具体例は読んで頂かなくても結構です。

＜具体例＞
大気の薄いある惑星上で，ボールを真上に初速Vで発射し，落ちてくるまでの時間Tを測る実験を，100回行ったとします（あり得ない話ですが）。この実験によって，変量V,Tに関する大きさ100のデータが得られます。さて，このデータをもとに，VからTを予測する式を作る必要が生じたとします。

ニュートン力学に基づけばTはVと線形関係にあるはずですから，高校で物理を習った人は，T = αVという単回帰モデルを使うのが自然だと思います。これが，回帰モデルの形を理論に基づいて決めるアプローチです（アプローチ(1)）。

一方，統計学を習いながらも物理を全く習っていない人は，
T = αV^2 + βV のような多項式回帰モデルや，
T = s(V) のようなノンパラメトリック回帰モデル（sは平滑化スプラインなど）を使うかもしれません。どれを使えばよいか判らない場合のモデル選択には，交差確認法などのモデル選択基準を用いることができます。これは，完全に統計的なアプローチと呼べると思います（アプローチ(2)）

このような状況で，アプローチ(1)が(2)より優れていると私は何気なく思ってきたのですが，どうして優れているのか，わからなくなってしまいました。

モデルの新しいデータに対する予測誤差（汎化誤差）は(1)より(2)の場合のほうが小さくなることだってあると思うのです（例えば，空気抵抗があった場合や，実験誤差が正規分布しなかった場合）。また，アプローチ(2)についてまわる，回帰の際のデータに対する過剰適合(overfitting)の問題は，モデル選択基準を使うことである程度避けることができると理解しています。それでも，理論を利用することが優れているとすれば，どのような点においてでしょうか？

よろしくお願い致します。

回答No.2

noname#221368 · ベストアンサー

すいません。事前情報という言葉を不用意に使いました。ベイズ推定の中に、そのような用語があるのですね。知りませんでした。
　私は、野外に設置された測定器の時系列をよく扱っていました。そのとき回帰分析なども利用しましたが、それ以前に、生の測定データを折れ線で結ぶ事に関して、疑問を持った事があります。というのは、与えられる測定データのデジタルサンプリングで、アナログ連続量の情報量全体を伝え切るのは不可能だからです。そこに何故、安易に直線を引きたがるのか？。結局これは、

　　・時系列の連続性

もう少し強めれば、

　　・時系列の１階微分可能性（連続微分でなくて良い）

を仮定したのと同等だと思いました。こうしてしまうのは、物理データはたいていの場合、少なくとも連続だという思い（偏見？）があるからです。アナログ連続量の全てを見たわけでもないのに、それでわかった気になるのは、そういう「事前情報」を知ってるからです。
　事前情報とは、この程度の意味で使っております。

お礼

補足説明をいただき、ありがとうございます。
「事前情報」のここでの意味と，最初にいただいたご回答の趣旨について、理解できました
（私も、線形補間の意味については、悩んだことがあります。1階微分可能性と、局所的に2階微分が0であることを仮定しているように思います）。

理論モデルと回帰モデルのどちらが事前情報として適切か、定性的に判断するのは、なかなか難しそうですね！この問題を今後も考えてみたいと思います。

回答No.1

noname#221368

単純に考えてみました。そもそも何故回帰モデルを使うのか？。それは、完全な解を求める条件数が不足しているからです。そこで、条件数を埋めるために、回帰モデルという一般的な事前情報を持ち込むわけです。
　どのような事前情報が適当かは、定性的判断であって、予測誤差（汎化誤差）や過剰適合(overfitting)などの定量的判断では片付けられないと思います。まさに、モデル選択基準を考えるという事になります。

補足

ご回答をいただきありがとうございます。
確かに，完全な解を求める条件が不足しているから，回帰モデルを用いるのでしたね。
事前情報とは，ベイズ推定の用語だと思うのですが，私自身がベイズ推定を全く知らないために，なぜ回帰モデルが「事前情報」なのかが，まだ理解できていません。
この点については，ベイズ推定を勉強してからよく考えてみたいと思います。