統計分析の手法について教えてください

質問

統計分析の手法について教えてください。

下記はある納品業者（特定一社）への注文情報と入荷情報に関するデータ（サンプル抜出）です。

伝票番号　入荷予定　　実際入荷　注文個数
A0001　　2013/1/14　　2013/1/15　　1000
A0002　　2013/1/14　　2013/1/16　　 500
A0003　　2013/2/14　　2013/2/15　　 800
A0004　　2013/2/14　　2013/2/17　　 900
A0005　　2013/2/14　　2013/2/15　　2000
A0006　　2013/2/14　　2013/2/18　　1500
A0007　　2013/1/25　　2013/1/22　　1200
A0008　　2013/1/26　　2013/1/26　　 700
A0009　　2013/1/28　 　　　　　　　 　　 300
A0010　　2013/1/27　　 　　　　　 　 　　2500

伝票番号：伝票の一意な番号です
入荷予定：納品業者が回答してきた入荷の予定日
実際入荷：実際にこちらに届けられた日
注文個数：我々が注文した数量です

実際入荷が空欄の場合は、まだ入荷していないものです。

【分かったこと】
上記データの傾向から日・月曜が入荷が少ないことが分かりました。
週初めから金曜にかけて徐々に入荷が多くなる傾向にありました。

単純に着荷が多い曜日をカウント
月 58
火 72
水 86
木 95
金 120
土 112
日 65

【知りたいこと】
この様なデータを基に、明日・明後日・明々後日の入荷予想を立てたいです。
それにより必要人員の確保と現場への配置を行いたいと考えています。
　1.　これらのデータだけで、入荷予想（いつ、どれくらい）を立てることは可能でしょうか？
　2.　また制度を高めるためには、ほかにどのようなデータが必要でしょうか？
　3.　また出来ないとすれば、どのような理由から出来ないのでしょうか？

よろしくご教授ください。

回答No.6

kamiyasiro · ベストアンサー

#4です。

#5さんの回答を支持します。
私は、背後に潜んでいるモデルがわからないケースを忘れていました。
これだったら、とりあえず放り込んでも、まあまあの予測が得られると思います。

ただ、データは、かならず３つにグループ分けして、
グループ１・・・回帰に使用
グループ２・・・ストッピングルールに使用
グループ３・・・バリデーション（検証）に使用
を心がけて下さい。
このような方法はオーバーフィッティングが怖いです。

#5さんの回答は、自己相関移動平均という方法ですが、
さらに、その動き（納品量）が複数の要因によって複雑に動く場合、
最新の手法に、異種混合学習法というのがあります。

とは言っても、これはビッグデータの解析に用いられる手法であり、
通常のケースでは、担当者の知見によって、
切り分け（層別と言います）すれば済む話ですけどね。

昨年、NEC技報に出て、センセーションを起こした手法で、
開発者の藤巻さんという方は若手の研究者ですが、すごい受賞歴の持ち主です。

参考URL：

http://www.nec.co.jp/press/ja/1206/images/2202-01-01.pdf

お礼

kamiyasiroさん
再びありがとうございます。

今週はインフルと花粉症でダウンし、会社を休んでいたので
教えて頂いた本でも読んで入れば良かったと後悔。

>自己相関移動平均
>このような方法はオーバーフィッティングが怖いです。
ちらも調べて見たいと思います。

>異種混合学習法
リンク読みました。素晴らしいですね。

この手法を取り入れる場合は、さらにインプットが必要ですね。
たとえば、今回の例で言えば、相手方の在庫、市場の動向などなど・・・

統計、奥深いですね。さらに興味を持ちました。
もう少し時間を取って掘り下げて考えてみたいと思います。

ありがとうございます。

回答No.5

ramayana

数字のデータだけがあって、その変動の背景に特段の情報がないときは、ARIMAモデルによる予測が使えます。日次データの３日後程度であれば、多くの場合、かなりの精度で予測できます。

曜日変動があるようなので、最低7日のタイムラグを持つモデルを使用します。

まだ入荷していない注文個数の情報も使って予測する場合は、ARIMAモデルと回帰分析を組み合わせて使います。これは、 regARIMA モデルと呼ばれることもあります。

regARIMA モデルを実装したソフトとして、例えば X-12-ARIMA があります。このソフトは、アメリカの商務省センサス局の次のサイトから無料ダウンロードできます。

　　http://www.census.gov/srd/www/x12a/

お礼

ramayanaさん
お礼大変遅くなりました。失礼いたしました。

>曜日変動があるようなので
実は投稿させて頂いたあと、しばらく自分でデータを
見なおしてみたのですが、どうにも数字との関係性が見えて来ませんでした。

サンプルのデータは、多少曜日との関連性があると聞いていたので
多少の修正を加えまいした。

>ARIMAモデルによる予測
こちら、初めて目にしました。

実はこの手の調査を依頼されることが多く、統計学の専門家でもない私は
非常に困っていたのですが、このソフト、是非利用してみたいと思います。

>数字のデータだけがあって、その変動の背景に特段の情報がないとき
こんなケースでも予想が可能であることがあるんですね。いや、驚きです。

有益な情報、ありがとうございました。

回答No.4

kamiyasiro

企業で統計学を教える者です。

人員を遊ばせない
かつ、後工程に迷惑を掛けない
ということは、生産管理では非常に重要です。

入荷予想は、コンビニなんかでは重要な問題です。
「できない」ではなく、なんとかしないと、
大量の廃却や、はたまた、商品棚に商品が無い、とか
バイトの子がいなくて、レジに行列、はたまた、バイトが暇、
という状況になります。

(1)発注・業者手番（リードタイム）はランダムですか?
・ランダムの場合
もし、発注がポアソン分布，業者の手番は指数分布であれば、
これは「待ち行列問題」といい、「リトルの公式」があります。
たとえば、ドトールのコーヒーショップで、
客が１／λ＝60秒でポアソン到着し、給仕が１／μ＝45秒の指数分布とすると、
列に並んで、レジを出て行くまでの平均時間は180秒と計算されます。
この式により、レジ係が手持無沙汰にならないような最適化が可能です。

・曜日により、分布が変わる場合
さらに、それに応じて業者の手番が変わるとき（発注が集中すれば業者にも遅れが出ますので）、
これは、MCMC（マルコフチェーン・モンテカルロ）の問題で、
曜日が７ノードですので、エクセルでもできます。
しかし、品目が多数あって、それぞれ分布が異なれば、
シミュレーション・プログラムを書く必要がありますね。
専門の方（コンサルタントとか）にご相談下さい。
（私だったら、自分で書いちゃいますけどね）
なお、バーンイン区間にご用心下さい。

・品目によって、発注曜日,業者手番，・・・が決まっている場合
これは、たとえば、航空会社の定期路線の関係と同じで
飛行機機材，パイロットのやりくりの問題になります。
「中国郵便配達人問題」「倉庫問題」で知られる
OR（オペレーションリサーチ）の問題です。
これは、１品１品に与えられる方程式が、品数に応じて膨大になり
従来法では、それだけの連立方程式を解かなければなりませんが、
当然、何百年という計算時間を要します。
今は、それを解くアルゴリズムが多数あります。
「LP最適化問題」と言います。
パッケージソフトもありますよ。

(2)精度を上げるには、
そりゃ、過去データがたくさんあれば、
ノンパラメトリックなMCMCのケースでは、学習精度が上がりますが、
通常、モデルを仮定しますので（パラメトリック推定）、
あなたの「知見」の方が重要です。
あなたは、上のどのケースだと思うのか、というようなことが重要なのです。

お礼

kamiyasiroさん
お礼が遅くなりまして、申し訳ありません。

>人員を遊ばせない～生産管理では非常に重要です。
まさしくこの点で非常に困っております。

>発注・業者手番（リードタイム）はランダムですか?
はい、まったくのランダムでした。
下記の回答で記載させて頂きましたが、曜日と納品日の関連性はありませんでした。

>発注がポアソン分布，業者の手番は指数分布であれば、
>これは「待ち行列問題」といい、「リトルの公式」があります。
初学者の私には聞き慣れない用語です。
こちら是非調べて見たいと思います。

色々豊富な実例と共に、様々な手法をご紹介いただきありがとうございます。
単純にリードタイムと曜日での係数表を作ることしか
頭にありませんでしたが、もう少し教えていただいたことについて
時間を取って調べて見たいと思います。

回答No.3

alice_44

2.
提案。着荷が多い曜日を見るときに、
単純に着荷の曜日ごとにカウントするのではなく、
入荷予定日と実際入荷日の曜日の対で分類して
カウントしてみる。
そこで明らかな傾向が見られれば、着荷を予想する
手掛かりにはなるはず。

1.3.
懸念。質問文中の「曜日をカウント」から見て、
使いものになる予測をたてるには、データ点が少ない
ような気がする。結論が、誤差に飲み込まれそうな…

お礼

alice_44さん
お礼が遅くなりまして、申し訳ありません。

（2）については、アドバイスに従い曜日ごとのカウントをしてみました。
そこで分かったことは、注文日の曜日と「入荷予定日と実際入荷日」について
関連性が一切ないことでした。

「入荷予定日と実際入荷日」の誤差が、1～2日どころではなく
10日以上のデータが多数ありました。

回答No.2

kgu-2

注文、というのが、農産物ならまだしも、工業製品なら注文と違っているようでは、納期に間に合わないということなので、話にならないのですが。日本なら「納期を守れ」「取引相手を変える」で、問題解決です。

1)　データ不足で不可能
　月から金までは、１回コッキリですか。それだと、「こうなった」としか言えませんし、「そうですね」と応えるしか。統計学的な処理には、１回コッキリでは、「偶然」で片づけます。
つまり、不可能
2) 物による
　農産物なら、自然相手なので収穫流、季節や諸費者の動向、市場価格。工業製品なら「納期を守れ」で片付く。が、これは一般論。
　統計では、回帰式を使います。それも、重回帰分析。これはパソコンで式は簡単に出せます。
3) 2)と同じ
　質問内容からは、こんなところではなく、専門家にご相談を。しかし、回帰分析は、因果関係が間違っていると、株の予想のように外れて右往左往、場合によっては破産。、

お礼

kgu-2さん
お礼遅くなりまして申し訳ありません。

データは一つの取引先に付き、数百件程度あります。

お答え頂いた（1）～（3）につき、全て納得です。
（特に2については、もう「ごもっとも」としか良いようにありません）

「重回帰分析」については自分も興味を持ち
色々と本を購入し、勉強しております。

的確なアドバイス、ありがとうございます。

回答No.1

ask-it-aurora

一般論をいろいろ述べることはできるかもしれません．けれども実際のデータに当てはまらなければそんなもの三文の値打ちもありません．支障のない範囲で実際のデータを公開（別の場所で公開してリンク？）してくれませんか？

お礼

ask-it-auroraさん
お返事遅くなりまして申し訳ありません。

信じられないかもしれませんが、サンプルでお出ししたものがほぼほぼ実際のデータです。
これが一つの取引先に付き、数百件あります。

これに数量と一個あたりの金額と総額のデータが足されたものが全てです。
何卒ご了承くださいませ。