WEBシステムがダウンする前に前兆を感知する仕組み

質問

お世話になります。

Javaで作られた不特定多数のユーザさんが利用するWEBシステムがあります。
外部プログラムを呼び出した処理で外部プロセスのリターンが滞ったため、
外部プロセスの呼び出しボタンの連打→プロセスが増える→サーバが重くなる→システムにログインできなくなる。のような障害が発生しました。
これから外部プログラムの呼び出し後の待ち時間をタイマーで制限するような処置をとりたいと思いますが
ほかにもアプリの方でシステムが重くなってダウンする前に前兆を感知する仕組みに関して、いいアイディアがあったらご教授お願いします。
（あくまでもアプリの方でできることを知りたいです。）
ちなみにダウンしてからはダウンした情報を知る仕組みは既にもっています。

皆様の知恵をぜひぜひお借りしたいです。
よろしくお願いいたします。ｍ(_ _)ｍ

回答No.1

noname#98192 · ベストアンサー

本質的な解決はアプリサーバーと外部プロセス実行サーバーを切り離して負荷分散させるのが正しいでしょう。
とはいえ、そうもいかないケースもあるかもしれませんので、捻り出してみました。
Javaの監視で言えばJMXを利用するのはどうでしょう。
外部アプリがJavaであればそのプロセスを監視することも可能です。

これが「アプリの方でできること」でないとするならば、思い切ってRuntime.exec()を使ってOSをネイティブに監視してしまうというのはどうでしょうか。
（本来、サーバーOSの監視であればnagiosやhinemosなど監視アプリを利用するのが良いと思います）

あるいは、Webアプリから外部アプリの実行をシリアルにキューイングさせる。
Webアプリとは非同期で、キューの結果待ち画面を作る、というのも手です。これはアプリ要件次第ですね。

アプリの要件や外部プロセスが何かが見えないので追記してもらえればもう少しいいアイディアも出せるかもしれません。

補足

shinishiwa様
せっかくご回答頂いたのに、確認するのが大分遅れてしまって申し訳ありませんでした。
自分の要件をちゃんと伝えられなかった気がしますが、自分が希望していたいろんな視点からの分析をしてくださってびっくりしました。

要件を追記すると
アプリの実施中に起こりうるあらゆるシステムダウンによる危険（外部プロセスの呼び出し、内部プロセスの処理ともに、）に対して
アプリ保守チームとしてなにか知恵があったら教えてねと
ユーザさんに言われたことです。
できなければ、できないと答えていいものですが、専門家の意見に出会ったらと思い、質問しました。
パフォマンスをよくする方法、メモリ消耗を監視する方法、いろんな視点からのアプローチが知りたかったです。
（これでわかりますかね？不安・・・）

１．アプリサーバーと外部プロセス実行サーバーを切り離す：
パフォマンスを向上させるいい方法ですね。
実現可能な提案になるか引き続き検討していきます。

Javaの監視で言えばJMX：
これで要件は実現できそうな気がします。
（保守チームは3人構成なので工数的に引き続き検討して、お客さんにも判断してもらいたいと思います。）

思い切ってRuntime.exec()を使ってOSをネイティブに監視：
外部でしたほうがもっといいなら、アプリの内部ですることは要求されないと思います。

引き続き、素敵なアドバイスをいただけたら幸いです。
よろしくお願いします。