カメラ2台で撮影した動画をパノラマ合成

質問

平行に並べたカメラ2台で同時に撮影した動画を、切れ目無く横長の1画面のパノラマ動画に合成する方法をご存じの方、ご教授願えないでしょうか。できれば、フリーソフトか、OpenCVなどで。

回答No.2

neuron-x · ベストアンサー

#1です。

After Effectsを利用する場合、2つのカメラの動きが同じであれば、After Effect上に2つの動画を配置するだけでパノラマ合成が行えます。

2台のカメラの動きが違う場合は、まず各動画のカメラのブレを無くした後、2つの動画を重ね合わせる感じになります。
After Effectsのモーショントラッキングなどでカメラの動きを検出し、その動きに合わせてスタビライズで動画を固定できます。（ただし、動画上からモーションを検出するための目印となる部分が必要になるので、動画の内容によっては作業が難しかったり、全く使えない場合もあると思います）

ps、簡単に動画のパノラマ合成ができるソフトが無いか、少し調べてみました。
実際に試してはいませんが、「Kolor Autopano Video」というソフトで簡単に動画のパノラマ合成ができそうです。（この会社は、もともと静止画用のパノラマ合成ソフトを出しており、これを動画に応用した物になると思います。静止画の合成には、OpenCVでも用意されているSIFTが使われているため、動画でもSIFTによる特徴点の抽出やマッチング処理が利用されていると思います）
動画のパノラマ合成に特化したソフトになっているので、解説動画を見る限り、After Effectsを使った調整より簡単に操作できると思います。
http://www.kolor.com/360-video/autopano-video-360-video-stitcher.html

YouTubeの解説ビデオ
https://www.youtube.com/watch?v=6TlUA-6eK2I

お礼

ありがとうございます。

回答No.1

neuron-x

平行に並べたカメラが常に同じ動き（ブレ方）をしているかどうかで、難易度が大きく変わってきますね。
商用ソフトであれば、Adobe AfterEffectsなどが適していると思いますが、フリーと言うことで今回はOpenCV前提にお話します。（OpenCVって、コンピュータービジョンで有名な、あのOpenCVの事ですよね！？）
http://opencv.org/

平行に並べたカメラの映像が「常に平行で同じ動き」をしている（台座などにしっかり固定されて撮影されている）場合、2つの動画を単純に重ね合わせればパノラマ合成できます。
2つの動画のフレーム単位に画像としてイメージを取り出し、取り出した2つの画像から1つの画像に合成。あとは、合成した画像から動画を作成すれば良いと思います。

カメラの動画の確度が違ったり、個別の動きをする場合、特徴点を使った動画の重ね合わせが必要になります。（特徴点で重ね合わせる場合、動画を撮影するときに少し同じ領域を重ね合わせて撮影しておく必要があります）
動画から各フレームを取り出すところまでは上記と同じですが、
その後、それぞれの画像から特徴点を検出し（OpenCVだとSURFやORBなど色々なアルゴリズムが利用できます）、それぞれの特徴点について特徴量を導き出します。その後、特徴のマッチングを行って同じと思われる特徴点を重ね合わせる合成を行えば、2つの画像を1つに合成できます。
※特徴点の抽出、特徴量の記述、マッチング処理などOpenCVを使えば簡単に処理できますが、ある程度OpenCVを知っている状態で無いとハードルが高いかもしれません。

補足

ご回答いただきありがとうございます。大変勉強になりました。ご指定のように、OpenCVは、コンピュータビジョンのOpenCVです。やはり、フレームごとに加工しないといけないのですね。最近、パノラマカメラがたくさんあるので、リアルタイムで複数カメラの動画を合成してくれるアルゴリズムが存在しているのかと思っていました。
After Effectで行う場合、もご教授願えないでしょうか。