我々株式会社エム・ソフトは、ソフトウエアの受託開発をメイン事業とする会社で、早稲田大学の本庄キャンパスの中に研究室を持っている。このような研究をはじめた動機は、安藤紘平教授と会話するなかで、映画制作の中で画像を切り出して合成することがなかなか自動化されず、自動化できるはずのソフトウェアを使ってもさまざまな不具合が発生し、うまく切り出すことが出来ない、という背景があった。コンピュータを使いながら実際には手作業に頼らざるを得ず、さらに映画は１秒間に24個のコマが必要なので、たった５秒間の映像を切るのに120枚ものコマで作業を進めなければならない。ウィンドウズについているペイントブラシで、一枚一枚切り出していくには大変なコストがかかってしまう、という大きな課題があった。
これまでの合成ではブルーバックが必須。設営・照明など大掛かりになる。
こうした問題を解決するために、エム・ソフトでは「RayBrid Matte Maker」というソフトを開発したのである。今まではブルーバックを背景に置いて撮影し、このブルーのキー信号をもとに別の背景と合成するという方法であったが、このデジタル処理がなかなかうまくいかなかったり、大掛かりなブルーバックを用意しなければならないため、撮影スタジオのような大きな空間が必要であった。従来の合成の手順を要約すると、まずブルーバックを背景に例えば歩行者などを撮影し、この撮影された素材を処理して、切り出すための型紙となるキー信号、マット信号といわれるものを手作業で切って作成する。そして、このマット信号をもとに必要な映像素材、ここでは歩行者だけが切り出されたものが出来上がる。そして今度はその歩行者を合成したい場所の映像、例えば銀座の街の映像を撮影し、そこに切り出した映像を重ねることで、歩行者があたかも銀座の街を歩いているように自然に合成されるのである。
こうした手順でも、早稲田大学の芸術科学センターのようにブルーバックを持ったスタジオを備えていればさほどの問題はないが、これを野外やスタジオのないロケーションで撮影する場合は、大変な労力が伴うことになる。例えば、屋外のテニスコートでテニスに興じている場面からプレイヤーとボールだけを切り出したいというような場合、その背景にブルーバックを用意することは非常に困難である。背景に山が存在するような場合、その山をすべて覆い隠すような巨大なサイズのブルーバックを屋外に設置しなくてはならないことを意味するからである。
そこで、こうした背景自体を、ブルーバックと同等に扱ってしまおうという考えのもとに開発されたのが「RayBrid Matte Maker」である。この「RayBrid Matte Maker」というソフトを使うことで、いままで手作業で進められていたマットを切る作業を、コンピュータで自動的に、しかもブルーバックなしに行うことが可能になった。このマット信号をもとにテニスコートからプレイヤーとボールのみを切り出すことができる。つまり、「RayBrid Matte Maker」を用いることで、ブルーバックを背景に置かない映像から、自動的に必要な素材を切り出すことが出来るのである。合成する背景に、先程の銀座の映像を使用すれば、銀座でテニスをするといった映像も簡単に作ることが出来る。
また、手作業で切り出すことが困難なケースでも、この「RayBrid Matte Maker」を用いてコンピュータ上で処理を行えば簡単に進められる、というものもある。例えば、よくテレビに出てくる渋谷のスクランブル交差点。ここにいる膨大な数の歩行者をすべて切り出せ、となると大変な労力と予算を伴うことが予想されるが、「RayBrid Matte Maker」で処理すると、動くものは自動的に切り出すので、手作業の必要はなくコンピュータが勝手に作業を進めてくれる。テスト画像では人の周りに少し背景が残っている部分なども見受けられるが、これはカメラのレンズが収差を起こしていることが原因で、性能のいいレンズで撮影することで解決される問題であろうと考えられる。また、渋谷のスクランブル交差点の処理の逆ファンクションを行うと、日中の渋谷の街から動くものすべてを消し去ってしまうことも可能である。このように、コンピュータを用いることで、実際の商業映画の制作に対して、いかにコストをかけずにクオリティの高いものを提供できるかという課題への貢献が期待されるのである。
成城東宝スタジオにてソフトウェアの実証テスト開始さらに、データ転送に関連した部分では、デジタルシネマのデータというのは非常に膨大で、またその計算コストも尋常ではない。そのため、コンピュータを何台も並べて並列演算装置として用いる必要があった。また、すでに昨年2007年度にはこの研究に携わっており、樋口真嗣監督の『隠し砦の三悪人』の撮影現場（東宝スタジオ）にて素材撮影のご協力をいただき、実際の撮影現場での実証実験を行う機会も得ることが出来た。砦のセットでの撮影で、非常に複雑な背景であっても「RayBrid Matte Maker」を用いることで、ブルーバックと同様に切り出し、合成できるという検証も行うことができた。現在市販されている同様のソフトでも同レベルの結果が得られるかどうかを検証したが、フリンジというエッジが出てしまうなど、あまり高いクオリティが得られないことも確認できた。今後は「RayBrid Matte Maker」を活用していくことで、映像制作の現場に福音をもたらすことが出来るのではないかと考えている。
（このレポートは2008年12月8日に行われた研究発表会での講演の書き起こしをまとめたものである。）
2009年8月1日