ProPainter

ProPainterは、既存の動画でマスクを指定した領域を再構成するモデルです。不要な物体を消したい場合にも使えます。映像とマスクを用意し、用途に合った利用許諾を確認したうえで、補修結果を動画として見直せる人に向いています。編集跡が必ず見えなくなるわけではありません。判断したいのは、残すべき部分を壊さずに、自分の映像を補修できるかどうかです。公式プロジェクト

本稿は資料に基づく評価ガイドであり、GPUで動作や画質を実測したレビューではありません。元となる英語版では、2026年9月10日に著者のドキュメントと実装を確認しています。以下のスタジオ撮影の例、実行記録、仕上がりの確認表は、このガイドで提案する評価方法です。実施済みの実験や、研究者が報告した結果ではありません。

確認したソースの版: コード e870e793.

補修するカットの条件を決める

椅子の横にバッグが置かれたスタジオ映像を例に考えます。バッグが消えるだけでは、作業は終わりません。椅子の脚は元の形を保ち、カメラが動いても床の模様は安定し、通常再生で補修部分が目立たないことが必要です。サムネイルがきれいでも、次の瞬間に床の模様だけが不自然に動き出すようなら、その一枚では仕上がりを判断できません。

インストールする前に、編集の条件を一文で書きます。この例なら「バッグを消し、椅子と床を保ち、元の画角を変えない」です。次に、難しい時間帯を特定します。バッグが椅子に重なる瞬間や、カメラの移動で床が新たに見える場面かもしれません。試す映像には、その区間を含めてください。処理しやすい部分だけでは、肝心の条件を確認できません。

必須条件と、できれば満たしたい条件も分けておきます。椅子の脚が欠けないことは必須でも、目立たない背景のわずかな質感の違いは許容できる場合があります。結果を見比べる前に、その基準を決めます。後から決めると、モデルが出した映像に合わせて、無意識に合格基準を下げてしまうおそれがあります。

加工していない原本を保管し、編集後の映像を何に使うかも記録します。研究上の実験、個人の編集、有償の顧客案件では、実務上の条件も利用許諾の確認事項も異なります。処理できることは使用許可を意味しません。また、モデルの評判だけでは、そのカットを納品してよいかは判断できません。

研究手法と編集サービスを区別する

ProPainterは、南洋理工大学のS-LabによるICCV 2023の研究プロジェクトです。著者は、再帰的なフロー補完、画像領域と特徴量領域の両方での情報伝播、マスク誘導型の疎な動画Transformerという三つの主要要素を説明しています。各フレームを別々の静止画として補修するのではなく、フレーム間の情報を組み合わせる手法です。手法の概要

原論文では、E2FGVIを含む先行する動画インペインティング研究との関係が説明されています。ただし、ProPainterを単なるE2FGVIのバージョン更新とみなすことはできません。論文内の比較も、現在のあらゆる編集作業で最も適した手法であることを示すものではありません。本稿では、論文の実験を再現していません。原論文

作業方法を選ぶ際には、研究手法と、編集を一通り行えるサービスを区別してください。配布コード、コミュニティ製のノード、オンラインの操作画面では、導入方法、使える設定、データの扱い、利用条件が異なることがあります。本稿が扱うのは著者の実装です。同じモデル名を掲げる外部ツールでも、同じ設定や権利が提供されるとは限りません。

試す前に利用許諾を確認する

公開されているS-Lab License 1.0は、条件を満たす非商用利用を認め、商用利用については貢献者への問い合わせを求めています。コードを入手できることと、制限なく商用利用できることは別です。コードとモデルの現行ライセンスを読み、予定する用途が明確に含まれていなければ、権利者に確認してください。ライセンス条件

確認事項は三つに分けて記録します。元の映像を編集する権利、この案件でモデルを使う許可、利用するホスティングサービスの許可です。一つを確認しても、残りが解決するわけではありません。オンラインデモが動くという事実から、商用利用の権利、機密性、無制限の利用枠が保証されるわけでもありません。

スタジオ映像の例では、実行記録の先頭に利用許諾の判断を置きます。商用の納品物を作る予定で、必要な許可が得られていない場合は、その用途での評価をそこで止めます。利用可能な別の方法を調べることはできます。この判断は権利上の制約によるもので、ProPainterの画質が不適切だったという評価ではありません。

後から条件を説明できる小規模な試行を用意する

まず公式リポジトリを確認します。記載されているセットアップはPython 3.8と学習済み重みを使用します。これは著者が示した出発点であり、現在のすべてのOS、Pythonのバージョン、GPU環境で動くと本稿が保証するものではありません。依存関係ファイルには、バージョンが固定されていないパッケージや範囲指定が含まれます。再現できるように、実際に導入したバージョンを残してください。

独立した環境を使い、構築手順も試行記録と一緒に保管します。最初に公式サンプルを試し、その後に自分の代表的な一カットを処理する順番を提案します。環境の問題と、難しいマスクの問題を切り分けるためです。公式サンプルが動かない段階では、バッグのマスクを変えても、インストール失敗の原因はわかりません。

処理を始める前に、試行ごとに固有の名前を付けて記録を作ります。入力ファイル名、対象区間、フレームの寸法、マスクの保存場所、リポジトリのリビジョン、重み、環境内のバージョン、正確な引数を記載します。実行後は出力先、完了状況、観察内容を追記します。設定を変えたときに、前の記録や出力を上書きしないでください。

この記録の目的は、一週間後にも「使えた結果と失敗した結果では、何が違ったのか」を説明できることです。「高画質にしてみた」だけでは足りません。どの設定を、なぜ変え、どの欠陥を改善したかったのかを具体的に残します。

モデルの調整より先にマスクの対応を確認する

推論用の実装は、映像とマスクを入力として受け取ります。一枚のマスクを渡すと、シーケンス全体で繰り返して使います。マスクのディレクトリを渡した場合は、ファイルをソートした順に読み込みます。外部ツールでも同じ動作だと決めつけず、選んだバージョンの実装を確認してください。マスクの読み込み処理

バッグの例では、最初、中間、最後のフレームにマスクを重ねて確認し、その後、輪郭や重なり方が変わるすべての区間を見ます。指定した領域が対象物に合っているか、椅子の脚まで含んでいないかを確認します。影も消す対象に含めるかは、別に判断してください。バッグが消えても、目立つ影が残れば編集の意図を満たさない可能性があります。

フレームとマスクの対応、寸法、ファイル名の並び順を確認します。連番画像を用意するときには特に重要です。マスク単体では正しく見えても、別のフレームに対応しているかもしれません。マスクを重ねた画像を保存すれば、入力の指定ミスと、再構成の欠陥を区別しやすくなります。

原因を調べるときは、一度に一つの条件を変えます。マスクを広げ、解像度を下げ、時間方向の設定まで同時に変えると、出力は変わっても、どの変更が効いたのかわかりません。最初の試行を比較用に残し、後の試行にはそれぞれ具体的な目的を付けてください。

メモリ設定は画質プリセットとして扱わない

確認したコマンドライン引数の初期値は次のとおりです。実装の初期値を示しているのであり、すべての映像に推奨する設定ではありません。

保存したリビジョンと引数の定義を照合してください。著者は、数値精度、解像度、時間方向に参照する情報量を調整してメモリ使用量を抑える方法を説明しています。掲載されているメモリ使用量の例は、どんな映像にも当てはまるGPUの最低要件や、処理速度の保証ではありません。省メモリ推論の説明

まずメモリ不足で進めない場合は、試行の範囲を小さくし、変えた条件を記録します。処理が完了したら、結果を改めて評価してください。実行の成功と、編集の成功は別の判定です。処理が終了していても、保護すべき輪郭や動きの確認で不合格になることがあります。

環境構築、初回ダウンロード、処理、手作業での仕上げにかかった時間は、分けて記録します。それぞれ計画上の意味が異なります。環境構築は次のカットで再利用できる一方、マスクの作成や仕上げは毎回必要かもしれません。本稿では、条件を特定した機材と入力で速度を測っていないため、一フレーム当たりの処理時間を提示しません。

タイムスタンプ付きの確認表で仕上がりを判定する

以下の表は、本稿独自の評価補助資料です。妥当性を検証済みのベンチマークでも、ProPainterの数値評価でもありません。処理を始める前に、自分の編集で残すべき領域と納品条件に合わせて項目を調整してください。

一枚ずつフレームを見る前に、結果の全体を通常速度で再生します。その後、難しい区間を原本と比較し、欠陥の位置とタイムスタンプを記録します。「カメラ移動中、床に近い位置で椅子の脚が曲がる」なら、別の確認者も問題を探せます。「品質は10点中7点」では、問題の場所も内容も伝わりません。

別の人にも、最もきれいに見えるフレームを先に教えずに、同じシーケンスを見てもらいます。これは提案する確認手順であり、本稿の例を第三者が評価したという意味ではありません。編集条件と保護すべき領域を渡し、好みだけでなく実際の作業要件に沿って意見をもらいます。

判定は「この用途で採用する」「具体的な次の試行を決めて修正する」「中止して別の方法を選ぶ」の三つに分けます。修正するときは、疑っている原因と、改善を確認するための証拠を明記します。筋の通った次の確認方法がないなら、複数の設定を適当に変えて再実行しても、得られる情報は限られます。

証拠を残せる順序で失敗を調べる

再構成の問題を解釈する前に、入力とマスクから確認します。次の表は調査する順番の提案です。症状だけで原因を断定できるという意味ではありません。

調査中は、失敗した実行の記録を捨てないでください。その変更では欠陥を直せなかったことや、以前使えた設定が環境の違いに影響されたことを示す材料になります。記録がないと、同じ実験を別のファイル名で繰り返すことになりかねません。

確認した出力処理は、再構成したフレームから動画を書き出し、音声を再結合する処理を追加していません。最終ファイルの音声は別に確認してください。動画の書き出し処理 また、追加編集や書き出しをした後は、中間プレビューだけでなく、実際に納品するファイルを見直します。

試行を続ける価値があるか判断する

実験を始める前に、環境構築、マスク作成、処理の試行、仕上げに使える時間を決めます。これは自分の案件に応じた作業予算であり、誰にでも共通する再試行回数ではありません。難しい区間で失敗が続き、次に何を変えて調べるべきかも明確でない場合は、一度止めます。設定をより広く探索すれば、必ず使える結果が出るとは限りません。

動きに追従させるパッチ、不要物のない背景を撮ったクリーンプレート、撮り直しなども、検討できる別の方法です。適否は、映像、手元の素材、権利、許容できる作業量によって変わります。本稿では、それらをProPainterと実験的に比較していません。ここで示すのは選択の考え方であり、優劣の結論ではありません。

テキストの指示から新しいシーンを作りたい場合は、既存映像の補修とは目的が異なります。AIモデル一覧で該当する分野を調べてください。ただし、一覧に載っていることだけでは、そのモデルが用途に合う証拠にはなりません。インペインティングを行う場合は、原本、マスク、設定、確認済みの出力を別々に保管します。再構成した領域は編集によるものであり、物体の後ろに実際に何があったかを証明する映像ではありません。

評価を終えたときには、一つの明確なカットについて、根拠を持って判断できる状態を目指します。用途が許可され、重要な区間を確認し、残すべき部分が許容範囲に保たれ、納品ファイルが条件を満たしていることが必要です。未解決の条件があれば明記し、採用を保留してください。見栄えのよい一枚で、その問題を隠さないことが大切です。