ProPainter

ProPainter восстанавливает области существующего видео, выделенные маской, в том числе участки, из которых нужно удалить объект. Модель имеет смысл оценивать, если вы готовы подготовить видео и маски, проверить условия использования и посмотреть результат в движении. Незаметность ретуши не гарантирована. Проверять нужно конкретную задачу: получится ли убрать нужный объект, не повредив детали, которые должны остаться в кадре? Официальная страница проекта

Этот разбор основан на документации и коде, а не на собственном тестировании на GPU. В исходном английском материале зафиксировано изучение документов и реализации от 10 сентября 2026 года. Пример со студийной съёмкой, журнал запусков и таблица приёмки ниже предложены редакцией как инструменты оценки. Это не проведённые нами эксперименты и не результаты, опубликованные исследователями для такой сцены.

Ревизии изученных источников: код e870e793.

Сначала определите задачу для конкретного плана

Представьте условный студийный ролик: рядом со стулом стоит сумка. Удалить сумку недостаточно. Ножка стула должна сохранить форму, рисунок пола не должен смещаться при движении камеры, а восстановленная область не должна привлекать внимание при обычном просмотре. Чистая миниатюра мало что значит, если через секунду пол начинает двигаться независимо от остальной сцены.

До установки сформулируйте задание одним предложением: убрать сумку, сохранить стул и пол, не менять кадрирование. Затем найдите сложный фрагмент. Например, момент, когда сумка перекрывает стул или движение камеры открывает новую часть пола. Включите этот отрезок в пробу, вместо того чтобы выбирать только самые удобные кадры.

Отделите обязательные требования от пожеланий. Сохранность ножки стула может быть непременным условием, а небольшое отличие текстуры на невыразительном фоне может оказаться допустимым для вашего проекта. Определите это до сравнения результатов. Иначе есть риск незаметно снизить требования под тот вариант, который выдала модель.

Сохраните нетронутый оригинал и запишите, где будет использовано отредактированное видео. Исследовательский эксперимент, личный монтаж и платная работа для заказчика ставят разные практические и лицензионные вопросы. Техническая возможность выполнить ретушь ещё не означает разрешения на использование модели. Известность проекта тоже не доказывает, что конкретный результат можно сдавать.

Что описывает исследовательский метод ProPainter

ProPainter разработан в S-Lab при Наньянском технологическом университете и представлен на ICCV 2023. Авторы выделяют три основных компонента: рекуррентное восстановление оптического потока, перенос информации в пространстве изображений и признаков, а также разреженный видеотрансформер с управлением по маске. Модель использует информацию из нескольких кадров, а не восстанавливает каждый кадр как отдельную фотографию. Описание метода

В статье этот подход рассматривается в контексте более ранних исследований по заполнению областей видео, включая E2FGVI. Такая связь не делает ProPainter просто новой версией E2FGVI. Академическое сравнение также не определяет универсально лучший инструмент для любых современных задач монтажа. Эксперименты из статьи для этого руководства не воспроизводились. Исходная статья

При выборе рабочего процесса различайте исследовательский метод и готовый сервис редактирования. Скачиваемый код, стороннее расширение и веб-интерфейс могут отличаться установкой, доступными настройками, обработкой данных и условиями использования. Здесь рассматривается реализация авторов. Одинаковое название в интерфейсе не означает, что в нём доступны те же параметры или предоставлены те же права.

Разберитесь с лицензией до начала пробы

Изученная S-Lab License 1.0 допускает некоммерческое использование при соблюдении её условий. По вопросам коммерческого применения она предлагает обращаться к участникам проекта. Общедоступный код не даёт неограниченного разрешения на коммерческую работу. Прочитайте лицензию, действующую для кода и моделей, и уточните условия у правообладателя, если ваш сценарий явно не охвачен. Проверенный текст лицензии

Зафиксируйте отдельно три решения: можно ли изменять исходное видео, можно ли использовать эту модель для проекта и какие условия действуют у задействованного хостинг-сервиса. Ответ на один вопрос не решает остальные. В частности, работающая онлайн-демонстрация не подтверждает право на коммерческое применение, конфиденциальность или отсутствие лимитов.

В студийном примере запишите решение по правам в начале журнала запуска. Если ролик предназначен для коммерческой сдачи, а необходимого разрешения нет, остановите оценку такого применения на этом этапе. Можно рассмотреть другой разрешённый способ работы, не делая вывода о том, что технический результат ProPainter был бы плохим. Причина остановки здесь связана с правами, а не с качеством изображения.

Подготовьте небольшую пробу с понятным журналом

Начните с официальной инструкции по установке. Она описывает среду с Python 3.8 и предварительно обученные веса. Это исходная конфигурация авторов, а не подтверждённая нами совместимость со всеми нынешними операционными системами, версиями Python и GPU. В файле зависимостей есть пакеты без фиксированной версии и диапазоны версий. Поэтому для воспроизводимости нужно сохранить сведения о том, что действительно установилось.

Используйте изолированную среду и храните заметки об установке вместе с материалами пробы. Сначала попробуйте официальный пример, затем характерный фрагмент собственной съёмки. Такой предлагаемый порядок помогает отделить проблему окружения от сложной задачи маскирования. Если не запускается даже пример, изменение маски сумки не объяснит ошибку установки.

Создайте запись до обработки. Дайте запуску уникальное имя и укажите входной файл, выбранный отрезок, размеры кадров, расположение масок, ревизию репозитория, веса, версии окружения и точные аргументы. После обработки добавьте путь к результату, статус завершения и наблюдения. При изменении настроек не перезаписывайте предыдущую попытку.

Журнал должен и через неделю отвечать на вопрос: что именно изменилось между приемлемым и неудачным результатом? Записи «повысили качество» недостаточно. Нужны изменённый параметр, причина его изменения и дефект, который вы рассчитывали устранить. Тогда ход работы будет понятен и другому человеку.

Проверьте маски перед настройкой модели

Изученная реализация получает видео и маски. Если передана одна маска, она повторяется на всей последовательности. Если передана папка с масками, файлы читаются в отсортированном порядке. Посмотрите реализацию выбранной ревизии, прежде чем ожидать такого же поведения от другого интерфейса. Загрузка масок

В примере с сумкой сначала сопоставьте маску с первым, средним и последним кадрами. Затем проверьте все отрезки, где меняется контур объекта или его перекрытие со стулом. Выделенная область должна следовать за сумкой и не захватывать ножку стула. Отдельно решите, нужно ли убирать тень. Заметная оставшаяся тень может выдать ретушь, даже если сама сумка исчезла.

Проверьте соответствие кадров и масок, размеры изображений и порядок имён файлов. Это особенно важно для последовательностей отдельных изображений. Маска может выглядеть правдоподобно сама по себе, но относиться к другому кадру. Сохраните наложение маски на оригинал, чтобы отличить ошибку выделения от дефекта восстановления.

При поиске причины меняйте по одной переменной. Одновременное расширение маски, снижение разрешения и изменение временных параметров может дать другую картинку, но не покажет, какое действие помогло. Оставьте первый запуск для сравнения и запишите конкретную цель каждой следующей попытки.

Оценивайте настройки памяти вместе с результатом

Ниже приведены значения по умолчанию из изученной реализации командной строки. Они описывают код, а не служат универсальными рекомендациями для любого ролика.

Сопоставьте объявления аргументов с ревизией, сохранённой в журнале. Авторы описывают способы уменьшить расход памяти через точность вычислений, разрешение и временной контекст. Примерные значения потребления памяти из документации не являются общим минимальным требованием к GPU или обещанием скорости. Обработка с меньшим расходом памяти

Если первым препятствием стал недостаток памяти, уменьшите объём пробы и запишите изменённое условие. После завершения снова просмотрите видео. Успешное выполнение программы ещё не означает удачную ретушь: защищаемые границы могут быть повреждены, а восстановленная область может оставаться заметной в движении.

Учитывайте отдельно время установки, первых загрузок, обработки и ручной доработки. Эти затраты отвечают на разные вопросы планирования. Готовое окружение может пригодиться для следующих планов, а подготовку масок и исправление результата приходится выполнять заново. Здесь не приводится скорость обработки одного кадра, поскольку измерений на конкретной машине с определённым входным материалом не было.

Ведите таблицу приёмки с временными отметками

Эта таблица подготовлена редакцией как инструмент принятия решения. Она не является проверенным бенчмарком или числовой оценкой ProPainter. До запуска адаптируйте защищаемые области и условия сдачи под свою задачу.

Сначала посмотрите весь результат на обычной скорости и только потом разбирайте отдельные кадры. Сравните сложный фрагмент с оригиналом, отмечая время и положение каждого дефекта. Запись «во время движения камеры ножка стула изгибается у пола» описывает проблему, которую сможет найти другой проверяющий. Оценка «семь из десяти» такой возможности не даёт.

Попросите другого человека посмотреть ту же последовательность, не показывая заранее самый удачный кадр. Это предлагаемый этап проверки, а не утверждение, что наш пример уже прошёл независимую оценку. Передайте человеку задание и список защищаемых областей, чтобы комментарии относились к работе, а не только к личным эстетическим предпочтениям.

Используйте три решения: принять для определённого применения, доработать через конкретную следующую пробу или остановиться и выбрать другой метод. При доработке укажите предполагаемую причину и признаки, которые подтвердят улучшение. Если разумной следующей проверки нет, новый запуск с несколькими случайными изменениями вряд ли даст полезную информацию.

Сохраняйте доказательства при поиске ошибок

Начинайте с входных данных и маски, прежде чем объяснять дефект восстановления. Таблица предлагает порядок проверки. Сам по себе симптом ещё не доказывает определённую причину.

Не удаляйте неудачные попытки во время диагностики. Они могут показать, что изменение не устранило дефект или ранее приемлемая настройка оказалась чувствительна к окружению. Без этих записей легко повторить тот же эксперимент под новым именем файла.

Изученный код записи создаёт видео из восстановленных кадров и не добавляет отдельный шаг возврата звуковой дорожки. Поэтому звук итогового файла нужно проверить отдельно. Реализация записи видео После последующего монтажа или экспорта также проверяйте сам сдаваемый файл, а не только промежуточный предпросмотр.

Решите, когда дальнейшие пробы не оправданы

До экспериментов определите, сколько времени можно потратить на установку, маски, повторную обработку и финальные исправления. Это бюджет вашего проекта, а не универсальное допустимое число запусков. Если сложный отрезок постоянно не получается и следующего ясного шага диагностики нет, остановитесь. Более широкий перебор параметров не обязательно приведёт к пригодному результату.

Можно рассмотреть заплатку с отслеживанием движения, отдельную съёмку фона без удаляемого объекта или пересъёмку сцены. Выбор зависит от исходных материалов, разрешений и приемлемых трудозатрат. В этом руководстве такие методы не сравнивались с ProPainter экспериментально. Это варианты рабочего процесса, а не утверждение о превосходстве одного из них.

Если требуется создать новую сцену по текстовому запросу, задача отличается от восстановления существующей съёмки. Подходящее направление можно изучить в каталоге моделей ИИ, не принимая сам факт наличия в каталоге за доказательство пригодности. При заполнении областей видео храните оригинал, маски, настройки и проверенный результат раздельно. Восстановленная область является ретушью, а не свидетельством того, что действительно находилось за объектом.

Итог оценки должен обосновывать решение для одного определённого плана: использование разрешено, критический фрагмент проверен, защищаемые области сохранились в приемлемом виде, а сдаваемый файл соответствует заданию. Если какое-то условие осталось неясным, запишите это и отложите приёмку. Удачный отдельный кадр не заменяет решение по всей задаче.