ProPainter

ProPainter rekonstruiert maskierte Bereiche in vorhandenem Videomaterial, etwa dort, wo Sie ein Objekt entfernen möchten. Ein Versuch lohnt sich, wenn Sie Aufnahmen und Masken vorbereiten, die Nutzungsbedingungen klären und das Ergebnis während der Wiedergabe beurteilen können. Ob eine Bearbeitung unauffällig bleibt, entscheidet sich am konkreten Bildinhalt: Verschwindet das störende Objekt, ohne dass die Teile der Aufnahme leiden, die erhalten bleiben müssen? Offizielle Projektseite

Diese Einschätzung beruht auf Quellen und Code, nicht auf einem eigenen GPU-Praxistest. Der englische Ausgangstext dokumentiert eine Prüfung der Unterlagen und Implementierung vom 10. September 2026. Das folgende Studiobeispiel, das Versuchsprotokoll und die Abnahmetabelle sind vorgeschlagene Arbeitsmittel der Redaktion. Es handelt sich weder um durchgeführte Versuche noch um Ergebnisse, die das Forschungsteam für dieses Beispiel veröffentlicht hat.

Untersuchte Quellrevisionen: Code e870e793.

Legen Sie zuerst die konkrete Bearbeitung fest

Stellen Sie sich eine Studioaufnahme vor, in der eine Tasche neben einem Stuhl steht. Die Tasche zu entfernen, ist nur ein Teil der Aufgabe. Das Stuhlbein soll seine Form behalten, das Bodenmuster während der Kamerabewegung stabil bleiben und die reparierte Stelle bei normaler Wiedergabe nicht auffallen. Ein sauberes Vorschaubild reicht nicht, wenn sich der Boden eine Sekunde später scheinbar unabhängig vom übrigen Raum bewegt.

Formulieren Sie vor der Installation einen kurzen Arbeitsauftrag: Tasche entfernen, Stuhl und Boden erhalten, Bildausschnitt beibehalten. Markieren Sie dann die schwierige Passage. Das kann der Moment sein, in dem sich Tasche und Stuhl überschneiden oder die Kamerabewegung einen bisher verdeckten Teil des Bodens sichtbar macht. Nehmen Sie diese Passage in den Versuch auf, anstatt nur die einfachsten Bilder auszuwählen.

Trennen Sie zwingende Anforderungen von Wünschen. Ein unverformtes Stuhlbein kann unverzichtbar sein, während eine kleine Texturabweichung in einem unscharfen Hintergrund für Ihren Zweck akzeptabel bleibt. Entscheiden Sie das, bevor Sie Ausgaben vergleichen. Sonst besteht die Gefahr, den Maßstab nachträglich an das anzupassen, was das Modell gerade liefert.

Bewahren Sie eine unveränderte Originaldatei auf und halten Sie den Verwendungszweck fest. Ein Forschungsversuch, ein privater Schnitt und die bezahlte Lieferung an einen Kunden stellen unterschiedliche praktische und lizenzbezogene Fragen. Technische Machbarkeit klärt keine Nutzungsrechte. Auch der Bekanntheitsgrad eines Modells sagt nichts darüber aus, ob eine bestimmte Korrektur abnahmefähig ist.

Was die Forschungsmethode tatsächlich beschreibt

ProPainter ist ein Projekt des S-Lab an der Nanyang Technological University, vorgestellt auf der ICCV 2023. Die Autoren nennen drei Kernkomponenten: die rekurrente Vervollständigung des optischen Flusses, die Informationsübertragung im Bild- und Merkmalsraum sowie einen maskengesteuerten Sparse Video Transformer. Damit fließen Informationen aus mehreren Bildern in die Rekonstruktion ein, statt jedes Einzelbild für sich zu reparieren. Beschreibung der Methode

Die Originalarbeit ordnet den Ansatz in frühere Forschung zum Video-Inpainting ein, darunter E2FGVI. Daraus folgt weder, dass ProPainter lediglich eine neue Version von E2FGVI wäre, noch dass ein wissenschaftlicher Vergleich einen allgemeinen Sieger für heutige Schnittaufgaben bestimmt. Die Versuche aus der Veröffentlichung wurden für diesen Leitfaden nicht nachgestellt. Originalveröffentlichung

Unterscheiden Sie bei der Auswahl Ihres Arbeitsablaufs zwischen Forschungsmethode und vollständigem Bearbeitungsdienst. Herunterladbarer Code, eine Erweiterung aus der Community und eine gehostete Oberfläche können andere Installationsschritte, Einstellungen, Datenverarbeitungsregeln und Nutzungsbedingungen haben. Hier geht es um die Implementierung der Autoren. Eine Oberfläche mit demselben Produktnamen muss weder dieselben Funktionen zugänglich machen noch dieselben Rechte einräumen.

Klären Sie die Lizenz vor dem Versuch

Die geprüfte S-Lab License 1.0 erlaubt die nichtkommerzielle Nutzung unter ihren Bedingungen. Für kommerzielle Nutzung verweist sie auf eine Kontaktaufnahme mit den Mitwirkenden. Öffentlich zugänglicher Quellcode begründet keine uneingeschränkte kommerzielle Nutzungserlaubnis. Lesen Sie die für Code und Modelle geltende Lizenz und fragen Sie beim Rechteinhaber nach, wenn Ihr Vorhaben nicht eindeutig abgedeckt ist. Geprüfter Lizenztext

Halten Sie drei Fragen getrennt fest: Dürfen Sie das Ausgangsmaterial bearbeiten? Dürfen Sie dieses Modell für das Projekt einsetzen? Welche Bedingungen gelten für einen eventuell verwendeten Hostingdienst? Die Antwort auf eine Frage erledigt die anderen nicht. Eine funktionierende Online-Demo belegt insbesondere weder kommerzielle Nutzungsrechte noch Vertraulichkeit oder ein unbegrenztes Kontingent.

Im Studiobeispiel gehört die Entscheidung über die Nutzungsrechte an den Anfang des Versuchsprotokolls. Ist eine kommerzielle Lieferung vorgesehen und fehlt die nötige Erlaubnis, endet die Prüfung dieses Einsatzes an dieser Stelle. Sie können nach einem zulässigen anderen Verfahren suchen, ohne damit ein Urteil über die Bildqualität von ProPainter zu fällen. Hier ist die Nutzungserlaubnis ungeklärt, nicht das technische Ergebnis bewertet.

Dokumentieren Sie einen überschaubaren Versuch

Beginnen Sie mit der offiziellen Installationsanleitung. Sie beschreibt eine Umgebung mit Python 3.8 und vortrainierten Gewichten. Das ist der dokumentierte Ausgangspunkt der Autoren, keine von uns bestätigte Kompatibilität mit jedem heutigen Betriebssystem, jeder Python-Version oder GPU-Umgebung. In der Abhängigkeitsdatei sind Pakete ohne feste Version und Versionsbereiche enthalten. Speichern Sie deshalb die tatsächlich installierten Versionen.

Arbeiten Sie in einer isolierten Umgebung und legen Sie die Installationsnotizen zum Versuch. Probieren Sie zunächst ein offizielles Beispiel und anschließend eine repräsentative eigene Aufnahme aus. Diese vorgeschlagene Reihenfolge hilft, ein Umgebungsproblem von einer schwierigen Maskierungsaufgabe zu unterscheiden. Wenn schon das Beispiel nicht läuft, erklärt eine Änderung an der Taschenmaske den Installationsfehler nicht.

Legen Sie vor der Verarbeitung ein Protokoll mit einer eindeutigen Bezeichnung an. Es sollte Eingabedatei, ausgewählten Zeitabschnitt, Bildabmessungen, Speicherort der Masken, Repository-Revision, Gewichte, Umgebungsversionen und sämtliche übergebenen Argumente enthalten. Ergänzen Sie danach Ausgabepfad, Abschlussstatus und Beobachtungen. Überschreiben Sie einen früheren Versuch nicht, wenn Sie eine Einstellung ändern.

Das Protokoll sollte auch eine Woche später beantworten, was sich zwischen einem brauchbaren und einem misslungenen Ergebnis geändert hat. „Höhere Qualität ausprobiert“ genügt dafür nicht. Benennen Sie den geänderten Parameter, den Anlass der Änderung und den Fehler, den Sie damit beheben wollten. So kann auch eine andere Person den Versuch nachvollziehen.

Prüfen Sie Masken, bevor Sie Parameter ändern

Die geprüfte Implementierung verarbeitet Videomaterial und Masken. Eine einzelne Maske wird über die Bildfolge hinweg wiederholt; bei einem Maskenordner liest das Skript die Dateien in sortierter Reihenfolge ein. Prüfen Sie die Implementierung Ihrer gewählten Revision, bevor Sie dieses Verhalten bei einer anderen Oberfläche voraussetzen. Einlesen der Masken

Vergleichen Sie im Taschenbeispiel die Maske zunächst mit dem ersten, einem mittleren und dem letzten Bild. Prüfen Sie danach alle Passagen, in denen sich Kontur oder Überdeckung verändern. Der ausgewählte Bereich soll der Tasche folgen und das Stuhlbein aussparen. Entscheiden Sie gesondert, ob auch der Schatten entfernt werden soll. Ein auffälliger Restschatten kann die Bearbeitung verraten, selbst wenn die Tasche verschwunden ist.

Kontrollieren Sie die Zuordnung von Bild und Maske, die Abmessungen und die Sortierung der Dateinamen. Bei Einzelbildfolgen ist das besonders wichtig: Eine für sich plausibel aussehende Maske kann dem falschen Bild zugeordnet sein. Speichern Sie eine Überlagerung von Original und Maske. Damit lässt sich eine fehlerhafte Auswahl von einem Rekonstruktionsfehler unterscheiden.

Ändern Sie bei der Fehlersuche jeweils nur eine Variable. Wenn Sie gleichzeitig die Maske vergrößern, die Auflösung senken und die zeitlichen Einstellungen verändern, erhalten Sie womöglich ein anderes Ergebnis, wissen aber nicht, welcher Eingriff geholfen hat. Bewahren Sie den Ausgangsversuch als Vergleich auf und geben Sie jedem weiteren Durchlauf einen konkreten Zweck.

Speicherbedarf und Bildqualität gemeinsam beurteilen

Die untersuchte Kommandozeilenimplementierung verwendet unter anderem diese Standardwerte. Sie beschreiben den Code und sind keine allgemeine Einstellungsempfehlung für beliebiges Videomaterial.

Vergleichen Sie die Argumentdefinitionen mit Ihrer gespeicherten Revision. Die Autoren beschreiben Optionen zur Verringerung des Speicherbedarfs über Rechengenauigkeit, Auflösung und zeitlichen Kontext. Die veröffentlichten Beispielwerte zur Speichernutzung sind weder eine allgemeine GPU-Mindestanforderung noch ein Geschwindigkeitsversprechen. Hinweise zur speichersparenden Verarbeitung

Ist zunächst der Speicher das Hindernis, verkleinern Sie den Versuch und dokumentieren Sie die geänderte Bedingung. Prüfen Sie das Bild anschließend erneut. Ein erfolgreich beendeter Prozess bedeutet noch keine gelungene Bearbeitung: Geschützte Kanten können beschädigt sein oder die Rekonstruktion bei Bewegung weiterhin auffallen.

Erfassen Sie Installation, erste Downloads, Verarbeitung und manuelle Nacharbeit getrennt. Diese Zeiten helfen bei unterschiedlichen Planungsfragen. Eine eingerichtete Umgebung lässt sich möglicherweise für weitere Aufnahmen verwenden; Maskierung und Nacharbeit fallen erneut an. Eine Geschwindigkeit pro Bild wird hier nicht angegeben, da keine Messung mit einer bestimmten Maschine und Eingabe durchgeführt wurde.

Nutzen Sie eine Abnahmetabelle mit Zeitangaben

Die folgende Tabelle ist eine redaktionell entwickelte Entscheidungshilfe für diesen Leitfaden. Sie ist weder ein validierter Benchmark noch eine Bewertung von ProPainter in Punkten. Passen Sie geschützte Bereiche und Lieferbedingungen vor dem Versuch an Ihre Aufnahme an.

Sehen Sie sich zuerst das gesamte Ergebnis in normalem Tempo an, bevor Sie Einzelbilder untersuchen. Vergleichen Sie anschließend die schwierige Passage mit dem Original und notieren Sie jeden Fehler mit Zeitangabe und Bildposition. „Das Stuhlbein knickt während der Kamerabewegung nahe am Boden ab“ benennt einen auffindbaren Fehler. Eine Qualitätsnote von sieben Punkten tut das nicht.

Bitten Sie eine weitere Person, dieselbe Sequenz anzusehen, ohne vorab Ihr bevorzugtes Einzelbild hervorzuheben. Das ist ein vorgeschlagener Prüfschritt, keine Behauptung über eine bereits erfolgte unabhängige Begutachtung dieses Beispiels. Geben Sie Arbeitsauftrag und geschützte Bereiche mit, damit sich die Rückmeldung auf die Aufgabe statt allein auf persönlichen Geschmack bezieht.

Halten Sie eines von drei Ergebnissen fest: für den definierten Einsatz abnehmen, mit einem gezielten nächsten Versuch überarbeiten oder abbrechen und ein anderes Verfahren wählen. Eine Überarbeitung sollte die vermutete Ursache und den Nachweis einer Verbesserung benennen. Ohne plausible nächste Prüfung bringt ein weiterer Durchlauf mit mehreren zufälligen Änderungen meist wenig Erkenntnis.

Sichern Sie Belege während der Fehlersuche

Beginnen Sie bei Eingabe und Maske, bevor Sie einen Rekonstruktionsfehler deuten. Die Tabelle schlägt eine Prüfreihenfolge vor. Ein beobachtetes Symptom beweist noch keine bestimmte Ursache.

Löschen Sie misslungene Versuche während der Untersuchung nicht. Sie können zeigen, dass eine Änderung den Fehler nicht behoben hat oder eine zuvor brauchbare Einstellung von der Umgebung abhängig war. Fehlt dieser Verlauf, wiederholen Sie womöglich denselben Versuch unter einem anderen Dateinamen.

Der geprüfte Ausgabecode schreibt Videos aus den rekonstruierten Bildern und enthält keinen zusätzlichen Schritt, der die Tonspur wieder einbindet. Prüfen Sie den Ton der endgültigen Datei deshalb separat. Implementierung der Videoausgabe Kontrollieren Sie auch nach nachfolgenden Schnitt- und Exportvorgängen die tatsächliche Lieferdatei, nicht nur eine Zwischenvorschau.

Bestimmen Sie, wann weitere Versuche nicht lohnen

Legen Sie vorab fest, wie viel Zeit für Einrichtung, Maskenvorbereitung, Verarbeitung und Nacharbeit zur Verfügung steht. Das ist Ihr Projektbudget, keine allgemeingültige Anzahl von Wiederholungen. Scheitert die kritische Passage weiterhin und fehlt ein klarer nächster Diagnoseschritt, beenden Sie die Versuchsreihe. Eine größere Suche nach Parametern führt nicht zwangsläufig zu einem verwendbaren Ergebnis.

Eine mitgeführte Bildretusche, eine Aufnahme des Hintergrunds ohne das störende Objekt oder eine erneute Aufnahme sind andere Verfahren, die sich prüfen lassen. Was passt, hängt vom vorhandenen Material, den Nutzungsrechten und dem vertretbaren Aufwand ab. Diese Verfahren wurden hier nicht experimentell mit ProPainter verglichen; die Überlegung dient der Auswahl eines Arbeitsablaufs und stellt keine Rangfolge dar.

Wenn Sie eine neue Szene aus einer Texteingabe erzeugen möchten, bearbeiten Sie eine andere Aufgabe als die Reparatur vorhandenen Materials. Im Verzeichnis der KI-Modelle können Sie nach der passenden Kategorie suchen. Ein Eintrag allein belegt noch keine Eignung. Bewahren Sie bei einer Inpainting-Aufgabe Original, Masken, Einstellungen und geprüfte Ausgabe getrennt auf. Die rekonstruierte Fläche ist eine Bearbeitung und kein Nachweis dafür, was sich ursprünglich hinter dem Objekt befand.

Am Ende steht eine begründete Entscheidung für genau diese Aufnahme: Der Einsatz ist zulässig, die kritische Passage wurde geprüft, geschützte Bereiche bleiben akzeptabel und die Lieferdatei erfüllt den Auftrag. Halten Sie offene Bedingungen ausdrücklich fest und geben Sie das Ergebnis erst frei, wenn sie geklärt sind. Ein attraktives Einzelbild ersetzt diese Entscheidung nicht.