Netflix dévoile VOID : un cadre open-source pour la suppression d'objets vidéo cohérente sur le plan physique

En bref

Netflix a publié VOID, un cadre d’IA open source qui supprime des objets de la vidéo tout en préservant des interactions physiques réalistes, offrant une alternative plus avancée aux outils traditionnels de retouche par remplissage (inpainting) pour la production vidéo professionnelle.

Le service de streaming mondial Netflix a introduit VOID, un cadre open source conçu pour supprimer des objets de la vidéo tout en préservant les interactions physiques qu’ils créent, en répondant aux limites observées avec les outils traditionnels de remplissage (inpainting) et d’effacement d’objets.

Historiquement, retirer un objet d’une scène a toujours été relativement simple, mais garantir que l’environnement se comporte de manière réaliste par la suite a posé des défis considérables. Par exemple, supprimer une personne tenant une guitare laisse l’instrument suspendu de façon artificielle, et retirer un plongeur d’une piscine peut laisser l’eau immobile. Les équipes d’effets visuels ont traditionnellement corrigé ces problèmes manuellement, un processus qui peut s’étendre de quelques jours à plusieurs semaines pour une seule scène.

VOID, abréviation de Video Object and Interaction Deletion, est conçu pour résoudre ces complications. Contrairement aux méthodes conventionnelles qui ne font que remplir les pixels manquants, le système prédit des résultats cohérents sur le plan physique pour la scène une fois l’objet supprimé

Il s’appuie sur une combinaison de technologies pour y parvenir. Le Gemini de Google analyse la scène afin d’identifier les zones qui seront affectées par la suppression, tandis que le SAM2 de Meta segmente les objets à supprimer. Ces sorties sont encodées dans un quadmask, une carte à quatre valeurs indiquant quelles zones effacer, lesquelles se recouvrent, lesquelles sont affectées physiquement et lesquelles restent inchangées. Un modèle de diffusion vidéo construit sur CogVideoX d’Alibaba reconstruit ensuite la scène de manière physiquement plausible. Un second passage optionnel applique un optical flow pour corriger toute distorsion issue de la reconstruction initiale.

Démonstration de la suppression d’objets physiquement cohérente en production vidéo

Les démonstrations de VOID montrent des résultats convaincants : les ballons montent naturellement lorsqu’un porteur est retiré, les blocs conservent leur stabilité lorsque des blocs sans lien sont supprimés, et les surfaces de la piscine restent inchangées après qu’une personne a été effacée. Dans une étude de préférence menée auprès de 25 participants, VOID a été privilégié 64,8 % du temps, dépassant Runway, une alternative commerciale de premier plan, qui n’a atteint que 18,4 %.

Cette sortie marque le premier outil d’IA publiquement disponible de Netflix Research. Sous licence Apache 2.0, VOID peut être utilisé à des fins commerciales et est hébergé sur Hugging Face. Les exigences matérielles limitent actuellement l’accès : un GPU de 40GB de VRAM est nécessaire pour exécuter le modèle, mais de futures optimisations et la réduction des coûts d’infrastructure pourraient élargir la disponibilité. VOID représente un changement dans la technologie de production vidéo, passant d’outils simples d’effacement à des systèmes capables de comprendre et de reconstruire réalistement des scènes, un développement aux implications significatives pour les flux de travail professionnels.