Movie Gen, la nouvelle IA de Meta (Facebook) pour la création de vidéos... (en détails)

“Nos dernières recherches démontrent comment vous pouvez utiliser des saisies de texte simples pour produire des vidéos et des sons personnalisés, éditer des vidéos existantes et transformer votre image personnelle en une vidéo unique”, explique Meta. L’objectif du groupe est de rendre la création vidéo accessible à plus de personnes, tout en précisant que Movie Gen n’a pas vocation à remplacer le travail des artistes et des animateurs. “Nous partageons cette recherche parce que nous croyons au pouvoir de cette technologie pour aider les gens à s’exprimer de nouvelles manières et à offrir des opportunités à des personnes qui, autrement, ne les auraient pas”, indique le groupe.

Un outil complet

Tout d’abord, à partir d’une description fournie par l’utilisateur, Movie Gen est capable de générer des vidéos de 16 secondes, au maximum, avec un taux de rafraîchissement de 16 images par seconde.
Il est également possible d’envoyer l’image d’une personne à cette nouvelle IA et de demander à celle-ci de générer une vidéo à partir de cette image.

De plus, Movie Gen permet aussi, en utilisant des prompts, de modifier une vidéo existante. Meta précise que l’IA ne modifie que les pixels concernés par l’édition.

Par ailleurs, si une vidéo n’a pas de son, Movie Gen peut par exemple créer un bruit de fond. Et l’utilisateur peut donner des consignes en incluant du texte dans son prompt. Meta indique que les fichiers audio générés peuvent durer jusqu’à 45 secondes et sont de “haute qualité” et de “haute fidélité”.

Meta défie le créateur de ChatGPT

En tout cas, Meta estime que Movie Gen est actuellement la meilleure IA de ce type. Cette affirmation s’appuie sur des évaluations réalisées par des humains. Ces évaluations auraient notamment révélé que Movie Gen est plus performant que Sora, l’intelligence artificielle de génération de vidéos d’OpenAI.

Mais pour le moment, Meta ne propose pas cette IA au grand public. Celui-ci indique qu’il continue d’améliorer Movie Gen en travaillant avec des cinéastes et des créateurs. “En adoptant une approche collaborative, nous voulons nous assurer que nous créons des outils qui aident les gens à améliorer leur créativité inhérente d’une manière nouvelle dont ils n’auraient peut-être jamais rêvé”, indique Meta.
En tout cas, celui-ci imagine déjà les usages potentiels de Movie Gen sur ses produits, comme les vidéos Réels de Facebook et d’Instagram, ou WhatsApp.

En plus d’avoir développé un concurrent de ChatGPT, basé sur ses modèles Llama, Meta s’intéresse aussi à la génération d’images, de vidéos et de sons
Celui-ci vient de lever le voile sur Movie Gen, une nouvelle IA qui permet de générer des vidéos, de créer des vidéos à partir de l’image d’une personne, d’éditer des vidéos existantes, ou de générer du son pour une vidéo qui n’en a pas
L’objectif de Meta est de rendre la création vidéo plus accessible et celui-ci imagine déjà comment il pourrait intégrer Movie Gen à Facebook, Instagram ou WhatsApp
Mais pour le moment, Movie Gen n’est pas encore proposé au grand public