La génération de vidéo par Stability AI
Stability AI, la startup déjà connue et reconnue pour ses IA génératives comme Stable Diffusion (image) et Stable Audio (musique) vient d’annoncer un nouveau modèle pour la génération de vidéo : Stable Video Difffusion.
Encore en phase de recherche (research preview), Stable Video Diffusion illustre son potentiel en convertissant des images statiques en vidéos de haute qualité. Le modèle se décline en deux variantes : SVD et SVD-XT. SVD convertit les images en vidéos de 576×1024 composées de 14 images, tandis que SVD-XT porte le nombre d'images à 24. Ces modèles fonctionnent à une vitesse comprise entre 3 et 30 images par seconde.
Stable Video Diffusion produit des clips de quatre secondes de grande qualité. La comparaison avec d'autres modèles de génération vidéo de Meta, Google, Runway et Pika Labs montre que les modèles de Stability AI tiennent la route et obtiennent même de meilleurs scores auprès des utilisateurs de test.
Stability AI travaille activement à l'extension des capacités de Stable Video Diffusion. L'entreprise prévoit de publier d'autres modèles qui s'appuient sur la SVD et la SVD-XT et les étendent. En outre, un outil "texte-vidéo" est en cours d'élaboration pour permettre aux modèles d'être accompagnés d'un texte sur le web.
Stability indique également que ses modèles sont très extensibles et peuvent être adaptés à des cas d'utilisation tels que la génération de vues à 360 degrés d'objets.
A n’en pas douter, la publication des recherches et le partages des modèles SVD et SVD-XT va permettre à la communauté de développeurs et chercheurs déjà fort active dans la génération d’images de prolonger le travail de stability et faire (rapidement) évoluer les possibilités de Stable Vidéo Diffusion et développer de nouveaux outils basés dessus.
Disponibilité des modèles
Stability AI a partager le code source de Stable Video Diffusion sur son dépôt GitHub et les fichier nécessaires pour exécuter le modèle localement peuvent également être trouvés sur sa page Hugging Face.
Des détails supplémentaires concernant les capacités techniques du modèle peuvent être trouvés dans le document de recherche publié avec cette annonce.
Essayer Stable Video Diffusion
Vous pouvez tester gratuitement SVD sur sur Hugging Face - mais il faudra être patient pour voir le résultat vu que tout le monde veut essayer et qu'il y a une file d'attente de dingue…
Vous pouvez également tester la création de vidéo à partir d’image en ligne à l’aide des solutions suivantes :
- stable-video-diffusion sur Replicate qui permet de le tester en ligne et aussi de l’utiliser via une API.
- Ce Google Colab permet également de créer des vidéos sur le cloud (Cliquer sur Exécution → Tout exécuter et cliquez sur le lien
c0d34l34t01r3.gradio.livequi apparait environ 1minutes plus tard)
Ecrit par
