Stable Video Diffusion (SVD) est une IA mise au point par Stability AI pour la génération de vidéo. Elle permet aux utilisateurs de créer de courtes vidéos à partir d’une image ou d’une simple description textuelle. Si elle peut être utilisée via le site web de StableVideo.com elle est également disponible en téléchargement gratuit pour être utilisée directement sur les ordinateurs personnels.
Stable Video Diffusion
Prix :
Gratuit
Editeur :
Stability AI
Date :
21/11/2023
Générez facilement des vidéos à partir d’une image avec le dernier modèle d'intelligence artificielle open-source.
Quels sont les différentes versions ?
Lors du lancement de Stable Video Diffusion, Stability AI a partagé deux premières variantes du modèle : SVD et SVD-XT, pouvant générer respectivement des vidéos de 14 ou 24 images.
Comme on peut s’y attendre, Stability AI a continuer à travailler sur le modèle pour l’améliorer, ce qui a donné lieu à la sortie (discrète) de la nouvelle version 1.1 XT début 2024.
Une version 2.0 serait également en préparation si on en croit les informations partagée sur 𝕏 par le CEO de Stability AI.
Une version spécialisée pour la génération de vidéo 3D a également été partagée sous le nom de Stable Video 3D qui se décline également en deux modèles.
Stable Video Diffusion 1.1
Date de sortie : 2 Février 2024
→ Télécharger SVD-XT 1.1
Stable Video Diffusion 1.0
Date de sortie : 21 Novembre 2023
→ Télécharger SVD 1.0
→ Télécharger SVD-XT 1.0
Stable Video 3D
Date de sortie : 18 Mars 2024
→ Télécharger SV3D
Comment utiliser Stable Video Diffusion ?
Télécharger un des modèles Stable Diffusion ci-dessus permet de l’utiliser en l’executant à l’aide de programmes écrit en Python.
Vous pouvez également utiliser Stable Video Diffusion avec ComfyUI, une interface avancée qui permet également différents modèles de génération d’image comme SDXL ou Stable Cascade :
- Installer l’extension ComfyUI Stable Video Diffusion
- Télécharger le modèle SVD-XT 1.1
- Charger un workflow de génération pré-configuré
- Executer le workflow
Licence et limitations
Limites de Stable Video Diffusion
- Les vidéos générées sont assez courtes (<= 4sec)
- Le modèle n'atteint pas un photoréalisme parfait.
- Le modèle peut générer des vidéos sans mouvement, ou avec des mouvements de caméra très lents.
- Le modèle ne peut pas être contrôlé par texte.
- Le modèle ne peut pas rendre un texte lisible.
- Les visages et les personnes en général peuvent ne pas être générés correctement.
Licence de recherche
Stable Video Diffusion est destiné uniquement à des fins de recherche. Les domaines et tâches de recherche autorisées incluent :
- Recherche sur les modèles génératifs.
- Exploration et compréhension des limites et des biais des modèles génératifs.
- Génération d'œuvres d'art et utilisation dans la conception et d'autres processus artistiques.
- Applications dans des outils éducatifs ou créatifs.
Utilisations Exclues
Le modèle n'a pas été entraîné pour être une représentation factuelle ou véridique de personnes ou d'événements, et par conséquent, utiliser le modèle pour générer un tel contenu est hors dedes capacités de Stable Video Diffusion. En outre, le modèle ne peut pas être utilisé d'une manière qui viole la Politique d'Utilisation Acceptable de Stability AI.
Ecrit par
