Lightricks, développeur d'applications à l'origine de LTX Studio, Facetune et Videoleap, vient de dévoiler son premier modèle de génération vidéo par IA : LTX Video 0.9.
Ce modèle est open-source et la société affirme qu'il est capable de générer cinq secondes de vidéo IA en seulement quatre secondes 😮.
L’Innovation LTX Vidéo
LTX Video est considéré comme un « générateur de vidéo en temps réel » qui a été conçu à partir des commentaires des utilisateurs de LTX Studio, une plateforme qui vous permet de créer un projet multi-clips à partir d'une seule invite.
Vitesse de Génération Inégalée
LTXV peut générer une vidéo de 5 secondes en seulement 4 secondes, avec une résolution de 768x512 et 24 images par seconde. Cette performance remarquable est obtenue en utilisant seulement 20 étapes de diffusion.
Ce résultat a été obtenu à l'aide d'un GPU Nvidia H100 et avec une résolution de 768 x 512. Le modèle fonctionnera avec une Nvidia RTX 4090 standard, mais il faudra alors un peu plus de quatre secondes pour créer la vidéo.
Architecture Optimisée
Le modèle utilise une architecture de Transformateur de Diffusion (DiT) avec seulement 2 milliards de paramètres. Il est optimisé pour fonctionner efficacement sur des GPU grand public comme le RTX 4090, utilisant la précision bfloat16 pour une gestion optimale de la mémoire.
Les forces de LTXV
- Génération de 121 images par séquence de 5 secondes
- Élimination des problèmes courants de morphing d'objets
- Excellente cohérence des mouvements
Vision Open Source
Zeev Farbman, PDG de Lightricks, souligne l'importance de l'approche open source : “Dans un contexte où de nombreuses technologies IA deviennent propriétaires, nous croyons qu'il est temps d'avoir un modèle vidéo open source sur lequel les chercheurs et les développeur peuvent construire à travers le monde et aider à définir le futur de l’IA vidéo.”
En choisissant l’Open Source, Lightricks donne la priorité à l'adoption et à l'innovation, et non à la monétisation. Ils veulent encourager un écosystème collaboratif, dans une approche similaire à celle de Meta avec Llama pour les modèle de languages.
Le fait de pouvoir faire fonctionner un tel modèle sur un PC constitue une avancée considérable pour l'IA vidéo et nous amène à un point où elle pourrait être intégrée dans des jeux ou des outils d'édition vidéo pour un rendu et des prévisualisations en temps réel.
Yaron Inger, CTO de Lightricks, estime ainsi que la capacité à générer des vidéos plus rapidement que leur temps de lecture ouvre la voie à de nouvelles applications dans le gaming, le shopping interactif et l'apprentissage.
Clairement, ce nouveau modèle pourrait redéfinir les standards de la création vidéo assistée par IA.
Comment utiliser LTX Vidéo ?
LTXV dans ComfyUI
LTXV est déjà disponible et intégré dans ComfyUI avec des fonctionnalités spécifiques
- Nouveau node "LTXVideo"
- Création de vidéo depuis un prompt texte ou depuis une image.
- Interface utilisateur optimisée accessible via ComfyUI Manager
En attendant un tuto complet, voici les étapes à suivre pour installer et utiliser LTX Vidéo dans ComfyUI :
- Mettre à jour comfyUI pour disposer de la dernière version
- Téléchargez ltx-video-2b-v0.9.safetensors dans le dossier
models/checkpoints
- S’assure que t5xxl_fp16 se trouve déjà votre dossier
models/clip(et si pas, l’y télécharger)
- Téléchargez le workflow depuis la page d’exemples LTX de de ComfyUI
LTXV en ligne
LTXV est également accessible via fal.ai qui propose la génération de vidéo depuis un prompt textuel ou depuis une image.
Ecrit par
