Stability AI lance Deepfloyd IF

DeepFloyd IF : un nouveau modèle de texte en image lancé par Stability AI

Découvrez la nouvelle référence en matière de génération de texte en image

Aujourd'hui, Stability AI, en collaboration avec son laboratoire de recherche en IA multimodale DeepFloyd, a annoncé la sortie de DeepFloyd IF, un modèle innovant de génération de texte en image. Ce dernier, construit sur une licence de recherche non commerciale, offre aux laboratoires de recherche une opportunité unique d'examiner et d'expérimenter des approches avancées de génération de texte en image.

Des caractéristiques impressionnantes

DeepFloyd IF se distingue par sa capacité à générer du texte clair et cohérent aux côtés d'objets de différentes propriétés, et ce dans diverses relations spatiales. Il a également démontré un haut degré de photoréalisme, avec un score FID zéro-shot de 6.66 sur le jeu de données COCO. En outre, ce modèle est capable de réaliser des traductions d'image à image sans intervention humaine.

Un entraînement sur un ensemble de données de haute qualité

DeepFloyd IF a été formé sur un ensemble de données LAION-A de haute qualité, qui contient 1 milliard de paires (image, texte). Il est à noter que l'ensemble de données LAION-A est un sous-ensemble esthétique de la partie anglaise de l'ensemble de données LAION-5B, obtenu après déduplication basée sur le hachage de similarité, nettoyage supplémentaire et autres modifications de l'ensemble de données original.

Une licence de recherche ouvrant la voie à une licence permissive

Initialement, DeepFloyd IF est publié sous une licence de recherche. Cependant, Stability AI prévoit de passer à une licence permissive dans le futur, en incorporant les retours d'expérience de la communauté scientifique et du grand public.

Un potentiel inspirant

Stability AI voit un grand potentiel pour DeepFloyd IF dans le développement d'applications novatrices dans divers domaines, comme l'art, le design, la narration, la réalité virtuelle, l'accessibilité et bien d'autres.

Et ils proposent également plusieurs questions de recherche technique, académique et éthique pour inspirer les futurs travaux sur DeepFloyd IF. Ces questions couvrent des sujets tels que l'optimisation du modèle, l'amélioration de la qualité de sortie, l'exploration du rôle de la pré-formation pour l'apprentissage par transfert, l'évaluation de l'impact du modèle sur les médias sociaux et la création de contenu, et bien d'autres.

Comment accéder à DeepFloyd IF ?

Les poids du modèle peuvent être obtenus en acceptant la licence sur les cartes du modèle sur l'espace Hugging Face de Deep Floyd. Pour en savoir plus, vous pouvez consulter le site web du modèle et son code sur GitHub. Une démo est également disponible pour essayer le modèle gratuitement.

DeepFloyd IF promet d'ouvrir la voie à de nouvelles avancées dans le domaine de la génération de texte en image. Nous attendons avec impatience les innovations que cette technologie rendra possibles.