Point-E, l’Intelligence artificielle qui transforme le texte en objets 3D

Après Dall-E et ChatGPT, OpenAI vient d’annoncer sa nouvelle Intelligence artificielle. Baptisée Point-E, elle est capable de générer des objets 3D sous la forme d’un nuage de points à partir d’un simple texte.

OpenAI, l’entreprise spécialisée dans l’Intelligence artificielle et qui compte Elon Musk parmi ses fondateurs, vient d’annoncer encore une nouvelle IA. Après Dall-E, une IA capable de générer des images à partir d’une ligne de texte, et ChatGPT, un chatbot nouvelle génération qui manie le langage naturel, le dernier projet en date s’attaque à la 3D.

Point-E fonctionne beaucoup comme Dall-E, à savoir qu’il suffit de lui décrire le résultat que vous voulez obtenir. Cependant, cette fois il ne faut pas dépeindre une scène mais un objet. L’IA va alors modéliser l’objet en trois dimensions sous la forme d’un nuage de 4 000 points. Le rendu peut ensuite être converti sous forme de mesh (ou maillage) pour être ensuite utilisé dans un logiciel de modélisation 3D classique.

Des algorithmes beaucoup plus rapides que tout ce qui existe

La firme a opté pour une approche en deux étapes, en générant d’abord une image en deux dimensions, comme le fait Dall-E. L’image est ensuite utilisée pour générer le modèle en trois dimensions. Pour cette seconde étape, l’IA a été entraînée sur des millions d’objets en 3D, associés avec leur rendu en deux dimensions, afin qu’elle apprenne à faire le lien et ensuite à générer les objets sans aide.

Ce n’est toutefois pas complètement inédit. Plus tôt cette année, Google a publié DreamFusion, sa propre IA capable de générer des objets 3D à partir d’un texte. Toutefois, les algorithmes de Google nécessitent plusieurs processeurs graphiques et des heures de calcul pour générer un objet. Point-E peut générer un objet en une minute ou deux en utilisant une seule carte graphique.

Les chercheurs espèrent améliorer la qualité des objets générés pour pouvoir les utiliser en impression 3D, et même dans des jeux ou pour l’animation. En plus d’un article détaillé, OpenAI a également publié le code source de Point-E sur GitHub, sous licence libre.