Annoncé l’année dernière par Microsoft, l’investissement de 1 milliard de dollars de la société dans OpenAI, une organisation dont la mission est de créer une intelligence générale artificielle et de la rendre sûre pour l'humanité, a produit ses premiers résultats : l’achèvement de la construction d’un superordinateur exclusivement pour la recherche sur l'apprentissage machine destiné à OpenAI. Microsoft a fait l’annonce lors de la conférence des développeurs Microsoft Build 2020. Selon la société, la nouvelle machine dispose de 285 000 cœurs de CPU, 10 000 GPU et 400 gigabits par seconde de connectivité réseau pour chaque serveur GPU.Dans un article de blog publié par Microsoft le 19 mai, premier jour de la conférence, la société n'a pas publié de données sur les performances, et l'ordinateur n'a pas fait l'objet d'une évaluation publique et n'a pas non plus été inclus dans la liste très suivie du Top500 des supercalculateurs. Mais face aux superordinateurs les plus rapides de classe mondiale, Microsoft affirme qu'il se classerait au cinquième rang.
Comme nous en avons appris de plus en plus sur nos besoins et sur les différentes limites de tous les composants qui composent un superordinateur, nous avons pu nous dire : « Si nous pouvions concevoir le système de nos rêves, à quoi ressemblerait-il ? », a déclaré Sam Altman, PDG d'OpenAI. « Et ensuite, Microsoft a pu le construire ».
OpenAI est une organisation à but non lucratif qui a été cofondée en 2015 par Elon Musk, le PDG de Tesla Motors et de SpaceX, et Sam Altman, président de l’incubateur Y Combinator. Elon Musk a ensuite quitté la direction de l’organisation dont la vision est de développer une intelligence artificielle générale sûre qui pourra profiter à toute l’humanité. Microsoft et OpenAI ont annoncé en juillet 2019 un partenariat pluriannuel visant à développer des technologies de calcul intensif destinées à l’intelligence artificielle sur le service de cloud computing Azure de Microsoft. Ce partenariat permet à OpenAI de bénéficier d’un investissement de 1 milliard de dollars de Microsoft et de la puissance de calcul de Microsoft Azure, et la construction de ce superordinateur représente une étape clé dans ce partenariat, d’après Microsoft.
En avril 2019, OpenAI a annoncé des progrès remarquables dans ses recherches sur l’intelligence artificielle et a présenté OpenAI Five, un agent d’IA conçu pour défier l’intellect humain dans le jeu vidéo Dota 2. OpenAI a confronté son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2 dans un match dont l’IA de la startup est sortie vainqueur. L’ intelligence artificielle générale n’est pas encore atteinte, mais la société travaille sur des algorithmes d'intelligence artificielle de plus en plus complexes et ce nouveau superordinateur lui apportera beaucoup de puissance de calcul pour continuer ses recherches.
Plus le modèle est grand, plus la puissance de calcul nécessaire à son apprentissage est importante
À quoi va servir cette nouvelle machine ? En fait, selon Microsoft, la taille des modèles d'IA les plus avancés – c'est-à-dire les réseaux de neurones dans les algorithmes d'apprentissage machine – a augmenté rapidement. Dans le même temps, OpenAI a publié une analyse en 2018 selon laquelle la puissance de calcul nécessaire à l'apprentissage de ces modèles a doublé tous les 3,4 mois. Or plus le modèle est grand, plus l'ordinateur nécessaire à son apprentissage est important.
Selon l’article de Microsoft, cette croissance de la taille des modèles d’IA est en partie due au nombre de paramètres utilisés dans chaque modèle. De manière simpliste, il s'agit des valeurs que les "neurones" opérant sur les données d'un réseau neuronal supposent par le biais de la formation. L'algorithme GPT-2 d'OpenAI, qui génère un texte convaincant à partir d'invites, comprend près...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
