Annoncé l’année dernière par Microsoft, l’investissement de 1 milliard de dollars de la société dans OpenAI, une organisation dont la mission est de créer une intelligence générale artificielle et de la rendre sûre pour l'humanité, a produit ses premiers résultats : l’achèvement de la construction d’un superordinateur exclusivement pour la recherche sur l'apprentissage machine destiné à OpenAI. Microsoft a fait l’annonce lors de la conférence des développeurs Microsoft Build 2020. Selon la société, la nouvelle machine dispose de 285 000 cœurs de CPU, 10 000 GPU et 400 gigabits par seconde de connectivité réseau pour chaque serveur GPU.Dans un article de blog publié par Microsoft le 19 mai, premier jour de la conférence, la société n'a pas publié de données sur les performances, et l'ordinateur n'a pas fait l'objet d'une évaluation publique et n'a pas non plus été inclus dans la liste très suivie du Top500 des supercalculateurs. Mais face aux superordinateurs les plus rapides de classe mondiale, Microsoft affirme qu'il se classerait au cinquième rang.
Comme nous en avons appris de plus en plus sur nos besoins et sur les différentes limites de tous les composants qui composent un superordinateur, nous avons pu nous dire : « Si nous pouvions concevoir le système de nos rêves, à quoi ressemblerait-il ? », a déclaré Sam Altman, PDG d'OpenAI. « Et ensuite, Microsoft a pu le construire ».
OpenAI est une organisation à but non lucratif qui a été cofondée en 2015 par Elon Musk, le PDG de Tesla Motors et de SpaceX, et Sam Altman, président de l’incubateur Y Combinator. Elon Musk a ensuite quitté la direction de l’organisation dont la vision est de développer une intelligence artificielle générale sûre qui pourra profiter à toute l’humanité. Microsoft et OpenAI ont annoncé en juillet 2019 un partenariat pluriannuel visant à développer des technologies de calcul intensif destinées à l’intelligence artificielle sur le service de cloud computing Azure de Microsoft. Ce partenariat permet à OpenAI de bénéficier d’un investissement de 1 milliard de dollars de Microsoft et de la puissance de calcul de Microsoft Azure, et la construction de ce superordinateur représente une étape clé dans ce partenariat, d’après Microsoft.
En avril 2019, OpenAI a annoncé des progrès remarquables dans ses recherches sur l’intelligence artificielle et a présenté OpenAI Five, un agent d’IA conçu pour défier l’intellect humain dans le jeu vidéo Dota 2. OpenAI a confronté son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2 dans un match dont l’IA de la startup est sortie vainqueur. L’ intelligence artificielle générale n’est pas encore atteinte, mais la société travaille sur des algorithmes d'intelligence artificielle de plus en plus complexes et ce nouveau superordinateur lui apportera beaucoup de puissance de calcul pour continuer ses recherches.
Plus le modèle est grand, plus la puissance de calcul nécessaire à son apprentissage est importante
À quoi va servir cette nouvelle machine ? En fait, selon Microsoft, la taille des modèles d'IA les plus avancés – c'est-à-dire les réseaux de neurones dans les algorithmes d'apprentissage machine – a augmenté rapidement. Dans le même temps, OpenAI a publié une analyse en 2018 selon laquelle la puissance de calcul nécessaire à l'apprentissage de ces modèles a doublé tous les 3,4 mois. Or plus le modèle est grand, plus l'ordinateur nécessaire à son apprentissage est important.
Selon l’article de Microsoft, cette croissance de la taille des modèles d’IA est en partie due au nombre de paramètres utilisés dans chaque modèle. De manière simpliste, il s'agit des valeurs que les "neurones" opérant sur les données d'un réseau neuronal supposent par le biais de la formation. L'algorithme GPT-2 d'OpenAI, qui génère un texte convaincant à partir d'invites, comprend près de 1,5 milliard de paramètres. Le modèle de Turing NLG de Microsoft, qui génère le langage naturel de l'IA, était plus de 10 fois plus grand, avec 17 milliards de paramètres, selon un article blog publié en février par Microsoft.
Jeudi dernier, OpenAI a annoncé le GPT-3, qui serait composé de 175 milliards de paramètres, un chiffre stupéfiant. C’est un modèle linguistique capable d'obtenir des résultats de pointe sur un ensemble de tâches de traitement du langage naturel uniques et de référence qui va de la traduction des langues à la génération d'articles de presse en passant par la réponse aux questions du SAT, selon la société.
Une autre tendance rend nécessaires plus de capacités de calcul. En effet, alors que de nombreux algorithmes d'apprentissage machine sont formés sur des ensembles de données marqués par l'homme, Microsoft, OpenAI et d'autres poursuivent également un apprentissage machine "non supervisé". Cela signifie qu'avec suffisamment de données brutes non marquées, les algorithmes autoapprennent en identifiant des modèles dans ces données.
Aussi, certains des systèmes les plus récents peuvent également effectuer plus d'une tâche dans un domaine donné. Un algorithme formé sur le texte brut de milliards de pages Internet - des entrées Wikipédia aux livres autopubliés - peut déduire des relations entre les mots, les concepts et le contexte. Au lieu de ne pouvoir faire qu'une seule chose, comme générer du texte, il peut transférer son apprentissage à de multiples tâches connexes dans le même domaine, comme aussi lire des documents et répondre à des questions. Selon Microsoft, les algorithmes NLG de Turing et GPT-3 entrent dans cette catégorie.
« Ce qui est passionnant avec ces modèles, c'est l'étendue des possibilités qu'ils offrent », a déclaré Kevin Scott, directeur technique de Microsoft, qui a précisé que les avantages potentiels vont bien au-delà des avancées limitées d'un seul type de modèle d'IA. « Il s'agit de pouvoir faire cent choses passionnantes à la fois dans le traitement du langage naturel et cent choses passionnantes dans la vision par ordinateur, et lorsque vous commencerez à voir des combinaisons de ces domaines perceptifs, vous aurez de nouvelles applications qui sont difficiles à imaginer pour le moment », a-t-il ajouté.
La mise au point de cette nouvelle machine est donc une aubaine pour OpenAI. Mais la question qui se pose est de savoir si l'approche continuera à progresser vers l’intelligence artificielle générale tant que les chercheurs pourront y consacrer plus de puissance de calcul. En outre, si la recherche la plus avancée en matière d'IA requiert des ressources aussi prodigieuses, seules les organisations privées les plus performantes et les mieux connectées pourront y participer, au fur et mesure que les recherches avancent.
Toutefois, la bonne nouvelle selon Microsoft est que la prochaine génération de grands modèles d'IA n'a besoin d'être formée qu'une seule fois avec des quantités massives de données et des ressources de calcul avancé. Ensuite, une entreprise peut prendre un modèle "préformé" et simplement l'ajuster pour différentes tâches avec des ensembles de données et des ressources beaucoup plus petites.
La vision des futurs travaux sur l'IA de Microsoft
Microsoft a également annoncé une mise à jour de son ensemble d'outils d'apprentissage approfondi à code source ouvert, DeepSpeed, publié pour la première fois en février. La société affirme que DeepSpeed peut aider les développeurs à former des modèles 15 fois plus grands et 10 fois plus rapides en utilisant les mêmes ressources de calcul. Et ils prévoient également de rendre open source leurs modèles de Turing afin que la communauté élargie puisse s'en inspirer.
L'idée générale, selon Microsoft, est qu'une fois que l'un de ces très grands modèles d'IA a été formé, il peut en fait être personnalisé et employé par d'autres chercheurs ou entreprises avec beaucoup moins de ressources. Quoi qu'il en soit, Microsoft et OpenAI se sont engagés dans la voie de très grands modèles d’IA, et leur nouvelle machine pourrait être suivie par des systèmes encore plus importants dans les années à venir.
« Nous testons une hypothèse qui existe depuis le début du domaine : qu'un réseau neuronal proche de la taille du cerveau humain peut être formé pour devenir une IA », a déclaré Greg Brockman, cofondateur, président et directeur technique d'OpenAI, au Financial Times lorsque l'investissement de Microsoft a été rendu public. « Si l'hypothèse est vraie, le bénéfice pour l'humanité sera remarquable », a-t-il ajouté.
Sources : Microsoft, Arxiv
Et vous ?
Qu’en pensez-vous ? Que pensez-vous du supercalculateur destiné à la formation de très grands modèles d'IA ? Pensez-vous que plus de ressources de calcul contribueraient rapidement à atteindre l’IA générale ?Lire aussi
Microsoft investit 1 Md$ dans OpenAI, la société fondée par Elon Musk, qui tente de développer une IA semblable à l'intelligence humaine OpenAI crée OpenAI LP en tant qu'hybride d'une société à but lucratif et non lucratif*; pour générer de profits et se financer OpenAI Five, l'équipe d'algorithmes d'IA d'OpenAI, écrase les champions du monde de Dota 2, et tout le monde peut jouer contre elle AlphaStar, la nouvelle IA de DeepMind, a écrasé des joueurs pro de Starcraft II, un jeu vidéo conçu pour défier l'intellect humain 
