Annoncé l’année dernière par Microsoft, l’investissement de 1 milliard de dollars de la société dans OpenAI, une organisation dont la mission est de créer une intelligence générale artificielle et de la rendre sûre pour l'humanité, a produit ses premiers résultats : l’achèvement de la construction d’un superordinateur exclusivement pour la recherche sur l'apprentissage machine destiné à OpenAI. Microsoft a fait l’annonce lors de la conférence des développeurs Microsoft Build 2020. Selon la société, la nouvelle machine dispose de 285 000 cœurs de CPU, 10 000 GPU et 400 gigabits par seconde de connectivité réseau pour chaque serveur GPU.Dans un article de blog publié par Microsoft le 19 mai, premier jour de la conférence, la société n'a pas publié de données sur les performances, et l'ordinateur n'a pas fait l'objet d'une évaluation publique et n'a pas non plus été inclus dans la liste très suivie du Top500 des supercalculateurs. Mais face aux superordinateurs les plus rapides de classe mondiale, Microsoft affirme qu'il se classerait au cinquième rang.
Comme nous en avons appris de plus en plus sur nos besoins et sur les différentes limites de tous les composants qui composent un superordinateur, nous avons pu nous dire : « Si nous pouvions concevoir le système de nos rêves, à quoi ressemblerait-il ? », a déclaré Sam Altman, PDG d'OpenAI. « Et ensuite, Microsoft a pu le construire ».
OpenAI est une organisation à but non lucratif qui a été cofondée en 2015 par Elon Musk, le PDG de Tesla Motors et de SpaceX, et Sam Altman, président de l’incubateur Y Combinator. Elon Musk a ensuite quitté la direction de l’organisation dont la vision est de développer une intelligence artificielle générale sûre qui pourra profiter à toute l’humanité. Microsoft et OpenAI ont annoncé en juillet 2019 un partenariat pluriannuel visant à développer des technologies de calcul intensif destinées à l’intelligence artificielle sur le service de cloud computing Azure de Microsoft. Ce partenariat permet à OpenAI de bénéficier d’un investissement de 1 milliard de dollars de Microsoft et de la puissance de calcul de Microsoft Azure, et la construction de ce superordinateur représente une étape clé dans ce partenariat, d’après Microsoft.
En avril 2019, OpenAI a annoncé des progrès remarquables dans ses recherches sur l’intelligence artificielle et a présenté OpenAI Five, un agent d’IA conçu pour défier l’intellect humain dans le jeu vidéo Dota 2. OpenAI a confronté son agent d’IA dénommé OpenAI Five à la meilleure équipe de Dota 2 dans un match dont l’IA de la startup est sortie vainqueur. L’ intelligence artificielle générale n’est pas encore atteinte, mais la société travaille sur des algorithmes d'intelligence artificielle de plus en plus complexes et ce nouveau superordinateur lui apportera beaucoup de puissance de calcul pour continuer ses recherches.
Plus le modèle est grand, plus la puissance de calcul nécessaire à son apprentissage est importante
À quoi va servir cette nouvelle machine ? En fait, selon Microsoft, la taille des modèles d'IA les plus avancés – c'est-à-dire les réseaux de neurones dans les algorithmes d'apprentissage machine – a augmenté rapidement. Dans le même temps, OpenAI a publié une analyse en 2018 selon laquelle la puissance de calcul nécessaire à l'apprentissage de ces modèles a doublé tous les 3,4 mois. Or plus le modèle est grand, plus l'ordinateur nécessaire à son apprentissage est important.
Selon l’article de Microsoft, cette croissance de la taille des modèles d’IA est en partie due au nombre de paramètres utilisés dans chaque modèle. De manière simpliste, il s'agit des valeurs que les "neurones" opérant sur les données d'un réseau neuronal supposent par le biais de la formation. L'algorithme GPT-2 d'OpenAI, qui génère un texte convaincant à partir d'invites, comprend près de 1,5 milliard de paramètres. Le modèle de Turing NLG de Microsoft, qui génère le langage naturel de l'IA, était plus de 10 fois plus grand, avec 17 milliards de paramètres, selon un article blog publié en février par Microsoft.
Jeudi dernier, OpenAI a annoncé le GPT-3, qui serait composé de 175 milliards de paramètres, un chiffre stupéfiant. C’est un modèle linguistique capable d'obtenir des résultats de pointe sur un ensemble de tâches de traitement du langage naturel uniques et de référence qui va de la traduction des langues à la génération d'articles de presse en passant par la réponse aux questions du SAT, selon la société.
Une autre tendance rend nécessaires plus de capacités de calcul. En effet, alors que de nombreux algorithmes d'apprentissage machine sont formés sur des ensembles de données marqués par l'homme, Microsoft, OpenAI et d'autres poursuivent également un apprentissage machine "non supervisé". Cela signifie qu'avec suffisamment de données brutes non marquées, les algorithmes autoapprennent en identifiant des modèles dans ces données.
Aussi, certains des systèmes les plus récents peuvent également effectuer plus d'une tâche dans un domaine donné. Un algorithme formé sur le texte brut de milliards de pages Internet - des entrées Wikipédia aux livres autopubliés - peut déduire des relations entre les mots, les concepts et le contexte. Au lieu de ne pouvoir faire qu'une seule chose, comme générer du texte, il peut transférer son apprentissage à de multiples tâches connexes dans le même domaine, comme aussi lire des documents et répondre à des questions. Selon Microsoft, les algorithmes NLG de Turing et GPT-3 entrent dans cette catégorie.
« Ce qui est passionnant avec ces modèles, c'est l'étendue des possibilités qu'ils offrent », a déclaré Kevin Scott, directeur technique de Microsoft, qui a précisé que les avantages potentiels vont bien au-delà des avancées limitées d'un seul type de modèle d'IA. « Il s'agit de pouvoir faire cent choses passionnantes à la fois dans le traitement du langage naturel et cent choses passionnantes dans la vision par ordinateur, et lorsque vous commencerez à voir des combinaisons de ces domaines perceptifs, vous aurez de nouvelles applications qui sont difficiles à imaginer pour le moment », a-t-il ajouté.
La mise au point de cette nouvelle machine est donc une aubaine pour OpenAI. Mais la question qui se pose est de savoir si l'approche continuera à progresser vers l’intelligence artificielle générale tant que les chercheurs pourront y consacrer plus de puissance de calcul. En outre, si la recherche la plus avancée en matière d'IA requiert des ressources aussi prodigieuses, seules les organisations privées les plus performantes et les mieux connectées pourront y participer, au fur et mesure que les recherches avancent.
Toutefois, la bonne nouvelle selon Microsoft est que la prochaine génération de grands modèles d'IA n'a besoin d'être formée qu'une seule fois avec des quantités massives de données et des ressources de calcul avancé. Ensuite, une entreprise peut prendre un modèle "préformé" et simplement l'ajuster...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
