Intelligence Artificielle : le CEO d’OpenAI confirme les rumeurs sur GPT-4 !

Dans ce que l’on peut appeler un développement excitant, Sam Altman, le PDG d’OpenAI, lors d’une session de questions-réponses dans le cadre du meeting en ligne AC10, a parlé de la sortie imminente de GPT-4.

L’année dernière, OpenAI a présenté le réseau neuronal GPT-3, alors le plus grand, dans un article intitulé « Language Models are Few Shot Learners ». Modèle de langage de pointe, GPT-3 comprend 175 milliards de paramètres contre 1,5 milliard de paramètres pour son prédécesseur GPT-2. GPT-3 a battu le modèle NLG de Turing avec 17 milliards qui détenait auparavant le record du « plus grand jamais ». Le modèle de langage a été émerveillé, critiqué et même soumis à un examen approfondi ; il a également trouvé de nouvelles applications intéressantes.

Les trois modèles ont été publiés à un an d’intervalle ; le modèle GPT-1 est sorti en 2018, le modèle GPT-2 en 2019 et le modèle GPT-3 en 2020. Si l’on s’en tient à ce schéma, la sortie du GPT-4 pourrait bien être imminente. Les observateurs de l’industrie pensent que GPT-4 pourrait être lancé au début de 2023.

Dans ce que l’on peut appeler une évolution passionnante, Sam Altman, le PDG d’OpenAI, a parlé de la sortie imminente de GPT-4 lors d’une session de questions-réponses lors du meeting en ligne AC10.

Ce que l’on peut attendre de GPT-4

Altman a déclaré dans l’interview que, contrairement à la croyance populaire, GPT-4 ne sera pas plus grand que GPT-3 mais utilisera plus de ressources de calcul. Il s’agit d’une annonce intéressante si l’on considère les voix qui s’élèvent contre les dangers des modèles de langage volumineux et leur impact disproportionné sur l’environnement et les communautés sous-représentées. M. Altman a déclaré que cet objectif serait atteint en travaillant sur tous les différents aspects des TPG, y compris les algorithmes de données et le réglage fin.

Il a également indiqué que l’objectif était de tirer le meilleur parti des petits modèles. La sagesse conventionnelle veut que plus un modèle a de paramètres, plus il peut accomplir des tâches complexes. Les chercheurs s’expriment de plus en plus sur le fait que l’efficacité d’un modèle n’est pas nécessairement aussi corrélée à sa taille qu’on le croit. Par exemple, récemment, un groupe de chercheurs de Google a publié une étude montrant qu’un modèle beaucoup plus petit que GPT-3 – fine-tuned language net (FLAN) – a donné de meilleurs résultats que le premier, avec une marge importante, sur un certain nombre de repères difficiles.

Cela dit, OpenAI est encore en train de comprendre comment former un modèle plus petit pour effectuer certaines tâches et réfléchir à des problèmes très difficiles.

Altman a également déclaré que GPT-4 se concentrerait davantage sur le codage, c’est-à-dire sur le Codex (le Codex est un descendant de GPT-3). Il convient de noter qu’OpenAI a récemment publié Codex par le biais de l’API en version bêta privée. Codex est également la base de GitHub Copilot. Il comprend plus d’une douzaine de langues et peut également interpréter des commandes simples en langage naturel et les exécuter pour le compte des utilisateurs, ce qui permet de construire une interface en langage naturel pour les applications existantes.

Le codage semble être un autre domaine d’application majeur pour les TPG. Un exemple en est la fonction d’assistance basée sur les TPG-3 récemment annoncée par Microsoft pour son logiciel PowerApps, qui convertit le langage naturel en extraits de code. Avec les récentes déclarations d’Altman, on s’attend à ce qu’OpenAI exploite davantage cette capacité avec la nouvelle version de GPT.

En plus de GPT-4, Altman a également donné un aperçu de GPT-5. Il a déclaré que GPT-5 pourrait être en mesure de passer le test de Turing. Cependant, il a également déclaré que cela ne valait peut-être pas la peine. Pour les non-initiés, le test de Turing est une méthode permettant de déterminer si un système peut penser comme un être humain. Cela correspond à l’effort d’OpenAI pour atteindre l’intelligence artificielle générale (AGI), sur laquelle le laboratoire de recherche s’est montré très actif.

Sortie publique de DALL.E

En dehors de GPT-4, un autre point majeur de discussion a été DALL.E. Altman a déclaré que DALL.E serait rendu public. Il s’agit d’une version de 12 milliards de paramètres de GPT-3 qui est entraînée à générer des images à partir de légendes de texte. Publié au début de l’année, DALL.E utilise un ensemble de données de paires texte-image pour effectuer diverses tâches telles que la création de versions anthropomorphisées d’animaux et d’objets inanimés, le rendu de texte, l’application de transformations aux images et la combinaison de concepts même non apparentés.

Conclusion

Conclusion
Bien sûr, ce qui s’est passé au cours de la brève session avec Altman n’est peut-être qu’un avant-goût de ce qui pourrait arriver à l’avenir. Cela dit, ces petites révélations sont intéressantes et passionnantes, laissant deviner ce que sera le prochain modèle GPT, pour le meilleur ou pour le pire.