ChatGPT : pourquoi tout le monde en parle ?

plat principal
Les capacités de ChatGPT sont-elles incroyables par rapport à celles de ses prédécesseurs et concurrents ?

La sortie de ChatGPT le 30 novembre a marqué une nouvelle étape dans le développement des technologies de traitement du langage. C’est en tout cas la première fois qu’un système d’IA, axé sur la recherche, suscite un tel engouement : de nombreux articles sont parus dans la presse technique mais aussi généraliste. ChatGPT (ou OpenAI, la société qui fabrique ChatGPT, ou les deux) se produit constamment sur Twitter, même aujourd’hui.

Pourquoi un tel écho ? La capacité de ChatGPT à se démarquer des technologies plus anciennes capables de créer du contenu ?

ChatGPT peut parler

Évidemment, ChatGPT a permis un saut dans la nature : il est capable de répondre, de manière généralement cohérente, à n’importe quelle question en langage naturel. GPT2, puis GPT3 – les précédents modèles de langage créés par OpenAI – étaient déjà très bons pour générer du texte à partir de quelques mots ou phrases donnés comme point de départ (dits “rapides”) : on parlait de “perroquets” (perroquets stochastiques), tel que proposé par Emily Bender, et de nombreux autres chercheurs critiquent cette approche. En effet, on peut dire que ces systèmes ont produit des textes à partir de fragments de phrases tirés des grands corpus dont ils disposent… même si cette image de perroquet doit être nuancée : les systèmes ne répéteront pas mot à mot ce qu’ils extraient, mais créeront un ensemble. le texte original en reprenant, interprétant, combinant les éléments vus dans une combinaison différente.

ChatGPT adopte cette approche, mais la partie “chat” (dialogue) ajoute une dimension différente et semble souvent être un peu déroutante.

Le système ne sort plus les champs de la ligne donnée en entrée. Maintenant, il est capable de répondre correctement à des questions simples et complexes, il peut donner des idées, parler différentes langues, analyser ou générer du code informatique, entre autres.

Lire Aussi :  Turquie: Une explosion à Istanbul fait six morts et plus de 50 blessés - Monde - Updated

Par exemple, si on lui demande si deux personnages peuvent se rencontrer, le système peut déterminer les dates qui correspondent à leur existence, comparez ces dates et obtenez la réponse. C’est peu pour une personne, mais aucun système à ce jour ne peut répondre correctement à ce type de question sans être un expert. Au-delà de la langue, ChatGPT peut également fournir les éléments du raisonnement mathématique (mais il se trompe souvent) et analyser le code informatique impressionnant.

De ce point de vue, ChatGPT a une longueur d’avance sur ses concurrents.

ChatGPT, un système fermé

Sur la fonctionnalité du système, il est difficile d’en dire beaucoup, car OpenAI, malgré son nom, crée des systèmes fermés. C’est-à-dire que le code informatique (code source) utilisé n’est pas disponible et que les recherches liées à ChatGPT restent désormais un secret commercial – même si, bien sûr, d’autres équipes travaillent sur des systèmes similaires, également basés sur l’apprentissage en profondeur. Nous avons donc une idée de ce qu’utilise OpenAI.

Certaines entreprises ont gardé un modèle ouvert, par exemple Meta et le travail effectué à FAIR, qui est souvent ouvert et publié dans de grandes réunions sur le terrain. Mais, en général, nous assistons de plus en plus à des perquisitions fermées. Par exemple, alors qu’Apple a toujours eu un modèle de développement secret et très secret, Deepmind avait un modèle ouvert et peut-être moins maintenant l’entreprise est sous le contrôle de Google.

Le système ChatGPT lui-même peut être commercial : OpenAI est soutenu par Microsoft, qui pourrait décider de fermer l’accès au système un jour prochain, si c’est dans son intérêt.

Lire Aussi :  Les spécifications de la NVIDIA RTX 4070 sont dévoilées : une consommation de 250 W avec 5888 cœurs CUDA

En testant ChatGPT, vous offrez des mises à jour (gratuites)

En attendant, OpenAI bénéficie de la grande publicité que lui apporte son outil, mais aussi de toutes les interactions des utilisateurs avec lui. Si l’utilisateur dit que la réponse est fausse, ou demande à l’outil de corriger sa réponse en considérant quelque chose, cette information est plus une sécurité du système et peut être utilisée à nouveau pour corriger sa réponse la prochaine fois, sur la demande demandée. ou sur une demande similaire. En testant ChatGPT, nous travaillons gratuitement chez OpenAI !

Pour revenir au système lui-même, la section de discussion est ce qui rend ChatGPT plus robuste et efficace (par rapport à GPT3 par exemple). Il ne s’agit plus d’un “simple” modèle de langage capable de créer des textes “au kilomètre”, mais d’un véritable système de dialogue. Il a probablement bénéficié de millions ou de milliards d’exemples qui ont été testés par des personnes, et la partie actuelle – où des centaines de milliers d’utilisateurs “jouent” avec le système est quasiment gratuit – permet encore de l’améliorer en continu, puisque toutes les interactions sont enregistré. et l’utilisation de ceux-ci.

Il est maintenant facile de trouver une combinaison de milliards de mots pour créer un modèle de langage de type “GPT”, qui est probablement le langage le plus utilisé sur Internet.

Mais les données qui ont permis le développement de ChatGPT (conversations, interactions avec les gens) ne sont pas publiques, et c’est ce qui donne à OpenAI un énorme avantage sur la concurrence.

Par exemple, Google dispose de données différentes, mais il n’y a aucun doute quant à l’utilisation de ce type de système – d’autant plus que Google développe depuis plusieurs années des informations graphiques qui peuvent permettre de produire des réponses avec une meilleure fiabilité que ChatGPT. En particulier, l’analyse de l’enchaînement des requêtes du moteur de recherche Google peut fournir des informations importantes pour guider l’interaction avec l’utilisateur… Mais, à ce moment, c’est OpenAI avec ChatGPT, et non Google : OpenAi a l’avantage.

Lire Aussi :  Au-delà du baratin : expliquer le 20e Congrès national du Parti communiste chinois

Au-delà de ChatGPT, quelles sont les applications du futur ?

En fait, même s’il est possible contourner les limites de ChatGPT, le système refuse de lui expliquer comment fabriquer une bombe, de publier des histoires embarrassantes ou de lui donner des émotions (ChatGPT répond souvent que c’est une machine, qu’il n’a ni émotions ni personnalité). OpenAI s’est apparemment occupé de sa communication. L’entreprise a également porté une grande attention au système “armes”, lui permettant de résoudre en quelques heures bon nombre des problèmes pouvant affecter ce type d’application, comme c’est souvent le cas avec les systèmes ouverts au public.

On peut par exemple décrire Meta, qui en novembre dernier a dû retirer son système baptisé « Galactica » deux jours après l’avoir mis en ligne. Galactica a été formé en sciences et conçu pour fournir des services aux explorateurs. Il a d’abord été présenté comme être capable d’écrire des articles scientifiques automatiquement à partir de… avant que l’entreprise précise qu’il ne s’agissait que d’une aide à l’écriture. Mais cette malheureuse méthode de communication a déclenché une polémique qui a forcé Meta à sortir rapidement Galactica.

En revanche, ChatGPT est toujours en ligne et suscite toujours l’intérêt d’un large public. Des questions subsistent cependant : que fera ChatGPT ? Quelles applications en seront extraites ? Et vers quel modèle économique l’entreprise OpenAI (et Microsoft, son plus gros investisseur) vise-t-elle ?


Thierry Poibeau, DR CNRS, Ecole Normale Supérieure (ENS) – PSL

Cet article est réimprimé de The Conversation sous une licence Creative Commons. Lisez le premier article.



Source

Leave a Reply

Your email address will not be published.

Articles Liés

Back to top button