Mojahid Mottakin – Unsplash OpenAI annonce la création d'un nouveau comité de sécurité. L'entreprise de Sam Altman a vu la semaine dernière son équipe chargée de contrôler les IA s'autodétruire. Elle veut rassurer alors que GPT-5 est en cours d'entrainement. L'ancienne membre du CA de l'entreprise, Helen Toner, explique la tentative de licenciement de Sam Altman par le fait qu'il aurait donné des informations inexactes sur le processus de sécurité.
Lundi, OpenAI a publié un billet de blog pour indiquer la création d'un comité de « sécurité et de sûreté » en son sein. Il sera « responsable de la formulation de recommandations à l'ensemble du conseil d'administration sur les décisions critiques en matière de sûreté et de sécurité pour les projets et les opérations de l'OpenAI ».
Mais l'annonce semble plus être un contre-feu après l'autodestruction de son équipe chargée de contrôler les IA et de préparer l'éventuel avènement d'une intelligence artificielle générale (AGI).
Sam Altman et Bret Taylor membres du comité
Le nouveau comité est composé du président Bret Taylor, du CEO Sam Altman, de l'ancienne présidente de Sony US et toute récente membre du conseil d'administration d'OpenAI Nicole Seligman et d'Adam D’Angelo, lui aussi membre du CA de l'entreprise. Ce dernier est le seul « survivant » du CA qui avait voté pour le départ de Sam Altman en novembre dernier, lors de la semaine de folie qu'a vécu l'entreprise à l'époque.
Cette sorte de CA restreint devra faire des recommandations à l'ensemble du conseil sur les décisions clés en matière de sûreté et de sécurité pour les projets d'OpenAI.
On parle ici de la soi-disant menace d'une éventuelle AGI et, comme le dit Ars Technica, du maintenant classique « nous ne laisserons pas l'IA se comporter comme une menace et prendre le contrôle du monde ». Mais OpenAI présente aussi ce comité comme la prise en compte de thématiques plus vastes concernant la sécurité de ses modèles, les possibilités de « jailbreaks », les mauvaises utilisations en général et la protection des enfants et des élections en particulier, thèmes abordés par l'entreprise à l'AI Seoul Summit la semaine dernière.
Ils seront épaulés par plusieurs experts de l'entreprise : Aleksander Madry, Lilian Weng, John Schulman, Matt Knight et Jakub Pachocki.
Ces cinq employés d'OpenAI sont présentés comme responsables de sujets qui ont pourtant l'air de se recouper. Ils sont, respectivement, responsable de la vigilance (en vo « head of Preparedness »), responsable des systèmes de sécurité, responsable de la science de l'alignement (« Alignment Science »), responsable de la sécurité et responsable scientifique.
OpenAI promet que le comité proposera au CA des recommandations d'ici trois mois. Celles-ci seront rendues publiques une fois adoptées par le conseil.
La nouvelle équipe semble beaucoup moins préoccupée par l'avènement d'une AGI que l'ancienne équipe chargée de contrôler les IA. Et OpenAI ne communique plus sur aucun moyen technique qui lui serait dédié. Rappelons qu'elle n'avait pas donné à l'ancienne équipe accès aux capacités de calculs promises à l'époque.
À propos de l'ancienne équipe, Jan Leike vient d'annoncer avoir rejoint Anthropic, la startup rivale d'OpenAI fondée par d'anciens employés de l'entreprise.
Dans le billet de blog d'OpenAI, l'entreprise explique aussi avoir commencé l'entrainement de son prochain modèle qui succédera à GPT-4. Sans pouvoir donner aucun élément probant. Et pour cause, l'entreprise « anticipe que les systèmes qui en résulteront nous mèneront un pas plus loin vers l'AGI ».
Le processus de sécurité d'OpenAI déjà en question en novembre dernier
De son côté, la chercheuse australienne et ancienne membre du CA d'OpenAI, Helen Toner, s'explique dans le Podcast TED AI Show à propos de la tentative de licenciement de Sam Altman en novembre dernier.
Selon elle, comme l'a relevé The Verge, le conseil d'administration a arrêté d'avoir confiance dans le CEO d'OpenAI quand il s'est rendu compte que Sam Altman possédait le fonds « OpenAI Startup », mais aussi parce qu'il avait fourni des informations inexactes sur le processus de sécurité de l'entreprise « à de multiples occasions ».
Elle y explique aussi que le CA a appris le lancement de ChatGPT sur Twitter, comme tout le monde.
Commentaires (4)
#1
Tant que ces outils ne sauront pas distinguer ce qui est vrai (au sens scientifique) de ce qui est faux et de ce qui est à l'appréciation de chacun (ou débattable), les IAs seront dangereuses !
#1.1
#1.2
#1.3