Breitbart News a rapporté qu’Amodei avait présenté sa proposition dans un essai intitulé « We Must Pace the Frontier », publié samedi matin dernier. Il y soutient que les principales entreprises d’IA devraient permettre à des « évaluateurs tiers intégrés » de bénéficier d’un « accès comparable à celui d’un employé » afin de superviser les efforts en matière de sécurité au sein des laboratoires.
L’organisation à but non lucratif à laquelle Amodei fait référence, le Model Evaluation and Threat Research, connu sous le nom de METR (prononcé « meter »), entretient des liens profonds et anciens avec Anthropic et Amodei lui-même, selon le New York Post. METR est issu de l’Alignment Research Center, un incubateur technologique lié à l’altruisme efficace et dirigé par Paul Christiano.
Christiano et Amodei ont été colocataires, collègues et collaborateurs de recherche chez OpenAI, le principal rival d’Anthropic, dans les années 2010. Christiano est ensuite devenu l’un des cinq premiers administrateurs du Long-Term Benefit Trust d’Anthropic.
Ces liens passent également par le personnel de METR. Ajeya Cotra, membre de l’équipe de METR, est mariée à Christiano et est une figure importante du mouvement de l’altruisme efficace. La fondatrice et directrice générale de METR, Beth Barnes, a été recrutée par Christiano et était déjà impliquée dans le mouvement pendant ses études universitaires.
Le scientifique en chef de l’organisation, Hjalmar Wijk, ainsi que les membres de son équipe Megan Kinniment et Pip Arnott, sont tous issus du même groupe de recherche de l’Université d’Oxford, que le Post décrit comme un important vivier pour l’altruisme efficace.
Le profil LinkedIn de Wijk indique qu’il travaille actuellement à « tenter de réduire les risques les plus graves liés aux futurs modèles ». Kinniment a auparavant travaillé au Center on Long-Term Risk, à Londres, où elle se concentrait, selon son profil LinkedIn, sur la manière dont « des acteurs malveillants pourraient accroître la probabilité de résultats négatifs liés à l’IA ». Jasmine Dhaliwal est également présentée comme membre de l’équipe chargée des politiques publiques de l’organisation.
Les propres liens d’Amodei avec l’altruisme efficace vont encore plus loin. Il s’est engagé à donner 80 % de sa fortune personnelle, tandis que sa sœur Daniela est mariée à Holden Karnofsky, qui a fondé deux importantes organisations à but non lucratif liées à l’altruisme efficace. Sam Bankman-Fried, l’ancien dirigeant du secteur des cryptomonnaies dont l’empire s’est effondré dans le cadre d’accusations de fraude qui l’ont conduit en prison, a été l’un des premiers investisseurs d’Anthropic et une figure importante du même mouvement.
METR et ses organisations affiliées ont également reçu des financements de figures de l’altruisme efficace qui sont elles-mêmes des investisseurs d’Anthropic, notamment le mégadonateur démocrate Dustin Moskovitz et le cofondateur de Skype, Jaan Tallinn.
En août, METR a annoncé avoir levé 71 millions de dollars de nouveaux financements auprès d’investisseurs extérieurs au cours des six mois précédents. Les registres publics montrent que le Survival and Flourishing Fund de Tallinn a prévu jusqu’à 752 000 dollars pour METR depuis sa création, dont 324 000 dollars en liquidités générales et une promesse de financement équivalente de 428 000 dollars.
Coefficient Giving, l’organisation de Moskovitz anciennement connue sous le nom d’Open Philanthropy avant son changement de nom l’année dernière, a versé 1 515 000 dollars à l’Alignment Research Center, l’incubateur dont est issu METR, en 2022. METR était initialement connu sous le nom d’ARC Evals, avant de devenir une organisation à but non lucratif indépendante et d’adopter son nom actuel en 2023.
Un porte-parole de METR a défendu l’indépendance du groupe dans une déclaration téléphonique au Post : « Nous ne pensons pas qu’un petit groupe devrait avoir autorité sur ce qui se passe dans le domaine de l’IA, et notre objectif est de faire passer dans le domaine public les informations provenant de l’intérieur de ces entreprises — des enquêteurs externes peuvent contribuer à mettre davantage d’informations en lumière. »
Le porte-parole a déclaré que METR ne recevait aucune rémunération des laboratoires d’IA pour son travail et n’acceptait pas de dons provenant de dirigeants ou d’employés d’entreprises d’IA. Il a ajouté que le don de 2022 de Moskovitz à l’Alignment Research Center était isolé financièrement et n’avait jamais été utilisé pour les opérations de METR.
« Nos financeurs n’ont aucun droit de regard sur les projets sur lesquels nous travaillons et nous n’acceptons aucun financement provenant d’entreprises d’IA ou de leurs employés », a déclaré le porte-parole.
Tout le monde n’est toutefois pas convaincu. Une source au fait de la position de la Maison-Blanche a déclaré mardi au Post que « METR est essentiellement Anthropic sous une autre forme ».
Perry Metzger, président de l’Alliance for the Future, a été plus direct : « Dire que vous voulez être audité par les personnes “indépendantes” de METR est une plaisanterie totale. Ce sont des gens financés par vos amis. C’est complètement ridicule. »
Cette position rejoint celle de David Sacks, qui a réagi à l’essai d’Amodei en publiant : « Arrêtez de prétendre que METR est indépendant alors qu’il est étroitement lié aux investisseurs et au personnel d’Anthropic. »
Metzger a comparé cette situation à la supervision bancaire : « Si demain vous étiez une grande banque et que vous faisiez réaliser vos audits par une organisation composée entièrement de vos anciens employés, financée par les mêmes investisseurs qui investissent dans votre banque, savez-vous ce que feraient les autorités fédérales ? Ce serait tout simplement médiéval. »
Source: Brietbart – Read the original Article
À propos de l'auteur
