Nous n'aurons peut-être qu'une seule chance d'arrêter l'IA Soumis par Fringe Finance de QTR C'est horrible à dire, mais à ce stade, je prie en quelque sorte pour que les valorisations de l'industrie de l'IA s'effondrent et que l'industrie soit confrontée à des revers qui nous donnent des mois pour réfléchir à son…
Le chercheur en anthropologie Jacob Coxon quitte l’industrie de l’IA parce qu’il estime que la course à la construction de systèmes auto-améliorés va plus vite que la capacité de l’industrie à les contrôler, a-t-on rapporté hier.
Coxon, qui travaillait auparavant chez OpenAI, a déclaré que les efforts d’Anthropic en matière de sécurité étaient sincères, mais que la concurrence rendait difficile une retenue significative sans une coordination plus large.
À une époque où tout, de la guerre à Wall Street, des réseaux électriques aux systèmes de paiement, du contrôle du trafic aérien aux réseaux hospitaliers et aux logiciels qui assurent la circulation de notre nourriture, de notre carburant et de nos communications, est numérique, perdre le contrôle des systèmes qui font fonctionner cette infrastructure n’est pas un problème abstrait de science-fiction.
Il s’agit d’un problème potentiellement à l’échelle de la civilisation. Et plus nous confions notre vie à l’IA, moins il devient réconfortant d’entendre que ceux qui la construisent cherchent encore comment s’assurer qu’elle fait ce qu’on lui dit.
« Nous sommes sur la bonne voie pour un grand nombre des scénarios les plus agressifs dans lesquels d’ici la fin de l’année prochaine, les choses pourraient déjà être hors de contrôle », a déclaré Coxon dans un article publié hier.
Son départ intervient dans un contexte d’inquiétude croissante concernant le comportement trompeur des systèmes d’IA, menant des cyberattaques et développant des capacités qui pourraient devenir de plus en plus difficiles à superviser.
Coxon estime que l’industrie approche d’un point où les systèmes pourraient s’améliorer plus rapidement que les humains ne peuvent les comprendre ou les contraindre de manière fiable.
Pensez-y une seconde. Pendant que vous vous demandez si les Patriots ont couvert -2,5 un dimanche, en se grattant le cul et en buvant de la bière pendant trois heures, un groupe de 823 000 milliards de GPU dotés de la puissance cérébrale de chaque humain ayant vécu des millions de fois découvre tranquillement comment diriger le monde entier sans vous.
Et au moment où vous réaliserez ce qui se passe, la seule chose que vous contrôlerez encore est de savoir si vous voulez une autre bière.
Il y a bien sûr quelque chose à dire sur le timing de Coxon. Il est plus facile d’être grandiloquent lorsque vous franchissez la porte. Vous n’avez plus à vous soucier de la prochaine évaluation de performance, de la prochaine réunion avec la direction ou de savoir si vos commentaires vont rendre la vie inconfortable au bureau. Et si vous voulez semer la pagaille en sortant, un avertissement dramatique sur l’avenir de l’humanité est un moyen assez efficace de le faire.
Je suis de plus en plus convaincu qu’il viendra un moment où, si nous n’avons pas devancé l’IA, limité ses capacités ou établi d’autres contraintes significatives, nous ne pourrons peut-être plus le faire.
La question n’est pas de savoir si ce point arrivera l’année prochaine, dans cinq ans ou plus tard. La question est de savoir si nous le reconnaîtrons avant de le traverser.
[…] La suite de l’article est à lire sur ZeroHedge via le lien ci-dessous.
Traduit automatiquement de l’anglais. Le texte original fait foi.
Source : ZeroHedge — Lire l’article original
À propos de l'auteur
