Anthropic a récemment déclaré : « Nous trouvons alarmant que le monde semble se diriger vers le développement rapide de systèmes surhumains sans mécanismes plus robustes pour garantir une sécurité adéquate dans l’ensemble du secteur. » Pourtant, cette semaine, la société a dévoilé ce qui peut sans conteste être considéré comme le système d’IA le plus puissant jamais conçu.
Claude Mythos Preview est le premier modèle d’IA qui, s’il était rendu public, présenterait un risque crédible de catastrophe civilisationnelle.
Le système a découvert de manière autonome des milliers de failles de sécurité critiques dans tous les principaux systèmes d’exploitation, tous les principaux navigateurs web et de nombreux autres logiciels essentiels. Il a mis au jour des failles de sécurité qui étaient restées sous nos yeux pendant des décennies, dont une présente depuis 27 ans dans un logiciel considéré comme quasiment inviolable, et une autre que les outils de test automatisés avaient analysée cinq millions de fois sans jamais détecter.
Plus grave encore, Mythos a découvert plusieurs vulnérabilités dans les systèmes Linux, lui permettant de prendre le contrôle total et à distance d’un ordinateur.
Lire la suite sur Pause IA
Sur le même thème Une IA prise en flagrant délit de tricherie
> IA : le pouvoir incontrôlé qui est en train de se développer
> Le sandbagging : quand l’IA joue la comédie
> Nouvelle religion pour agents IA
Pétition officielle : Pour une Convention citoyenne sur l’Intelligence Artificielle avec le CESE (Conseil Économique, Social et Environnemental)
Voir également le Rapport international sur la sécurité de l’IA en français et le site (en anglais)
et Pause IA pour des pistes d’action et de réflexion
