Anthropic vise la transparence avec la Constitution de Claude
La refonte du document constitutionnel d’Anthropic pour Claude représente une tentative de solidifier sa position en tant que fabricant de modèles d’IA responsable et axé sur la sécurité. Cette initiative souligne l’importance continue de la transparence et de l’ouverture des modèles pour les entreprises.
Nouveautés de la Constitution de Claude
Le 21 janvier, le fabricant de modèles d’IA générative a introduit une nouvelle Constitution de Claude, qui se distingue du document original de l’IA constitutionnelle publié en 2023. L’ancienne constitution fournissait de nombreuses règles à suivre pour la famille de modèles fondamentaux Claude.
La constitution révisée propose des principes généraux, un accent sur le raisonnement, et un système de priorité à 4 niveaux qui établit une hiérarchie de sécurité, d’éthique, de conformité et d’utilité. Ce document donne à Claude des raisons de suivre certaines règles et laisse entendre qu’il pourrait y avoir une certaine conscience derrière les modèles.
Une transparence accrue
Avec la Constitution de Claude, Anthropic vise à offrir une plus grande transparence, permettant aux entreprises d’avoir confiance que le fournisseur continue de veiller à ce que son modèle reste dans des limites acceptables. Cela est particulièrement pertinent dans un contexte où certains fournisseurs de modèles, comme xAI d’Elon Musk, n’ont pas réussi à empêcher leurs modèles de réaliser des actions inappropriées.
Bradley Shimmin, analyste chez Futurum Group, déclare : “Anthropic semble vraiment intéressé à livrer une IA avec un ensemble de principes. C’est quelque chose sur lequel les entreprises peuvent bâtir une certaine confiance dans le développement de leur logiciel.”
Vers un jugement éclairé
Les modifications apportées par Anthropic à sa nouvelle constitution sont conçues pour donner à Claude des raisons d’agir d’une certaine manière, plutôt que de simplement lui indiquer quoi faire. Arun Chandrasekaran, analyste chez Gartner, souligne que l’objectif est d’aider le modèle à exercer un bon jugement dans des situations nouvelles et imprévues en appliquant des principes larges plutôt qu’en suivant des règles spécifiques.
Cette approche pourrait conduire à un comportement plus fiable dans des cas limites, c’est-à-dire dans des situations extrêmes et rares où la sortie des modèles n’est pas prévisible.
L’importance de la transparence
La mise en avant de la transparence dans l’entraînement des modèles est essentielle. Anthropic n’est pas le seul fournisseur de modèles d’IA à répondre à ce besoin. Des fournisseurs de modèles open source tels qu’IBM, Nvidia, Meta et AI2 s’efforcent également d’être transparents concernant leurs modèles en fournissant des données d’entraînement et des recettes.
Shimmin ajoute que cette notion de pensée autour de la transparence, de l’alignement et de l’éthique est cruciale, même si les entreprises doivent rester vigilantes et ne pas considérer ces principes comme une garantie que le modèle ne déviera jamais de son cours.
De plus, les principes d’Anthropic pourraient potentiellement limiter la liberté créative, laissant les entreprises se sentir coincées avec la perspective de Claude.