Mécanismes de vérification

Le comportement des modèles d'IA fondés sur l'apprentissage profond est actuellement impossible à prédire avec certitude. Leurs mécanismes de prise de décision sont encodés dans des combinaisons de matrices de très haute dimension que l'on ne sait pas interpréter, et par conséquent pas superviser de manière fiable. C'est pour cette raison que ces systèmes sont qualifiés de « boîtes noires ».

Les méthodes de développement de ces systèmes s'appuient exclusivement sur des approximations des objectifs souhaités par les développeurs. Deux sources d'erreur sont irréductibles dans le paradigme actuel. D'une part, les développeurs ne peuvent pas entièrement spécifier en lignes de code les objectifs à poursuivre et les contraintes à respecter ; l'utilisation d'objectifs simplifiés induit une misspecification. D'autre part, la distribution des données d'entraînement ne peut jamais être totalement représentative de l'ensemble des situations que le système rencontrera en déploiement, ce qui produit des problèmes de généralisation. Sous forte pression d'optimisation, ces méthodes produisent par défaut des divergences systématiques entre les objectifs attendus et ceux internalisés par le système (Goodhart failure modes). Il n'existe donc actuellement aucune méthode permettant d'encoder des règles strictes au sein des modèles d'IA fondés sur l'apprentissage profond.

Il en découle qu'il n'est pas possible, en l'état, de fournir de garantie de contrôle sur le comportement de ces systèmes : on ne peut pas démontrer formellement qu'un modèle donné se comportera conformément aux spécifications de ses développeurs dans toutes les situations qu'il pourrait rencontrer. Les approches alternatives visant explicitement à fournir de telles garanties (safe-by-design) existent, mais leur niveau de performance reste très inférieur à celui de l'apprentissage profond, et les ressources investies dans leur développement sont marginales en comparaison.

Ce problème de contrôle a une conséquence directe sur la gouvernance internationale de l'IA. Tout accord entre acteurs (États, entreprises) portant sur le développement de systèmes d'IA, par exemple un seuil de puissance de calcul autorisé pour un entraînement, ou l'interdiction de certaines méthodes, n'est crédible que si les parties disposent de mécanismes de vérification permettant de s'assurer que chaque acteur respecte effectivement ses engagements. Ce problème est analogue à celui de la vérification dans le domaine nucléaire (rôle de l'AIEA) ou chimique (rôle de l'OIAC), mais présente des contraintes techniques spécifiques au domaine de l'IA.

L'accès à de grands centres de calcul étant une condition nécessaire au développement des modèles d'IA de frontière, l'approche la plus directe consiste à mettre en place des mécanismes de vérification au niveau de l'infrastructure de calcul elle-même : centres de données, nœuds de calcul, contrôleurs d'interface réseau, et GPU. Chaque niveau d'observation offre un compromis différent entre la finesse des métriques observables, la robustesse face aux tentatives de contournement, et la complexité de déploiement.

Ces mécanismes doivent satisfaire simultanément trois contraintes :

• Détection des défections : Les dispositifs doivent être en mesure de rendre toute violation des engagements soit impossible, soit manifeste. Par analogie, l'AIEA s'appuie sur des systèmes de scellés et de caméras dont la désactivation est elle-même un signal détectable. Dans le contexte des centres de calcul, cela implique de concevoir des systèmes dont le contournement est soit techniquement infaisable, soit détectable avec un niveau de confiance quantifiable.
• Préservation de la confidentialité : Le monitorage des activités au sein des centres de calcul implique un accès potentiel à des informations relevant du secret industriel : architecture et hyperparamètres des modèles, données d'entraînement, procédures d'entraînement, poids des modèles. Les dispositifs de vérification doivent être conçus de sorte à ne produire que des informations agrégées (métriques d'intérêt, signatures cryptographiques) sans moyen d'exfiltrer les données brutes.
• Transparence et auditabilité : Les dispositifs de vérification déployés dans les centres de calcul d'un acteur pourraient eux-mêmes contenir des vulnérabilités exploitables, pour de l'espionnage industriel, du sabotage, ou pour faire passer un acteur conforme pour un tricheur. Par conséquent, les dispositifs doivent être librement auditables par tous les acteurs impliqués. La méthode la plus robuste consiste à co-construire des solutions open source (logiciel et composants matériels) via des projets de collaboration internationale, ce qui aligne les incitations de chaque acteur vers la fiabilisation du dispositif.

Ce programme de recherche porte sur l'ensemble des problèmes techniques nécessaires pour concevoir, implémenter et déployer de tels mécanismes de vérification. Depuis les preuves cryptographiques jusqu'à la conception de composants matériels dédiés.

Ce programme est ouvert aux chercheurs et ingénieurs travaillant en cryptographie, sécurité hardware, méthodes formelles, systèmes distribués ou gouvernance technique de l'IA (en poste académique, en entreprise ou indépendants).

Nous organisons régulièrement, sur invitation, des workshop de travail au Campus Cyber (La Défense).

Si vous travaillez sur un des problèmes ouverts listés sur cette page, sur un problème connexe que nous n'avons pas identifié, ou que vous souhaitez contribuer à rejoindre la communauté de recherche, écrivez-nous à contact@gpaipolicylab.org avec quelques lignes sur ce que vous envisagez.

Nous cherchons avant tout des contributions durables mais sommes ouverts aux contributions ponctuelles (formalisation d'un problème, relecture, etc.).

Pour toute question : contact@gpaipolicylab.org.