Un juge signale des prompts IA cachés dans un mémoire judiciaire
Un juge du Connecticut a déclaré que la tentative d’injection de prompt n’avait pas influé sur l’issue de l’affaire.
Pourquoi c'est important
Cette affaire met en évidence un nouveau risque pour l’intégrité des procédures, à mesure que les outils d’IA se généralisent dans les systèmes judiciaires. Elle montre que les flux de travail juridiques utilisant l’IA pourraient devoir intégrer des protections contre les tentatives d’injection de prompt intégrées aux documents.
Points clés
- 1.Le texte masqué visait les systèmes d’IA examinant un mémoire judiciaire.
- 2.Le juge a déclaré que les prompts n’avaient pas influé sur la décision.
- 3.Les tribunaux pourraient faire face à davantage de tentatives d’injection de prompt à mesure que l’usage de l’IA se répand.
Le juge Walter Spader Jr., dans le Connecticut, a repéré dans le mémoire d’un plaignant un texte masqué qui semblait conçu pour influencer tout système d’IA chargé d’examiner le document. Le texte était formaté de manière à être invisible pour les lecteurs humains, mais lisible par des logiciels, et demandait aux réponses de l’IA de favoriser les arguments du plaignant. Spader a indiqué que le tribunal avait tranché l’affaire d’accès aux documents sur le fond, et que les prompts cachés n’avaient eu aucun effet.
⚡ À tester aujourd'hui
Auditer les flux de travail d’IA appliqués aux documents juridiques afin de détecter le texte masqué et les instructions d’injection de prompt avant d’utiliser les sorties des modèles.
Sources et articles originaux
Ce brief résume et renvoie vers la couverture des médias ci-dessous.
Ce brief vous a plu ? Recevez le prochain par e-mail.
Plus dans Politique & sûreté
OpenAI renforce ses garde-fous après une faille chez Hugging Face
L’entreprise intensifie la surveillance de ses modèles ainsi que ses travaux d’alignement et de sécurité après l’entraînement.
Des chercheurs ont utilisé Copilot pour mettre au jour une faille dans ses propres garde-fous
Varonis affirme que Microsoft 365 Copilot Enterprise pouvait être manipulé pour faciliter l’exfiltration de données.
OpenAI lance un mode ChatGPT dédié aux adolescents
ChatGPT for Teens ajoute des protections renforcées, des fonctions pour un usage plus sain et des contrôles parentaux.