L’Agence nationale de la sécurité des systèmes d’information (ANSSI) et le Bundesamt für Sicherheit in der Informationstechnik (BSI) ont publié récemment un rapport conjoint détaillant les risques de sécurité associés aux assistants de codage basés sur l’IA. Ce document met en lumière les opportunités et les dangers potentiels de ces outils de plus en plus populaires dans le développement logiciel et fournit une série de recommandations de sécurité à destination des responsables et développeurs.

Les assistants de programmation basés sur l’IA sont de plus en plus utilisés, tant dans le secteur public que privé. Ils peuvent générer du code, mais également aider au débogage, créer des cas de test, expliquer le code, le formater et le documenter ou encore le traduire entre différents langages de programmation. Ils augmentent ainsi la productivité des développeurs et simplifient la gestion de projets complexes, devenant ainsi des éléments essentiels dans les environnements de développement. Cependant, leur utilisation soulève des questions cruciales de sécurité.

Le rapport souligne que ces outils, bien qu’efficaces, peuvent être manipulés par des attaquants pour générer des bibliothèques malveillantes, insérer du code vulnérable ou divulguer des informations sensibles à partir des données d’entrée. Les modèles IA, qui sont formés sur de vastes corpus de code source, peuvent également proposer des suggestions erronées ou des méthodes inexistantes, ce que les experts appellent des “hallucinations de paquets”.

Les principales menaces identifiées

Le rapport de l’ANSSI et du BSI identifie plusieurs vecteurs d’attaques liés à l’utilisation des assistants de codage IA, notamment :

• Les hallucinations de méthodes et de paquets : Les assistants IA peuvent suggérer des méthodes ou des classes inexistantes, résultant en une confusion de paquets. Les attaquants peuvent créer des bibliothèques avec des noms similaires et y injecter du code malveillant, compromettant ainsi toute la chaîne d’approvisionnement logicielle ;
• Les injections indirectes de prompts : Ces attaques consistent à insérer des entrées malveillantes dans les demandes faites aux modèles IA. Cela peut amener le modèle à générer des commandes ou du code nuisible, ou à divulguer des informations sensibles ;
•  Empoisonnement de données et du modèle : Les attaquants peuvent publier du code malveillant sur des plateformes ouvertes comme GitHub, visant à contaminer les ensembles de données d’entraînement des assistants IA. Ces attaques peuvent compromettre les modèles eux-mêmes et produire du code non sécurisé.

Mesures d’atténuation recommandées

Pour chaque menace identifiée, l’ANSSI et le BSI proposent des mesures d’atténuation visant à réduire les risques associés à l’utilisation des assistants de codage IA. Parmi ces recommandations figurent :

• Vérification du code généré : Il est essentiel que les développeurs vérifient minutieusement le code produit par les assistants IA, notamment en validant les bibliothèques suggérées et en s’assurant de leur authenticité et sécurité ;
• Hébergement local des modèles IA : Afin de protéger les données sensibles, les entreprises devraient envisager d’héberger localement des modèles open source plutôt que de recourir à des services cloud tiers, souvent moins contrôlables ;
• Formation et sensibilisation des développeurs : Une sensibilisation accrue des développeurs aux risques de sécurité liés aux outils IA est cruciale. Les entreprises doivent fournir des formations sur la manière d’utiliser ces outils de manière sécurisée, tout en garantissant la protection des données sensibles ;
• Analyse des données d’entraînement : Les concepteurs d’assistants de codage IA doivent renforcer la sélection des données d’entraînement pour éviter l’empoisonnement. Une documentation rigoureuse des composants utilisés (SBOM – Software Bill of Materials) aidera à identifier rapidement les failles potentielles en cas d’incident.

Les implications pour les entreprises et les développeurs

Les entreprises sont invitées à effectuer des analyses de risques avant d’intégrer des outils IA d’assistance au codage dans leurs processus de développement. Le rapport recommande également de mettre en place des politiques claires sur l’utilisation de ces outils, notamment en ce qui concerne les données sensibles et les bibliothèques autorisées.

Les développeurs, quant à eux, doivent adopter une approche critique face aux suggestions des assistants IA, en s’assurant que chaque morceau de code généré est fiable et sûr. Les hallucinations de paquets, bien qu’elles puissent sembler être de simples erreurs, peuvent avoir des conséquences graves sur la sécurité des systèmes.

Perspectives de recherche et recommandations finales

Le rapport conclut en appelant à la poursuite des recherches dans ce domaine. Il est primordial d’améliorer la qualité des ensembles de données d’entraînement pour réduire les vulnérabilités dans le code généré par les IA, d’utiliser des ensembles de données spécifiquement conçus pour la traduction d’un langage de programmation à un autre afin d’assurer une traduction automatisée précise du code source. De plus, les études futures devraient se pencher sur la manière dont les assistants IA peuvent réellement augmenter la productivité sans compromettre la sécurité.

Enfin, l’ANSSI et le BSI insistent sur l’importance d’une approche collaborative entre les développeurs, les entreprises et les organismes de régulation pour s’assurer que les outils d’IA, bien que prometteurs, ne deviennent pas une porte d’entrée pour des cyberattaques sophistiquées.

Le rapport conjoint du BSI et de l’ANSSI “AI Coding Assistants” s’intègre dans une série de travaux menés par chacune des entités autour de l’IA. Au printemps dernier, l’ANSSI a publié ses recommandations de sécurité pour les systèmes d’IA générative. De son côté, le BSI a produit une étude sur les risques et opportunités des LLM qui a récemment été mise à jour.

Mistral AI a lancé ce 29 mai Codestral, son premier modèle d’IA générative de code en même temps que sa nouvelle licence de non-production, ce qui permet aux développeurs d’utiliser le modèle à des fins de recherche et de tests mais exclut toute utilisation commerciale. Codestral est téléchargeable sur Hugging Face.

Codestral a été entraîné sur un ensemble de données de plus de 80 langages de programmation. Parmi eux, les plus populaires tels que Python, Java, C, C++, JavaScript, et Bash, mais aussi des langages plus spécialisés comme Swift et Fortran. Cette diversité linguistique permet à Codestral de s’adapter à une multitude de projets et d’environnements de développement, offrant aux développeurs un outil flexible et puissant.

Le modèle, qui affiche 22 milliards de paramètres, permet aux développeurs de gagner en efficacité grâce à l’autocomplétion, la génération de tests, et le remplissage du milieu pour le code partiel. Il peut également répondre à des questions sur une base de code en anglais. Sa fenêtre contextuelle est de 32 000 jetons.

Les performances de Codestral 22B

Mistral AI a comparé les performances de son nouveau modèle à des modèles de code dont la fenêtre contextuelle est moins étendue : CodeLLama 70B et LLama 3 70B de Meta ainsi qu’à DeepSeek Coder 33B.

Le très bon score de Codestral lors de l’évaluation Human Eval pass@1 démontre sa capacité à produire du code fonctionnel et précis dès la première tentative. CruxEval met en lumière la capacité de Codestral à prédire avec précision les sorties de code en Python, soulignant sa compréhension profonde des contextes de programmation.

Les résultats de Codestral dans RepoBench, un benchmark spécialisé dans l’évaluation des capacités des modèles de génération de code à comprendre et à produire des segments de code complexes en tenant compte d’un contexte étendu, montrent sa supériorité en termes de précision et de cohérence du code généré par rapport aux 3 autres modèles.

Codestral est disponible gratuitement sur le Chat de Mistral, mais sur le point de terminaison habituel de l’API, les requêtes sont facturées par jetons. Un nouveau point de terminaison dédié permet aux développeurs d’accéder facilement aux fonctionnalités de Codestral pour des tâches spécifiques, telles que l’autocomplétion et le remplissage du milieu dans leur environnement de développement intégré (IDE).

Ce second point est recommandé pour les développeurs créant des plugins IDE ou des applications nécessitant que les clients fournissent leurs propres clés API. Son accès est gratuit pendant une période bêta de 8 semaines, régulé par une liste d’attente.

Codestral a été intégré à des plateformes populaires comme LlamaIndex et LangChain, et il est compatible avec des environnements de développement tels que VSCode et JetBrains, grâce à des plugins développés par Continue.dev et Tabnine. Ces intégrations permettent aux développeurs de bénéficier des capacités de Codestral directement dans leurs outils de travail habituels.

Meta annonce le lancement de Code Llama 70B, disponible dans les mêmes  versions que les modèles Code Llama  publiés le 24 août dernier :  CodeLlama – 70B, le modèle de code fondamental, CodeLlama – 70B – Python, comme son nom l’indique, spécialisé en Python, et Code Llama – 70B – Instruct 70B, affiné pour comprendre les instructions en langage naturel. Tous trois, comme leurs prédécesseurs, sont gratuits pour la recherche et une utilisation commerciale.

Llama 2, le modèle présenté par Meta en juillet dernier a été affiné sur ses ensembles de données spécifiques au code pour concevoir “Code Llama”, une famille de modèles capables de générer du code informatique et du langage naturel lié au code, à partir d’invites en code ou en langage naturel.

Code Llama, qui peut également être utilisé pour la complétion de code et le débogage, prend en charge la plupart des langages de programmation les plus populaires utilisés aujourd’hui, notamment Python, C ++, Java, PHP, Typescript (Javascript), C #, Bash.

En août dernier, le modèle était disponible en trois tailles: 7, 13 et 34 milliards de paramètres, la famille s’agrandit avec Code Llama 70B, le plus performant selon Meta. Les versions précédentes ont été entraînées sur 500 milliards de jetons de code et de données liées au code, la dernière sur 1000 milliards. Les modèles 7B et 13B ont également été formés avec la capacité de remplissage au milieu (FIM), ce qui leur permet d’insérer du code dans un code existant.

Les modèles répondent à différents besoins de service et de latence. Les modèles 34B et 70B donnent les meilleurs résultats et permettent une meilleure assistance au codage, mais les modèles plus petits de 7B, qui peut être servi sur un seul GPU, et 13B sont plus rapides et plus adaptés aux tâches nécessitant une faible latence, comme l’achèvement de code en temps réel.

Evaluations des performances de Code Llama

Pour tester les performances de Code Llama par rapport aux solutions existantes, Meta a utilisé deux benchmarks de codage populaires : HumanEval et Mostly Basic Python Programming (MBPP). HumanEval teste la capacité du modèle à compléter du code en fonction des docstrings et MBPP sa capacité à écrire du code en fonction d’une description.

Les tests de référence ont montré que Code Llama performait mieux que les LLMs open-source spécifiques au code et surpassait Llama 2. Code Llama 34B, par exemple, a obtenu un score de 53,7% sur HumanEval et de 56,2% sur MBPP, le plus élevé par rapport à d’autres solutions ouvertes de pointe. Surpassant GPT-3,5 turbo sur HumanEval, il se rapproche de GPT-4.

Lors d’une évaluation quantitative du risque de génération de code malveillant, Meta a  démontré que les réponses de Code Llama sont plus sûres que celles de GPT-3,5 turbo.

Ideta, un éditeur de solutions no-code en SaaS et on premise qui permettent aux entreprises d’automatiser leur process et de créer leurs propres agents conversationnels, a annoncé récemment l’acquisition de Clevy, un acteur majeur dans le développement d’assistants conversationnels pour les collectivités et les grandes entreprises. Cette opération stratégique renforce la position d’Ideta qui a pour objectif de devenir la référence dans le domaine des solutions no-code de création d’assistants IA, de chatbots et de callbots.

Ideta, créée en 2017 par Yanis Kerdjana et Sarah Martineau, propose une suite de logiciels no-code qui facilitent la création de chatbots, de webhooks et d’assistants IA, ainsi que l’intégration des technologies de pointe en traitement du langage naturel, notamment celles de Google, Microsoft, OpenAI ou Mistral. Aujourd’hui, au niveau mondial, plus de 25 000 utilisateurs se tournent vers les services de la start-up qui travaille avec des entreprises de toutes tailles, comme Transdev, Alinéa ou la CNAM.

Clevy, fondée en 2017 par Salim Jernite (CEO), Bastien Botella (COO) et François Sechet (CTO), accompagne des clients de renom comme Danone, Axa, Capgemini ou la SNCF dans leurs projets de transformation digitale grâce à des assistants conversationnels. Cette acquisition permettra non seulement à Ideta d’élargir son portefeuille client, mais également d’accélérer sa croissance sur de nouveaux marchés, notamment ceux des entreprises du secteur public et du CAC 40 où Clevy a démontré son expertise.

Cette démarche s’inscrit, selon Ideta, dans une stratégie plus large d’acquisitions visant à consolider le marché des chatbots et à l’établir comme le leader incontesté des solutions d’assistants conversationnels IA.

Sarah Martineau, CEO d’Ideta, souligne l’importance de cette opération :

“Cette acquisition représente une étape majeure pour Ideta. Elle nous permet d’accélérer notre croissance et de renforcer notre présence sur de nouveaux marchés clés. Notre objectif est de devenir l’acteur de référence dans la création d’assistants conversationnels, et l’acquisition de Clevy constitue un pas décisif vers la réalisation de cette ambition”.