Une lettre d'Apple adressée à des sénateurs américains, obtenue par NBC News, révèle qu'Apple a menacé xAI en janvier de retirer Grok de l'App Store si l'entreprise ne bloquait pas sérieusement la génération de deepfakes sexualisés.

La menace est restée relativement discrète à l'époque, mais le dossier remonte aujourd'hui dans le cadre d'une réponse écrite à des questions parlementaires.

L'affaire a en fait démarré fin décembre 2025, quand Grok a commencé à être utilisé massivement sur X pour "dénuder" numériquement des photos de femmes, sans leur consentement, avec des résultats por#ographiques.

Apple a bougé en interne. L'entreprise a contacté les équipes X et Grok, constaté les violations de ses guidelines, et exigé un plan d'amélioration de la modération. X a "substantiellement résolu" ses violations selon Apple. Grok, pas assez.

Apple a rejeté une soumission suivante de l'app, avec notification officielle que le statu quo menait au retrait. Après des changements additionnels de xAI, Apple a fini par approuver la dernière version soumise.

Ce qui est intéressant dans l'histoire, c'est la méthode. Pas de tweet de menace, pas de communiqué public. Apple utilise son levier le plus efficace, le rejet de soumission, qui bloque les mises à jour et empêche toute évolution du produit sur iOS.

Pour une app aussi active que Grok, c'est létal en quelques semaines. xAI a compris, a mis les correctifs, s'est remis en conformité.

La question de fond reste posée. Même après correction, un modèle génératif d'image peut être poussé à produire du contenu problématique via du prompt engineering, et c'est toujours contournante.

Apple ne vérifie pas le code de Grok, elle vérifie ce que les utilisateurs peuvent sortir dans des scénarios de test. Ça laisse une marge. Du coup, la conformité App Store est plutôt un baromètre qu'une garantie.

L'affaire rappelle aussi qu'Apple, quoi qu'on pense de son monopole sur iOS, reste un des rares acteurs capables de faire plier une boîte d'Elon Musk sans passer par un tribunal.

L'arbitrage, en passant par l'analyse suite à une soumission de l'app, est unilatéral, opaque, et parfois efficace. Les sénateurs qui avaient écrit à Apple et Google en janvier pour demander le retrait de Grok n'ont pas obtenu gain de cause, mais ils ont obtenu un rappel à l'ordre que xAI a dû suivre.

En tous cas, pour une fois, c'est un cas concret où le contrôle App Store a vraiment servi à quelque chose, et c'est surtout un rappel que la modération des modèles d'image en prod est toujours un vrai problème, et ce depuis qu'internet existe (vous vous souvenez de l'affaire Estelle Hallyday contre l'hébergeur Altern en 1999 ? Oui je suis aussi vieux que ça.

Source : Apple Insider

SynthID, le filigrane invisible que Google injecte dans chaque image Gemini, c'était censé être incassable. Sauf qu'un dev a eu l'idée toute bête de générer des images noires et blanches avec Gemini, puis de regarder ce qui restait dans le domaine fréquentiel. Et là, surprise... le watermark est apparu en clair avec toutes ses fréquences porteuses !

Le projet reverse-SynthID documente le truc de A à Z où on comprend en gros, que le marquage IA de Google fonctionne en injectant de l'énergie à des fréquences bien précises dans le spectre de l'image via une transformation de Fourier . Le chercheur a identifié 6 fréquences porteuses principales, toutes avec une cohérence de phase supérieure à 99,9% et la blague, c'est que ce pattern est fixe. Donc pas de message unique par image, pas de clé qui change... c'est juste la même empreinte spectrale sur toutes les images sorties du modèle Gemini.

Spectre FFT du watermark SynthID - les pics lumineux correspondent aux fréquences porteuses identifiées

Du coup, une fois que vous avez profilé cette empreinte avec une cinquantaine d'images PNG de référence (25 noires, 25 blanches, générées via l'API Gemini), vous pouvez faire deux trucs. D'abord, détecter le filigrane avec 90% de précision, sans avoir le moindre accès au code source de Google. Et ensuite le retirer en soustrayant les composantes spectrales identifiées, fréquence par fréquence, tout en préservant la qualité de l'image à plus de 40 dB PSNR. Visuellement identique à l'original !

Et c'est là que la différence avec UnMarker (dont je vous avais parlé) saute aux yeux car ce dernier "secoue" l'image en aveugle pour casser le watermark. Alors que Reverse-SynthID, c'est plutôt scruté à la loupe et hyper ciblé. Résultat, y'a clairement moins de dégradation et un drop de confiance du détecteur.

Les fréquences porteuses reconstruites - la structure diagonale du watermark SynthID

Par contre, je l'ai implémenté en Rust et j'ai essayé de voir si ça marchait vraiment sur mes propres images générée avec Gemini. Hé bien non, car le bypass ne fait PAS chuter la confiance du détecteur de 100 à 0, mais juste de quelques pourcents.

Le watermark est atténué, mais pas effacé. Ce n'est donc pas un outil clé en main pour faire disparaître tous les filigranes SynthID en un clic. Mais le fait qu'une seule personne, avec du Python et du traitement de signal classique (FFT, filtres notch, soustraction spectrale), ait pu reverse-engineerer un système que Google présente comme LA solution anti-deepfakes...

Ça confirme ce que les chercheurs de l'Université de Waterloo avaient déjà démontré : le watermarking d'images IA, c'est pété by design.

D'ailleurs, Google le sait très bien et ils pourraient changer le pattern demain et tout serait à refaire, mais ça confirme surtout que le principe même du watermarking spectral a une date de péremption. Après, ça arrange tout le monde d'avoir un truc à montrer quand les gouvernements demandent "et contre les deepfakes, vous faites quoi ?"

Et si c'est la petite étoile visible en bas à droite des images Gemini qui vous gêne (pas le watermark spectral invisible, juste le marqueur visuel), j'ai développé un outil pour mes Patreons qui s'en occupe.

Bref, tout est sur le repo si le reverse-engineering de watermarks IA, ça vous branche !

Vous pensiez avoir tout vu avec les manipulations d'images ? Les générateurs de mèmes, les filtres rigolos, tout ça... Bon, on rigole bien entre potes. Sauf que là, c'est la Maison Blanche qui s'y met et tristement c'est pas pour faire du "lol".

Je vous explique le délire. Jeudi dernier, l'administration Trump a voulu crâner sur les réseaux sociaux. Ils ont annoncé l'arrestation de plusieurs manifestants qui avaient perturbé un office religieux dimanche dernier à Cities Church (St. Paul). Ils protestaient contre un pasteur, David Easterwood, qui serait également le directeur par intérim de l'antenne locale de l'agence fédérale U.S. Immigration and Customs Enforcement (ICE).

Jusque-là, de la politique classique. Mais là où ça dérape sévère, c'est quand ils ont balancé la photo de l'une des personnes arrêtées. La dame en question s'appelle Nekima Levy Armstrong et c'est pas n'importe qui. Avocate des droits civils, ancienne présidente du chapitre de Minneapolis de la NAACP. Elle est une figure très respectée. Sur la photo originale de son arrestation, elle a un visage neutre. Digne.

Sauf que la Maison Blanche a trouvé ça trop "calme" sans doute. Alors ils ont diffusé une version de la photo manipulée numériquement pour la transformer complètement.

Résultat, sur l'image postée par le compte officiel @WhiteHouse, on voit Nekima Levy Armstrong en train de sangloter à chaudes larmes. Genre gros bébé qui chiale. Et c'est là que le venin se diffuse car ce n'est pas juste une modification esthétique.

C'est carrément une manipulation symbolique dégueulasse !

A gauche la photo IA, à droitela VRAIE photo

En faisant ça, ils activent un vieux levier bien rance : le stéréotype de la "Sapphire" ou de la " Angry Black Woman ". C'est un genre d'hyperbole qui trouve ses racines dans les représentations caricaturales du XIXe siècle (les fameux minstrel shows ) avant d'être codifié au XXe siècle.

L'idée c'est de présenter les femmes noires comme des êtres intrinsèquement hystériques, incapables de se contrôler, qui hurlent et chouinent pour un rien. C'est une technique de déshumanisation pure et simple. La Maison Blanche a transformé une opposante politique digne en caricature pleurnicharde pour lui ôter toute crédibilité.

Et quand les journalistes ont demandé des comptes, le service de presse de la Maison Blanche a renvoyé vers un post sur X de Kaelan Dorr (directeur adjoint de la communication) dont la réponse est glaciale : "L'application de la loi continuera. Les mèmes continueront." Hop. Circulez, y'a rien à voir. C'est assumé. Ils manipulent l'information, déforment la réalité pour servir un discours politique, et ils appellent ça un "mème".

Putain, que ces gens sont à vomir.

Le fond de l'histoire maintenant, c'est que ces gens demandaient justice pour Renee Good, une mère de famille abattue par un agent de l'ICE le 7 janvier dernier. L'administration invoque la légitime défense, mais des vidéos et des analyses contestent fermement cette version. Ce sont des vies brisées, des tragédies réelles et en face, on a un gouvernement qui s'amuse avec des outils IA pour transformer la douleur et la dignité en "blague" raciste.

Y'a vraiment de quoi se taper la tête contre les murs. Ça me rappelle un peu les dérives qu'on voit avec les IA qui manipulent les émotions pour du business ou de la politique. Cette technologie devrait faire avancer la science et booster la productivité mais pour l'instant, dans les mains de certains, ça sert surtout à industrialiser la haine et à maquiller le mensonge. Comme le dit souvent Mikko Hyppönen, si c'est intelligent, c'est vulnérable et là c'est pas de l'IoT, mais notre perception de la réalité déjà bien fragilisée depuis quelques années, qui est visée.

Voilà... quand la technologie sert à fabriquer de la désinformation d'État, il est grand temps, je pense, de se réveiller. Donc restez aux aguets les amis, parce que les fascistes, eux la vérité, ils s'en tamponnent le coquillard.

Source

Vous vous souvenez quand les géants de la tech ont promis à la Maison Blanche qu’ils allaient marquer toutes les images générées par IA avec des filigranes invisibles pour lutter contre les deepfakes ? Hé bien, des chercheurs de l’Université de Waterloo au Canada viennent de démontrer que c’était du pipeau avec un outil de leur cru baptisé UnMarker qui supprime n’importe quel watermark IA en quelques minutes, sans même avoir besoin de savoir comment le filigrane a été créé.

Andre Kassis et Urs Hengartner , les deux chercheurs derrière ce projet, ont publié leurs travaux lors du 46ème symposium IEEE sur la sécurité et la vie privée en mai 2025 et leurs résultats sont assez dévastateurs pour l’industrie.

En effet, ils ont testé leur attaque contre à peu près tous les systèmes de watermarking existants : Yu1, Yu2, HiDDeN, PTW, StegaStamp, TRW, Stable Signature… Et le meilleur taux de détection après passage dans UnMarker qu’ils ont obtenu c’est 43%. Et en dessous de 50%, c’est considéré comme inutile statistiquement parlant.

Ils ont aussi testé le tout nouveau, tout beau SynthID de Google, que Mountain View présente comme LA solution miracle. Et résultat le taux de détection est passe de 100% à environ 21% donc autant vous dire que c’est complètement pété.

Alors comment ça marche ce truc ?

Hé bien l’astuce d’UnMarker, c’est d’exploiter une faille fondamentale que tous les systèmes de watermarking partagent. Comme l’explique Kassis avec une analogie plutôt parlante, “Si vous gribouillez l’adresse sur une lettre, le facteur ne pourra plus la livrer.” et comme tous ces systèmes doivent stocker leur watermark dans les variations spectrales des pixels, UnMarker cible précisément ce canal pour le perturber, sans créer d’artefacts visuels. L’image reste ainsi identique à l’œil nu, mais le filigrane invisible est devenu illisible.

Unmarker.it est donc une version côté client de leur outil , qui tourne entièrement dans votre navigateur. Vous déposez une image, vous la “secouez, remuez et écrasez” comme ils disent, et hop, plus de watermark ! Par contre, si le watermark est aussi visuel comme la petite étoile de Gemini, pensez à mettre un petit coup de pinceau dessus pour la cacher.

Et c’est là que ça devient vraiment inquiétant pour la lutte contre les deepfakes car toute la stratégie des gouvernements et des plateformes repose sur l’idée qu’on peut marquer les contenus IA pour les identifier automatiquement. Donc si n’importe quel clampin peut supprimer ces marqueurs en quelques clics, tout le système s’effondre. Les chercheurs sont d’ailleurs assez cash dans leur conclusion, je cite : “Nos résultats montrent que le watermarking n’est pas une défense viable contre les deepfakes, et nous exhortons la communauté à explorer des alternatives.”

Voilà, si vous pensiez que les watermarks invisibles allaient nous sauver de la désinformation par l’IA, vous vous mettez le doigt dans l’œil !

C’est dégueulasse, j’ai pas d’autre mot.

La plateforme SecretDesires.ai, un service de chatbot érotique avec génération d’images par IA, a laissé fuiter dans la nature près de 2 millions de photos et vidéos dans des conteneurs Azure pas du tout sécurisés. Hé oui, n’importe qui pouvait y accéder via de simples fichiers XML contenant tous les liens vers les images, et ça ont le sait grâce à cette enquête de 404 Media .

Alors qu’est-ce qu’on trouve dans cette fuite ?

Hé bien sans surprise des photos de célébrités mais surtout des photos de parfaites inconnues. Des selfies pris dans des chambres, des photos de profil de réseaux sociaux, des photos de remise de diplôme universitaire et j’en passe. Certains fichiers contiennent même les noms complets des femmes photographiées donc autant vous dire que ça craint un max !

Alors pourquoi y’avait tout ça ? Et bien SecretDesires proposait une fonctionnalité de “face swapping” dans ses abonnements payants (entre 7,99 et 19,99 dollars par mois, les pervers ont les moyens), qui permettait en uploadant la photo d’une vraie personne, de “coller” son visage sur d’autres images et vidéos sexuellement explicites générées pour l’occasion. Un container “removed images” contenait environ 930 000 images, un autre baptisé “faceswap” en contenait +50 000, et un troisième nommé “live photos” (des shorts vidéos IA) en contenait +220 000 dont des vidéos montrant des personnes d’apparence trèèèès jeune…

Et les prompts visibles dans certains noms de fichiers sont encore plus flippants car certains “clients” de cette plateforme ont demandé clairement des images de mineures. Et bien sûr, même si SecretDesires interdisait ça dans ses CGU, rien n’était fait techniquement pour l’empêcher.

De plus, la plateforme mentait à ses clients !! Elle se vantait d’utiliser un chiffrement de bout en bout et des serveurs ultra-sécurisés, sauf que leurs conteneurs Azure étaient grands ouverts depuis des mois vu les dates des fichiers et absolument rien n’était chiffré.

Heureusement, environ une heure après que 404 Media ait contacté SecretDesires pour les prévenir de la faille, les fichiers ont été rendus inaccessibles.

Alors j’sais pas si certains d’entre vous se sont déjà amusés à créer des deepfakes sexuels d’autres personnes sans leur consentement, mais sachez que les conséquences pour les victimes sont souvent dévastatrices. Cela a un impact sur leur carrière, leur confiance en soi, et parfois leur sécurité physique… Et bien sûr cela fait de vous des agresseurs sexuels !

Donc arrêtez d’utiliser ces services de merde, utilisez votre cerveau, faites preuve d’empathie et bien sûr, comme toujours, force aux victimes !

Source

Vous en avez sûrement entendu parler ces derniers mois, le célèbre Youtubeur Cyprien est au cœur d’une polémique malgré lui. En effet, son image a été utilisée dans des deepfakes pour faire la promotion de jeux mobiles plus que douteux.

C’est donc bien une IA (et des humains) qui est derrière ces vidéos détournant l’image de Cyprien pour lui faire dire ce qu’il n’a jamais dit. On le voit notamment vanter les mérites d’une app soi-disant révolutionnaire pour gagner de l’argent facilement. Le souci, c’est que cette app sent l’arnaque à plein nez…

Résultat des courses, Cyprien s’est senti obligé de réagir pour démentir son implication dans ces pubs. À travers une vidéo mi-sérieuse mi-humoristique, il met en garde contre les dérives de l’IA et des deepfakes.

C’est quand même flippant de voir son image utilisée à son insu pour promouvoir des trucs plus que limite. Rien que le fait qu’il soit obligé de démentir montre à quel point un deepfake peut semer le doute dans l’esprit des gens, donc il fait bien de sonner l’alerte à travers sa vidéo.

Et c’est là qu’on se rend compte à quel point ces technologies peuvent être dangereuses si elles tombent entre de mauvaises mains. Aujourd’hui c’est Cyprien qui trinque, mais demain ça pourrait être n’importe qui d’entre nous. En attendant, méfiance quand vous voyez une vidéo d’une célébrité qui fait la promo d’un produit. Surtout si c’est pour une app ou un vpn (ah non, pas un vpn ^^). Y’a 9 chances sur 10 pour que ce soit un deepfake !

Perso, je l’ai trouvé au top cette vidéo, donc comme d’hab, je fais tourner.

Les arnaques vocales à base de deep fake comment à se démocratiser. Même les employés des boîtes de sécurité comme LastPass peuvent se faire avoir. Enfin, presque…

Car oui, récemment, un des leurs s’est fait appeler par un escroc qui imitait à la perfection la voix du big boss, Karim Toubba. Le gars a utilisé un deepfake audio assez sophistiqué pour se faire passer pour le PDG. Mais heureusement, l’employé a flairé l’entourloupe parce que le pirate a fait l’erreur d’utiliser WhatsApp pour son petit numéro de magie, ce qui n’est pas très corporate et bien vu chez Lastpass.

En plus, il mettait la pression avec une fausse urgence. Bref, tous les voyants étaient au rouge.

L’employé a donc envoyé balader l’arnaqueur et a prévenu la sécurité interne, comme ça, pas de dégâts, mais ça montre bien que ces attaques à base d’IA sont de plus en plus sophistiquées. Pour générer la voix du PDG, le pirate a sûrement dû s’entraîner sur des enregistrements publics, comme cette interview du CEO sur YouTube.

En tout cas, si vous recevez un appel de ma part, sachez que ce ne sera pas moi, car la somme d’argent que vous demandera l’escroc ne sera pas assez élevée par rapport à ce que je vous aurais demandé en vrai. Donc méfiance !

Plus sérieusement, le ministère américain de la Santé a tiré la sonnette d’alarme la semaine dernière sur ces arnaques ciblant les services d’assistance IT. Pour se protéger, ils conseillent de :

• Rappeler systématiquement pour vérifier une demande de réinitialisation de mot de passe
• Surveiller les changements suspects de coordonnées bancaires
• Revalider tous les accès aux sites de paiement
• Privilégier les demandes en personne pour les sujets sensibles
• Faire valider les requêtes par un superviseur
• Former les équipes support à repérer l’ingénierie sociale et vérifier l’identité des appelants

Bref, la vigilance est de mise, alors faites tourner !

Source