Apple a annoncé ce 28 octobre que les premières fonctionnalités d’Apple Intelligence pour l’iPhone, l’iPad et le Mac sont désormais disponibles dans le cadre d’une mise à jour de ses systèmes d’exploitation vers iOS 18.1, iPadOS 18.1 et macOS Sequoia 15.1. Si, au sein de l’UE, les utilisateurs de Mac peuvent accéder à Apple Intelligence en anglais (États‑Unis) avec macOS Sequoia 15.1, les possesseurs d’iPhone et d’iPad devront, quant à eux, patienter jusqu’en avril prochain.

Apple Intelligence apporte des outils d’IA générative permettant aux utilisateurs de peaufiner leurs écrits, d’interagir de manière plus naturelle avec Siri, et de manipuler des images et vidéos.

Tim Cook, PDG d’Apple, déclare :

“Apple Intelligence inaugure une nouvelle ère pour l’iPhone, l’iPad et le Mac, et propose de tout nouveaux outils et expériences qui vont transformer ce que peuvent accomplir nos utilisateurs”

Précisant :

“Apple Intelligence s’appuie sur des années d’innovation en IA et en apprentissage automatique pour mettre les modèles génératifs d’Apple au cœur de nos appareils et ainsi offrir à nos utilisateurs un système d’intelligence personnelle facile à utiliser, et respectueux de leur vie privée”.

Principales fonctionnalités d’Apple Intelligence

L’une des fonctionnalités phares d’Apple Intelligence est l’ensemble des Outils d’écriture, intégrés directement dans iOS, iPadOS et macOS. Ceux-ci permettent aux utilisateurs de réviser, de réécrire et de résumer du texte dans diverses applications telles que Mail, Messages et Notes, mais également dans des apps tierces. L’outil “Réécriture ” permet de choisir différents styles de texte, d’ajuster le ton du texte (professionnel, concis ou amical) tandis que “Relecture” vérifie la grammaire et propose des suggestions de correction avec explications. Un résumé en liste ou en tableau peut également être généré à partir d’un simple paragraphe.

Siri plus intuitif et flexible

Apple a également amélioré Siri pour offrir une interaction plus fluide et naturelle. Outre la possibilité d’écrire à Siri et de passer du texte à la voix, les capacités de compréhension et de contexte de Siri ont été étendues. Siri peut désormais conserver le contexte d’une demande à l’autre et répondre à des questions détaillées sur les fonctionnalités des produits Apple.

Une app Photos plus intelligente

L’app Photos bénéficie également des avancées d’Apple Intelligence, permettant une recherche en langage naturel. Les utilisateurs peuvent retrouver des photos ou vidéos en décrivant simplement un détail ou un passage spécifique. L’outil Correction permet de supprimer des objets indésirables d’une image, tandis que la fonctionnalité Souvenirs crée des films personnalisés à partir de descriptions saisies par l’utilisateur.

Une boite mail réorganisée

Apple Intelligence introduit les Messages classés par priorité et les résumés d’e-mails qui facilitent la gestion de la boîte de réception. La fonctionnalité Concentration filtre les notifications et n’affiche que celles qui nécessitent une attention immédiate.

Résumés d’enregistrements audio

Dans les apps Notes et Téléphone, les utilisateurs peuvent désormais enregistrer, transcrire et résumer des contenus audio. Quand un enregistrement est initié lors d’un appel dans l’app Téléphone, les participants en sont automatiquement informés, et quand l’appel se termine, Apple Intelligence génère un résumé pour en récapituler les points principaux.

D’autres fonctionnalités prévues pour décembre

En décembre, Apple Intelligence introduira les Genmoji, des émojis créés à partir de simples descriptions, et l’outil Image Playground pour des compositions visuelles amusantes. Une nouvelle expérience visuelle, disponible sur les iPhone 16, aidera les utilisateurs à en savoir plus sur des objets et des lieux. Il leur sera également possible d’utiliser des outils tiers, comme faire une recherche Google pour trouver où acheter un article ou utiliser les compétences de résolution de problèmes de ChatGPT.

L’intégration de ChatGPT, que les utilisateurs auront le choix d’activer ou non, élargira encore les possibilités offertes par Siri et les outils d’écriture.

Apple, qui avait précédemment annoncé le report du lancement d’Apple Intelligence dans l’UE en raison des exigences du DMA, prévoit désormais le déploiement des premières fonctionnalités pour avril. Cette mise à jour sera accessible sur les appareils suivants : iPhone 16, iPhone 16 Plus, iPhone 16 Pro, iPhone 16 Pro Max, iPhone 15 Pro, iPhone 15 Pro Max, ainsi que les iPad équipés de la puce A17 Pro ou M1 (et modèles ultérieurs) et les Mac avec puce M1 (et modèles ultérieurs).

Une équipe de l’Université Mohamed bin Zayed d’intelligence artificielle (MBZUAI) a développé un système d’IA capable d’imiter le style d’écriture d’une personne à partir de quelques paragraphes d’écriture originale. Les chercheurs qui avaient partagé les premiers résultats de leurs recherches en 2021 lors de la Conférence internationale sur la vision par ordinateur (ICCV) ont récemment obtenu un brevet de l’Office des brevets et des marques des États-Unis pour cet outil.

L’équipe qui a présenté “Handwriting Transformers” était composée du professeur adjoint de vision par ordinateur Rao Muhammad Anwer, du professeur agrégé d’informatique Vison Salman Khan, du directeur adjoint du département de vision par ordinateur et professeur de vision par ordinateur Fahad Shahbaz Khan, et d’Ankan Kumar Bhunia.

Des recherches antérieures s’appuyaient sur les réseaux antagonistes génératifs (GAN). Cependant, si ces approches permettent de capturer le style général d’un écrivain, par exemple, l’inclinaison de l’écriture ou la largeur des traits qui composent les lettres, elles rencontrent deux problèmes majeurs.

Tout d’abord, le lien entre le style et le contenu est faible, car ces caractéristiques sont traitées séparément et fusionnées, ce qui entraîne un manque d’enchevêtrement explicite au niveau du caractère. D’autre part, elles ne codent pas de manière explicite les modèles de style locaux, tels que le style de caractère et les ligatures, que l’on peut retrouver par exemple dans le mot cœur, ou la locution latine ex æquo.

Pour surmonter ces limitations, les chercheurs ont adopté une approche novatrice en utilisant des transformateurs de vision, des réseaux neuronaux conçus pour les tâches de vision par ordinateur.

Fahad Khan explique :

“Pour imiter le style d’écriture de quelqu’un, nous voulons regarder l’ensemble du texte, et ce n’est qu’alors que nous commencerons à comprendre comment l’écrivain a ligaturé les caractères, comment l’écrivain a relié les lettres ou les mots espacés. Toutes ces tâches nécessitent une sorte de champ réceptif global, ce qui n’est pas facile avec les réseaux de neurones convolutifs. Nous avons identifié cette lacune dans les méthodes existantes et avons adopté cette méthode basée sur des transformateurs”.

Les scientifiques ont comparé leur approche de génération d’images textuelles manuscrites, HWT (Handwriting Transformers) à deux autres technologies de génération d’écriture manuscrite. Ils ont demandé à 100 personnes d’évaluer le texte généré par les différents modèles à 100 personnes. Celles-ci ont préféré le HWT aux autres générateurs de texte dans 81 % des cas.

Ils leur ont également montré le texte d’origine et celui généré, les participants n’ont pu faire la distinction entre les deux, validant ainsi la performance du système d’IA.

Bien que cette avancée ouvre la voie à des applications prometteuses, les chercheurs sont conscients des implications éthiques liées à leur technologie et mettent en garde sur le danger potentiel de contrefaçons et d’autres abus. Ils soulignent la nécessité de prendre des mesures afin de les contrer dans le cadre d’un déploiement responsable.

Rao Muhammad Anwer déclare :

“Nous sommes très prudents à ce sujet car il pourrait être utilisé à mauvais escient. L’écriture manuscrite représente l’identité d’une personne, c’est pourquoi nous y réfléchissons attentivement avant de la déployer”.

Références de l’article : blog MBZUAI

Auteurs :

Rao Muhammad Anwer, Vison Salman Khan, Fahad Shahbaz Khan, Ankan Kumar Bhunia