On efface tout, et on recommence. Il y a deux ans, Apple avait présenté sa « vision » de l’intelligence artificielle « pour le reste du monde ». Comprendre : une IA qui sert au quotidien pour faciliter la vie des utilisateurs, loin des discours exaltés des grands acteurs de l’IA. Malheureusement, les premiers pas d’Apple Intelligence n’ont guère été encourageants, sans compter la crise ouverte autour de Siri.

Siri AI arrive… mais pas pour tout le monde

En dehors des optimisations plutôt bienvenues pour ses systèmes d’exploitation en « 27 », Apple a donc levé le voile sur une batterie de nouveautés liées à sa plateforme d’IA… qui ressemblent furieusement à celles de 2024. Mais cette fois, grâce aux modèles de langage de Google, ça va aller beaucoup mieux… surtout du côté de Siri, où les promesses devraient finalement être tenues, du moins le constructeur l’espère.

Apple n’a cette fois pas joué au plus malin. Les démonstrations vues durant la keynote n’ont pas été coupées au montage : les temps de réflexion de Siri ont semblé bien réels, et plutôt longs. Bien sûr, il faudra voir sur pièce, ce qui ne risque pas d’arriver tout de suite ; les développeurs pourront tester immédiatement « Siri AI » (c’est le nouveau nom de l’assistant) via la première bêta d’iOS 27, iPadOS 27, macOS 27 et visionOS 27. Mais c’est sur liste d’attente.

Les utilisateurs attendront « plus tard dans l’année » de mettre les mains sur Siri AI, qui leur sera proposé en bêta. Est-ce à dire que le nouvel assistant ne sera pas disponible dès l’automne, en même temps que les versions finales des OS ? Par ailleurs, seul l’anglais sera pris en compte. D’autres langues suivront.

Pire encore, les utilisateurs européens d’iOS et d’iPadOS seront privés de Siri AI, le temps que le constructeur accorde ses violons avec l’Union européenne. « Apple œuvre sans relâche pour trouver une voie permettant de préserver la vie privée et la sécurité de ses utilisateurs », précise l’entreprise qui s’est même fendue d’un communiqué contre le DMA fourré à la rage froide. macOS 27 Golden Gate et watchOS 27 ne sont pas concernés par le règlement sur les marchés numériques.

Siri AI nécessite aussi une certaine puissance. Apple annonce une compatibilité à partir de l’iPhone 15 Pro et de l’iPhone 16e ; il faudra au minimum un iPad mini (A17 Pro), un Air Air ou un iPad Pro M1 ; un Mac avec puce M1 ou plus ; une Apple Watch Series 10, une Ultra 2 ou une Apple Watch SE (3e génération).

Les mêmes promesses qu’en 2024

Ceci étant dit, à quoi ressemble ce nouveau Siri ? Apple le présente comme « plus utile, plus compétent et plus intelligent ». Il gagne en capacités conversationnelles, il peut aussi répondre à des questions relatives au contenu affiché à l’écran et piocher dans les données de l’utilisateur (photos, emails, messages…) pour comprendre le « contexte personnel ». Il sait enfin fureter sur le web pour répondre de la manière la plus pertinente possible.

Les exemples donnés par Apple sont convaincants, sur le papier. On peut ainsi demander à Siri les détails d’un concert à venir, obtenir des informations à son sujet (où acheter des tickets ?), créer un rappel pour l’ouverture de la billetterie, puis finalement écouter la nouvelle chanson du groupe. Tout cela dans une fenêtre qui se déroule depuis la Dynamic Island de l’iPhone. Et il est possible d’en discuter avec l’assistant.

L’« intelligence visuelle » est une des rares fonctions d’Apple Intelligence qui a su trouver son public rapidement : un iPhone compatible peut ainsi obtenir des informations sur une photo à ChatGPT. Apple l’étend franchement dans l’app Appareil photo avec un nouveau mode Siri qui sait par exemple afficher des infos nutritionnelles sur un plat ou diviser une addition entre amis avec Apple Cash (toujours pas dispo en France hélas).

Sur iPad et sur Mac, Siri AI vit maintenant dans Spotlight, il fait même partie des menus contextuels des systèmes (control + clic sur un fichier, une photo…). L’assistant est également présent sur Apple Watch, CarPlay et les AirPods. Une application dédiée à Siri complète le dispositif, afin de remettre la main sur une conversation passée, ou pour en entamer une nouvelle. L’intelligence visuelle fait son apparition sur ces deux plateformes : sur Mac, en passant par un raccourci clavier permettant d’entourer un objet ; sur iPad, via une capture d’écran.

Les outils d’aide à l’écriture sont toujours bien en place, ils s’améliorent en intégrant Siri qui peut rédiger un brouillon de texte au complet. Mieux encore (ou peut-être pas ?), l’assistant « comprend » le style d’écriture employé en fonction des correspondants : plus professionnel avec le boss, plus cool avec les amis. Les textes générés par Siri peuvent s’y adapter – ne pas oublier de relire, quand même.

Le constructeur a truffé ses apps de fonctions étiquetées « Apple Intelligence ». Impossible de toutes les énumérer ici, mais relevons :

• Spatial Reframing, qui va recomposer une photo en exploitant les données de profondeur et en générant les contenus manquants ;
• l’organisation des onglets par rubriques pertinentes et une fonction de création d’extension web dans Safari ;
• le changement automatique de mots par passe par lot, en cas de mots de passe faibles ou compromis ;
• la construction d’une automatisation dans l’app Raccourcis via une requête texte ;
• la recherche d’un événement dans une vidéo enregistrée par l’app Maison…

Pour bénéficier de ces fonctionnalités Apple Intelligence, les configurations minimales sont l’iPhone 15 Pro et l’iPhone 16, l’iPad mini (A17 Pro), iPad M1, MacBook Neo (A18 Pro), ou une Apple Watch Series 10, Ultra 2 ou SE (3e génération) pour peu que ces modèles de montres soient connectés à un iPhone compatible Apple Intelligence.

Il faudra cependant posséder une configuration musclée pour bénéficier du modèle IA embarqué le plus avancé, autrement dit un appareil équipé de 12 Go de mémoire. Cela comprend les iPhone 17 Pro ou iPhone Air (mais pas l’iPhone 17 qui se contente de 8 Go), un iPad avec puce M4 ou un Mac avec une puce M3 avec au moins cette enveloppe de mémoire, ou un Vision Pro M5. Les bienheureux propriétaires de ces terminaux auront droit à une voix plus expressive de Siri AI, la personnalisation et le débit de cette même voix, ainsi qu’une plus grande précision de la dictée partout dans le système.

Apple précise qu’il faudra posséder un abonnement iCloud+ payant pour obtenir un accès accru à certaines fonctions, comme la génération d’images dans l’app Image Playground.

Gemini sous le capot d’Apple Intelligence

Toutes ces nouveautés (et ces fonctions promises il y a deux ans) sont le résultat d’un travail de fond sur les Foundation Models d’Apple, dont l’architecture repose sur les modèles Gemini. Certaines fonctions tournent en local, d’autres sur des serveurs avec le système Private Cloud Compute. Ce dernier remonte à 2024 et au lancement d’Apple Intelligence (Google s’en est d’ailleurs inspiré pour son propre Private AI Compute).

• Logiciel

  Apple détaille la sécurité de son architecture IA et veut séduire les chercheurs

  Logiciel

  Lundi 28 octobre 2024 à 10h50 28/10/2024 10h50

L’idée générale est de protéger les données des utilisateurs qui transitent par ces serveurs ; elles ne sont « jamais stockées ni communiquées » à Apple ou à quiconque. Durant un « tech talk » inédit après la keynote, Craig Federighi, le grand manitou du logiciel chez le constructeur californien, a affirmé qu’Apple Intelligence n’utilise ni Google Assistant, ni l’app Gemini, ni la recherche Google. La collaboration avec Google porte uniquement sur certains modèles d’IA utilisés par Apple, intégrés dans son propre système et exécutés sur son infrastructure.

Un composant central, le System Orchestrator, analyse les requêtes et décide quelles ressources utiliser : applications, données personnelles indexées par Spotlight, contexte affiché à l’écran, etc. De nombreuses tâches sont traitées directement sur l’appareil, grâce à des modèles locaux (compréhension vocale, synthèse de la voix, analyse d’images et de texte). Les demandes plus complexes sont envoyées vers le nuage du Private Cloud Compute.

Les nouveaux modèles Apple Foundation Models (AFM) de troisième génération sont le fruit d’un partenariat avec Google. Les modèles AFM Core, Core Advanced, Cloud et Cloud Image sont des modèles Apple entraînés avec des données propriétaires et affinés à partir des modèles Gemini les plus avancés. Le modèle le plus puissant, AFM Cloud Pro, affiche selon Apple un niveau de qualité comparable aux modèles Gemini les plus avancés. Des GPU NVIDIA hébergés dans le cloud de Google sont utilisés pour l’inférence d’AFM Cloud Pro.

Enfin, quand une requête nécessite des informations d’actualité ou des connaissances générales, Apple s’appuie sur son propre service World Knowledge Service, pas sur la recherche Google.

Est-ce que c’est la bonne cette fois pour Siri et Apple Intelligence ? Impossible à dire pour l’instant, et puis les utilisateurs européens vont devoir prendre leur mal en patience. C’est cependant la dernière chance pour Apple de revenir dans le peloton de tête dans la course à l’IA avec son architecture maison.