Accrochez-vous à vos claviers, car Meta vient de lâcher dans la nature une nouvelle créature nommée Llama 3. Oui, vous avez bien compris, je parle de la dernière génération de modèles de langage « open source » (ou presque, on y reviendra) de la société de Mark Zuckerberg.

Si vous pensiez que ChatGPT, Claude ou Mistral étaient les rois de la savane, attendez de voir débarquer ces nouveaux lamas survitaminés ! Avec des versions allant de 8 à 400 milliards de paramètres (pour les non-initiés, disons que c’est l’équivalent de leur QI 🧠), les Llama 3 atomisent littéralement la concurrence sur de nombreux benchmarks standards, que ce soit en termes de connaissances générales, de compréhension, de maths, de raisonnement ou de génération de code.

Mais qu’est-ce qui fait de Llama 3 un tel monstre par rapport à son petit frère Llama 2 ? Déjà, un entraînement de folie à base de 15 000 milliards de tokens (7 fois plus que Llama 2 !) pompé depuis le web (!!), avec beaucoup plus de code et de données non-anglaises pour préparer le terrain à une IA multilingue. Ajoutez à ça des techniques de parallélisation à gogo pendant la phase de pré-entraînement, et vous obtenez des lamas dopés qui apprennent à une vitesse supersonique.

Et ce n’est pas tout ! Les Llama 3 ont suivi un programme d’éducation complet, avec du fine-tuning à base de rejection sampling, de PPO et de DPO (si vous ne connaissez pas ces acronymes, ne vous inquiétez pas, moi non plus 😅). Résultat : des modèles ultra-fiables qui refusent rarement une tâche, font preuve d’un alignement exemplaire et sont capables de suivre des instructions complexes sans sourciller. Bref, ce sont des cracks en raisonnement et en génération de code !

Mais au fait, comment on met la main sur ces petites bêtes ? Facile, il suffit de se rendre sur le site de Meta AI et de les télécharger ! Enfin, quand je dis facile… Les Llama 3 sont bien « open source », mais sous une licence maison qui impose quelques restrictions, notamment pour les entreprises de plus de 700 millions d’utilisateurs mensuels (suivez mon regard vers Mountain View et Redmond 👀). Mais bon, rien ne vous empêche de vous amuser avec si vous n’êtes pas une multinationale !

Et en parlant de s’amuser, sachez que Meta a aussi concocté un chatbot maison (pas encore dispo en France) baptisé sobrement « Meta AI« , disponible sur le web (www.meta.ai) et directement intégré dans les barres de recherche de Facebook, Instagram, WhatsApp et Messenger. Sous le capot, c’est bien sûr du pur Llama 3, avec en prime un modèle de génération d’images nommé « Meta Imagine« .

Au programme, de la discussion, de la recherche web via Bing et Google, et bien sûr de la création d’images en un clin d’œil. Seul hic, pas encore de mode multi-modal façon ChatGPT pour uploader vos propres documents ou images, mais ça ne saurait tarder !

Alors, que penser de ce nouveau coup d’éclat de Meta dans la bataille des IA ?

Personnellement, je trouve ça plutôt chouette de voir un poids lourd du Net jouer le jeu de l’open source (ou approchant) et mettre à disposition de tous des modèles de cette qualité. Bien sûr, on peut toujours discuter des arrière-pensées de Zuck et sa volonté de garder un œil sur ce qu’on fabrique avec ses lamas. Mais au final, c’est toujours ça de pris sur les GAFAM et leurs vilains modèles propriétaires !

Allez, je vous laisse, j’ai un lama à aller dompter moi ! 🦙

Et n’oubliez pas, comme le dirait l’autre, « le monde appartient à ceux qui codent tôt ». Ou tard, c’est selon.

Source

En France, on a un gros souci niveau santé. Dès qu’on doit voir un spécialiste, que ce soit un ophtalmo, un kiné, un dermato, passer une radio ou que sais-je, il y en a pour des mois et des mois d’attente, parfois une année. Si bien qu’au moment de passer l’examen, on est soit déjà guéri, soit en phase terminale.

Bref, c’est désespérant et ce n’est pas prêt de s’arranger.

Alors que peut-être qu’à terme, l’IA pourra nous aider un peu à soulager notre peine, notamment grâce à ce projet nommé Doctor Dignity qui est un LLM (un modèle de langage de grande capacité), open-source et surtout capable de réussir l’examen de licence médicale américain.

Incroyable, non ?

Ce logiciel utilise Llama2 de Meta, fine-tuné avec du lexique médical, et peut être utilisé sur iOS, Android ou en version Web. L’avantage, c’est que ce docteur de poche est gratuit, accessible instantanément et capable de garder le secret médical. Par contre, je ne sais pas où en sera le projet au moment de la publication de cet article, mais on est encore loin d’un truc facilement utilisable par le commun des mortels.

Et évidemment, on est encore loin d’un truc auquel vraiment confier sa santé ou sa vie (quoique quand on se fait soigner par certains internes aux urgences, c’est pas pire), mais vu que Doctor Dignity est capable de passer l’examen de licence médicale américain, on se dit qu’il connait quand même un peu son sujet. Et surtout, il peut apprendre grâce aux retours que lui font les humains en évaluant ses réponses.

Voilà, ce n’est que le début du « médecin virtuel« , peut-être de quoi diagnostiquer 90% des petits bobos habituels, pour ainsi soulager les vrais toubibs. Ou les remplacer s’ils sont moins bons que l’IA ^^. Allez savoir…

En tout cas, le fait d’avoir ce genre d’application accessible à tout moment pour n’importe quelle question médicale viendra soulager les plus hypocondriaques d’entre nous.