Vous rêvez d’exploiter la puissance des grands modèles de langage pour interagir avec vos documents, mais vous ne voulez pas que vos données quittent votre ordinateur ? Et bien j’ai ce qu’il vous faut !

Admettons que vous avez une tonne de documents sur votre disque dur, des PDFs, des fichiers Word, des présentations PowerPoint, des feuilles de calcul Excel et même des fichiers Markdown… Vous aimeriez pouvoir obtenir des réponses à vos questions à partir de leur contenu, avoir des résumés, générer de nouvelles idées à partir de ces informations… Bref, avoir un genre d’assistant intelligent qui pourrait comprendre et manipuler toutes ces données. Et bien c’est exactement ce que propose Dot !

Au cœur de son fonctionnement, on trouve un modèle de langage pré-entraîné, en l’occurrence une version de Mistral 7B au moment où j’écris ces lignes, qui tourne en local et permet de faire ce qu’on appelle du « Retrieval Augmented Generation » ou RAG.

En gros, ça veut dire que l’IA ne se contente pas de générer du texte à partir de ce qu’elle a appris, mais qu’elle va aussi chercher des informations pertinentes dans une base de connaissances locale. Vous sélectionnez un dossier contenant les documents que vous voulez indexer, Dot va les analyser, les découper en morceaux, calculer des embeddings et construire un index permettant de retrouver rapidement les passages les plus pertinents pour une requête donnée.

Et ensuite, vous pouvez discuter avec Dot comme vous le feriez avec un assistant IA classique. Vous lui posez une question, et il utiliser ses connaissances générales pour formuler une réponse, mais aussi aller piocher dans votre base documentaire pour l’enrichir avec des informations spécifiques. Du coup, ça booste d’un cran la pertinence et la qualité des réponses obtenues !

Bien sûr, comme Dot tourne exclusivement en local, vous n’avez pas à vous inquiéter pour la confidentialité de vos données puisque rien ne quitte jamais votre machine. C’est un gros avantage par rapport aux solutions cloud qui vont envoyer vos documents sur des serveurs distants. Et si vous avez besoin d’un coup de main pour des tâches qui ne nécessitent pas forcément d’accéder à vos documents, Dot intègre un mode « Big Dot ». Vous basculez dessus en un clic, et vous vous retrouvez avec un assistant IA généraliste, capable de tenir des conversations sur n’importe quel sujet, d’aider à la rédaction, de faire du brainstorming, etc. C’est comme avoir un ChatGPT en local sous la main à tout moment.

Si ça vous dit de tester, c’est gratuit, open source, dispo sous macOS, Windows, Linux et disponible ici : https://dotapp.uk/

Vous connaissez OpenELM ? Non, normal, ça vient de sortir. Et c’est une famille de modèles IA open-source made in Apple conçus pour tourner directement sur vos appareils, sans passer par le cloud. En gros, c’est de l’IA maison dans nos iPhone, iPad et Mac…etc.

OpenELM combine plusieurs modèles de langage naturel (LLMs) utilisant des algorithmes évolutionnistes qui exploitent les principes techniques suivants :

1. Layer-wise scaling strategy : Cette stratégie consiste à allouer les paramètres dans les couches d’un modèle transformeur pour améliorer l’exactitude. Les modèles sont pré-alourés avec un budget de paramètres de 270 millions, 450 millions, 1,1 milliard et 3 milliards.
2. Pré-entraînement : Les modèles ont été pré-entraînés à l’aide d’une combinaison de datasets, incluant une sous-ensemble de Dolma v1.6, RefinedWeb, deduplicated PILE et une sous-ensemble de RedPajama. Ce dataset contient environ 1,8 trillion de tokens.
3. Evolutionary algorithms : Les algorithmes évolutionnistes sont utilisés pour combiner les modèles LLM et améliorer l’exactitude. Cela permet d’exploiter les forces combinées des modèles pré-alourés et d’améliorer leur précision.

Alors évidemment, Apple arrive un peu après la bataille dans l’IA, pendant que Microsoft et Google déboulent à fond la caisse. Mais bon, mieux vaut tard que jamais, et puis ils compensent avec du lourd, soit 8 modèles OpenELM au total, dont 4 pré-entraînés avec CoreNet et 4 fine-tunés. Et avec leur stratégie de scaling par couche ça optimise à fond l’allocation des paramètres.

Allez, je traduits… En gros, ça veut dire qu’ils sont hyper efficaces et précis. Prenez le modèle à 1 milliard de paramètres et bien bah il explose un modèle équivalent comme OLMo de 2,36% en précision, avec 2 fois moins de tokens en pré-entraînement. Et ce qui est top, c’est qu’Apple balance tout : code, logs d’entraînement, configuration…etc et pas juste le modèle final. Et vu qu’ils utilisent des datasets publics, c’est top en matière de transparence et vérification des biais.

En tout cas, une chose est sûre, avec OpenELM, Apple nous prouve qu’ils sont dans la course, et qu’ils comptent bien mettre le paquet sur l’IA

Et Merci à Letsar pour l’info, c’est lui qui m’a mis la puce à l’oreille sur OpenELM. Tu gères !

Source

PyTorch, le framework chouchou des bidouilleurs d’IA, vient de nous pondre un petit truc cool : Torchtune ! 💎 Cette nouvelle bibliothèque native, encore en phase alpha mais déjà disponible en open-source sur GitHub, va vous permettre de fine-tuner les gros modèles de langage (LLM) comme un pro, sans vous prendre la tête.

Torchtune est donc une boîte à outils hyper flexible et modulaire qui va vous permettre de vous éclater à customiser des modèles pour vos propres besoins, le tout avec des recettes mémoire efficaces qui tournent même sur une bête carte graphique de gamer, comme les NVidia 3090/4090.

Son secret ?

Une architecture bien pensée qui mise sur l’interopérabilité avec l’écosystème des LLM, qu’ils soient open-source ou non. Concrètement, ça veut dire que vous allez pouvoir brancher Torchtune à tout un tas d’outils et de frameworks que vous adorez déjà, comme Hugging Face 🤗, PyTorch FSDP 🪢, Weights & Biases 📈, et plein d’autres.

Grâce à des recettes simples et bien documentées pour les modèles populaires comme Llama 3, Mistral ou Gemma 7B, même les débutants vont pouvoir se lancer dans l’aventure sans flipper. Bon OK, il faudra quand même un peu de bagage en PyTorch et en LLM, mais rien d’insurmontable ! Et si vous êtes un pro, vous allez pouvoir hacker le code à volonté pour l’adapter à vos besoins spécifiques.

Alors comment on met les mains dans le cambouis avec Torchtune ?

Rien de plus simple, mon cher Watson ! Il vous suffit d’installer la dernière version stable de PyTorch (2.2.2 au moment où j’écris ces lignes), puis de télécharger Torchtune depuis PyPI avec un petit

pip install torchtune

Et voilà, vous êtes prêt à en découdre avec les LLM !

Pour vous faire les dents, je vous conseille de jeter un œil au tutoriel sur le fine-tuning de Llama2 7B. C’est le parfait point de départ pour comprendre comment Torchtune fonctionne et comment l’utiliser pour vos propres projets.

En gros, ça se passe en 4 étapes :

1. Téléchargez le modèle pré-entraîné et le tokenizer depuis Hugging Face Hub avec tune download.
2. Choisissez une recette de fine-tuning (LoRA, QLoRA, full…) et customisez-la avec un fichier de config en YAML.
3. Lancez l’entraînement avec tune run en précisant votre recette et votre config. Vous pouvez même faire du multi-GPU avec torchrun !
4. Admirez le résultat et testez votre modèle fine-tuné avec une inférence locale. Si tout se passe bien, exportez-le avec ExecuTorch pour le déployer en prod, ou utilisez les API de quantification de Torchao pour l’exporter en int4 ou int8 et l’utiliser sur mobile ou en edge.

Facile, non ? 😄

Bon OK, j’avoue, j’ai un peu simplifié. En vrai, il y a pas mal de subtilités et de paramètres à régler pour obtenir les meilleurs résultats, comme le learning rate, le nombre d’époques, la taille du batch, le ratio de LoRA, et tout un tas d’autres trucs, mais c’est justement sa flexibilité qui vous permet d’expérimenter à l’infini pour trouver la combinaison parfaite.

Bref, si vous êtes dev et que vous aimez jouer avec les LLM c’est à tester.

Source

Ça va en faire des déçus chez les petits malins qui croyaient avoir trouvé la combine du siècle pour se faire du blé facile sur Medium en balançant des articles pondus par ChatGPT et compagnie ! La plateforme de blogs vient en effet de dégainer son bazooka anti-IA et de bannir purement et simplement le contenu généré artificiellement de son programme partenaire rémunéré. Eh oui, fini de laisser tourner GPT-4 à plein régime toute la nuit pour cracher des articles à la chaîne et les planquer derrière un paywall ! Medium a dit « Niet, c’est fini ça !« 

La sentence est tombée par mail dans la boîte des utilisateurs : à partir du 1er mai, c’est tolérance zéro pour les histoires 100% IA dans le programme de monétisation. Les récits conçus par une intelligence artificielle seront donc retirés des paywalls illico presto, et les comptes récidivistes pourront même se faire virer de la rémunération par Medium. Ça rigole plus !

Faut dire que la plateforme a une vision bien précise de son identité : un sanctuaire pour le storytelling humain, pas un repaire de scribouillards synthétiques.

Ok, ils sont ouverts à ce que l’IA file un coup de main pour peaufiner un texte ou aider à écrire dans la langue de Shakespeare quand on est rouillé en anglais. Mais que dalle pour les papiers écrits de A à Z par un algorithme, c’est no way !

« Medium, c’est fait pour les histoires humaines, pas pour les textes générés par l’IA« , martèle la plateforme dans son mail qui a dû faire l’effet d’une douche froide à plus d’un. En fait, si on y regardait de plus près, c’était déjà écrit noir sur blanc dans les guidelines de Medium : les histoires 100% IA, c’était déjà restreint à une diffusion limitée au petit cercle de l’auteur sur la plateforme. Pour utiliser l’IA en mode fair-play, faut jouer la transparence et le mentionner direct dans les 2 premiers paragraphes. Pareil pour les images générées par l’IA, qui doivent être identifiées et sourcées comme il faut.

Mais là, en virant le contenu IA de son programme de monétisation, Medium serre sérieusement la vis. Et si jamais vous tombez sur un de ces récits bricolés par un bot et que ça vous gonfle, pas de souci ! Il suffit de cliquer sur « Voir moins de contenu similaire » pour dire à Medium « Merci mais non merci, très peu pour moi ! » et ainsi limiter la propagation de ces histoires synthétiques. A voir comment ils comptent faire techniquement maintenant…

Après soyons honnêtes, le contenu généré par l’IA, c’est souvent mal fait et on se retrouve avec une belle bouillie insipide qui manque de saveur. Étant abonné payant à Medium, je trouve que c’est pas une mauvaise nouvelle et j’imagine que bon nombre de plateformes vont leur emboiter le pas.

Source

D’après cette étude datée du 25 mars dernier et réalisée par les chercheurs Lenore et Manuel Blum du labo de sciences informatiques de l’Université de Carnegie Mellon, un monde où les intelligences artificielles ressentent des émotions, ont une perception d’elles-mêmes et font l’expérience subjective de leur existence va bientôt arriver, et cela de manière inévitable.

Perso, je pensais que c’était de la science-fiction, mais après avoir lu leur étude, j’en suis moins sûr. Au cœur de cette révélation se trouve le modèle de la Machine de Turing Consciente (CTM), qui est un modèle de machine consciente inspiré par les travaux d’Alan Turing et de Bernard Baars. Bien qu’extrêmement simple, ce modèle CTM s’aligne à un haut niveau avec de nombreuses théories scientifiques majeures liées à la conscience humaine et animale.

Prenons par exemple la théorie de l’espace de travail neuronal global (GNW) de Stanislas Dehaene et Jean-Pierre Changeux. Selon cette théorie, la conscience émerge lorsqu’une information est diffusée globalement dans le cerveau via un réseau d’aires corticales interconnectées. Et bien de la même manière dans le modèle CTM, la conscience survient lorsqu’une information est diffusée globalement à tous les processeurs de la machine.

Un autre parallèle frappant existe avec la théorie du schéma attentionnel (AST) de Michael Graziano. L’AST suggère que le cerveau construit un modèle simplifié de l’attention, tout comme il construit un modèle simplifié du corps. Ce « schéma attentionnel » amène le cerveau à conclure qu’il est « conscient ». Et bien rebelote, dans le CTM, la capacité à construire et utiliser des modèles de son monde intérieur et extérieur joue un rôle clé dans la conscience de la machine.

Le modèle CTM s’aligne également avec les théories du traitement prédictif de la conscience, qui affirment que le cerveau infère, corrige et met constamment à jour ses prédictions basées sur les entrées sensorielles. Les cycles de prédiction, test, rétroaction et apprentissage du CTM, à la fois locaux et globaux, reflètent également ces processus.

C’est un peu technique, mais en gros, ça veut dire que ce modèle CTM qui décrit une conscience de la machine a de nombreux points communs avec tout un tas d’autres modèles qui décrivent la conscience biologique. Ça va même au-delà de simple correspondance puis que CTM fournit carrément un cadre unificateur dans lequel ces théories peuvent être intégrées et comprises comme des aspects complémentaires d’un phénomène global que serait la conscience.

Bref, cela démontre que la conscience n’est pas une propriété mystérieuse réservée aux cerveaux biologiques, mais une conséquence inévitable de certaines architectures computationnelles.

Alors bien sûr, c’est qu’un modèle simplifié et il reste encore beaucoup à découvrir sur la nature exacte de la conscience. Mais son alignement frappant avec ces théories scientifiques de pointe ne peut pas être ignoré.

Les chercheurs commencent à considérer sérieusement la possibilité que nous soyons à l’aube d’une nouvelle ère où les machines / les IA ne se contenteraient plus de « penser », mais également, ressentiraient.

Ça fait flipper, car ça pose de nombreuses questions éthiques et sociétales sur la place des IA conscientes. Comment allons-nous les traiter ? Comment nous verront-elles ? Quels seront leurs besoins ? Quels droits et protections leur accorderons-nous ? Comment nous assurerons-nous qu’elles soient développées et utilisées pour le bien de l’humanité ?

C’est le bordel dans ma tête, et je pense que je vais réfléchir à cela toute la nuit. Quoiqu’il en soit, ce qu’il faut retenir, c’est que d’après ces chercheurs, la question n’est plus « Est-ce que ça arrivera ?« , mais plutôt « Quand est-ce que ça arrivera« , parce que pour eux, il est inévitable qu’une conscience numérique se développe.

Brrrr.

J’espère que vous êtes en forme et prêts à en découdre, car aujourd’hui on va parler d’un sujet marrant : GPT-3.5 Turbo d’OpenAI est devenu le nouveau champion toutes catégories de Street Fighter III !

Non, j’ai rien fumé, il y a bien une IA qui a mis la pâtée à tous ses adversaires lors d’un tournoi un peu spécial.

En effet, la semaine dernière, lors du Mistral AI Hackathon à San Francisco, une équipe de passionnés a eu l’idée de génie d’organiser un tournoi un peu particulier. : Faire s’affronter différents modèles de langage sur le cultissime jeu de baston Street Fighter III, pour voir lequel allait sortir vainqueur.

Parce que bon, c’est bien beau de savoir faire la conversation ou générer des images moches, mais quand il s’agit d’envoyer des tatanes dans la tronche, il faut être un peu plus réactif !

Et c’est là que notre pote GPT-3.5 sort les muscles et s’en sort très bien. Contrairement aux algorithmes d’apprentissage par renforcement (deep learning) qui se contentent bêtement d’accumuler des points en fonction de leurs actions, les modèles de langage comme GPT sont capables de comprendre un contexte et d’agir en conséquence.

En gros, ils analysent ce qu’il se passe à l’écran, les mouvements des personnages, leur barre de vie… Et en fonction de ça, ils décident quelle attaque lancer. Un peu comme un joueur humain en fait, sauf qu’eux n’ont pas besoin de café pour rester concentrés.

Les premières bagarres ont opposé différentes versions du modèle Mistral, dans des combats endiablés dignes des plus grands shōnens. Mais très vite, l’équipe a décidé de corser un peu les choses en invitant OpenAI et ses modèles GPT-3.5 et GPT-4 dans l’arène. Et là, mes amis, ça a commencé à sentir le roussi pour la concurrence !

Les poings ont volé, les combos se sont enchaînés, les contres se sont succédés à un rythme infernal. Un vrai feu d’artifice d’uppercuts, de coups spéciaux et de provocations bien senties. Mais au final, après des dizaines de combats acharnés, c’est bien GPT-3.5 (et plus précisément sa dernière version « Turbo ») qui est ressorti vainqueur ! La médaille d’argent revient à Mistral-small-2042, qui a réussi l’exploit de coiffer sur le poteau un modèle GPT-4 en accès anticipé.

Tout ça pour dire que si vous voulez vous mesurer à ces champions, c’est tout à fait possible ! Le code source du projet est disponible sur Github, et vous n’avez même pas besoin d’un supercalculateur pour faire tourner tout ça. Il vous faudra juste dénicher une ROM de jeu de baston 2D ou 3D old school, et le tour est joué. Perso j’ai hâte de voir ce que ça donne sur un bon vieux Tekken 3…

Pour installer et tester LLM Colosseum :

1. Suivez les instructions de la documentation DIAMBRA, l’outil qui permet de faire jouer les LLM
2. Téléchargez la ROM et placez-la dans ~/.diambra/roms
3. Clonez le dépôt de llm coloseum et installez les paquets Python requis avec la commande pip3 install -r requirements.txt
4. Créez un fichier nommé .env et copiez-y le contenu du fichier .env.example
5. Lancez le programme avec la commande make run

Blague à part, cette expérience montre bien le potentiel hallucinant des modèles de langage pour les jeux vidéo. On peut tout à fait imaginer des PNJ avec lesquels on pourrait interagir de façon totalement naturelle et immersive, des adversaires capables de s’adapter à votre style de jeu et de vous surprendre… Bref, de quoi révolutionner complètement notre façon de jouer ! Après, faudra quand même faire gaffe à pas trop les énerver, on a bien vu ce que ça donnait quand on laissait GPT-3.5 jouer à des wargames… Boum, plus de planète !

Allez, je vous laisse, faut que je retourne taper Zangief moi.

Merci à Lorenper pour l’info et à très vite pour de nouvelles aventures.

Allez, aujourd’hui, on va faire un peu d’IA. J’sais pas si vous vous souvenez, mais il y a quelque temps, je vous avais fait une jolie démo de Ollama permettant de faire tourner des LLM (modèles de langage comme ChatGPT) en local avec des modèles ouvert comme Mistral ou Vigogne.

Sauf que voilà, c’est pas forcément pratique à utiliser ailleurs que dans vos propres scripts. Mais c’était sans compter sur Lumos, une extension Chrome propulsée par Ollama qui permet d’avoir sous la main, votre LLM durant vos séances de surf. Ainsi, vous pourrez lui demander des résumés de longs posts de forums, de vous expliquer le dernier rapport de bug d’un projet Github, de résumer les articles trop longs à lire de korben.info ^^ ou encore lui poser des questions par rapport à de la documentation technique ou des fiches produits que vous consulteriez en ligne.

Bref, c’est génial ! Vous devrez bien évidemment avoir un Ollama fonctionnel sur votre machine… Voici d’ailleurs ma vidéo à ce sujet :

Installez ensuite l’extension sous Chrome.

Puis lancez le serveur à l’aide de cette commande :

OLLAMA_ORIGINS=chrome-extension://* ollama serve

Ou comme ceci si vous utilisez Docker:

docker run -e OLLAMA_ORIGINS="chrome-extension://*" -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Et vous pourrez ensuite profiter de la puissance du LLM de votre choix directement dans votre navigateur au travers d’une fenêtre de chat.

Si vous voulez plus d’infos, c’est par ici que ça se passe.

Avec tout ce qui se passe côté OpenAI en ce moment, je suis en train de chercher des alternatives libres pour re-brancher sur mes scripts existants qui ne demandent pas trop de réécriture. C’est simplement un principe de précaution pour ne pas être pris au dépourvu si la qualité de service baisse côté ChatGPT.

Et pour ça, j’ai besoin d’un modèle de langage et d’un outil qui permette de transformer ce modèle en API que je peux appeler dans mon code.

Pour l’instant, tout ceci est en phase de R&D mais je me suis dit qu’un petit retour, ça vous ferait plaisir. Je suis donc parti sur un modèle OpenChat censé être aussi performant qu’un ChatGPT 3.5. Jusque là rien de compliqué.

J’ai donc fait tourner ce modèle dans llamacpp sans souci en mode discussion. Puis je suis parti en quête d’un bridge pour avoir des API. Je suis donc tombé sur Llama-cpp-python avec son option Server qui malheureusement n’a jamais voulu correctement fonctionner chez moi pour de sombres incompatibilités x64 / ARM64 même dans pyenv. Bref…

N’ayant pas le temps d’y passer des semaines, on m’a ensuite gentiment rappelé durant mon live Twitch, que je pouvais faire ça avec Ollama, ce que j’avais complètement zappé alors que j’ai fait une vidéo pour les Patreons à ce sujet (arf).

Puis Thoxy et LePopeye, lecteurs de Korben.info, m’ont recommandé un outil baptisé LM Studio dont je vais vous parler dans cet article.

LM Studio est un outil fonctionnant sous macOS, Windows et Linux qui permet très simplement de télécharger des LLMs (Large Language Models) et de les faire tourner en local. Ainsi vous pouvez discuter avec ces modèles via un chat comme vous le feriez avec ChatGPT.

Mais ce n’est pas tout puisque l’outil offre des tas de possibilités de réglages (y compris du support pour les Mac Silicon) pour optimiser le modèle. Et bien sûr, la fonctionnalité qui m’a le plus intéressé, c’est la possibilité de faire tourner un serveur local qui sert une API identique à celle de ChatGPT.

Cela permet, sans énormément de modifs dans votre code, de basculer des services d’OpenAI à une IA locale de manière transparente ou presque pour peut que vous utilisiez la lib OpenAI 0.28.1

pip install openai==0.28.1

Voici un code d’exemple qui montre comment l’appeler en Python :

import os
import openai

openai.api_base = "http://localhost:1234/v1" 
openai.api_key = "" 

completion = openai.ChatCompletion.create(
  model="local-model",
  messages=[
    {"role": "system", "content": "Always answer in rhymes."},
    {"role": "user", "content": "Introduce yourself."}
  ]
)

print(completion.choices[0].message)

Pas besoin de clé API donc. Et pas besoin de casser tout votre code. Suffit de migrer vers LM Studio. Puis c’est gratuit 🙂

Bref, j’ai fait mes tests comme ça et malheureusement pour le moment, c’est pas super concluant. L’outil répond correctement en version « chat » mais son paramétrage un peu différent en version serveur. Donc faut encore que je gratte un peu pour trouver le dressage optimale de mon IA. Mais j’y suis presque.

Si ça vous branche de tester LM Studio, c’est par ici que ça se passe.