[Dernière mise à jour : 28 janvier 2025]
Depuis le lundi 13 janvier 2025, le grand modèle de langage français Lucie-7B, inspiré de l’architecture du Llama-3 de Meta et entièrement développé par Linagora et Open LLM France, est mis à disposition du public sur Huggingface1. Il s’agit d’une première itération, encore largement perfectible. Le modèle se décline en quatre versions officielles :
-
-
- Lucie-7B : le modèle original.
- Lucie-7B-Instruct : une version ajustée sur des instructions synthétiques produites par ChatGPT et Gemma, et un petit ensemble de prompts personnalisés. Elle est optimisée pour la génération de texte en français, mais n’a pas été entraînée à produire du code ni configurée pour les mathématiques.
- Lucie-7B-Instruct-gguf : Lucie-7B-Instruct dans un format plus adapté au matériel grand public.
- Lucie-7B-Instruct-human-data : une version ajustée sur des instructions produites par l’être humain, collectées soit à partir de campagnes d’annotation ouverte, soit en appliquant des modèles à des ensembles de données existants. Les performances de Lucie-7B-Instruct-human-data sont inférieures à celles de Lucie-7B-Instruct mais présentent l’intérêt de montrer ce qui peut être fait pour affiner les grands modèles de langage afin qu’ils suivent les instructions sans faire appel à des modèles de langage tiers.
-
Lucie-7B a été entraîné sur 3000 milliards de tokens, à partir de données en anglais (33.2%), en français (32.4%), en allemand (6.9%), en espagnol (6.6%), en italien (3.8%), ainsi que de plusieurs langages de programmation (14.7%).
Le modèle est actuellement en cours de test par Vittascience, mais l’association Class’Code n’a pas encore apporté ses contributions : Lucie-7B reste donc pour l’instant un modèle généraliste, qui n’est pas encore spécialisé dans le domaine de l’éducation.
Voici quelques pistes pour commencer à effectuer des tests avec les différentes versions.
Sommaire :1. Pour les néophytes |
Pour les néophytes
Vous souhaitez tester Lucie-7B sans avoir à installer quoi que ce soit ? L’accès à la plateforme officielle, ouvert le 21 janvier, a été fermé le 25 janvier suite à un trop grand nombre de messages dénaturant la nature du projet et le travail de ses concepteurs sur les réseaux sociaux. Le 22 janvier, le modèle de langage a été intégré à Vittascience, où l’on pouvait notamment observer sa tokenisation; cependant, il est repassé en « bientôt disponible » sur cette plateforme le 28 janvier.
Il est en revanche toujours possible de tester Lucie-7B sur ce space Huggingface : il s’agit de la version Lucie-7B-Instruct, mais pas de la plus à jour.
Pour les utilisateurs confirmés
Sans envisager encore l’installation en ligne de commande, vous avez envie d’accéder à un paramétrage plus pointu et êtes prêt à passer par l’installation d’un logiciel ? Gratuit, LM Studio permet de télécharger la dernière version de Lucie-7B-Instruct, de Lucie-7B-Instruct-human-data et de Lucie-7B-Instruct-gguf, et de jouer un peu avec leurs paramètres. Son interface graphique est relativement intuitive :
Comme indiqué sur la capture d’écran, LM Studio permet de télécharger le modèle de langage et de le faire tourner en local sur un ordinateur. Attention cependant : faire fonctionner un grand modèle de langage nécessite d’avoir une configuration relativement puissante; il est, en particulier, recommandé d’avoir au moins 16 Go de RAM et de VRAM. Au niveau du stockage, Lucie-7B occupe un peu plus de 4 Go. Les versions « officielles » sont celles proposées par OpenLLM-France.
Dans les réglages fins, LM Studio permet notamment de modifier la longueur du contexte.
Pour les amateurs de ligne de commande
Le nec plus ultra en matière d’installation en local de grands modèles de langage demeure Ollama. L’avantage de ce logiciel est qu’il est open source. Sans interface graphique, il est plus économe que LM Studio. Son installation et son utilisation sont relativement simples, mais se font en ligne de commande. La page Github de l’application aide à la prise en main en donnant les principales instructions.
Jusqu’au 20 janvier 2025, il n’existait pas de version de Lucie-7B fonctionnelle spécialement préparée pour Ollama2; il fallait donc, avant de pouvoir lancer le modèle, suivre les indications données sur cette page : télécharger le modèle GGUF, adapter le fichier Modelfile en indiquant le bon chemin vers le fichier GGUF, et créer le modèle dans Ollama ( avec l’instruction : ollama create -f Modelfile Lucie). Ensuite, l’instruction : ollama run Lucie permettait de lancer le modèle.
Mise à jour du 20 janvier 2025 :
Lucie-7B est à présent disponible dans la bibliothèque officielle des modèles d’Ollama. Il est donc désormais possible de l’installer et de le lancer en une seule commande : ollama run OpenLLM-France/Lucie-7B-Instruct |
Une fois le modèle lancé, la commande /? permet d’accéder aux réglages, vraiment très fins; on peut par exemple régler la température du modèle, c’est-à-dire le caractère plus ou moins aléatoire de la génération de réponse, ou d’autres paramètres comme le Top-P, ou le nombre maximal de tokens de la réponse :
Comme avec LM Studio, les grands modèles de langage sont téléchargés sur l’appareil, qui doit donc être relativement puissant, les 16 Go de RAM et de VRAM demeurant vivement conseillés3.
Pour obtenir la liste des modèles installés avec Ollama, il suffit de taper, dans un terminal, l’instruction : ollama list. Pour désinstaller un modèle4, il faut utiliser l’instruction : ollama rm [nom du modèle]. On peut accéder à la liste complète des manipulations réalisables sur les modèles en tapant l’instruction : ollama help.
Perspectives
Comme précisé en introduction, le modèle Lucie-7B mis à disposition du public le 13 janvier 2024 en est à son premier pré-entraînement. À titre de comparaison, le modèle Llama-1 en était quant à lui, lors de sa publication, à sa 6e ou 7e itération. Le projet est, en janvier 2025, encore en attente de son financement. Il est donc, par définition, imparfait. Le travail sur la déclinaison de Lucie dédiée au domaine de l’éducation se fera dans le cadre du financement France 2030.
À venir dans les prochaines semaines : l’amélioration des données d’instruction et la publication de nouvelles versions chat-instruct, intégrant les retours utilisateurs (à effectuer sur le serveur Discord OpenLLM Europe) et les travaux internes, en particulier sur la partie « raisonnement ».
Pour aller plus loin
-
-
- « Analyse du lancement (manqué) de LUCIE, LLM open source français », par Alain Goudey (26 janvier 2025)
- « OpenAI et le défi des « hallucinations » : une étude d’OpenAI révèle que même ses meilleurs modèles donnent de mauvaises réponses dans une très large proportion », par Stéphane Le Calme (11 novembre 2024)
-
Notes
1. Le code-source original de Lucie-7B est quant à lui disponible sur le github de la communauté OpenLLM.
2. Ou du moins, pas de version officielle : l’utilisateur Volko76 proposait un modèle Lucie, sans précision sur la version utilisée; de son côté, huihui_ai mettait à disposition du public un Lucie abliterated, c’est-à-dire un Lucie-7B-Instruct non-censuré.
3. On recommande généralement 8 Go de RAM pour faire fonctionner les modèles 3B, 16 Go pour faire fonctionner les modèles 7B, et 32 Go pour faire fonctionner les modèles 13B.
Dans les faits, une bonne carte graphique (GPU) est également vivement conseillée, notamment pour pouvoir faire du RAG (c’est-à-dire faire travailler l’IA sur un corpus choisi). Trois critères sont à prendre en compte dans le choix de cette carte : la capacité de mémoire (compter 16 Go de VRAM), la capacité de calcul (nombre de cœurs, le plus élevé est le mieux), et la bande passante mémoire (la plus élevée est la meilleure également). Fin 2024, des exemples de bonnes cartes graphiques sont la NVIDIA RTX 3090 (choix populaire pour les tâches d’apprentissage en profondeur), la NVIDIA A100 (conçue spécifiquement pour l’IA), ou l’AMD Radeon Pro VII. Pour un Macbook sous ARM, le minimum vital est de 24 Go de mémoire unifiée avec une puce M1 à M4.
4. Attention : une simple désinstallation de Ollama ne désinstallera pas les modèles installés avec l’application. Il faut donc retirer ces derniers avant de désinstaller le logiciel.
Droits
Article : CC BY-NC-ND 4.0
Autrice : Cécile Le Chevalier
Image : Elise Racine / Better Images of AI / Toy Models I / Licenced by CC-BY 4.0
Sources
-
-
- Model card de Lucie-7B sur Huggingface (OpenLLM – France – 13 janvier 2025)
- Publication de Michel-Marie Maudet sur LinkedIn (17 janvier 2025)
- Présentation de Lucie-7B sur le site de Linagora
- Les sites de LM Studio, Ollama, et la page Github d’Ollama.
-
OpenEdition vous propose de citer ce billet de la manière suivante :
Cécile Le Chevalier (19 janvier 2025). Comment tester Lucie-7B ? Visualisations & décryptages. Consulté le 27 mars 2025 à l’adresse https://cecile.hypotheses.org/5341