Carte du modèle : Guillaume Tell (variante Llama 3 Instruct)

Version française

Guillaume Tell est un Large Language Model (LLM) français basé sur Llama 3 optimisé pour le RAG (Retrieval Augmented Generation) avec traçabilité des sources et explicabilité.

Sommaire

1. Détails du modèle
2. Utilisation
   • Contexte de création
   • Finalités et limites du modèle
   • Cas d'usage et utilisateurs
   • Exemple
3. Prompt
4. Informations sur le finetuning
5. Utilisation d'Albert pour des tâches de RAG
6. Glossaire

Détails du modèle

Description du modèle

Le modèle "Guillaume Tell" vise à améliorer la vérifiabilité de la génération de textes basés sur des sources administratives françaises. À partir d'une question et d'une sélection de cinq sources, il génère une réponse sourcée, avec des paramètres spéciaux pour les citations.

• Développé par : Etalab (Service du Datalab) - Direction Interministérielle du Numérique
• Version: Guillaume-Tell-base
• Type de modèle : Transformers, Text-Generation
• Licence : Apache-2.0
• Entraîné depuis le modèle : Meta-Llama-3-8B-Instruct

Utilisation

Contexte de création

Guillaume Tell a été developpé pour ALBERT, l’outil d’IA Générative interministérielle de l’État, et plus particulièrement dans le cadre de l'expérimentation d'un modèle d'assistance aux conseillers numériques France services basé sur l’intelligence artificielle. Guillaume Tell vise à répondre aux besoins spécifiques des conseillers face à un LLM, en l'occurence la vérification des réponses générées par Albert pour s'assurer de leur justesse avant de les transmettre à des usagers accueillis en maison France services.

Finalités et limites du modèle

Guillaume Tell est un modèle de langage, avec des capacités conversationnelles et de recherche d'information sourcée. Il peut être utilisé pour formuler une réponse à des questions relatives à l'administration française (eg. démarches administratives) en allant récupérer des informations pertinentes dans sa base de connaissances (RAG) et en synthétisant une réponse à partir de celles-ci.

Guillaume Tell fournit des réponses de premier niveau et n'est pas en capacité de donner des réponses administratives complexes. Il n'est pas en capacité de répondre à des questions sortant du champ administratif français. Il formule des réponses seulement en français.

Cas d'usage et utilisateurs

Son usage est prévu par les agents publics des administrations françaises afin de faciliter la recherche d'information administrative. Il est déconseillé de mettre Guillaume Tell directement entre les mains de personnes qui n'ont pas été formées spécifiquement à son usage et qui manquent d'expertise sur les démarches administratives, comme par exemple les usagers des services publics. En effet, comme tout LLM, Guillaume Tell présente des risques d'erreurs ("hallucinations") ou d'oublis qu'une personne non formée ne sera pas en capacité de détecter.

Exemple

Question: Quelles sont les étapes de la procédure de rétablissement en cas de surendettement ?

Sources:

• 10965c7bc7a8e185_0 : Surendettement : rétablissement personnel avec liquidation judiciaire. La procédure de rétablissement consiste à effacer les dettes d'une personne surendettée…
• 4c4511d1c0e6dc4c_0 : Surendettement : rétablissement personnel sans liquidation judiciaire. La procédure de rétablissement personnel consiste à effacer les dettes
• b8d3342e4ac89fe9_0 : Peut-on être saisi pendant la procédure de surendettement ? Dès le dépôt du dossier de surendettement. Durée de la suspension…
• n28e7fcf81deee0ff_0 : Surendettement : rétablissement personnel avec liquidation judiciaire. Conditions. Personnes concernées. Une procédure de rétablissement personnel avec liquidation judiciaire est engagée…
• 568bebd8fb112ee_0 : Peut-on être saisi pendant la procédure de surendettement ? Dès que le dossier est recevable…

Résultat : La procédure de rétablissement en cas de surendettement comporte plusieurs étapes. Tout d'abord, la personne concernée doit répondre à certaines conditions pour être éligible à cette procédure. Ensuite, la commission de surendettement ouvre la procédure avec l'accord du surendetté. Si le surendetté possède un patrimoine pouvant être vendu, une liquidation judiciaire est prononcée<ref text="Lorsque le surendetté possède un patrimoine pouvant être vendu, la procédure de rétablissement consiste à effacer les dettes et est prononcée avec liquidation judiciaire (vente des biens).">[28e7fcf81deee0ff_0]</ref>. Dans le cas contraire, une procédure sans liquidation judiciaire est engagée<ref text="Elle est prononcée sans liquidation judiciaire (c'est-à-dire sans vente des biens) lorsque la personne surendettée ne possède pas de patrimoine.">[4c4511d1c0e6dc4c_0]</ref>.

Pendant la procédure, la suspension de toute action juridique contre le surendetté est possible<ref text="Dès le dépôt du dossier de surendettement. Durée de la suspension. La suspension, si elle est accordée, est acquise selon les cas jusqu'à l'un des événements suivants : Décision d'irrecevabilité du dossier Approbation du plan conventionnel de redressement Décision de mesures imposées Jugement prononçant un rétablissement personnel sans liquidation judiciaire Jugement d'ouverture d'une procédure de rétablissement personnel avec liquidation judiciaire Elle ne peut toutefois pas dépasser 2 ans.">[b8d3342e4ac89fe9_0]</ref>.

Enfin, la clôture de la procédure se fait par jugement qui permet l'effacement des dettes<ref text="Jugement prononçant un rétablissement personnel sans liquidation judiciaire Jugement d'ouverture d'une procédure de rétablissement personnel avec liquidation judiciaire">[28e7fcf81deee0ff_0]</ref>.

Prompt

Format du prompt

La syntaxe de Guillaume Tell (Llama 3 instruct) est basé sur la syntaxe spécifique de Llama 3, elle-même inspirée de ChatML de OpenAI. Il existe plusieurs tokens spéciaux permettant de définir les composants d'une interaction entre l'utilisateur et l'assistant.

Exemple de prompt:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>
Tu es Albert, le chatbot des Maisons France Service qui donne des réponses sourcées.<|eot_id|><|start_header_id|>user<|end_header_id|>
Ecrit un texte référencé en réponse à cette question : Quelles sont les étapes de la procédure de rétablissement en cas de surendettement ?

Les références doivent être citées de cette manière : texte rédigé<ref text=\"[passage pertinent dans la référence]\">[\"identifiant de la référence\"]</ref>Si les références ne permettent pas de répondre, qu'il n'y a pas de réponse.

Les cinq références disponibles :

10965c7bc7a8e185_0 :(…)

4c4511d1c0e6dc4c_0 :(…)

b8d3342e4ac89fe9_0 :(…)

28e7fcf81deee0ff_0 :(…)

e568bebd8fb112ee_0 :(…)

<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Guillaume-Tell est actuellement entraîné et testé sur une sélection fixe de cinq sources. Il devrait fonctionner sur un ensemble plus petit ou plus grand, mais cela n'a pas encore été expérimenté.

Informations sur le finetuning

Guillaume Tell a été fine tuné en utilisant l'approche LORA et une quantization sur 4 bits sur :

• 3880 instructions RAG synthétiques basées sur les données de service-public.fr ;

Le code de finetuning finetuning.py est disponible dans la section Files and versions.

Utilisation d'Albert pour des tâches de RAG

Il est possible d'utiliser des techniques de RAG afin d'optimiser la pertinence de la réponse du modèle. Nous pouvons ainsi obtenir des réponses basées sur les bonnes données adaptées à la question. C'est ce que nous faisons actuellement en production avec ALBERT.

À la date de la sortie du modèle, les données pour effectuer le RAG d'ALBERT sont constituées de:

• Fiches service-public.fr decoupées en chunks de 300 mots.

Glossaire

• France services : réseau de structures territoriales qui combinent accueil physique et accompagnement numérique pour aider les publics reçus dans les démarches administratives de plusieurs services publics.
• LLM (Large Language Model): modèle de Deep Learning capable de comprendre et de générer du langage humain en traitant de grandes quantités de données textuelles.
• RAG (Retrieval Augmented Generation) : Technique améliorant les performances des IA génératives en permettant aux LLM d'utiliser des ressources de données supplémentaires sans besoin de réentraînement.