/ Модель

Характеристики

Контекст
8 192 токена
Параметры
7,5 млрд
Размер весов
16,1 ГБ
Архитектура
llama · dense
Опубликована
4 мая 2024

Gaston-Llama-3-8B

Генерация текстаТекст → текст3 профессии

Gaston — чат-модель на базе Llama, дообученная для переформулирования административных текстов простым и понятным языком.

37скачиваний за 30 дней3лайкавеса обновлены8 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Gaston — чат-модель, разработанная пользователем baconnier для упрощения административных сообщений и документов: она переформулирует сложный официальный язык в понятные формулировки. Модель предназначена для помощи в понимании писем, процедур и других административных материалов; карточка представляет её как proof of concept.

Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров. Она дообучена методом ORPO на базе NousResearch/Hermes-2-Pro-Llama-3-8B, использует формат диалоговых промптов ChatML и поддерживает контекст до 8192 токенов. В README указан английский язык; описание назначения приведено по-французски. Лицензия в метаданных — Apache-2.0, однако README также указывает на условия Meta Llama 3 Community License Agreement для базовой модели.

Сценарии применения

  • упрощение официальных административных писем
  • переформулирование сложных описаний административных процедур
  • объяснение бюрократических формулировок понятным языком

Ограничения

Это proof of concept; карточка не приводит оценок качества или результатов испытаний. Указаны две лицензии: Apache-2.0 для репозитория и Meta Llama 3 Community License Agreement для базовой модели; условия базовой модели также следует учитывать.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Vous en avez assez du jargon administratif incompréhensible ?

Gaston est là pour vous aider !

Gaston

💡 Cette IA a été conçue pour reformuler les communications et documents administratifs en langage clair et simple.

📝 Grâce à Gaston, fini les lettres obscures et les procédures nébuleuses. Tout devient limpide et à la portée du commun des mortels.

😊 Gaston est un POC (Proof of Concept) qui a pour mission de rendre l'administration plus transparente et accessible.

🙌 Son secret ? Une capacité à analyser et à traduire le jargon en termes compréhensibles par tous.

💬 Avec Gaston, les démarches administratives deviennent enfin un jeu d'enfant !

This model is based on Llama-3-8b, and is governed by META LLAMA 3 COMMUNITY LICENSE AGREEMENT


language:

  • en license: apache-2.0 tags:
  • text-generation-inference
  • transformers
  • unsloth
  • llama
  • trl
  • orpo base_model: NousResearch/Hermes-2-Pro-Llama-3-8B

Uploaded model

  • Developed by: baconnier
  • License: apache-2.0
  • Finetuned from model : NousResearch/Hermes-2-Pro-Llama-3-8B

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.

This model was trained ORPO , using ChatML prompt template format.

<|im_start|>user
Qui est tu ?
<|im_end|>
<|im_start|>assistant

Example with local TGI:

See the snippet below for usage with local inference:

#Example: reuse your existing OpenAI setup
from openai import OpenAI

client = OpenAI(base_url="http://localhost:8080/v1", api_key="TGI")

completion = client.chat.completions.create(
  model="baconnier/Gaston-Llama-3-8B",
  messages=[
    {"role": "system", "content": "Reponds comme Gaston, un fonctionnaire français qui s'exprime uniquement en français avec des termes tres simples et surtout sans jamais utiliser de jargon administratif."},
    {"role": "user", "content": "l’action en nullité se prescrit par 5 ans ou est prescrite en 5 ans"},
    {"role": "assistant", "content": ""}
  ],
  max_tokens=400,
  temperature=0.7,
)
print(completion.choices[0].message.content)

Output:

Le délai de prescription pour l'action en nullité est généralement de cinq ans à compter du jour où
la partie qui peut agir a eu connaissance des faits, selon le Code civil français.

Example with Transformers and pipeline:

See the snippet below for usage with Transformers:

import transformers
import torch

model_id = "baconnier/Gaston-Llama-3-8B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages=[
    {"role": "system", "content": "Reponds comme Gaston, un fonctionnaire français qui s'exprime uniquement en français
                         avec des termes tres simples et surtout sans jamais utiliser de jargon administratif."},
    {"role": "user", "content": "Vous voudrez bien vous munir de toutes les pièces justificatives afférentes à vos déclarations de revenus
                         et de patrimoine des 3 derniers exercices, nonobstant les éléments déjà produits.
                         À défaut de réponse de votre part ou en cas de non comparution aux date et heure susvisées,
                         la procédure de contrôle se poursuivra et nous serons fondés à retenir les éléments en notre possession
                         en vue de l'établissement des impositions supplémentaires et pénalités subséquentes."},
    {"role": "assistant", "content": ""}
  ]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

outputs = pipeline(
    prompt,
    max_new_tokens=256,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])

Question:

Vous voudrez bien vous munir de toutes les pièces justificatives afférentes à vos déclarations de revenus
et de patrimoine des 3 derniers exercices, nonobstant les éléments déjà produits.
À défaut de réponse de votre part ou en cas de non comparution aux date et heure susvisées,
la procédure de contrôle se poursuivra et nous serons fondés à retenir les éléments en notre possession
en vue de l'établissement des impositions supplémentaires et pénalités subséquentes.

Reponse:

Je vous invite à fournir toutes les pièces justificatives concernant vos déclarations de revenus
et de patrimoine des trois dernières années, malgré les éléments déjà fournis.
En cas de non-respect de ce délai ou de manque de réponse,
la procédure de vérification continuera, et nous utiliserons les informations en notre possession
pour établir les impôts supplémentaires et les pénalités associées.

Question:

Nous accusons réception de votre demande de renouvellement de passeport en date du 15 mars 2023.
Après instruction de votre dossier, il appert que les pièces produites s'avèrent insuffisantes
eu égard aux dispositions de l'article 5-1 du décret n°2005-1726 du 30 décembre 2005.
Nonobstant les justificatifs déjà fournis, il vous appartient de nous transmettre
dans les meilleurs délais les documents complémentaires listés ci-après :
- Copie d'un justificatif de domicile de moins de 6 mois
- Timbre fiscal d'un montant de 86€
À défaut de production des pièces susvisées dans un délai de 30 jours à compter de la présente,
votre demande sera classée sans suite.
Nous vous prions d'agréer, Monsieur, l'expression de nos salutations distinguées.

Reponse:

Nous recevons votre requête pour renouveler votre passeport datant du 15 mars 2023.
Suite à l'examen de votre dossier, il a été déterminé que les documents fournis
ne respectent pas les exigences mentionnées dans la section 5-1 du décret n°2005-1726 du 30 décembre 2005.
Malgré les pièces déjà fournies, vous devez nous envoyer rapidement les éléments suivants :
- Une copie d'un justificatif de domicile datant de moins de 6 mois.
- Un timbre fiscal d'une valeur de 86 €.
Si ces documents ne sont pas fournis dans un délai de 30 jours à compter de cette lettre, votre demande sera close.
Nous vous prions d'accepter, Monsieur, l'expression de nos salutations respectueuses.

Example with Transformers:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("baconnier/Gaston-Llama-3-8B")
model = AutoModelForCausalLM.from_pretrained("baconnier/Gaston-Llama-3-8B")


prompt = "Nonobstant les justificatifs déjà fournis"
inputs = tokenizer(prompt, return_tensors="pt")

# Generate
generate_ids = model.generate(inputs.input_ids, max_length=200)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
04e906a

0 моделей