/ Модель

Характеристики

Контекст
1 024 000 токенов
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mistral-Nemo-Instruct-2407
Библиотека
transformers
Опубликована
31 июл 2024

Mahou-1.3-mistral-nemo-12B

Генерация текстаТекст → текст3 профессии

Дообученная диалоговая модель Mistral с 12,1 млрд параметров для коротких бесед и ролевых диалогов.

33скачиваний за 30 дней3лайкавеса обновлены1 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Mahou-1.3-mistral-nemo-12B — диалоговая модель FlammenAI для коротких сообщений, непринуждённой беседы и ролевых сценариев. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров, дообученная методом ORPO на базе mistralai/Mistral-Nemo-Instruct-2407. В карточке указаны наборы данных MahouMix-v1 и FlameMix-DPO-v1; для общения модель использует формат ChatML.

Модель подходит для чат-приложений и ролевых диалогов, в том числе для использования в SillyTavern с настройками из карточки. Метаданные указывают контекст до 1 024 000 токенов; модель рассчитана на текстовый ввод и генерацию текста. Выпущена под лицензией Apache-2.0. README рекомендует специальные стоп-строки и sampler preset, однако не приводит оценок качества или подробностей языковой поддержки.

Сценарии применения

  • короткие ответы в чат-боте
  • непринуждённая беседа с ИИ-персонажем
  • ролевые диалоги в SillyTavern
  • генерация реплик персонажа в формате ChatML

Ограничения

Модель ориентирована на короткие разговорные сообщения и ролевые сценарии; README не приводит оценок качества и не уточняет языки обучения или поддержки. Для формата общения и генерации в SillyTavern могут потребоваться указанные в карточке настройки ChatML и стоп-строки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Mahou-1.3-mistral-nemo-12B

Mahou is designed to provide short messages in a conversational context. It is capable of casual conversation and character roleplay.

Chat Format

This model has been trained to use ChatML format.

<|im_start|>system
{{system}}<|im_end|>
<|im_start|>{{char}}
{{message}}<|im_end|>
<|im_start|>{{user}}
{{message}}<|im_end|>

Roleplay Format

  • Speech without quotes.
  • Actions in *asterisks*
*leans against wall cooly* so like, i just casted a super strong spell at magician academy today, not gonna lie, felt badass.

SillyTavern Settings

  1. Use ChatML for the Context Template.
  2. Enable Instruct Mode.
  3. Use the Mahou ChatML Instruct preset.
  4. Recommended Additonal stopping strings: ["\n", "<|", "</"]
  5. Use the Mahou Sampler preset.

Method

ORPO finetuned on a Google Colab A100 for 1 epoch.

Fine-tune Llama 3 with ORPO

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
38ea056

0 моделей