/ Модель

Характеристики

Контекст
131 072 токена
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Лицензия
Apache 2.0
Архитектура
mistral · dense
Базовая модель
Mistral-Nemo-Base-2407-bnb-4bit
Библиотека
transformers
Опубликована
26 сен 2024

Luca-MN-bf16

Генерация текстаТекст → текст3 профессии

Экспериментальная дообученная модель Mistral с 12,1 млрд параметров для генерации диалогового и ролевого текста.

18скачиваний за 30 дней0лайковвеса обновлены30 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Luca-MN-bf16 — экспериментальная разговорная модель семейства Mistral, созданная автором rAIfle на базе Nemo-Base. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров; поддерживает контекст до 131 072 токенов и предназначена для генерации текста в диалоговом формате. Автор сообщает о последовательном дообучении через LoRA на данных для ролевых диалогов и c2-data, а затем о трёх эпохах DPO с набором jondurbin/gutenberg-dpo-v0.1. Модель доступна в формате safetensors; лицензия — Apache-2.0.

Автор описывает её как эксперимент, который показал хорошие результаты, и приводит шаблоны Mistral V3-Tekken и рекомендуемые параметры генерации. Подходит для диалогов и ролевого текстового общения. Карточка не приводит формальной оценки качества, а заявленная экспериментальная природа означает, что результаты могут зависеть от шаблона и настроек генерации.

Сценарии применения

  • ведение диалогов с языковой моделью
  • генерация ролевых сцен и ответов персонажей
  • продолжение пользовательского текста
  • создание художественных текстов

Ограничения

Автор обозначает модель как экспериментальную; в карточке нет формальной оценки качества. Для промптинга рекомендованы шаблоны Mistral V3-Tekken, а качество может зависеть от настроек генерации.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

image/png

Luca-MN-bf16

This thing was just intended as an experiment but it turned out quite good. I had it both name and prompt imagegen for itself.

Created by running a high-r LoRA-pass over Nemo-Base with 2 epochs of some RP data, then a low-r pass with 0.5 epochs of the c2-data, then 3 epochs of DPO using jondurbin/gutenberg-dpo-v0.1.

Prompting

Use the Mistral V3-Tekken context- and instruct-templates. Temperature at about 1.25 seems to be the sweet spot, with either MinP at 0.05 or TopP at 0.9. DRY/Smoothing etc depending on your preference.

Quantized versions

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
c8ad2f8

0 моделей