/ Модель

Характеристики

Контекст
131 072 токена
Параметры
12,1 млрд
Размер весов
24,5 ГБ
Архитектура
mistral · dense
Библиотека
transformers
Опубликована
9 авг 2024

Interim-MN-fp16

Генерация текстаТекст → текст8 профессий

Разговорная модель Mistral на 12,1 млрд параметров для генерации ответов в диалоге с контекстом до 131 072 токена.

24скачиваний за 30 дней0лайковвеса обновлены13 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Interim-MN-fp16 — разговорная языковая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 12,1 млрд параметров. Репозиторий опубликовал rAIfle; модель предназначена для генерации текста в диалогах. Заявленная длина контекста — 131 072 токена.

Автор описывает результат как приемлемый по собственной проверке Nala и рекомендует использовать стандартные настройки Nemo либо настройки из репозитория Recommended Settings. Независимые результаты бенчмарков в карточке не приведены. Файлы представлены в формате safetensors, лицензия в предоставленных данных не указана.

Сценарии применения

  • ведение диалога с пользователем
  • генерация ответов на текстовые запросы
  • создание продолжений текста
  • экспериментальная оценка разговорной модели

Ограничения

Автор приводит только собственную проверку Nala и не сообщает результаты независимых бенчмарков. Рекомендуется использовать стандартные настройки Nemo или настройки из указанного автором репозитория; лицензия в предоставленных данных не указана.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Interim-MN-fp16

Interim

This one was a doozy. Three restarted runs of which one failed at the last possible moment... Anyway, the result is decent enough and passes my own Nala-testing so it's not too bad. Not gonna benchmark this myself but if anyone feels the need to then I'd be happy to include numbers here.

Probably best if using normal Nemo settings, no weird stuff. (Or just use the recommended ones in the Recommended Settings repo)

iMat GGUFs courtesy of your local Cartel frens

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
MistralForCausalLM
Ревизия весов
93ec750

0 моделей