This model is an early release of an upcoming model for testing purposes. The format is ChatML. If you use this model let me know how it goes.
Training details:
- 1x RTX 4080 + x RTX 3090
- Rank 64 RS-QLoRA
- 156 Hours runtime
Характеристики
- Контекст
- 32 768 токенов
- Параметры
- 7,1 млрд
- Размер весов
- 14,5 ГБ
- Лицензия
- Apache 2.0
- Архитектура
- mistral · dense
- Базовая модель
- mistral-7b-v0.3-ChatML
- Опубликована
- 27 ноя 2024
Ссылки
mistral-7b-test-merged
Ранняя дообученная чат-модель Mistral на 7,1 млрд параметров для генерации текста и тестирования.
37скачиваний за 30 дней0лайковвеса обновлены1 дек 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки6
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
MMLU-PRO
MMLU-PRO Raw · выше — лучше
Результат0,2978
Open LLM v2 · архивПубличная таблицадругая ревизия
MATH Lvl 5
MATH Lvl 5 Raw · выше — лучше
Результат0,0446
Open LLM v2 · архивПубличная таблицадругая ревизия
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Dans-DiscountModels выпустил раннюю тестовую версию чат-модели на архитектуре Mistral. Модель содержит 7,1 млрд параметров, принимает запросы в формате ChatML и имеет контекстное окно до 32 768 токенов. В карточке указана поддержка английского языка и задача генерации текста.
Модель предназначена для тестирования раннего релиза и чат-сценариев; README просит пользователей сообщать о результатах. Она дообучена на Dans-DiscountModels/mistral-7b-v0.3-ChatML и распространяется в формате PyTorch по лицензии Apache-2.0. Поскольку релиз обозначен как ранний и тестовый, качество и надёжность ответов могут быть ограничены.
Сценарии применения
- тестирование чат-модели с шаблоном ChatML
- генерация ответов на текстовые запросы
- прототипирование англоязычного чат-бота
Ограничения
Это ранний тестовый релиз; README не приводит оценок качества или результатов тестирования. Для диалога требуется формат ChatML.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- 1756e85