Характеристики
- Контекст
- 131 072 токена
- Параметры
- 41,9 млрд
- Размер весов
- 84,3 ГБ
- Архитектура
- mistral · dense
- Базовая модель
- Mistral-Small-Instruct-2409
- Библиотека
- transformers
- Опубликована
- 18 сен 2024
Ссылки
MD-Zephyria-42b
Экспериментальная 41,9-миллиардная модель на базе Mistral для генерации текста и диалогов, требующая восстановления обнулённых слоёв.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
MD-Zephyria-42b — экспериментальная плотная языковая модель семейства Mistral, созданная на основе unsloth/Mistral-Small-Instruct-2409. В конфигурации 55 слоёв: начиная с 22-го слоя, часть слоёв продублирована; модель содержит 41,9 млрд параметров и рассчитана на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors.
Модель предназначена для генерации текста и диалогов общего назначения. Карточка описывает её как компромисс между ранним извлечением признаков и последующей обработкой, однако отмечает, что слои down_proj и o_proj обнулены и требуют восстановления. Поэтому качество и надёжность ответов могут быть низкими до «лечения» модели. Лицензия в предоставленных данных не указана.
Сценарии применения
- эксперименты с генерацией текста на базе Mistral
- проверка поведения модели с дублированными слоями
- тестирование восстановления обнулённых слоёв
- прототипирование диалогового помощника
Ограничения
Слои down_proj и o_proj обнулены, поэтому модель требует восстановления; до этого качество и надёжность генерации не подтверждены. Языки и условия лицензирования по предоставленным данным установить нельзя.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- 72b1ce1