Характеристики
- Контекст
- 131 072 токена
- Параметры
- 48,2 млрд
- Размер весов
- 96,8 ГБ
- Архитектура
- mistral · dense
- Базовая модель
- Mistral-Small-Instruct-2409
- Библиотека
- transformers
- Опубликована
- 18 сен 2024
Ссылки
ED-Zephyria-48b
Экспериментальная модификация Mistral для генерации текста и диалогов с продублированными слоями и обнулёнными весами части проекций.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
ED-Zephyria-48b — экспериментальная плотная языковая модель семейства Mistral, опубликованная SteelStorage как модификация unsloth/Mistral-Small-Instruct-2409. В README описана стратегия Early Duplication: в модели 55 слоёв, начиная со слоя 14 продублированы 35 слоёв, а последние 7 слоёв остаются уникальными. Метаданные указывают 48,2 млрд параметров и контекст до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors.
Модель предназначена для генерации текста и диалогов. Автор предполагает её применение в задачах, требующих интенсивной обработки низкоуровневых признаков и уточнения базовых языковых шаблонов; доступен интерфейс вызова инструментов. README предупреждает, что слои down_proj и o_proj обнулены и требуют восстановления, поэтому качество и пригодность к практическому использованию ограничены. Лицензия в предоставленных данных не указана.
Сценарии применения
- эксперименты с архитектурой Mistral
- генерация текста в исследовательских прототипах
- диалоговое взаимодействие с языковой моделью
- изучение влияния дублирования слоёв на обработку языковых шаблонов
- проверка интерфейса вызова инструментов
Ограничения
Слои down_proj и o_proj обнулены и, по README, требуют восстановления; качество модели может быть низким или нестабильным. Языки и лицензия в предоставленных данных не указаны.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…
- Класс архитектуры
- MistralForCausalLM
- Ревизия весов
- b60d67b