Текстовая модель Mixtral в формате FP16 для генерации текста по запросу.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Air-Striker-Mixtral-8x7B-ZLoss — текстовая авторегрессионная модель семейства Mixtral с архитектурой Mixture of Experts, представленная в формате PyTorch FP16. Карточка описывает её как объединение LoRA с базовой моделью; упоминается отдельная instruct-версия, но данный репозиторий содержит не её. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов.
Модель предназначена для генерации текста по текстовому запросу. Разработчик не приводит подробностей о целевых сценариях, языках или результатах оценки качества. Репозиторий создан 22 февраля 2024 года. Условия лицензии в доступных данных не указаны.
Карточка не сообщает о поддерживаемых языках, оценках качества и лицензии. README указывает, что веса получены при объединении LoRA с базовой моделью, однако базовая модель в доступных данных не названа.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Bro literally posts like a bone stock ass lora with no model, and that's a huge pain in the ass to work with because loras are a pain in the ass to work with. So here's an fp16 of it. We kinda had to make shit up to get this applied, because, like I said, loras are a huge pain in the ass.
Dude's got some exl2s of the instruct version, but no fp16 of that either, and it's like... who even uses exl2? What am I, a caveman?
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…