Характеристики

Контекст: 32 768 токенов
Параметры: 7,1 млрд
Размер весов: 12,1 ГБ
Лицензия: Apache 2.0
Архитектура: mistral · dense
Опубликована: 1 фев 2024

Ссылки

Hugging Face

Mistral7B-Inst-v0.2-4bit-mlx-distilabel-capybara-dpo-7k

mlx-community

Генерация текстаТекст → текст6 профессий

4-битная версия Mistral-7B-Instruct-v0.2 в формате MLX для диалоговой генерации текста на устройствах Apple.

140скачиваний за 30 дней6лайковвеса обновлены1 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это 4-битная модель для генерации текста и диалогов, созданная сообществом mlx-community на основе Mistral-7B-Instruct-v0.2 и преобразованная в формат MLX для запуска на устройствах Apple. В README также указано использование DPO-датасета Argilla; метаданные описывают модель как плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов.

Модель подходит для диалоговых ответов и генерации текста по запросу. В README приведён пример запуска через MLX. Репозиторий распространяется по лицензии Apache-2.0. Качество и языковой охват этой версии отдельно не описаны; 4-битное представление может ограничивать точность по сравнению с версиями в большей точности.

Сценарии применения

ответы на вопросы в диалоге
генерация текста по пользовательскому запросу
локальный запуск чат-модели на устройствах Apple

Ограничения

В карточке не описаны языковой охват и результаты оценки качества. 4-битное представление может снижать точность по сравнению с версиями в большей точности.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Alt text

Mistral7B-Inst-v0.2-4bit-mlx-distilabel-capybara-dpo-7k

This model was converted to MLX format from mlx-community/Mistral-7B-Instruct-v0.2-8-bit-mlx. Refer to the original model card for more details on the model.

Using a DPO dataset by Argilla dataset

Use with mlx

pip install mlx
git clone https://github.com/ml-explore/mlx-examples.git
cd mlx-examples/llms/hf_llm
python generate.py --model mlx-community/Mistral7B-Inst-v0.2-4bit-mlx-distilabel-capybara-dpo-7k --prompt "What wights more 1kg of feathers or 0.5kg of steel?"

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

MLX-модели работают только на Apple Silicon.

Класс архитектуры: MistralForCausalLM
Ревизия весов: 0003da5