mlx-community/DeepSeek-V4-Flash-8bit — это версия модели DeepSeek-V4-Flash, опубликованная сообществом mlx-community и предназначенная для генерации текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель подготовлена для работы с библиотекой MLX и запуска через mlx-lm; в README также указана поддержка шаблона диалога, если он доступен в токенизаторе.
Известно, что модель использует 8-битное представление и относится к категории text-generation. Она может применяться для диалоговой генерации и других задач создания текста, однако сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых языках и модальностях в README отсутствуют.
К сильным сторонам относятся интеграция с MLX и возможность локального запуска через mlx-lm. Ограничения и точные требования к аппаратному обеспечению не указаны. Лицензия в предоставленных материалах не обозначена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Made possible by Lambda.ai ❤️
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/DeepSeek-V4-Flash-8bit")
prompt = "hello"
if tokenizer.chat_template is not None:
messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
messages, add_generation_prompt=True, return_dict=False,
)
response = generate(model, tokenizer, prompt=prompt, verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.