Объединённая 7,1-миллиардная модель Mistral для генерации текста, подготовленная mlx-community для запуска в MLX.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
UTENA-7B-NSFW-V2-4bit — 7,1-миллиардная языковая модель на архитектуре Mistral, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель предназначена для генерации текста; контекстное окно составляет до 32 768 токенов.
Это объединённая модель на основе AI-B/UTENA-7B-BAGEL и AI-B/UTENA-7B-NSFW. Метаданные отмечают её как модель для контента не для всех аудиторий. Репозиторий указывает конвертацию из AI-B/UTENA-7B-NSFW-V2, а название версии содержит «4bit»; в доступных метаданных формат файлов указан как safetensors. Лицензия — Unlicense.
Модель помечена как предназначенная не для всех аудиторий. Данные не подтверждают заявленную в названии 4-битную квантизацию: в метаданных формат указан как safetensors.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from AI-B/UTENA-7B-NSFW-V2.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/UTENA-7B-NSFW-V2-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.