Конвертированная в MLX версия Phi-3-mini на 3,7 млрд параметров для генерации текста и диалога на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель tbhrc/phi_3_mini_4k_instruct_unsloth_4bit — конверсия Phi-3-mini-4k-instruct в формат MLX, выполненная на основе unsloth/Phi-3-mini-4k-instruct с помощью mlx-lm версии 0.13.0. Это плотная языковая модель с архитектурой MistralForCausalLM, примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогового использования. Контекст модели составляет 4096 токенов; в метаданных указан английский язык. Для использования в исходной карточке предлагается библиотека mlx-lm.
Модель подходит для диалоговых ответов, генерации и продолжения текста на английском языке. В README описана конверсия в MLX, однако метаданные репозитория указывают формат файлов safetensors. Лицензия — MIT. Практический контекст ограничен 4096 токенами; README не приводит дополнительных сведений о качестве или специальных ограничениях применения.
Контекст ограничен 4096 токенами. Карточка не приводит оценок качества или подробных результатов тестирования.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Phi-3-mini-4k-instruct-unsloth-4bit was converted to MLX format from unsloth/Phi-3-mini-4k-instruct using mlx-lm version 0.13.0.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Phi-3-mini-4k-instruct-unsloth-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.