Конвертированная в MLX 4-битная версия Phi-3-mini для диалоговой генерации текста и помощи с кодом на английском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Это конвертированная в формат MLX версия Phi-3-mini-4k-instruct от Microsoft, подготовленная mlx-community. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов; карточка указывает 4-битную версию для запуска на устройствах Apple через mlx-lm.
Модель предназначена для диалоговой генерации текста и помощи с кодом. Вход и выход — текст; в метаданных указан английский язык. Репозиторий создан 23 апреля 2024 года. Модель распространяется по лицензии MIT. Подробности о качестве и ограничениях предлагается смотреть в карточке исходной модели.
Контекст ограничен 4096 токенами; модель ориентирована на английский язык. Подробные сведения о качестве и дополнительных ограничениях в этой карточке отсутствуют.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from microsoft/Phi-3-mini-4k-instruct using mlx-lm version 0.12.0.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Phi-3-mini-4k-instruct-4bit-no-q-embed")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.