4-битная многоязычная инструкционная MoE-модель Microsoft примерно на 4 млрд параметров для локальной генерации текста, диалогов и кода.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Phi-3.5-MoE-instruct-4bit — это 4-битная квантизированная версия инструкционной языковой модели Phi-3.5-MoE, разработанной Microsoft и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm. Модель содержит около 4 млрд параметров, поддерживает архитектуру Mixture of Experts и распространяется для работы через библиотеку Transformers и инструменты MLX.
Модель предназначена для генерации текста в диалогах, ответов на вопросы, выполнения инструкций и генерации кода. Она ориентирована на многоязычные сценарии и может использоваться в локальных приложениях, чат-ботах, помощниках разработчика и системах автоматизации работы с текстом. Максимальная длина контекста составляет 4096 токенов.
Лицензия MIT допускает свободное использование при соблюдении её условий. 4-битное представление снижает требования к памяти и подходит для локального запуска, но может уступать полноразмерной версии по точности и качеству генерации.
Контекст ограничен 4096 токенами, а 4-битная квантизация может снижать точность и качество по сравнению с исходной моделью. Поддерживаемые языки не перечислены в виде конкретных кодов ISO.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
The Model mlx-community/Phi-3.5-MoE-instruct-4bit was converted to MLX format from microsoft/Phi-3.5-MoE-instruct using mlx-lm version 0.17.1.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/Phi-3.5-MoE-instruct-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
MLX-модели работают только на Apple Silicon.