4-битная MLX-конверсия Dolphin 2.9 на базе Llama 3 8B для диалоговой генерации текста и выполнения инструкций.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/dolphin-2.9-llama3-8b-4bit-mlx — 4-битная конверсия в формат MLX модели Dolphin 2.9 от Cognitive Computations, выполненная сообществом mlx-community с помощью mlx-lm 0.10.0. В основе — дообученная Meta Llama 3 8B с плотной архитектурой LlamaForCausalLM; в метаданных указано 7,5 млрд параметров и контекст 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции; среди обучающих данных есть наборы для кода, математики, общения и вызова функций.
Модель принимает текст и генерирует текст. Карточка описывает запуск через mlx-lm. Лицензия указана как other, поэтому условия использования следует сверить с исходной карточкой модели и лицензией базовой Meta Llama 3. Подробные сведения об ограничениях и языковом покрытии в доступной карточке не приведены.
Модель представлена в 4-битном формате MLX и рассчитана на соответствующую среду запуска; переносимость на другие стеки инференса может быть ограничена. Лицензия указана как other, поэтому условия использования нужно уточнять по исходной карточке и лицензии базовой модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from cognitivecomputations/dolphin-2.9-llama3-8b using mlx-lm version 0.10.0.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/dolphin-2.9-llama3-8b-4bit-mlx")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.