4-битная MLX-версия англоязычной 70-миллиардной модели Dolphin 2.9 на базе Llama 3 для диалоговой генерации, следования инструкциям, кода и математических задач.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/dolphin-2.9-llama3-70b-4bit — квантизированная 4-битная версия модели Dolphin 2.9 на базе Llama 3, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.11.0. Исходная модель разработана cognitivecomputations. Модель содержит около 69,5 млрд параметров и предназначена для запуска и генерации текста в экосистеме MLX на совместимом оборудовании Apple.
Модель ориентирована на англоязычные диалоговые и инструкционные сценарии, включая ответы на вопросы, помощь с программированием, математическими задачами, работу с инструкциями и вызовами функций. Максимальная длина контекста составляет 8192 токена. В метаданных указана лицензия Llama 3.
Модель ориентирована на английский язык и имеет контекст до 8192 токенов. 4-битная квантизация может снижать точность по сравнению с полноформатной версией, а ответы модели могут содержать ошибки или непроверенный код.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from cognitivecomputations/dolphin-2.9-llama3-70b using mlx-lm version 0.11.0.
Refer to the original model card for more details on the model.
pip install mlx-lm
from mlx_lm import load, generate
model, tokenizer = load("mlx-community/dolphin-2.9-llama3-70b-4bit")
response = generate(model, tokenizer, prompt="hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.