Конвертированная для MLX англоязычная модель Mistral-7B-v0.1 для генерации текста с контекстом до 32 768 токенов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
mlx-community/mlx-mistral-7B-v0.1 — конвертированная в формат MLX версия языковой модели Mistral-7B-v0.1, разработанной Mistral AI. Это плотная авторегрессионная модель с 7,1 млрд параметров для генерации текста; она принимает текстовый запрос и продолжает его. Модель рассчитана на английский язык и поддерживает контекст до 32 768 токенов.
Репозиторий предназначен для запуска модели с библиотекой MLX, в том числе на устройствах Apple Silicon. Карточка отсылает к описанию исходной модели за дополнительными сведениями о её возможностях. Модель распространяется по лицензии Apache-2.0.
Карточка этой конвертированной версии не приводит оценок качества и подробностей о возможностях; за ними она отсылает к карточке исходной модели.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This model was converted to MLX format from mistralai/Mistral-7B-v0.1.
Refer to the original model card for more details on the model.
pip install mlx
git clone https://github.com/ml-explore/mlx-examples.git
cd mlx-examples/llms/hf_llm
python generate.py --model mlx-community/mlx-mistral-7B-v0.1 --prompt "My name is"
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
MLX-модели работают только на Apple Silicon.