Перенос Falcon-H1-1.5B-Base в MLX и BF16 для локальной генерации текста на Apple Silicon.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
sdkv2/falcon-h1-1.5b-mlx-bf16 — перенос базовой языковой модели Falcon-H1-1.5B-Base от Technology Innovation Institute (TII) в формат MLX для Apple Silicon. Это плотная авторегрессионная модель семейства Falcon-H1 с примерно 1,1 млрд параметров; она принимает текстовый запрос и генерирует продолжение. Заявленная длина контекста — 131 072 токена, библиотека запуска — MLX.
Модель подходит для локальной генерации текста на устройствах Apple Silicon: например, для продолжения фрагментов, ответов на запросы и прототипирования текстовых приложений. В README указана отдельная 4-битная версия, но текущий репозиторий содержит BF16-вариант в safetensors.
README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Также в карточке не приведены результаты оценки качества или рекомендации по безопасности; как базовая модель, она может требовать подходящего промпта или дополнительной настройки для диалоговых сценариев.
В README не приведены результаты оценки качества и рекомендации по безопасности. Модель основана на базовом чекпойнте, поэтому её пригодность для диалогов и следования инструкциям не установлена.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
MLX port of tiiuae/Falcon-H1-1.5B-Base for Apple Silicon.
For 4-bit: sdkv2/falcon-h1-1.5b-mlx-4bit
from mlx_lm import load, generate
model, tokenizer = load("sdkv2/falcon-h1-1.5b-mlx-bf16")
response = generate(model, tokenizer, prompt="Hello", verbose=True)
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon.