Характеристики

Контекст: 262 144 токена
Параметры: 2,6 млрд
Размер весов: 18,8 ГБ
Лицензия: openmdw-1.1
Архитектура: laguna · MoE
Базовая модель: Laguna-XS-2.1
Библиотека: mlx
Опубликована: 3 июл 2026

Ссылки

Laguna-XS-2.1-4bit

Генерация текстаТекст → текст8 профессий

Laguna-XS-2.1-4bit — это 4-битная квантованная версия модели poolside/Laguna-XS-2.1, преобразованная сообществом mlx-community в формат MLX.

1 412скачиваний за 30 дней4лайкавеса обновлены3 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки3

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

ScaleAI/SWE-bench_Pro
score
Результат
47,6
Hugging Face Eval Results
Отчёт автораревизия не подтверждена
harborframework/terminal-bench-2.0
score
Результат
37,5
Hugging Face Eval Results
Отчёт автораревизия не подтверждена
SWE-bench/SWE-bench_Verified
score
Результат
70,9
Hugging Face Eval Results
Отчёт автораревизия не подтверждена

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель предназначена для генерации текста и локального запуска на устройствах Apple Silicon; в метаданных указана архитектура Laguna. Размер исходной модели и число параметров не приведены, язык модели и размер контекстного окна также не указаны.

Ключевая характеристика этой версии — квантование до 4 бит с group size 64 и эффективной плотностью 4,503 бита на вес. Размер файлов составляет около 18 ГБ. Модель совместима с mlx-vlm и oMLX при принудительном включении режима VLM, однако mlx-lm пока не поддерживает архитектуру Laguna. В README отмечается редкое появление пустого тега </think> в начале ответа, не влияющее на работу модели.

По приведённым измерениям на MacBook Pro с M5 Max, 128 ГБ памяти и 40-ядерным GPU скорость генерации составляет от 126,0 токена в секунду для запроса с контекстом 1 тыс. токенов до 91,3 токена в секунду для 32 тыс. токенов; пиковое потребление памяти — от 18,2 до 19,8 ГБ. Эти показатели зависят от оборудования и относятся к одиночным запросам с генерацией 128 токенов. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Laguna-XS-2.1 (MLX, 4bit)

Converted from poolside/Laguna-XS-2.1 to MLX format, quantized to 4 bits (group size 64, 4.503 bpw effective).

Notes

Works with mlx-vlm and oMLX (forcing the model's vlm mode). mlx-lm doesn't support the laguna architecture yet — there's an open PR: mlx-lm#1223.
Sometimes I got an empty </think> tag at the start of responses, which isn't that common. It won't affect anything tho.

Performance

Measured with oMLX's benchmark harness on a Macbook Pro M5 Max 128GB 40 GPU (single request, 128 generated tokens):

prompt	gen tok/s	prefill tok/s	TTFT ms	peak GB
1k	126.0	2797	367	18.2
4k	121.2	4052	1011	18.8
8k	116.6	3785	2165	18.9
16k	109.1	3122	5248	19.2
32k	91.3	2462	13312	19.8

Variants

Variant	bpw	Disk	gen tok/s (1k → 32k)
bf16	16	62 GB	70.6 → 58.7
8bit	8.500	33 GB	95.4 → 76.7
6bit	6.501	25 GB	102.9 → 80.9
5bit	5.502	21 GB	115.9 → 87.7
4bit (this repo)	4.503	18 GB	126.0 → 91.3
3bit	3.503	14 GB	137.2 → 98.8

Usage

uvx --from mlx-vlm mlx_vlm.generate --model mlx-community/Laguna-XS-2.1-4bit --prompt "..." --max-tokens 300

License

OpenMDW-1.1, inherited from the base model.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · mlx

Нельзя запустить

MLX-модели работают только на Apple Silicon, на GPU NVIDIA они не запускаются.

Класс архитектуры: LagunaForCausalLM
Ревизия весов: c42e0a8