/ Модель

Характеристики

Контекст
1 048 576 токенов
Параметры
6,8 млрд
Лицензия
openmdw-1.1
Архитектура
laguna · MoE
Базовая модель
Laguna-S-2.1
Библиотека
transformers
Опубликована
25 июл 2026

Laguna-S-2.1-AWQ-INT4

Генерация текстаТекст → текст15 профессий

cyankiwi/Laguna-S-2.1-AWQ-INT4 — квантизированная версия Laguna S 2.1 от poolside, подготовленная cyankiwi в формате AWQ INT4.

210скачиваний за 30 дней4лайкавеса обновлены28 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это текстовая модель text-to-text для агентного программирования, работы с инструментами и долгих многошаговых задач. Модель поддерживает интерleaved reasoning между вызовами инструментов и рассчитана на использование в vLLM, SGLang, Transformers, TRT-LLM и llama.cpp.

Базовая модель содержит 118 млрд параметров, из которых около 8 млрд активируются на каждом токене, и использует Mixture-of-Experts с 256 маршрутизируемыми экспертами и одним общим экспертом. Архитектура включает 48 слоёв, grouped-query attention, 12 слоёв глобального внимания и 36 слоёв sliding-window attention с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, словарь — 100 352 токена. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки; модальность — текстовая.

Ключевые преимущества — большое контекстное окно, эффективная MoE-архитектура, поддержка рассуждений и сценариев с инструментами, а также снижение требований к хранению и инференсу благодаря INT4-квантизации; размер файла указан как 76,83 ГБ. Ограничения включают высокие требования к вычислительным ресурсам даже в квантизированном виде и возможные потери качества из-за квантизации по сравнению с исходной точностью. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и изменение для коммерческих и некоммерческих целей.

Для каких профессий подходит15

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Laguna S 2.1

Laguna S 2.1 is a 118B total parameter Mixture-of-Experts model with 8B activated parameters per token, designed for agentic coding and long-horizon work. It sits between Laguna XS 2.1 (33B-A3B) and Laguna M.1 (225B-A23B) in the Laguna series and shares the family recipe: a token-choice router with softplus gating over 256 routed experts plus one shared expert, grouped-query attention, and interleaved full/sliding-window attention.

Highlights

  • Mixed SWA and global attention layout: 48 layers in a 1:3 global-to-SWA ratio (12 global attention layers, 36 sliding-window layers, window 512), with softplus attention gating and per-layer-type rotary scales
  • 1M context: 1,048,576-token context window
  • Native reasoning support: interleaved thinking between tool calls, with per-request control via enable_thinking
  • Speculative decoding: a trained DFlash draft model is available for lower-latency serving
  • Quantized variants: FP8, NVFP4, INT4 and GGUF
  • OpenMDW-1.1 license: Use and modify the model and associated materials freely for commercial and non-commercial purposes (learn more about OpenMDW)

Model overview

  • Number of parameters: 118B total, ~8B activated per token
  • Layers: 48 (12 global attention, 36 sliding-window attention)
  • Experts: 256 routed (top-10) plus 1 shared expert
  • Attention: grouped-query, 8 KV heads, head dim 128; per-head softplus output gating
  • Sliding window: 512 tokens
  • Context window: 1,048,576 tokens
  • Vocabulary: 100,352 tokens (Laguna family tokenizer)
  • Modality: text-to-text
  • Reasoning: interleaved thinking with preserved thinking

Benchmark results

ModelSizeTerminal-Bench 2.1SWE-bench MultilingualSWE-Bench Pro (Public Dataset)DeepSWESWE Atlas (Codebase QnA)Toolathlon Verified
Laguna S 2.1118B-A8B70.2%78.5%59.4%40.4%46.2%49.7%
Tencent Hy3295B-A21B71.7%75.8%57.9%---
Inkling975B-A41B63.8%-54.3%--45.5%*
Nemotron 3 Ultra550B-A55B56.4%67.7%---34.3%*
DeepSeek-V4-Pro Max1.6T-A49B64.0%*76.2%55.4%9.0%*27.2%*55.9%*
Kimi K32800B-A50B88.3%--69%--
Qwen 3.7 Max-74.5%*78.3%60.6%---
Muse Spark 1.1-80%-61.5%53.3%42.2%*75.6%
Claude Fable 5-88%-80.3%70%--

Benchmarks as of 21 July 2026. Laguna S 2.1 in bold; a dash (-) marks a benchmark a model was not evaluated on. Scores marked * are as reported by third parties: Terminal-Bench 2.1 and DeepSWE via Artificial Analysis, SWE Atlas via Scale AI's official leaderboard, and Toolathlon Verified via its official leaderboard. Full evaluation trajectories: trajectories.poolside.ai.

Usage

Laguna S 2.1 uses the same laguna architecture as Laguna XS 2.1, so the same engine integrations apply (vLLM, SGLang, Transformers, TRT-LLM, llama.cpp). At 118B parameters the BF16 checkpoint needs multiple GPUs (roughly 236GB of weights); quantized variants reduce this substantially.

vLLM

vllm serve \
    --model poolside/Laguna-S-2.1 \
    --tensor-parallel-size 4 \
    --tool-call-parser poolside_v1 \
    --reasoning-parser poolside_v1 \
    --enable-auto-tool-choice \
    --served-model-name laguna \
    --default-chat-template-kwargs '{"enable_thinking": true}'

[!NOTE] Optional: speculative decoding with DFlash. Pair with the Laguna S 2.1 DFlash draft model by adding --speculative-config '{"model":"poolside/Laguna-S-2.1-DFlash","num_speculative_tokens":7,"method":"dflash"}'.

SGLang

python -m sglang.launch_server \
  --model-path poolside/Laguna-S-2.1 \
  --tp-size 4 \
  --reasoning-parser poolside_v1 \
  --tool-call-parser poolside_v1 \
  --trust-remote-code

TRT-LLM

trtllm-serve poolside/Laguna-S-2.1 --trust-remote-code \
    --tool_parser poolside_v1 --reasoning_parser laguna

Note the flag names differ from vLLM's (--tool_parser, and the reasoning parser is laguna, not poolside_v1).

llama.cpp

GGUF conversions are available at poolside/Laguna-S-2.1-GGUF. Serve with poolside's llama.cpp fork, branch laguna, which carries full Laguna support including DFlash speculative decoding. (Base Laguna support is also in upstream review: ggml-org/llama.cpp#25165.)

git clone --branch laguna https://github.com/poolsideai/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build -j

./build/bin/llama-server -m laguna-s-2.1-Q4_K_M.gguf --jinja --port 8000

# with DFlash speculative decoding:
./build/bin/llama-server -m laguna-s-2.1-Q4_K_M.gguf \
  -md laguna-s-2.1-DFlash-BF16.gguf \
  --spec-type draft-dflash --spec-draft-n-max 7 -fa on --jinja --port 8000

Ollama

Run directly from the Ollama library:

ollama run laguna-s-2.1

Quantization variants are available as tags (q4_K_M, q8_0, f16, mxfp8, nvfp4, mlx-bf16), for example ollama run laguna-s-2.1:q8_0. The Laguna chat template is baked into the model, so tool-calling and interleaved reasoning work automatically.

Controlling reasoning

Laguna S 2.1 has native reasoning support and works best with preserved thinking: keep reasoning_content from prior assistant messages in the message history. The model will generally reason before calling tools and between tool calls, and may stop reasoning in follow-up steps if prior thinking blocks are dropped.

Thinking is controlled per request via the chat template:

extra_body={"chat_template_kwargs": {"enable_thinking": False}}

or at the server level with --default-chat-template-kwargs '{"enable_thinking": true}'. For agentic coding use cases we recommend enabling thinking and preserving reasoning in the message history.

License

This model is licensed under the OpenMDW-1.1 License.

Intended and Responsible Use

Laguna S 2.1 is designed for software engineering and agentic coding use cases, and you are responsible for confirming that it is appropriate for your intended application. Laguna S 2.1 is subject to the OpenMDW-1.1 License, and should be used consistently with Poolside's Acceptable Use Policy. We advise against circumventing Laguna S 2.1 safety guardrails without implementing substantially equivalent mitigations appropriate for your use case.

Please report security vulnerabilities or safety concerns to security@poolside.ai.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Нельзя запустить

Модели нужен код из репозитория; запуск откроется после проверки совместимости.

Класс архитектуры
LagunaForCausalLM
Ревизия весов
bc59f49

0 моделей