II.3Рефакторинг, миграция и модернизация

Qwen3.6-VL-REAP-26B-A3B — мультимодальная модель семейства Qwen от atbender, полученная структурной обрезкой Qwen/Qwen3.6-35B-A3B методом REAP. Из каждого слоя удалено 25% маршрутизируемых экспертов: осталось 192 вместо 256, при этом сохранены все 40 MoE-слоёв, общий эксперт и энкодер изображений. Карточка указывает около 27 млрд параметров, примерно 3 млрд активных на токен; в метаданных каталога указано 2,9 млрд параметров. Модель распространяется в BF16 без квантизации, лицензия Apache-2.0. Модель предназначена для диалогов, агентного программирования и вызова инструментов, а сохранённый vision-language энкодер позволяет работать с изображениями. Это промежуточный чекпойнт для развёртывания с последующей квантизацией, дообучения или оценки влияния обрезки; README также описывает запуск в Transformers и vLLM. Контекстное окно по метаданным — 262 144 токена. Обрезка выполнена без последующего дообучения, поэтому возможная потеря качества не была компенсирована. Калибровочные данные преимущественно англоязычные и ориентированы на код и инструменты, что может ухудшить качество на малоресурсных языках; сохранённый энкодер изображений не проверялся на VL-бенчмарках. Для BF16-весов требуется около 50 ГБ памяти, а для работы с длинным контекстом — ещё больше.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-2x-TIES-v1.0 — объединённая модель для генерации текста на основе Qwen/QwQ-32B-Preview. Автор собрал её методом TIES с помощью mergekit, объединив базовую модель с rombodawg/Rombos-LLM-V2.5-Qwen-32b и rombodawg/Rombos-Coder-V2.5-Qwen-32b. Модель относится к архитектуре Qwen2ForCausalLM, содержит 32 млрд параметров и рассчитана на контекст до 32 768 токенов. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. В качестве сценариев подходят ответы на вопросы, рассуждения и помощь с программированием, унаследованные от указанных базовых моделей. Модель распространяется в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана; описание README не приводит оценок качества или подробных ограничений применения.

mondk/Safetensors.Claude-Qwen3.5-4B-Reasoning — дообученная модель семейства Qwen3.5, созданная на основе TeichAI/Qwen3.5-4B-Claude-Opus-Reasoning-Distill. Это плотная модель с архитектурой Qwen3_5ForConditionalGeneration, опубликованная в формате Safetensors и лицензированная по Apache-2.0. Поддерживает диалог, интерфейс вызова инструментов и работу с изображениями; в карточке указаны английский, китайский и вьетнамский языки. Модель ориентирована прежде всего на рассуждения и помощь в программировании. Для дообучения использованы наборы трасс Claude Code и примеры рассуждений Claude Sonnet и Claude Opus. В описанном автором небольшом тесте модель прошла 5 из 5 простых, 8 из 8 средних и 5 из 7 сложных задач; это результаты конкретного набора вопросов, а не независимая оценка качества. Автор также сообщает об улучшении результата для задач программирования на 23%, не уточняя методику сравнения.

Skywork-OR1-7B — текстовая модель общего назначения для рассуждений в математике и программировании, разработанная командой Skywork. Она основана на DeepSeek-R1-Distill-Qwen-7B и обучена с использованием крупномасштабного обучения с подкреплением по правилам и модифицированного алгоритма GRPO. В обучении использовались около 110 тысяч математических задач и 14 тысяч вопросов по программированию, а также фильтрация данных, rejection sampling, многоэтапное обучение и адаптивное управление энтропией. Данная версия представляет собой набор GGUF-квантизаций для локального запуска через llama.cpp, llama-cpp-python, LM Studio или Ollama. Доступны варианты от F16 до 2-битных, примерно от 15,2 до 3,0 ГБ; выбор квантизации позволяет найти компромисс между качеством, требованиями к VRAM и размером модели. Модель предназначена прежде всего для англоязычной генерации текста, решения математических задач и написания кода. Она не заявлена как мультимодальная, а снижение разрядности может ухудшать качество рассуждений и ответов. В README приведён пример запуска с контекстом 32768 токенов, но максимальный контекст модели явно не указан. Распространяется по лицензии Apache 2.0.

TechxGenus/starcoder2-3b-instruct — языковая модель семейства StarCoder2, дообученная разработчиком TechxGenus для следования инструкциям по программированию. В README указано обучение на дополнительных 0,7 млрд токенов, связанных с кодом, в течение трёх эпох; архитектура — плотная причинная модель Starcoder2ForCausalLM с 4,2 млрд параметров и контекстом до 16 384 токенов. Модель принимает инструкции в формате Alpaca без системного промпта и генерирует текст, в первую очередь программный код. Её можно применять для генерации и дополнения кода, решения задач программирования и ответов на запросы о коде. В README приведён результат 65,9 pass@1 на HumanEval-Python, но также отмечено, что модель ограниченно тестировалась и может ошибаться или хуже справляться с задачами вне программирования. Лицензия — BigCode OpenRAIL-M.

Это GGUF-квантизованная версия языковой модели OmniCoder-9B, разработанной Tesslate и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и кода, включая агентские сценарии и задачи программирования. Доступна для запуска через llama.cpp и совместимые приложения, в том числе LM Studio, koboldcpp, Jan AI и Text Generation Web UI. Модель содержит около 9 млрд параметров и распространяется в вариантах от BF16 до различных форматов квантизации Q2–Q8 и IQ. Квантизация выполнена с использованием imatrix; варианты различаются размером файла, требованиями к памяти и качеством, при этом в README рекомендуются некоторые форматы Q4–Q6 как баланс качества и ресурсоёмкости. Заявлен английский язык, однако сведения о контекстном окне, точной архитектуре и поддерживаемых модальностях отсутствуют. В качестве ориентира приведены результаты на AIME 2025: pass@1 — 83,8%, pass@3 — 86,4% и pass@5 — 90,0%, но методика оценки подробно не описана. Сильными сторонами являются широкий выбор уровней квантизации и возможность локального запуска на различном оборудовании. Ограничения включают потенциальное снижение качества в младших вариантах квантизации, зависимость совместимости от обновлений используемых инструментов и отсутствие подробных данных о контекстной длине и языковых возможностях сверх заявленного английского. Лицензия модели — Apache-2.0.

Coder-2b-v0.1-hfrl — инструктивная языковая модель разработчика Lodo97 для генерации и редактирования кода по запросам на естественном языке. Модель основана на Phi-2 и дообучена для Python-кода: в карточке указаны датасет Vezora/Tested-22k-Python-Alpaca и последующее дообучение методом DPO на jondurbin/py-dpo-v0.1. README также называет промежуточную модель Lodo97/Test1; размер по метаданным — 3,5 млрд параметров, архитектура — плотная Phi, библиотека — Transformers, формат весов — safetensors, контекст — 2048 токенов. Модель предназначена для генерации Python-кода из инструкций, поиска ошибок и переписывания кода, в том числе при ограниченных аппаратных ресурсах. Основной язык карточки — английский. README не приводит оценок качества или подробных ограничений; сгенерированный код следует проверять и тестировать. Лицензия в предоставленных данных не указана.

Cognix 1 Flash — текстовая модель семейства LFM2, созданная LuxAI на основе дообучения LiquidAI/LFM2.5-2.6B-Base. Это плотная авторегрессионная модель на 2,6 млрд параметров для генерации текста, диалога и задач с кодом. Репозиторий содержит объединённую модель в формате BF16; обучение выполнялось методом SFT с LoRA, после чего веса были объединены. Контекстное окно — до 128 000 токенов по метаданным; максимальная длина обучающих примеров составляла 32 768 токенов. Модель рассчитана на диалоговое использование и сценарии, где нужно генерировать или дополнять код. Для вызова инструментов предусмотрен формат, совместимый с исходным шаблоном чата; генерируемые вызовы следует исполнять только через разрешённый список функций. В карточке указаны английский и чешский языки. Количественные оценки качества и гарантии не заявлены. Практическая надёжность вызова инструментов, качество на чешском и поведение на длинном контексте требуют дополнительной оценки. Полные контексты до 32 тысяч токенов могут быть непрактичны на телефонах с 8 ГБ памяти. Применяются условия LFM Open License v1.0 базовой модели и производной; модель не распространяется под Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bit — 4-битная динамически квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-14B. Базовую модель разработала команда DeepSeek, а вариант с квантизацией подготовлен Unsloth. Модель относится к плотным LLM на архитектурной основе Qwen и содержит около 14 млрд параметров. Модель предназначена прежде всего для задач рассуждения, включая решение математических задач, программирование и общий анализ текста. DeepSeek-R1-Distill-Qwen-14B создана методом дистилляции из DeepSeek-R1, поэтому ориентирована на генерацию развернутых рассуждений и решение сложных задач. В README явно указан английский язык; сведения о других языках, мультимодальности и размере контекстного окна не приведены. Ключевое преимущество этой версии — динамическая 4-битная квантизация Unsloth, при которой отдельные параметры выборочно не квантизуются для сохранения большей точности по сравнению со стандартной 4-битной квантизацией. Это может снизить требования к памяти и упростить локальный запуск, однако квантизация потенциально ограничивает точность по сравнению с исходной полноразмерной моделью. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Flash-0731-MLX-Serve-mixed-2-3-8bit — это квантованная MLX-конверсия модели DeepSeek-V4-Flash-0731, опубликованная ddalcu и предназначенная для запуска через mlx-serve на Apple Silicon. Модель рассчитана на генерацию текста, включая диалоги, программирование, задачи coding agent и сценарии с вызовом инструментов. Она совместима с OpenAI, Anthropic и Ollama HTTP API, поэтому может использоваться с существующими клиентами и интерфейсами. В основе лежит полная модель размером 284B параметров с конфигурацией A13B. Сборка занимает 115,4 ГБ и использует смешанную точность: основные routed experts в слоях 0–38 имеют 2- и 3-битное квантование с калибровкой по матрице важности, последние четыре слоя — 4-битное, а attention, shared experts, embeddings, LM head и ряд чувствительных компонентов — 8-битную или более высокую точность. Архитектура включает MQA, сжатую историю внимания, hash-routed MoE, Sinkhorn hyper-connections, DSML-формат вызова инструментов и DSpark speculative decoding. Поддерживаются текстовые входы и выходы; в README не указаны дополнительные модальности и языковой охват. Для работы требуется Mac на Apple Silicon с не менее чем 128 ГБ unified memory, macOS 26.2 или новее и mlx-serve. Ожидаемый объём занятой памяти составляет около 98 ГБ, либо примерно 109 ГБ при использовании DSpark; заявлена скорость около 53 токенов в секунду на M-series Mac с 128 ГБ памяти и включённым DSpark. Сильными сторонами являются запуск полной 284B-A13B модели на одном совместимом Mac, native MLX-реализация без Python и калиброванное квантование, направленное на сохранение качества в агентских сценариях. Ограничениями остаются очень высокие требования к памяти и совместимость только с Apple Silicon и mlx-serve. Лицензия — MIT.

DeepSeek-V4-Flash-NVFP4-FP8 — это оптимизированная и квантизованная версия базовой модели DeepSeek-V4-Flash, разработанная Red Hat AI на основе модели deepseek-ai. Модель предназначена для развёртывания и инференса через Transformers и vLLM, в частности для задач общего инструктирования, математического рассуждения, reasoning и генерации кода. Она ориентирована на высокопроизводительное серверное использование с тензорным параллелизмом на нескольких GPU. Ключевая особенность модели — применение формата NVFP4, а также FP8 для KV-кэша. Для запуска рекомендуется использовать четыре GPU и FP8 KV cache; оценивание проводилось на 8 GPU B200. Точные архитектурные параметры, размер модели, поддерживаемые языки, модальности и длина контекста в README не указаны. На GSM8K модель показала точность 91,0%, а на MMLU-Pro — 55,4%. В сравнении с базовой моделью восстановление качества различается по задачам: оно составляет около 91–98% на большинстве указанных бенчмарков, при этом на AIME 2025 результат оказался выше базового. Основные преимущества модели — совместимость с vLLM, использование низкоразрядного представления для эффективного инференса и высокая пропускная способность. Ограничение заключается в заметной потере точности относительно базовой модели, связанной с тем, что исходная модель уже была выпущена в квантизованном формате, а также с различиями между форматами MXFP4 и NVFP4. В README упоминается, что более продвинутые методы, например GPTQ, могут улучшить восстановление точности. Модель распространяется по лицензии MIT.

DreamReasoner-8B FineCode any-order CPT — это контрольная точка DreamReasoner-8B, которую zimplex получил продолжением предварительного обучения базовой модели Dream-org/DreamReasoner-8B на наборе FineCode B64. Модель относится к семейству Dream, использует плотную архитектуру DreamForCausalLM и содержит 7,6 млрд параметров; контекст — до 32 768 токенов. Модель предназначена для генерации кода и диалогового взаимодействия по задачам программирования. В README приведены результаты greedy confidence decoding на HumanEval — 85,98% Pass@1, MBPP sanitized — 83,27% и LiveCodeBench Pro — 15,01%; это снимок оценки с лимитом генерации 4096 токенов, а не гарантия качества в других условиях. Для загрузки используются Transformers и пользовательский код модели с параметром trust_remote_code=True. Лицензия — Apache-2.0. Это исследовательская контрольная точка без отдельной оценки безопасности и готовности к развёртыванию.

Dolphin 2.9.1 Yi 1.5 9B — языковая модель для диалогов и генерации текста, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе 01-ai/Yi-1.5-9B. Модель с плотной архитектурой семейства Llama содержит 8,6 млрд параметров и распространяется в формате Safetensors с точностью 16 бит. Модель предназначена для ответов на инструкции, общения, задач по программированию и начальных агентных сценариев; заявлена поддержка вызова функций. Использует шаблон ChatML и обучалась на последовательностях длиной до 12 тысяч токенов. В README авторы описывают её как «uncensored» и рекомендуют добавить собственный слой выравнивания перед предоставлением сервиса. Лицензия Apache 2.0 разрешает коммерческое использование.

ori-ai-fabric/ds-trinity-7b-v1 — объединённая языковая модель на базе DeepSeek Coder, созданная методом TIES с помощью mergekit. В объединение вошли deepseek-ai/deepseek-coder-6.7b-instruct и m-a-p/OpenCodeInterpreter-DS-6.7B; базой служит deepseek-ai/deepseek-coder-6.7b-base. Модель содержит 6,6 млрд параметров, использует архитектуру Llama с причинной языковой моделью и работает через Transformers. Нативный контекст — 16 384 токена. Модель предназначена для генерации кода и диалоговых сценариев, связанных с программированием: например, для написания и дополнения фрагментов кода, ответов на вопросы о коде и его объяснения. Информация о конкретных языках программирования и сравнительных преимуществах в карточке отсутствует. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

EvaByte — авторская байтовая языковая модель на 6,5 млрд параметров, разработанная командой авторов работы EvaByte: Lin Zheng, Xueliang Zhao и соавторами. Она использует плотную архитектуру EvaByteForCausalLM, механизм эффективного внимания EVA и предсказание нескольких байтов за шаг; обучена на 1,5 трлн байт текстов, математических данных и кода. Модель предназначена для генерации текста, работы с кодом и математическими задачами. Размер контекста составляет 32 768 токенов; модель обрабатывает текст на уровне байтов, поэтому отдельный токенизатор не требуется. В README также описан вариант EvaByte-SFT, прошедший supervised fine-tuning, однако представленный репозиторий называется EvaByte. Авторы заявляют, что EvaByte сопоставима с ведущими открытыми токенизаторными языковыми моделями при использовании в пять раз меньшего объёма обучающих данных, особенно сильна в задачах программирования и может декодировать до двух раз быстрее. Эти сравнительные характеристики приведены авторами; независимые результаты оценки в карточке не представлены. Модель выпущена под лицензией Apache-2.0.

Это объединённая модель на архитектуре Gemma 4, опубликованная пользователем tepirale в формате SafeTensors для Transformers. Метаданные связывают её с двумя моделями: yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF и yuxinlu1/gemma-4-12B-it-Claude-4.6-4.8-Opus-GGUF. README описывает преобразование весов из GGUF в SafeTensors, но не приводит подробностей об обучении или оценке качества. Модель предназначена для генерации текста и, согласно pipeline_tag, работы с изображениями вместе с текстом. Теги указывают на сценарии программирования, агентных задач, использования инструментов и терминала. Репозиторий использует библиотеку Transformers; лицензия — Apache 2.0. Подтверждённых сведений о поддерживаемых языках, контекстном окне и точном числе параметров в предоставленных данных нет.

GigaChat 3.5 Ultra Base — базовая языковая модель семейства GigaChat, опубликованная ai-sage. Это предварительно обученный чекпойнт для продолжения обучения и генерации текста; для диалогового использования с выполнением инструкций в README рекомендуется отдельная instruct-версия. Модель предназначена для многоязычных сценариев, рассуждений, программирования и агентных систем с использованием инструментов. По README, архитектура — MoE с 432 млрд параметров всего и 28 млрд активных параметров, гибридным вниманием MLA и GatedDeltaNet и двумя головами Multi-Token Prediction. Указаны поддержка контекста до 131 072 токенов и языки русский и английский. Метаданные указывают 25 млрд параметров, поэтому размер модели в источниках расходится. Репозиторий содержит веса Safetensors; лицензия — MIT. Большой контекст, MoE и гибридное внимание рассчитаны на эффективную генерацию при длинных запросах, а README сообщает о сильных результатах на тестах кода, математики и рассуждений. Для запуска такой крупной модели требуется кластерная инфраструктура. Это базовая, а не выровненная instruct-модель: её поведение в диалоге и следование инструкциям может быть ограничено.

Это квантованные сборки модели GLM-4.7-Flash-Claude-Opus-4.5-High-Reasoning-Distill, опубликованные пользователем noctrex в формате GGUF. Основа — дообученная для рассуждений модель GLM-4.7-Flash; каталог описывает её как ориентированную на программирование, научные вопросы и сложные задачи с длинным контекстом. Репозиторий содержит обычную MXFP4_MOE-квантизацию и экспериментальный вариант, который распределяет точность по важности тензоров: BF16 для наиболее важных, Q8_0 для умеренно важных и MXFP4 для остальных. Подбор точности основан на imatrix, созданной на данных code_tiny. Модель предназначена для генерации текста и диалогового использования, с упором на задачи программирования. Автор README сообщает, что экспериментальный вариант ещё не проверялся бенчмарками, поэтому его преимущество над основной MXFP4_MOE-сборкой не подтверждено. Лицензия в предоставленных данных не приведена.

云碩科技（xCloudinfo）制作的 gpt-oss-120b 衍生模型，基于 openai/gpt-oss-120b，并以 GGUF 格式发布。 Это MoE-модель с 117 млрд параметров, из которых активно используются 5,1 млрд; в карточке указаны 128 экспертов и формат MXFP4. Модель сохраняет формат рассуждений Harmony и рассчитана на генерацию текста в режиме диалога. Модель прошла двухэтапную донастройку: обучение на программных инструкциях с отбором решений, прошедших выполнение скрытых тестов, и дополнительное обучение для снижения отказов на разрешенные технические запросы. Разработчик ориентирует её на авторизованные исследования безопасности, red teaming, тестирование на проникновение, программирование и технические вопросы; запуск возможен через llama.cpp и другие совместимые с GGUF средства. Модель предназначена для опытного использования в контролируемых развертываниях. Снижение числа отказов не гарантирует точность или безопасность ответов; разработчик рекомендует самостоятельно проверять результаты и применять защитные меры. Для базовой модели указана лицензия Apache-2.0.

Granite-3B-Code-Base-128K — языковая модель IBM Research для генерации кода. Это плотная causal language model на архитектуре LlamaForCausalLM с 3,5 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 128 тысяч токенов. Модель получена продолжением предобучения Granite-3B-Code-Base: контекст постепенно увеличивали до 128K, используя данные на уровне репозиториев и повышенную долю примеров с длинными фрагментами кода. Модель предназначена для задач разработки ПО, включая генерацию, объяснение и исправление кода, создание модульных тестов и документации, поиск уязвимостей, перевод кода и работу с большими репозиториями. Она обучалась на коде из 116 языков программирования; среди языков, выделенных для продолженного обучения, — Python, C, C++, Go, Java, JavaScript и TypeScript. Модель принимает текстовые запросы и генерирует текст, в том числе код. Разработчик не рекомендует применять эту модель в новых проектах и предоставляет её для исторических и научных целей; для новых задач предлагается актуальная линейка Granite. Модель не проходила safety alignment, а сгенерированный код может быть ошибочным или содержать проблемные результаты. Также существует риск дословного воспроизведения фрагментов из обучающих данных. Лицензия — Apache 2.0.

Harness-1B — компактная языковая модель Algo Science Lab, разработанная Shahrear Hossain. Это плотная авторегрессионная модель семейства Llama примерно на 1 млрд параметров, дообученная на базе TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T для следования инструкциям и диалогов. Модель принимает текст и генерирует текст; заявленный контекст — 2048 токенов. Репозиторий содержит веса SafeTensors и вариант GGUF в формате F16. Модель предназначена для чат-ботов, локального помощника по программированию и инженерным вопросам, генерации и отладки кода, объяснения математики и технических концепций, подготовки документации, а также помощи в электронике, FPGA, ASIC и проектировании VLSI. В карточке заявлена поддержка английского языка. Лицензия — Apache-2.0. Модель может ошибаться, выдавать устаревшие сведения и допускать ошибки в рассуждениях; ответы для критически важных задач и производственного применения требуют проверки человеком.

InstructCodeT5+ 16B — модель Salesforce для понимания и генерации кода, основанная на семействе CodeT5+. Она использует архитектуру encoder-decoder и настроена следовать инструкциям на естественном языке; для загрузки применяется AutoModelForSeq2SeqLM и токенизатор CodeGen. Модель содержит 16 млрд параметров и доступна в формате PyTorch. Модель предназначена для генерации кода по запросу, дополнения кода, поиска соответствий между текстом и кодом, а также задач с программированием и математикой. В README перечислены обучающие языки программирования: C, C++, C#, Go, Java, JavaScript, PHP, Python и Ruby. Модель обучена на разрешающем подмножестве GitHub Code и лицензирована по BSD-3-Clause. Разработчики сообщают о результатах оценки на задачах генерации и понимания кода, включая HumanEval, но точность результата не гарантируется для произвольных запросов и проектов. Карточка рекомендует проверять качество, безопасность и справедливость ответов перед практическим применением; модель выпущена для исследовательских целей.

InverseCoder-CL-13B — модель для генерации кода по инструкциям, созданная авторами проекта InverseCoder с помощью дообучения CodeLlama-13b-Python-hf на данных, сформированных методом Inverse-Instruct. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров и контекстом до 16 384 токенов; она предназначена для запросов на естественном языке и генерации ответов и кода в формате text-generation. Модель подходит для написания и дополнения кода, выполнения инструкций по программированию и диалоговой помощи разработчику. В карточке указаны датасеты InverseCoder-CL-13B-Evol-Instruct-90K и Magicoder-Evol-Instruct-110K. README не приводит отдельные результаты бенчмарков или перечень поддерживаемых естественных языков. Репозиторий содержит веса Safetensors и использует лицензию llama2; условия применения следует сверять с лицензией и ограничениями исходной модели CodeLlama.

KwaiCoder-AutoThink-preview-GGUF — квантизированная версия языковой модели для генерации текста и программного кода, разработанная Kwaipilot и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая сценарии программирования, генерации и анализа кода, а также мультиязычной работы с текстом. В репозитории представлены варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 18,32 до 81,14 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp. Для работы требуется применять указанный шаблон диалога с токенами system, user и assistant; в начале ответа предусмотрен маркер <judge>. В README указана поддержка multilingual, однако конкретный список языков, архитектура исходной модели, число параметров и размер контекста не приведены. Сильной стороной модели является широкий выбор уровней квантизации: старшие варианты обеспечивают высокое качество, а Q4 и Q3 позволяют снизить требования к памяти. Ограничения связаны с большими требованиями к объёму оперативной или видеопамяти, возможной потерей качества при использовании низкобитных вариантов и отсутствием в README подробных оценок производительности. Модель распространяется по лицензии kwaipilot-license; лицензия обозначена как other, а её текст доступен в файле LICENSE.

noctrex/Laguna-XS-2.1-MXFP4_MOE-GGUF — квантизированная в MXFP4 сборка текстовой MoE-модели Poolside Laguna-XS-2.1 в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия; базовая Laguna-XS-2.1 ориентирована на агентное программирование, терминальные задачи и длительную работу с кодом. Для запуска требуется llama.cpp. Репозиторий также содержит вариант GGUF BF16. Модель создана на основе poolside/Laguna-XS-2.1; лицензия и подробные сведения о размере, контексте и языках в предоставленных данных отсутствуют.

Ling-Coder-lite — языковая модель с архитектурой Mixture of Experts (MoE), разработанная InclusionAI для генерации и понимания программного кода. В карточке README указано 16,8 млрд параметров, из которых активируются 2,75 млрд; модель представлена как дообученная версия Ling-Coder-lite-base. Метаданные репозитория указывают 1,5 млрд параметров и контекст 4096 токенов, тогда как README сообщает контекст 16K; эти характеристики в источниках расходятся. Модель предназначена для задач программирования и диалогового взаимодействия: она может генерировать код и отвечать на вопросы по коду. Разработчики сообщают о результатах на 12 бенчмарках программирования и о конкурентных задержке и пропускной способности среди кодовых моделей сопоставимого размера. В обучении использовались наборы Ling-Coder-SFT, Ling-Coder-SyntheticQA и Ling-Coder-DPO. Репозиторий опубликован в формате safetensors для библиотеки Transformers. Указанные языки — английский и китайский. Лицензия MIT разрешает широкое использование при соблюдении её условий.

Llama-Engineer-Evol-7B — языковая модель на архитектуре Llama 2, созданная дальнейшим дообучением чат-модели Meta с настройкой для следования инструкциям. Разработчик дообучил её на более чем 80 тысячах примеров по программированию из наборов Evol-Instruct-Code-80k-v1, CodeAlpaca-20k и GPTeacher-CodeInstruct; QLoRA-адаптер затем объединили с базовой моделью. Модель содержит 6,6 млрд параметров, работает с контекстом до 4096 токенов и рассчитана на генерацию текста на английском языке. Модель предназначена для ответов на вопросы по программированию, объяснения кода и помощи в решении задач разработки. Для взаимодействия рекомендуется формат запросов Llama 2 с инструкцией для программного ассистента. README отмечает, что формальных оценок качества не проводилось, поэтому возможности модели не подтверждены систематическими бенчмарками. Лицензия — CC BY-SA 4.0.

Macaron-V1-Venti — модель MindLab Research для персонального помощника, работы с инструментами, программирования и генерации интерфейсов через код. Она построена на GLM-5.2 с архитектурой Mixture of LoRA: маршрутизатор выбирает одного из четырёх специалистов, предназначенных для диалога, задач персонального агента, программирования и Generative UI. В README указано 748 млрд параметров; метаданные Hugging Face сообщают 30,4 млрд параметров. README поясняет, что эти числа используют разные способы подсчёта: 748 млрд — заявленная характеристика выпуска, а объём сохранённых тензоров адаптеров приводит к оценке около 774,8 млрд логических параметров. Модель поддерживает контекст до 1 048 576 токенов, работает с Transformers и распространяется в формате safetensors. Модель предназначена для диалогов, агентских рабочих процессов с вызовом инструментов, задач программирования и генерации пользовательских интерфейсов. В карточке заявлены оценки на наборах для диалога, агентных задач, терминала и GenUI, однако они характеризуют систему целиком и не позволяют установить вклад отдельных специалистов или маршрутизатора. Поддерживаемые языки — английский и китайский. Лицензия — MIT. Ограничения включают слабые места при последовательных вызовах, зависящих от результатов предыдущих действий, и качественное ухудшение стабильности характера в очень длинных сессиях. Маршрутизатор выбирает одного специалиста на весь ход пользователя, поэтому смешанные намерения могут обрабатываться неудовлетворительно. Отдельная оценка безопасности отсутствует; модель не рекомендуется для самостоятельных решений в медицинских, юридических и финансовых сценариях.

Mamba-Codestral-7B-v0.1 — открытая модель для генерации кода, разработанная командой Mistral AI. Она построена на архитектуре Mamba2 и предназначена для написания и дополнения программного кода в диалоговом и других сценариях генерации. В карточке модель сравнивается с кодовыми моделями Transformer сопоставимого размера на стандартных бенчмарках. Репозиторий содержит веса в формате safetensors, а для запуска рекомендуется библиотека mistral-inference; в метаданных также указана поддержка vLLM. Модель распространяется по лицензии Apache-2.0. Подтверждены возможности работы с кодом, но список поддерживаемых языков программирования и длина контекста в предоставленных данных не приведены.

Abiray/Muse-Glimmer-30B-GGUF — набор GGUF-квантов мультимодальной модели Muse-Glimmer-30B, разработанной meta-models и дистиллированной из Muse Spark. Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели, включая сценарии на потребительском оборудовании. Модель ориентирована на автономные агентные рабочие процессы, многошаговое рассуждение с длинным горизонтом, задачи программирования, включая SWE-bench, и надёжный вызов функций. Поддерживается обработка изображений через отдельный мультимодальный vision projector в формате GGUF; базовая модель и проектор загружаются раздельно. Заявлены 30 млрд параметров, контекст до 131 072 токенов и архитектура с визуальным проектором на основе ViT размером около 1,8 млрд параметров. Сведения о поддерживаемых языках в README не указаны. Доступны варианты квантования от Q8_0 до IQ3_XXS размером примерно от 29,6 до 11,5 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Вариант Q4_K_M обозначен как оптимальный компромисс и рассчитан примерно на 20–24 ГБ памяти, а Q8_0 обеспечивает качество, близкое к BF16, но требует 32–48 ГБ. Более сильное сжатие уменьшает требования к памяти, однако может снижать точность рассуждений и восприятия. Лицензия — Apache-2.0.