II.7DevOps, облако и эксплуатация IT-систем

Fabliq-8B-Agent — компактная агентная языковая модель LLM-OS-Models для работы с терминалом и задач программирования. Это дообученная и объединённая модель семейства Liquid AI LFM2.5 с MoE-архитектурой Lfm2MoeForCausalLM: в карточке указано 1,6 млрд параметров, а README описывает базовую конфигурацию как примерно 8 млрд параметров всего и около 1 млрд активных на токен. Модель принимает текст, использует контекст до 128 000 токенов и обучена на английских многоходовых траекториях взаимодействия с инструментами. Модель предназначена для сценария «прочитать — рассуждать — выполнить действие — проверить результат»: она может выдавать текстовые ответы и вызовы инструментов в формате Liquid, например Bash, Read, Edit, Write, Glob и Grep. Обучение проведено на 4 047 терминальных сессиях из набора Fable-5-traces, поверх модели ToolBench; README указывает три эпохи дополнительного обучения. Для выполнения действий требуется внешняя среда, которая разбирает и исполняет вызовы инструментов. Доступна по лицензии Apache-2.0.

cyankiwi/KAT-Coder-V2.5-Dev-AWQ-INT4 — квантованная версия модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot и опубликованной cyankiwi. Модель предназначена для генерации кода и агентного программирования, включая сценарии с использованием инструментов. Открытые веса совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Это текстовая MOE-модель с общим числом параметров 35 млрд и примерно 3 млрд активируемых параметров. Визуальные и мультимодальные компоненты в открытой версии отсутствуют. В README указана поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели составляет 24,43 ГБ; вариант AWQ-INT4 ориентирован на более экономичное размещение и запуск по сравнению с полноразмерными весами. К сильным сторонам относятся заявленная высокая производительность в задачах Agentic Coding среди моделей сопоставимого масштаба, а также снижение ряда аномальных поведений после SFT- и RL-обучения, включая некорректные метки инструментов и повторения в одном диалоге. Ограничения включают текстовый характер модели и отсутствие мультимодальности; конкретное максимальное окно контекста в предоставленных данных не указано. Лицензия — Apache-2.0.

MLX-форматная квантизированная версия модели Kimi-K2.7-Code, разработанной Moonshot AI и преобразованной сообществом mlx-community с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и прежде всего для задач, связанных с написанием и обработкой кода. Она рассчитана на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что размер модели позволяет сохранить ресурсы для полезного контекстного окна. Модель текстовая и не поддерживает обработку изображений или других модальностей. Квантизация DQ3_K_M использует смешанный подход: тензоры экспертных блоков квантизуются с разрядностью 3–4 бита, а остальные тензоры сохраняются в 8-битном представлении. Такой подход призван обеспечить качество, близкое к 4-битной квантизации, при меньшем размере, хотя скорость генерации может быть немного ниже из-за 8-битной маршрутизации. Точный размер модели, архитектура, число параметров, поддерживаемые языки и размер контекстного окна в README не указаны. Для запуска требуется библиотека mlx-lm и параметр --trust-remote-code, поскольку он необходим исходной моделью. Лицензия указана как modified-MIT с типом other; дополнительные условия в README не раскрыты.

Laguna XS 2.1 — языковая модель Poolside для агентного программирования и длительных рабочих сценариев на локальном компьютере. Это текстовая модель text-to-text, представленная в формате GGUF для llama.cpp и совместимая с vLLM и SGLang. Она предназначена прежде всего для задач разработки программного обеспечения, включая работу с терминалом, вызов инструментов и многошаговое выполнение задач. Модель использует архитектуру Mixture-of-Experts: 33 млрд параметров всего, из которых 3 млрд активируются на каждом токене. В ней 40 слоёв, 256 экспертов и один общий эксперт; 30 слоёв используют sliding window attention с окном 512 токенов, а 10 — глобальное внимание. Поддерживаются интерleaved reasoning между вызовами инструментов, сохранение рассуждений и включение или отключение режима рассуждений для отдельных запросов. Контекстное окно составляет до 262 144 токенов, а KV-кэш хранится в формате FP8 для снижения требований к памяти. К сильным сторонам относятся сочетание большого общего числа параметров с малым числом активных параметров, поддержка длинного контекста, инструментального взаимодействия и локального запуска. Для локального использования рекомендована квантизация Q4_K_M размером 20,3 ГБ; полноточная версия BF16 занимает 66,9 ГБ. Ограничением является то, что поддержка Laguna XS 2.1 на момент публикации README ещё не включена в основную ветку llama.cpp и требует сборки из специальной ветки или pull request. Модель рассчитана на программную инженерию и агентные сценарии, поэтому её пригодность для других задач следует проверять отдельно. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях при соблюдении условий лицензии и политики допустимого использования Poolside.

Qwenseek-3.8-27B-CyberLite-GGUF — специализированная кибербезопасностная модель, разработанная trjxter на основе unsloth/Qwen3.8-27B. Это первый этап линейки Qwenseek для задач кибербезопасности; данная публикация распространяется в формате GGUF для локального запуска через llama.cpp. Модель дообучалась методом supervised fine-tuning с использованием 4-битного QLoRA на данных, охватывающих программирование, программную инженерию, рассуждения, tool calling и кибербезопасность. Модель предназначена для защитного анализа уязвимостей, аудита и исправления кода, планирования обнаружения, локализации и устранения инцидентов, технического решения задач, агентных сценариев и структурированного использования инструментов. Также поддерживается контролируемое Cyber Red-рассуждение, но только в авторизованных, локальных, изолированных, образовательных или защитных сценариях. Основные характеристики: около 27,8 млрд параметров, архитектурное семейство Qwen3.8, валидированный контекст до 32 768 токенов, сохранённый MTP/NextN и преимущественно английский язык. CyberLite ориентирована на сочетание киберзащитных навыков с сильными возможностями программирования, технического рассуждения и работы с инструментами. Дообучение было текстовым: параметры зрения были заморожены, поэтому модель следует рассматривать как текстовую специализированную версию, а не как улучшенную мультимодальную модель. GGUF-релиз включает варианты квантования от Q2_K до Q8_0; рекомендуемый компромисс между размером и качеством — Q4_K_M, однако фактические требования к памяти и производительность зависят от среды запуска, длины контекста и настроек offload. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwopus-3.6-35B-A3B-Coder — созданная Jackrong экспериментальная модель для агентного программирования, основанная на Qwopus3.6-35B-A3B-v1 и Qwen3.6-35B-A3B. Это разреженная MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; она настроена на генерацию кода и рабочие циклы с вызовами инструментов при отключённом развёрнутом рассуждении. Модель предназначена для агентных систем, которые читают файлы, вносят изменения, запускают тесты и исправляют ошибки, а также для локального и самостоятельного развёртывания. Заявленные сценарии включают многофайловые изменения репозиториев, отладку, циклы исправления тестов, навигацию по крупным кодовым базам, DevOps-скрипты и помощь при проверке кода. Карточка сообщает о настройке под распространённые агентные оболочки и о fine-tuning с использованием Unsloth; метаданные указывают интерфейс вызова инструментов. Поддерживаются английский, китайский, испанский, русский и японский. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Автор позиционирует выпуск как экспериментальный и отмечает, что модель не прошла полную оценку безопасности и широкое тестирование на общих задачах. Качество вызовов инструментов зависит от формата запросов и агентной оболочки; для сложных задач развёрнутое рассуждение может быть полезнее.

CodeLlama 7B GGUF — это квантизированные файлы модели CodeLlama 7B, разработанной Meta и подготовленной в формате GGUF пользователем TheBloke. Модель относится к семейству Llama и предназначена для генерации и обработки программного кода, а также для задач текстовой генерации, связанных с разработкой программного обеспечения. Модель содержит около 7 миллиардов параметров и представлена в формате GGUFv2, совместимом с llama.cpp и рядом сторонних интерфейсов и библиотек. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; выбор варианта позволяет находить компромисс между размером файлов, требованиями к оперативной памяти, скоростью и качеством вывода. В README не указаны точное максимальное окно контекста, поддерживаемые естественные языки и дополнительные модальности, поэтому модель следует рассматривать прежде всего как кодовую текстовую модель. К сильным сторонам относятся возможность локального запуска на широком спектре оборудования, несколько уровней квантизации и совместимость с популярными инструментами, включая llama.cpp, LM Studio, text-generation-webui и llama-cpp-python. Ограничения связаны с потерями качества, возможными при низкобитной квантизации, а также с тем, что конкретные требования к памяти и производительность зависят от выбранного файла и оборудования. Модель распространяется по лицензии Llama 2; условия использования следует учитывать согласно этой лицензии.

Llama-3-8B-Instruct-Coder-v2-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Coder-v2. Базовая модель указана как NousResearch/Meta-Llama-3-8B-Instruct, оригинальная модель разработана rombodawg, а квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к текстовым генеративным моделям и ориентирована на работу с инструкциями и задачами программирования, включая генерацию и обработку кода. Заявленный язык — английский. Доступны варианты с разными уровнями квантизации: от Q8_0 размером 8,54 ГБ до IQ2_XXS размером 2,39 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые; более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Файлы предназначены для запуска через llama.cpp и используют специальный шаблон запросов Llama 3. В README не указаны точный размер контекстного окна, архитектурные детали сверх принадлежности к семейству Llama 3, результаты тестирования и поддержка других языков. Лицензия — Apache-2.0.

Mamba-Codestral-7B-v0.1 — открытая модель для генерации кода, разработанная командой Mistral AI. Она построена на архитектуре Mamba2 и предназначена для написания и дополнения программного кода в диалоговом и других сценариях генерации. В карточке модель сравнивается с кодовыми моделями Transformer сопоставимого размера на стандартных бенчмарках. Репозиторий содержит веса в формате safetensors, а для запуска рекомендуется библиотека mistral-inference; в метаданных также указана поддержка vLLM. Модель распространяется по лицензии Apache-2.0. Подтверждены возможности работы с кодом, но список поддерживаемых языков программирования и длина контекста в предоставленных данных не приведены.

Parable-Granite-4.1-8B-Claude-Fable-5 — плотная языковая модель на 8,4 млрд параметров, созданная AnkitAI дообучением IBM Granite 4.1 8B. Она рассчитана на многошаговые задачи агентного типа: планирование, работу с инструментами, программирование, терминал и отладку. Модель принимает текст и генерирует текст, включая структурированные вызовы инструментов. Поддерживает английский язык и наследует от базовой модели контекст до 131 072 токенов. Для дообучения использовались трассы сессий Claude Fable 5 и GPT-5.5, в том числе примеры работы кодирующего агента и решения задач в терминале. Автор сообщает о снижении потерь на отложенной выборке и приводит результаты качественной оценки на задачах программирования и отладки; результаты сравнения с другими репозиториями автор считает ориентировочными. Поведение, настроенное на агентные задачи, может приводить к выдаче JSON вызова инструмента вместо обычного ответа. Дообучение велось на последовательностях длиной 1 024 токена, поэтому именно на начальных ходах ожидается наиболее выраженное влияние дообучения. Веса распространяются по лицензии Apache-2.0. В обучающих данных есть набор с лицензией AGPL-3.0 и набор с лицензией MIT; условия использования исходных трасс третьих сторон могут применяться к последующему обучению и дистилляции. Сгенерированные команды и код следует проверять перед выполнением.

Qwen2.5-Coder-14B-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-14B, разработанной Qwen и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и работы с исходным кодом, включая локальные сценарии программирования и текстовой генерации. В README указан английский язык, однако подробные сведения о языковом покрытии отсутствуют. Это текстовая autoregressive-модель на 14 млрд параметров, представленная в форматах от F16 до различных вариантов 2–8-битной квантизации. Размер файлов составляет примерно от 6,38 до 29,55 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а варианты с меньшим размером подходят для систем с ограниченной оперативной памятью; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Поддерживается запуск через llama.cpp и LM Studio. Формат prompt использует шаблон с маркерами ролей system, user и assistant. К сильным сторонам относятся специализация на коде, широкий выбор квантизаций и возможность локального запуска. Ограничения связаны с компромиссом между размером и качеством: низкоразрядные варианты дают более низкое качество, а некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не рекомендуются для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная в формат GGUF пользователем zhangfeng026 с использованием llama.cpp и сервиса GGUF-my-repo. Исходная модель разработана командой Qwen; в карточке указана лицензия Apache-2.0. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая работу в чат-сценариях и использование через llama.cpp. Формат GGUF ориентирован на локальный запуск с помощью llama-cli или llama-server и может применяться на совместимом CPU или GPU-оборудовании. В качестве базовой модели указана Qwen/Qwen2.5-Coder-32B-Instruct, а размер исходной модели составляет 32B параметров. Ключевая характеристика этой версии — квантизация Q4_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной моделью, но потенциально снижает точность генерации. Модель относится к текстовым, поддерживает генерацию кода и текста; в метаданных указан английский язык. Размер контекста в README не определён: в примере запуска llama.cpp используется значение 2048 токенов, но это является параметром команды, а не обязательно максимальным контекстом модели. Подробные сведения о языках, архитектуре, результатах оценки и ограничениях рекомендуется уточнять в карточке исходной модели.

Qwen2.5-Coder-7B-Q8_0-GGUF — это преобразованная в формат GGUF версия языковой модели Qwen/Qwen2.5-Coder-7B. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и, прежде всего, работы с исходным кодом и другими задачами программирования. Модель содержит 7 млрд параметров и доступна в варианте квантования Q8_0, что позволяет использовать её через llama.cpp. В карточке указана поддержка английского языка; модальность — текстовая. Модель можно запускать локально через llama-cli или предоставлять к ней доступ по API через llama-server. В примере запуска серверу задаётся контекст размером 2048 токенов, однако это значение является параметром запуска и не обязательно отражает максимальный контекст модели. К сильным сторонам относятся специализация на коде, совместимость с llama.cpp и возможность локального запуска в GGUF-формате. Ограничения и результаты сравнительных оценок в README не указаны, поэтому нельзя сделать выводы о качестве на конкретных языках программирования, производительности или требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF — это версия модели Qwen3-Coder-30B-A3B-Instruct, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo проекта ggml.ai. Модель разработана командой Qwen; данный репозиторий поддерживается ggml-org и предназначен для запуска средствами llama.cpp. Модель относится к классу text-generation и ориентирована на задачи генерации текста и кода в сценариях локального инференса через llama.cpp, включая запуск в командной строке или в режиме сервера. Из доступных данных известно, что используется конфигурация Q8_0 с 30B параметров и архитектурой Mixture of Experts с активной частью 3B параметров, однако сведения о поддерживаемых языках, модальностях и размере контекста в карточке не приведены. Формат GGUF и интеграция с llama.cpp упрощают запуск на совместимом оборудовании, но требования к ресурсам и фактическая производительность зависят от аппаратной конфигурации. Лицензия указана как Apache-2.0. Подробные характеристики, ограничения и рекомендации по применению следует уточнять в карточке исходной модели Qwen/Qwen3-Coder-30B-A3B-Instruct, на которую ссылается README.

mlx-community/Qwen3-Coder-Next-8bit — модель генерации текста в формате MLX, созданная сообществом mlx-community на основе Qwen/Qwen3-Coder-Next. По названию и базовой модели предназначена прежде всего для задач, связанных с программированием и генерацией технического текста, а также для использования в приложениях, поддерживающих MLX и библиотеку mlx-lm. Модель была конвертирована в формат MLX с помощью mlx-lm версии 0.30.5; идентификатор указывает на 8-bit вариант. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста. Для запуска требуется библиотека mlx-lm, а модель поддерживает чат-шаблон токенизатора, если он определён. Распространяется по лицензии Apache 2.0.

ucbye/Qwen3-Coder-Next-NVFP4-GB10 — публичное зеркало квантизированной модели saricles/Qwen3-Coder-Next-NVFP4-GB10, основанной на Qwen3-Coder-Next от Alibaba и команды Qwen. Модель предназначена прежде всего для генерации и анализа программного кода, а также для сценариев развертывания LLM на системах DGX Spark с GPU GB10. В README указано, что веса байт-в-байт идентичны исходной квантизации, а зеркало предоставляет стабильную и неконтролируемую версию для проекта развертывания qwen3-coder-next. Архитектура qwen3_next сочетает линейное внимание DeltaNet, полноразмерное внимание и латентный MoE. Модель содержит 48 слоев, включая 36 слоев с линейным вниманием и 12 слоев с полным вниманием, 79,7 млрд параметров при примерно 3 млрд активных параметров на токен, 512 экспертов, из которых активируются 10 совместно с одним общим экспертом. Используется 4-битная NVFP4-квантизация через compressed-tensors; отдельные компоненты сохранены в BF16. Максимальная длина контекста составляет 262 144 токена, заявленный язык — английский. Размер модели на диске — около 45,9 ГБ. Сильные стороны модели — большой контекст, низкое число активных параметров на токен, сниженные требования к памяти и отсутствие KV-кэша у слоев DeltaNet. На DGX Spark заявлена скорость около 61 токена в секунду для одного запроса и поддержка примерно пяти одновременных сессий при контексте 262K с FP8 KV-кэшем. Ограничения включают зависимость производительности от совместимого оборудования и настроек vLLM, а также потери точности, возможные из-за агрессивной 4-битной квантизации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; перераспределение разрешено.

StarCoder2-15B-Instruct-v0.1-GGUF — это квантизированная в формате GGUF версия инструкционной модели StarCoder2-15B-Instruct-v0.1, разработанной BigCode и подготовленной компанией Second State Inc. Модель предназначена для генерации и обработки программного кода в сценариях, где требуется локальный или более ресурсоэффективный запуск текстовой генеративной модели. Модель имеет размер 15 млрд параметров и поддерживает контекст до 6144 токенов. В README не указаны точная архитектура, перечень поддерживаемых языков программирования и естественных языков, а также характеристики мультимодальности; по назначению и тегу code модель ориентирована на работу с текстом и исходным кодом. Доступны варианты квантования от Q2_K до Q8_0, а также F16 объёмом от 6,19 до 31,9 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой или низкой потерей качества. Главное преимущество сборки — возможность выбирать между меньшим объёмом файлов и сохранением качества. Более агрессивное квантование, включая Q2_K и некоторые варианты Q3, сопровождается существенной потерей качества, поэтому оно подходит не для всех задач. Лицензия модели — BigCode OpenRAIL-M. Для запуска в README упоминается LlamaEdge, но его поддержка обозначена как находящаяся в разработке; квантование выполнено с помощью llama.cpp версии b2824.

Tiel-Coder-35B-A3B-Genesis-Hermes-NVFP4-GGUF — это квантизированная в формате GGUF модель LuffyTheFox, созданная на базе Tiel-Coder-35B-A3B с переносом данных Hermes-файнтюнинга от DJLougen и последующей обработкой алгоритмом Genesis. Модель использует архитектуру Mixture of Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен; заявлено 8 активных экспертов. Квантизация выполнена в формате NVFP4, то есть NVIDIA 4-bit Floating Point. Модель предназначена для агентного программирования, точной генерации кода, задач с вызовом инструментов в формате Hermes, рассуждений в режиме Thinking и мультимодальных сценариев с изображениями. Заявлена поддержка английского, китайского и других языков. В примере конфигурации указан контекст до 128K токенов. Для совместимости с Hermes Agent рекомендуется использовать JSON-формат вызовов инструментов через параметр tool_call_format, поскольку шаблон чата может по умолчанию формировать XML-вызовы. Сильными сторонами модели являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка программирования, инструментов, рассуждений и vision, а также ориентация на стабильную генерацию после постобработки Genesis. Ограничения связаны с использованием низкобитной NVFP4-квантизации, возможными требованиями к совместимому ПО и оборудованию, а также необходимостью корректно настроить шаблон чата и параметры сэмплирования. Репозиторий распространяется по лицензии MIT.

CodeQwen1.5-7B-GGUF — набор GGUF-квантизаций модели CodeQwen1.5-7B, разработанный Qwen и подготовленный для llama.cpp пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, а также для локального текстового вывода. В README указана поддержка английского языка и формат взаимодействия с системными, пользовательскими и ассистентскими сообщениями через специальные токены ChatML. Модель содержит около 7 миллиардов параметров, представлена в многочисленных вариантах квантизации от Q8_0 до IQ1_M и имеет размеры файлов примерно от 2,36 до 7,70 ГБ. Более высокие варианты, такие как Q6_K и Q5_K_M, обеспечивают лучшее качество, тогда как низкобитные версии требуют меньше оперативной или видеопамяти, но заметно теряют в качестве. Конкретные сведения об архитектуре, размере контекста и дополнительных модальностях в README не указаны; по описанию это текстовая, а не мультимодальная модель. Преимущество набора — возможность запуска локально на различном оборудовании и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничения связаны с потерями качества при сильной квантизации, а также с тем, что README не приводит результаты тестирования и подробные характеристики исходной модели. Указана лицензия Tongyi Qianwen Research License; исходная модель доступна в репозитории Qwen.

QuantFactory/DeepSeek-Coder-V2-Lite-Base-GGUF — квантизированная версия базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной DeepSeek-AI и преобразованной QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации и автодополнения кода, вставки фрагментов кода, решения задач программирования и математического рассуждения. Это базовая модель, а не специализированная instruct-версия для диалогов. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд общих параметров, из которых при обработке активируется около 2,4 млрд. Она поддерживает контекст длиной до 128 тысяч токенов и 338 языков программирования. Квантизация в формате GGUF должна снижать требования к памяти по сравнению с исходной версией, однако конкретный тип квантизации и системные требования в предоставленных данных не указаны. Сильные стороны модели — специализация на коде, поддержка большого числа языков программирования и длинного контекста; ограничения включают отсутствие подробностей о конкретном варианте квантизации, качестве на отдельных языках и поведении в обычных диалоговых сценариях. Модель распространяется по лицензии deepseek-license; в карточке также указано обозначение лицензии other и ссылка на файл LICENSE. Условия использования следует уточнять по тексту этой лицензии.

DeepSeek-Coder-V2-Lite-Instruct-IMat-GGUF — это набор GGUF-квантизованных версий модели DeepSeek-Coder-V2-Lite-Instruct, подготовленный legraphista с использованием llama.cpp. Исходная модель имеет формат BF16, а представленные варианты включают BF16, FP16 и уровни квантизации от Q8_0 до 1-битных форматов. Для ряда вариантов применена IMatrix-квантизация на основе указанного калибровочного набора данных. Модель предназначена для генерации текста и, прежде всего, для задач программирования и диалогового использования в совместимых средах, включая llama.cpp. Доступны файлы размером примерно от 6,43 до 31,42 ГБ; конкретный объём зависит от выбранного формата. GGUF-варианты позволяют выбирать компромисс между качеством, требованиями к памяти и скоростью работы, однако README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях или размере контекста. Лицензия указана как deepseek-license; дополнительные условия находятся в файле LICENSE. README не приводит подробностей о сравнительных преимуществах, известных ограничениях или результатах оценки, поэтому качество и пригодность конкретного варианта следует оценивать с учётом выбранного уровня квантизации и используемой аппаратной конфигурации.

DeepSeek-V4-Flash-NVFP4-FP8 — это оптимизированная и квантизованная версия базовой модели DeepSeek-V4-Flash, разработанная Red Hat AI на основе модели deepseek-ai. Модель предназначена для развёртывания и инференса через Transformers и vLLM, в частности для задач общего инструктирования, математического рассуждения, reasoning и генерации кода. Она ориентирована на высокопроизводительное серверное использование с тензорным параллелизмом на нескольких GPU. Ключевая особенность модели — применение формата NVFP4, а также FP8 для KV-кэша. Для запуска рекомендуется использовать четыре GPU и FP8 KV cache; оценивание проводилось на 8 GPU B200. Точные архитектурные параметры, размер модели, поддерживаемые языки, модальности и длина контекста в README не указаны. На GSM8K модель показала точность 91,0%, а на MMLU-Pro — 55,4%. В сравнении с базовой моделью восстановление качества различается по задачам: оно составляет около 91–98% на большинстве указанных бенчмарков, при этом на AIME 2025 результат оказался выше базового. Основные преимущества модели — совместимость с vLLM, использование низкоразрядного представления для эффективного инференса и высокая пропускная способность. Ограничение заключается в заметной потере точности относительно базовой модели, связанной с тем, что исходная модель уже была выпущена в квантизованном формате, а также с различиями между форматами MXFP4 и NVFP4. В README упоминается, что более продвинутые методы, например GPTQ, могут улучшить восстановление точности. Модель распространяется по лицензии MIT.

Magic-Dolphin-7b — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория методом линейного слияния Dolphin 2.6 Mistral 7B DPO Laser, Hyperion 1.5 Mistral 7B и Merlinite 7B. Модель предназначена для генерации текста и ответов на технические вопросы; README сообщает о проверке нескольких весовых соотношений и приводит результаты бенчмарков рассуждения, знаний и решения задач. Для общения используется шаблон Alpaca, контекст составляет 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечена поддержка генерации кода, однако сведения о конкретных языках программирования или естественных языках не приведены. Репозиторий содержит веса Safetensors, а README указывает на отдельные GGUF-квантизации. Лицензия — Apache-2.0. Автор описывает релиз как эксперимент по объединению моделей; следующая версия, Excalibur-7b, уже выпущена.

Millie-35B-A3B-11GB — мультимодальная MoE-модель для программирования и агентных сценариев, опубликованная llmsforall. Она основана на архитектуре Qwen3.5-35B-A3B и производна от Agents-A1. Всего в модели 35 млрд параметров, из которых на каждый токен активны около 3 млрд; заявленная длина контекста — 262 тыс. токенов. Модель принимает текст и изображения. Веса сжаты примерно до 2,2 бита на параметр, а файлы GGUF занимают около 10,9 ГБ вместе с визуальным проектором. Для запуска требуется форк llama.cpp от llmsforall с поддержкой этого формата и файл mmproj для обработки изображений; upstream-версия llama.cpp не подходит. Выпуск распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-GGUF — квантизированная в формате GGUF версия базовой модели Qwen2.5-Coder-14B, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp версии b4058. Модель предназначена для генерации и автодополнения исходного кода и других задач программирования; в карточке указаны английский язык и текстогенерация как основной сценарий применения. Модель содержит 14 млрд параметров, обучена на 5,5 трлн токенов и поддерживает контекст до 128 тыс. токенов с настройками RoPE YaRN и коэффициентом 4,0; исходная длина контекста составляет 32 тыс. токенов. Это именно базовая модель, поэтому она рассчитана на completion и generation, а не на диалоговый или instruct-режим, что ограничивает её готовность к общению по инструкциям без дополнительного форматирования или дообучения. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-Uncensored-Heretic-GGUF — набор GGUF-квантизаций модели llmfan46/Qwen3-Coder-Next-Uncensored-Heretic, созданной независимым разработчиком llmfan46 на основе Qwen3-Coder-Next от Qwen. Модель предназначена прежде всего для локальной разработки, программирования и агентских сценариев, включая работу с инструментами, длительные цепочки рассуждений, восстановление после ошибок выполнения и интеграцию с CLI/IDE-средами. Доступна для llama.cpp, LM Studio, Ollama и других совместимых инструментов. Архитектура исходной модели — каузальная языковая модель с гибридной структурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего 80 млрд параметров, из которых активируются 3 млрд; 79 млрд параметров относятся к неэмбеддинговым. Модель содержит 48 слоёв, 512 экспертов MoE, из которых активируются 10, и поддерживает контекст до 262 144 токенов. Указан только текстовый режим и режим без рассуждений с блоками <think></think>; сведения о поддерживаемых языках в README не приведены. Это декензурированная версия: по данным автора, она показала 8 отказов из 100 против 100 из 100 у оригинальной модели при KL-дивергенции 0,1488, что указывает на значительно меньшее число отказов при сохранении близости к исходной модели. Основное ограничение — отсутствие подробных независимых оценок качества и языкового охвата, а также необходимость выбирать компромисс между размером и качеством среди вариантов от BF16 до Q3_K_S. Модель распространяется по лицензии Apache-2.0.

starcoder2-15b-instruct-v0.1-GGUF — это квантизированная в формате GGUF версия StarCoder2-15B-Instruct, разработанной командой BigCode и опубликованной в вариантах квантования пользователем bartowski. Модель предназначена для генерации кода и работы в формате инструкций, включая написание, исправление и анализ программ, предсказание результатов выполнения и решение задач программирования. Модель основана на bigcode/starcoder2-15b и содержит около 15 млрд параметров. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K и IQ3 объёмом примерно от 7 до 17 ГБ, что позволяет выбирать между качеством и требованиями к памяти. README не указывает поддерживаемые языки программирования и размер контекста. Модель использует специальный формат инструкций и не поддерживает системный промпт. Сильными сторонами являются специализация на задачах программирования и несколько вариантов квантования для локального запуска с разным балансом качества и потребления памяти. В бенчмарках указаны результаты HumanEval pass@1 72,6%, MBPP 75,2% и другие показатели LiveCodeBench и DS-1000, однако фактическое качество зависит от выбранного уровня квантования и сценария использования. Модель предназначена для текстовой генерации и не заявлена как мультимодальная. Лицензия — BigCode OpenRAIL-M.

Terminus-Qwen3-8b-i1-GGUF — это квантизированная версия языковой модели Terminus-Qwen3-8b, разработанной OrionLLM и преобразованной в формат GGUF пользователем mradermacher. Модель обучалась на наборе данных OrionLLM/OpenAgentInstruct и ориентирована на генерацию текста, агентские сценарии, рассуждения, работу с терминалом и задачи, связанные с разработкой программного обеспечения, включая SWE-bench. Модель относится к текстовым Transformer-моделям и содержит около 8 млрд параметров. В README указан английский язык, поддержка мультимодальности и размер контекстного окна не заявлены. Репозиторий предоставляет варианты квантизации i1 от IQ1_S до Q6_K с размером файлов примерно от 2,2 до 6,8 ГБ. Квантизация позволяет запускать модель с меньшими требованиями к памяти; при этом низкие уровни квантизации могут заметно снижать качество. В качестве компромисса между размером, скоростью и качеством рекомендован вариант i1-Q4_K_M. Модель подходит для локального запуска в совместимых инструментах, поддерживающих GGUF, особенно для текстовых ассистентов и агентских рабочих процессов. Ограничениями являются заявленная ориентация на английский язык, отсутствие сведений о контекстном окне и неравномерное качество разных вариантов квантизации. Указанная лицензия — Apache-2.0.

TheBloke/CodeLlama-34B-GGUF — это набор квантованных файлов модели CodeLlama 34B, разработанной Meta. Репозиторий подготовил TheBloke, преобразовав исходную модель codellama/CodeLlama-34b-hf в формат GGUFv2 для локального запуска и инференса. Модель предназначена прежде всего для генерации и работы с программным кодом. Она относится к семейству Llama и имеет размер 34 млрд параметров. В README указано, что модель поддерживает текстовую генерацию и ориентирована на код; конкретные языки программирования, контекстное окно и дополнительные модальности не указаны. Файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию. Модель совместима с llama.cpp начиная с указанной версии, а также с рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. К сильным сторонам относятся возможность локального запуска на CPU и GPU и наличие нескольких уровней квантования. Ограничения связаны с потерями качества при сильном квантовании и высокими требованиями к ресурсам для 34-миллиардной модели; точные показатели производительности в README не приведены. Модель распространяется по лицензии llama2. Условия использования исходной модели и квантованных файлов следует рассматривать с учетом этой лицензии.

Codestral-22B-v0.1-IMat-GGUF — GGUF-квантизированная версия Codestral-22B-v0.1, разработанного Mistral AI и подготовленная legraphista. Модель предназначена для генерации и работы с программным кодом, включая сценарии автодополнения и Fill In the Middle (FIM); в этой сборке исправлены отсутствующие FIM-токены. Указанный pipeline относится к генерации текста, а заявленный язык — code. Модель основана на версии размером 22B параметров с исходным форматом BF16 и преобразована с использованием llama.cpp. Доступны варианты GGUF от BF16 и FP16 до Q2_K, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера; размеры файлов варьируются примерно от 8,27 до 44,5 ГБ. Формат GGUF подходит для запуска в совместимом программном обеспечении, включая llama.cpp. Сильными сторонами являются специализация на коде, поддержка FIM и широкий выбор уровней квантизации для компромисса между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных сведений о конкретной архитектуре, размере контекста, перечне естественных языков, результатах бенчмарков и характеристиках производительности; качество также зависит от выбранного варианта квантизации и оборудования. Лицензия указана как MNPL-0.1; условия следует уточнять в тексте лицензии Mistral AI.