II.5Безопасность программного кода и цепочки поставок

DeepSeek-Coder-V2-Instruct — диалоговая модель для программирования от DeepSeek AI, дообученная на базе DeepSeek-Coder-V2-Base. Это вариант семейства DeepSeek-Coder-V2 на архитектуре DeepSeekMoE; в карточке репозитория указано 18,1 млрд параметров, а README сообщает о версиях семейства с 16 млрд и 236 млрд параметров, из которых активно используются соответственно 2,4 млрд и 21 млрд. Контекст модели по метаданным составляет 163 840 токенов. Модель предназначена для генерации и дополнения кода, вставки фрагментов в существующий код, диалоговой помощи при разработке и решения задач на математические рассуждения. Семейство поддерживает 338 языков программирования и заявляет улучшенные способности к кодированию при сохранении возможностей в задачах на естественном языке. README приводит сравнительные результаты на бенчмарках, но не уточняет их методику для данного конкретного варианта. Для запуска в формате BF16 README указывает требование к оборудованию 8 GPU с 80 ГБ памяти каждый. Репозиторий содержит веса Safetensors. Лицензия в метаданных обозначена как «other», поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto-GGUF — это GGUF-квантизация инструкционной языковой модели Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto, разработанной EpistemeAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, работы с инструкциями и задач, связанных с программным кодом; запуск возможен, в частности, через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Meta Llama 3.1 с размером 8B параметров и заявленным контекстом 128K токенов. Репозиторий содержит варианты от исходных весов F16 размером 16,07 ГБ до квантизаций Q8_0, Q6_K_L, Q6_K, Q5_K_L и других, что позволяет выбирать баланс между качеством и требованиями к памяти. Варианты Q6_K и Q6_K_L отмечены как рекомендуемые и обеспечивающие очень высокое качество. Поддерживается только текстовая модальность. Сильными сторонами являются большой контекст, инструкционная настройка, специализация исходной модели на агентских и кодовых сценариях, а также широкий выбор GGUF-квантизаций для локального запуска. Ограничения включают зависимость качества и требований к ресурсам от выбранного уровня квантизации; приведённые результаты бенчмарков показывают неоднородную производительность на задачах рассуждения, математики и общих знаний. README не содержит подробностей о методике обучения и дополнительных языках.

Phi-4-reasoning-plus — открытая языковая модель Microsoft Research для генерации ответов с развернутыми рассуждениями. Эта производная от microsoft/Phi-4-reasoning-plus модель содержит 14,1 млрд параметров и использует плотный декодерный Transformer семейства Phi-3. Она принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для англоязычных задач, где важны рассуждения и логика: решения задач по математике и науке, программирование, планирование и следование инструкциям. Её можно использовать как основу для генеративных функций в условиях ограниченных вычислительных ресурсов. Дообучение включало supervised fine-tuning на цепочках рассуждений и обучение с подкреплением; модель в среднем генерирует примерно на 50% больше токенов, что может повышать задержку. Карточка предупреждает, что модель проверялась прежде всего для математических рассуждений и не оценивалась специально для всех вариантов применения. Ответы требуют проверки, особенно в высокорисковых сценариях. Репозиторий распространяется по лицензии MIT.

unsloth/Phi-4-reasoning-plus-GGUF — GGUF-версия модели Phi-4-reasoning-plus, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая по весам текстовая модель генерации для диалогов и задач, требующих рассуждений, прежде всего математики, естественных наук и программирования. Модель дообучалась методом supervised fine-tuning на синтетических и отфильтрованных общедоступных данных, а также с применением reinforcement learning. В основе лежит плотная decoder-only Transformer-архитектура с 14 млрд параметров и контекстом до 32 тыс. токенов. Модель принимает текстовые запросы, предпочтительно в формате чата, и генерирует текстовые ответы на английском языке. Ответы состоят из блока цепочки рассуждений и последующего блока суммаризации. Версия GGUF предназначена для запуска в совместимых инструментах, включая llama.cpp; для включения режима рассуждений в llama.cpp требуется параметр --jinja. Сильной стороной модели является повышенная точность благодаря дополнительному reinforcement learning и специализации на сложных задачах рассуждения, математике, науке и коде. Ограничением служит более высокая задержка: модель в среднем генерирует примерно на 50% больше токенов. README не содержит отдельной информации о специфических ограничениях качества или требованиях к аппаратным ресурсам именно этой GGUF-квантизации. Указанная лицензия — MIT.

Qwen2.5-Coder-32B-Instruct-8bit — это 8-битная версия модели Qwen2.5-Coder-32B-Instruct, конвертированная в формат MLX сообществом mlx-community с использованием mlx-lm 0.19.3. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель ориентирована на задачи кодирования и чат-сценарии, включая генерацию ответов на запросы пользователя с применением chat template. В README указано, что она поддерживает английский язык и относится к классу text-generation. Размер исходной модели составляет 32B параметров, а представление использует 8-битную квантизацию. Архитектура и размер контекстного окна в предоставленных данных не указаны. Ключевое преимущество этой версии — формат MLX, предназначенный для использования через mlx-lm; README содержит пример загрузки и генерации. Ограничения, точные показатели качества, перечень поддерживаемых языков помимо английского и требования к аппаратному обеспечению не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ASCII-Condensed — текстовая GGUF-модель, созданная bsaleh03 на основе Qwen/Qwen3.8-27B и квантованной сборки unsloth/Qwen3.8-27B-GGUF. Это не дообучение, дистилляция или повторное квантование: из квантованной модели удалены строки словаря для не-ASCII-токенов, а токенизатор адаптирован к сокращённому словарю. Модель предназначена для генерации текста и работы с длинным контекстом через llama.cpp, прежде всего на одной видеокарте с 16 ГБ памяти. Словарь уменьшен с 248 320 до 129 006 строк, при этом остальные 864 из 866 тензоров побитово идентичны базовой квантованной модели. На RTX 5070 Ti с 16 ГБ заявлена поддержка до 135 168 токенов контекста при использовании q4_0 для KV-кэша; максимальная длина зависит от типов KV-кэша и доступной видеопамяти. Модель сохраняет MTP-голову для спекулятивного декодирования, а на ASCII-тексте токенизация совпадает с базовой моделью. Основное преимущество — экономия видеопамяти и увеличение доступного контекста без изменения большинства весов. Ограничение — ASCII-ориентированный словарь: английский язык, код и ASCII-пунктуация обрабатываются без дополнительных затрат, но символы с диакритикой, кириллица, CJK и другие не-ASCII-тексты требуют больше токенов; для работы преимущественно на неанглийских языках сборка не рекомендуется. Модель поддерживает только текстовый режим, файл mmproj отсутствует, а смешанные типы KV-кэша требуют пропатченной версии llama.cpp. Распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

GLM-5.2-EXL3-TR3-3.40bpw-KVarN-K4V2 — это локально ориентированный serving-чекпойнт на базе GLM-5.2 от zai-org, подготовленный jpsequeira. Модель предназначена для генерации текста, прежде всего для задач программирования, рассуждений и агентских сценариев, с акцентом на эффективное развертывание на четырёх GPU RTX PRO 6000 Blackwell по 96 ГБ. Чекпойнт рассчитан на использование с форком local-inference-lab/vllm и специализированными компонентами b12x, KVarN и sparkinfer. Модель использует архитектуру GLM-5.2 размером 756B параметров с MoE и маршрутизацией экспертов. Применена смешанная EXL3-квантизация примерно 3,40 бит на вес, а для KV-кэша используется формат KVarN K4V2 с затратами 290 байт на токен на слой. Поддерживаются sparse MLA attention, paged top-k indexer и MTP3 speculative decoding. Для данного класса оборудования подтверждён контекст до 819K токенов; модель относится к текстовым моделям, однако сведения о поддерживаемых языках в README не указаны. Сильными сторонами являются высокая экономичность KV-кэша, большой практически проверенный контекст и оптимизация под локальное инференс-развёртывание. При этом качество квантизации зависит от домена: заявленные низкие значения KLD на калибровочном наборе не обобщаются на отложенные данные, где модель уступает некоторым общественным чекпойнтам GLM-5.2. Кроме того, для работы требуются совместимые GPU, специализированный runtime и соответствующие backend-компоненты. Чекпойнт распространяется по лицензии MIT.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

ModernBERT-large — англоязычная модель Answer.AI, LightOn и их коллег, представляющая собой двунаправленный трансформерный энкодер в стиле BERT. Она содержит около 395 млн параметров и принимает последовательности длиной до 8 192 токенов. В архитектуре используются Rotary Position Embeddings, чередование локального и глобального внимания, а также оптимизации для эффективной обработки длинных входов. Модель предварительно обучена на 2 трлн токенов английского текста и кода. Её основная задача — предсказание замаскированных токенов; как энкодер она также подходит в качестве основы для классификации, поиска информации и семантического поиска по текстовым и кодовым корпусам. Для запуска доступны форматы PyTorch, Safetensors и ONNX через библиотеку Transformers. Модель особенно полезна для длинных документов и поиска по коду, но карточка Hugging Face классифицирует её как fill-mask, а не как готовую модель эмбеддингов или классификатор. Качество может быть ниже для языков помимо английского и кода; обработка всего контекстного окна может быть медленнее коротких входов, а представления могут отражать смещения обучающих данных. Лицензия — Apache-2.0.

Qwen3.8-3.6-27B-blend — неофициальная производная модель, подготовленная JetBrains на основе моделей Qwen от Alibaba Cloud. Это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration; её параметры получены линейным слиянием в пропорции 50/50 чекпойнтов Qwen3.6-27B и Qwen3.8-27B. Конфигурация, токенизатор, процессор и шаблон чата взяты от Qwen3.8-27B. Модель предназначена для диалогов, работы с изображениями и программирования; поддерживает интерфейс вызова инструментов. JetBrains приводит результаты внутреннего бенчмарка на задачах программирования, однако описание не содержит численных результатов качества. Доступны варианты BF16, GGUF, MLX 4-bit и MTP MLX 4-bit; в репозитории Hugging Face указаны веса safetensors. Дополнительного обучения или тонкой настройки не проводилось. Модель распространяется по лицензии Apache 2.0. Ограничения качества и поддерживаемые языки отдельно не описаны; применение для видео и многошаговых задач указано в сведениях о базовой модели, но карточка производной модели подтверждает только задачу image-text-to-text.

Qwen3.8-Flash-Next-oQ5e-mtp — это 5-битная смешанная oQ5e-квантизация базовой модели Qwen/Qwen3.8-Flash-Next. Квантизация выполнена непосредственно из исходных BF16-весов с помощью oMLX 0.6.4; автор квантизации в README явно не указан. Модель предназначена для локальной генерации текста, рассуждений, решения задач с ограничениями, отладки Python-кода и других сценариев, где важны качество рассуждений и стабильность генерации. Сохранены компоненты MTP и vision, поэтому поддерживаются текстовые и визуальные входы базовой модели, однако точный набор языков и максимальная длина контекста в README не указаны. Номинальный размер группы квантования — 64, неквантизированный тип данных — BF16, размер модели — около 125,7 ГБ. Для работы рекомендована система Apple Silicon с 128 ГБ unified memory, включёнными SSD N-gram Offload и Lightning MTP; основное тестирование проводилось на MacBook Pro с Apple M5 Max. При активной генерации модель потребляла около 102 ГБ общей системной памяти, а требования к памяти увеличиваются с ростом контекста и KV-кэша. По данным автора, по сравнению с oQ4e модель обеспечивает более высокую устойчивость рассуждений и генерации на сложных задачах, сохраняя практичность для локального запуска. В отдельных тестах она корректнее решала задачи с ограничениями и полностью завершала длительные вычислительные сценарии, но не превосходит oQ4e во всех бенчмарках и может работать медленнее на некоторых нагрузках; в приведённом тесте отладки Python предложенная реализация содержала ошибку управления состоянием. Лицензия указана как qwen-community-1.0.

Whittle-Next-27B-A3B-GGUF — это исследовательская GGUF-квантизация модели logic65/Whittle-Next-27B-A3B, разработанная David Aylward (logic65) совместно с Claude (Anthropic). Модель предназначена для запуска через llama.cpp и совместима с LM Studio, Jan, Ollama и llama-swap при наличии актуальной версии llama.cpp. Лицензия — Apache-2.0. Модель использует архитектуру Qwen4-Next в формате qwen4_exp и представляет собой смесь экспертов (MoE) с 27 млрд параметров всего и примерно 3 млрд активных параметров на токен. В ней применяются гиперсвязи остаточных потоков, хешированная n-gram-память объёмом 2 млрд строк, поуровневые эмбеддинги и дистилляция из Qwen3.8-27B. Поддерживаются текстовая генерация, диалоговые сценарии, рассуждения, математика и программирование; заявлены английский, китайский и многоязычный режимы. Доступны варианты квантизации от Q3_K_M до Q8_0 размером примерно от 13,3 до 29,3 ГБ. В README указано, что модель рассчитана на контекст до 16 384 токенов при рекомендованной настройке запуска. Сильными сторонами являются низкое число активных параметров, возможность запуска на стандартном llama.cpp без патчей, поддержка режима пошагового рассуждения и сравнительно высокая точность на математических задачах и проверке кода для исследовательского прототипа. Модель рекомендуется использовать с включённым thinking-режимом, сэмплированием и бюджетом не менее 4096 токенов для программирования. Это research preview, а не завершённая универсальная модель: ответы по коду могут быть длинными, производительность зависит от квантизации и размещения памяти, а при жадной генерации возможны зацикливания. Для полноценной оценки следует учитывать ограничения и измерения из базовой карточки модели.

QuantFactory/CodeLlama-7b-Instruct-hf-GGUF — это квантизированная версия CodeLlama-7b-Instruct-hf, разработанная на основе модели codellama/CodeLlama-7b-Instruct-hf. Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели в формате GGUF. Модель относится к семейству Llama и ориентирована на генерацию текста и работу с программным кодом, включая сценарии инструкционного взаимодействия с разработчиком. В README указано, что исходная модель имеет размер 7 миллиардов параметров. Поддерживаются варианты квантизации Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, позволяющие выбирать компромисс между качеством, скоростью и требованиями к памяти. Ключевое преимущество модели — возможность более экономичного локального запуска благодаря квантизации и совместимости с llama.cpp. README не содержит сведений о поддерживаемых языках, размере контекста, точных характеристиках отдельных вариантов квантизации, лицензии или ограничениях применения. Также в заголовке README упоминается Mistral-7B-v0.1-GGUF, однако метаданные и описание указывают на CodeLlama-7b-Instruct-hf; поэтому идентификацию модели следует основывать прежде всего на метаданных репозитория.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это GGUF-версия языковой модели DeepSeek-R1-0528-Qwen3-8B, подготовленная Unsloth на базе модели DeepSeek AI. Модель ориентирована на задачи, требующие рассуждений, включая математику, программирование, общую логику и работу с функциями, а также на сценарии локального запуска через совместимые инструменты, например Ollama и llama.cpp. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF. В README указаны улучшения глубины рассуждений, качества вывода на математических и логических тестах, снижение частоты галлюцинаций, расширенная поддержка function calling и улучшенный опыт vibe coding. Рекомендуется использовать температуру 0,5–0,7, оптимально 0,6, и Top_P 0,95. Сведения о точной архитектуре, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Формат GGUF удобен для локального вывода и позволяет выбирать варианты квантования, однако конкретный уровень квантования зависит от используемого файла и в данной карточке не указан. Для корректной работы требуется соблюдать рекомендованный chat template и настройки инференса. Модель распространяется по лицензии MIT.

DeepSeek-V4.1-Flash-4bit-paged — квантизированная 4-битная версия модели DeepSeek-V4.1-Flash, разработанная GreenBitAI на базе сборки pipenetwork для MLX и Apple Silicon. Это языковая модель для генерации текста, включая работу с кодом, агентские сценарии и диалоги; поддерживает потоковую загрузку экспертных весов с диска и опциональное speculative decoding с помощью встроенной DSpark multi-token prediction head. Модель использует архитектуру mixture-of-experts с маршрутизируемыми экспертами и expert paging: резидентные веса занимают 10,48 GiB, а полный набор данных модели — около 406,10 GiB, включая experts.bin, engram-таблицы и черновую голову. Точные размеры исходной архитектуры, поддерживаемые языки и максимальная длина контекста в README не указаны. Доступна через библиотеку gbx-lm; при наличии достаточного объёма памяти может работать на штатном пути, а при нехватке ресурсов подгружает необходимые веса с диска. К сильным сторонам относятся сохранение логитов исходной модели при проверках, возможность работы с большими наборами весов на совместимых системах и ускорение генерации до 2,3 раза при включённой draft head, особенно на предсказуемом коде и длинном контексте. Ограничения включают очень высокие требования к дисковому пространству и памяти, зависимость от MLX, Apple Silicon и gbx-lm, а также то, что ускорение speculative decoding зависит от сценария. Лицензия — MIT; в README также указано, что лицензия исходной модели DeepSeek сохраняется.

OS-Software/Gemma-4-12B-it-QAT-Q4_0-Unquantized-Heretic-JA — производная разговорная мультимодальная модель на основе Google Gemma 4 12B IT, опубликованная OS-Software. Модель предназначена для экспериментов с диалогом, рассуждениями, агентными сценариями, программированием и пониманием изображений; заявлены также OCR, разбор документов и анализ видео для семейства Gemma 4. Архитектура — плотная Gemma4 Unified с чередованием локального и глобального внимания. Метаданные указывают формат safetensors, библиотеку Transformers, поддержку чата и изображений, а также тег задачи image-text-to-text. README семейства указывает контекст до 256K токенов для 12B и поддержку более 35 языков, но эти характеристики относятся к семейству, а не подтверждены отдельно для этой производной модели. README позиционирует модель для исследований безопасности, выравнивания и red teaming и просит не развёртывать её в публичных или пользовательских сервисах. В карточке также приведены общие ограничения Gemma: возможны фактические ошибки, смещения данных и трудности с неоднозначными формулировками и сложными задачами. Лицензия — Apache-2.0. В названии присутствуют «QAT», «Q4_0» и «unquantized», однако метаданные сообщают только о safetensors, поэтому фактический формат весов в описании не уточняется.

Hy3-GGUF — набор GGUF-квантизаций модели Tencent Hy3, подготовленный пользователем vcruz305. Это MoE-модель для генерации текста, диалогов, программного кода и задач рассуждения. Базовая модель имеет 295 млрд параметров, из которых 21 млрд активируются на токен, использует 192 эксперта с выбором top-8, включает 80 основных слоёв и дополнительный MTP/NextN-слой объёмом 3,8 млрд параметров. Заявлена длина контекста до 256K токенов. Модель работает с текстом; сведения о поддерживаемых языках в README не указаны. Репозиторий содержит варианты от IQ1_M и IQ2_M до Q8_0 размером примерно от 92 до 318 ГБ, рассчитанные на системы с большим объёмом памяти и, для некоторых вариантов, на конфигурации из двух узлов. Квантизации используют importance matrix, рассчитанную на корпусе с примерами программирования, рассуждений и диалогов. Для части вариантов проверена генерация кода и диалогов на реальном оборудовании; также поддерживается speculative decoding через MTP, которое в приведённых измерениях заметно повышало скорость генерации. Для запуска требуется llama.cpp с поддержкой архитектуры Hy3: до включения соответствующих изменений в основную ветку необходима специальная ветка с PR #25364. Для корректного применения шаблона чата требуется параметр --jinja. Ограничениями являются значительные требования к памяти, необходимость совместимого оборудования и специальной сборки llama.cpp; часть квантов не проходила индивидуальное нагрузочное тестирование. Модель распространяется по лицензии Apache-2.0.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-GGUF — это квантизированная GGUF-версия модели KAT-Coder-V2.5-Dev, разработанной Kwaipilot и подготовленной Ttimms. Модель предназначена для генерации текста и программного кода, агентного программирования и работы через llama.cpp-совместимые приложения. Указан английский язык. В основе лежит гибридная архитектура Gated-DeltaNet и Mixture of Experts (MoE). В результате 50-процентного pruning методом REAP число экспертов сокращено с 256 до 128, общий размер составляет около 19 млрд параметров, а активными при инференсе являются примерно 3 млрд параметров. Vision tower удалён, MTP head отсутствует. Доступны варианты квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемый Q4_K_M занимает около 11,4 ГБ и рассчитан на запуск в системах с 16 ГБ памяти. Сильные стороны модели — высокая эффективность MoE при относительно умеренных требованиях к вычислениям, поддержка CPU и Apple Silicon, а также хорошие заявленные результаты на HumanEval+ и MBPP+. Для работы требуется свежая версия llama.cpp с поддержкой архитектуры qwen35moe; поддержка Ollama зависит от обновления встроенной версии llama.cpp. Более качественные кванты требуют больше памяти, а Q8_0 нуждается более чем в 16 ГБ или в выгрузке части вычислений на CPU. Заявленные результаты основаны на одиночных greedy-запусках и имеют заметный разброс между повторными измерениями. Модель распространяется по лицензии Apache-2.0.

Kiwen1.2-27B — дообученная языковая модель с 27 миллиардами параметров, созданная разработчиком beyoru на основе Qwen3.8-27B. Модель обучалась на длинных рассуждениях из Kimi K3 с применением RLVR и ориентирована на улучшение качества рассуждений, следования инструкциям и надёжности выполнения задач. Модель предназначена для математических и логических задач, программирования, использования инструментов, агентских сценариев и других задач, требующих последовательного рассуждения. Она поддерживает режимы с включённым и отключённым анализом: режим рассуждений рекомендуется для сложных задач, а отключение — для извлечения данных, классификации и форматирования. В README указана возможность работы с контекстом до 262 144 токенов при использовании SGLang, однако сведения о языковом охвате и фактических мультимодальных возможностях не приведены. Заявленное преимущество модели — сочетание относительно компактного размера с акцентом на reasoning, coding, tool use и instruction following; во внутреннем тесте из 100 агентских задач она показала результат 81,2%. Эти показатели не подтверждены независимым публичным бенчмарком. Ограничением является отмеченное разработчиком снижение качества при использовании с dflash2; также в карточке нет подробных данных об архитектуре, датасетах и результатах на стандартных тестах. Модель распространяется по лицензии Apache-2.0 и основана на Qwen3.8-27B, также выпущенной под Apache-2.0.

MistralCode-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit из mistralai/Mistral-7B-Instruct-v0.2 и dhyay/mistral_codev2_3k. Веса объединены методом SLERP; модель содержит 7,1 млрд параметров и принимает текстовый контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате, включая задачи программирования, на которые ориентирована одна из исходных моделей. Может использоваться для помощи с кодом и обычных текстовых запросов. Сведения о поддерживаемых естественных языках и лицензии в доступных данных отсутствуют.

Ngixdev/OmniCoder-Qwen3.5-9B-Claude-4.6-Opus-Uncensored-v2-GGUF — это GGUF-модель на базе Qwen/Qwen3.5-9B, разработанной Alibaba Cloud. Она создана путём объединения модели Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2 и OmniCoder-9B-GGUF; при слиянии изменялись только дообученные веса, подготовленные с помощью Unsloth, в формате float32. В карточке заявлены языки English, Chinese и Korean, а также поддержка сценариев image-text-to-text, хотя подробности о визуальной архитектуре не приведены. Модель ориентирована на рассуждения, решение математических и логических задач, работу с инструкциями, общими знаниями и программированием. Версия v2 обучалась более чем на 14 000 образцах рассуждений в стиле Claude 4.6 Opus и оптимизировалась для сокращения избыточной длины цепочек рассуждений при сохранении или повышении точности. В README приведены заявленные результаты HumanEval и HumanEval+, включая более высокую эффективность рассуждений по сравнению с официальной Qwen3.5-9B, однако независимое подтверждение этих результатов отсутствует. Ключевые ограничения — неизвестные размер контекста и точные характеристики модальностей, а также возможное некоторое ухудшение широких универсальных возможностей из-за преимущественно общего, а не специализированного набора данных. Модель позиционируется как uncensored и может иметь минимальное количество отказов, что требует осторожности при использовании в чувствительных сценариях. Для работы рекомендуются LM Studio и специальные параметры генерации, но они не являются обязательными. Лицензия — Apache-2.0.

Shining Valiant 3 — дообученная Valiant Labs модель для научных задач, проектирования систем ИИ и рассуждений общего назначения, созданная на базе Qwen3-4B. Это плотная причинная языковая модель с 3,7 млрд параметров, рассчитанная на генерацию текста, диалоги, следование инструкциям, написание кода и пошаговое решение сложных задач. Для диалогов разработчик рекомендует включать режим рассуждений; модель использует формат запросов Qwen 3 и поддерживает контекст длиной до 40 960 токенов. Модель обучали на данных научных рассуждений, сгенерированных DeepSeek R1 0528, а также на сложных примерах рассуждений об ИИ. Она предназначена для локального запуска на настольных компьютерах и мобильных устройствах, а также для быстрой серверной инференции. Доступна в формате Safetensors и распространяется по лицензии Apache 2.0. Карточка описывает специализацию на рассуждениях и решение задач, но не приводит результатов сравнительных оценок качества.

QuantTrio Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2-AWQ — это AWQ-квантизированная версия модели Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled-v2, разработанной на базе Qwen3.5-27B. Исходную дообученную модель создал Jackrong, а репозиторий квантизации поддерживается QuantTrio. Квантизация выполнена методом data-free, без калибровочного датасета, что позволяет уменьшить размер модели примерно до 21 GiB и снизить требования к памяти при инференсе. Модель ориентирована на задачи рассуждения, математику, текстовые задачи, логическую дедукцию, инструкции и программирование. По заявленным результатам, она сохраняет показатель 96,91% pass@1 на HumanEval, сокращает длину цепочки рассуждений примерно на 24% и обеспечивает на 31,6% больше корректных решений на токен по сравнению с базовой моделью. Для запуска рекомендуется vLLM с поддержкой AWQ, tool calls и reasoning parser; в README приведена конфигурация с контекстом до 32768 токенов и тензорным параллелизмом на двух GPU. Сильными сторонами являются экономичное рассуждение, высокая эффективность на задачах программирования и возможность использования в оптимизированном режиме инференса. Ограничения включают снижение результатов на HumanEval+ на 1,24% и на MMLU-Pro на 7,2%, а также возможное ухудшение качества на задачах, требующих длинного контекста или сложного многошагового рассуждения. Языки и точный набор поддерживаемых модальностей в README не указаны; pipeline обозначен как image-text-to-text, но подробностей о мультимодальных возможностях нет. Модель распространяется по лицензии Apache-2.0.

Это текстовая сборка Qwen3.8-27B от Prism ML, созданная на основе Qwen/Qwen3.8-27B и упакованная для локального coding-агента chad на компьютерах Apple Silicon. Плотная гибридная архитектура включает 64 слоя: 48 GatedDeltaNet и 16 слоёв полного внимания. Веса проекций представлены в базисе Hadamard и квантованы до 2 бит; общий объём весов составляет 7,15 ГБ, а вместе с черновой моделью для ускорения декодирования — около 8 ГБ. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для диалогов и программирования в локальном агенте. В комплект входит квантованный DFlash2-драфтер на 1,9 млрд параметров, который предлагает блоки токенов для спекулятивного декодирования; по README, на M4 Pro это повышает скорость генерации с 21 до 64 токенов в секунду. Визуальная башня удалена, поэтому эта сборка принимает только текст. Для корректной загрузки требуется реализация, учитывающая Hadamard-преобразования; обычный загрузчик MLX может выдать некорректный результат. Модель распространяется по лицензии Apache-2.0; для вложенного драфтера README отдельно просит соблюдать лицензию и условия цитирования исходного релиза.

WeMM-Embedding-2B-GGUF — неофициальная GGUF-квантизированная версия модели WeMM-Embedding-2B, разработанной Tencent и подготовленной ewinregirgojr. Это модель эмбеддингов и извлечения признаков, предназначенная для семантического представления кода и текста в виде плотных L2-нормализованных векторов размерностью 2048. Поддерживаются английский, китайский, другие многоязычные сценарии, а также языки программирования, включая Python, TypeScript, JavaScript, C++, Rust, Go, SQL и Shell. Модель использует гибридную архитектуру из 18 слоёв Mamba SSM с линейным вниманием и 6 слоёв полного softmax-внимания и содержит около 2 млрд параметров. Она ориентирована на поиск и извлечение кода, RAG-системы, индексацию векторных баз данных, поиск дубликатов и выявление близких реализаций. GGUF-файлы совместимы с llama.cpp, Ollama и LM Studio; заявлена также интеграция с Unsloth, vLLM и sentence-transformers. В репозитории представлены варианты квантизации от Q4 до Q8, позволяющие выбирать между размером, скоростью и точностью; для некоторых вариантов заявлено сохранение косинусного сходства на уровне примерно 99,59–99,82% относительно FP16-базовой версии. Сильными сторонами являются высокая пропускная способность, компактность квантизированных вариантов и специализация на поиске по коду и техническим данным. Модель не предназначена для авторегрессионной генерации текста, дополнений или чат-ответов. В описании упоминается мультимодальная поддержка базовой модели, включая текст, изображения и видео, однако подробные характеристики этих модальностей для данного GGUF-релиза не приведены; размер контекста также не указан. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-NVFP4-FP8 — это оптимизированная и квантизованная версия базовой модели DeepSeek-V4-Flash, разработанная Red Hat AI на основе модели deepseek-ai. Модель предназначена для развёртывания и инференса через Transformers и vLLM, в частности для задач общего инструктирования, математического рассуждения, reasoning и генерации кода. Она ориентирована на высокопроизводительное серверное использование с тензорным параллелизмом на нескольких GPU. Ключевая особенность модели — применение формата NVFP4, а также FP8 для KV-кэша. Для запуска рекомендуется использовать четыре GPU и FP8 KV cache; оценивание проводилось на 8 GPU B200. Точные архитектурные параметры, размер модели, поддерживаемые языки, модальности и длина контекста в README не указаны. На GSM8K модель показала точность 91,0%, а на MMLU-Pro — 55,4%. В сравнении с базовой моделью восстановление качества различается по задачам: оно составляет около 91–98% на большинстве указанных бенчмарков, при этом на AIME 2025 результат оказался выше базового. Основные преимущества модели — совместимость с vLLM, использование низкоразрядного представления для эффективного инференса и высокая пропускная способность. Ограничение заключается в заметной потере точности относительно базовой модели, связанной с тем, что исходная модель уже была выпущена в квантизованном формате, а также с различиями между форматами MXFP4 и NVFP4. В README упоминается, что более продвинутые методы, например GPTQ, могут улучшить восстановление точности. Модель распространяется по лицензии MIT.

Карточка модели Vaibhavhome30/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой unsloth/GLM-5.3-Flash, поэтому описание составлено по ней. GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.