II.5Безопасность программного кода и цепочки поставок

DeepSeek-R1-Distill-Llama-8B-unsloth-bnb-4bit — это 4-битная динамически квантизированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе модели DeepSeek-R1 от DeepSeek AI. Модель относится к семейству больших языковых моделей на архитектуре Llama и предназначена для работы через библиотеку Transformers. Модель ориентирована на задачи рассуждения, включая решение математических задач, генерацию и анализ кода, а также другие сценарии, требующие пошагового вывода. Указан английский язык. Размер базовой модели составляет 8B параметров; модальность — текстовая. Длина контекста в предоставленных данных не указана. Ключевое преимущество версии — динамическое 4-битное квантование Unsloth, при котором отдельные параметры выборочно не квантуются для сохранения более высокой точности по сравнению со стандартным 4-битным квантованием. Это снижает требования к памяти и упрощает локальный запуск, однако квантизация может влиять на качество по сравнению с полноразмерной версией. Сведения о точных ограничениях, показателях производительности и рекомендуемых аппаратных требованиях не приведены. Модель распространяется по лицензии Llama 3.1.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

unsloth/GLM-4.6-GGUF — это версия языковой модели GLM-4.6 в формате GGUF, подготовленная Unsloth на основе модели GLM-4.6 от Z.ai (Zhipu AI). Модель предназначена для локального запуска и генерации текста, включая программирование, рассуждения, агентские сценарии, использование инструментов и поисковых агентов. Она также ориентирована на создание более естественных текстов и ролевое взаимодействие. Заявлено контекстное окно до 200 000 токенов, поддержка английского и китайского языков, а также улучшения по сравнению с GLM-4.5 в задачах кодирования, рассуждений, tool use и агентских приложениях. Размер модели, точная архитектура, перечень модальностей и конкретный вариант квантования в README не указаны. Репозиторий содержит исправления chat template; для запуска рекомендуется актуальная версия llama.cpp с параметром --jinja. Для общих оценок рекомендована температура 1.0, а для задач, связанных с кодом, — top_p 0.95 и top_k 40. Модель сильна в длинноконтекстной обработке, генерации кода, рассуждениях и интеграции с инструментами, однако README не приводит подробных количественных характеристик, ограничений качества или требований к вычислительным ресурсам. Лицензия — MIT.

Qwen3-4B-Thinking-2507-Qwen3.8-Max-Distillation-Detrax — компактная дистиллированная языковая модель в формате GGUF, опубликованная пользователем или организацией Detrax. Она основана на Qwen3-4B-Thinking-2507 и обучалась с использованием набора данных r0b0tlab/qwen3.8-max-distillation-50k. В README не указаны точные сведения о разработчике дистилляции, языковом охвате и исходной архитектуре, кроме принадлежности к семейству Qwen и наличия 4 млрд параметров. Модель предназначена для генерации текста, многошагового рассуждения, написания и отладки кода, решения математических задач, структурированного логического вывода и точного соблюдения инструкций и ограничений. Заявлены улучшения по сравнению с базовой моделью в математическом рассуждении, генерации кода, логическом выводе, релевантности и сходстве ответов; наиболее заметные результаты отмечены для алгоритмических и требующих строгого соблюдения ограничений задач. Модель поставляется в вариантах F16, Q8_0, Q6_K и Q4_K_M размером примерно от 2,3 до 7,5 ГБ. Она совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими средами, поддерживающими GGUF. Рекомендуемая длина контекста составляет 8192 токена. Сильными сторонами являются компактность, эффективность на технических задачах и возможность запуска на CPU или с GPU offloading. Ограничения включают меньший размер по сравнению с крупными моделями, зависимость качества от выбранного уровня квантования и отсутствие в README подробных данных о поддерживаемых языках, мультимодальности и независимой оценке качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-NVFP4-MTP-GGUF — производная сборка модели Qwen3.6-35B-A3B, подготовленная Nilay Parikh для запуска через llama.cpp на NVIDIA DGX Spark. Это мультимодальная модель с архитектурой MoE: всего 35 млрд параметров, из которых около 3,5 млрд активны на токен. Основные веса квантизованы в NVFP4, голова MTP сохранена в BF16 для спекулятивного декодирования, а мультимодальный проектор для изображений поставляется отдельным файлом BF16 GGUF. Модель предназначена для генерации кода и текста, анализа длинных репозиториев и документов, а также рассуждений по скриншотам интерфейсов и диаграммам. В README заявлен контекст до 256 тысяч токенов с масштабированием YaRN от базовых 128 тысяч; для обработки изображений требуется подключить отдельный mmproj. Карточка ориентирована на английский язык. Лицензия — Apache-2.0. В README указана скорость около 30 токенов/с при коротком контексте и настроенной спекулятивной генерации на DGX Spark; эти показатели зависят от оборудования и конфигурации.

MiniCPM5-2B-GPTQ — GPTQ-квантованная версия MiniCPM5-2B, разработанная OpenBMB. Это плотная Transformer-модель на 2 млрд параметров для генерации текста, локального и on-device-развертывания, а также сценариев с ограниченными ресурсами. Модель ориентирована на английский и китайский языки и интегрируется с библиотекой Transformers. Модель предназначена для следования инструкциям, программирования, математических рассуждений, работы с длинным контекстом, использования инструментов и агентских задач. Заявлена конкурентоспособность с моделями класса 4B, а среди моделей сопоставимого размера отмечаются сильные результаты в коде, математике, long-context, tool use и agentic-сценариях. Поддерживаемая модальность — текст; максимальный размер контекста в предоставленных данных не указан. Ключевое преимущество — сочетание компактного размера, возможностей для локального запуска и высокой производительности в ряде прикладных задач. Ограничения включают меньший размер по сравнению с крупными моделями и отсутствие сведений о точных требованиях к памяти, форматах квантования и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

OpenAI o3-mini — компактная языковая модель OpenAI, оптимизированная для рассуждений в задачах STEM, особенно в науке, математике и программировании. Она предназначена для генерации текста и помощи в решении технических задач; поддерживает параметр reasoning_effort для настройки уровня усилий при рассуждении. Модель подходит для объяснения научных концепций, решения математических задач и помощи с кодом. Данных о размере, контекстном окне, поддерживаемых языках и лицензии в предоставленных источниках нет.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ6e-1M — релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI отвечает за downstream-квантизацию, масштабирование контекста YaRN до 1 048 576 токенов и упаковку для Apple MLX. Модель ориентирована на английский и китайский языки; в метаданных указана задача image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, выполнения многошаговых рабочих процессов и задач управления операционными системами. Заявлены архитектура Qwen 3.8 с гибридным вниманием, включающая Gated Delta Recurrent Network и Grouped-Query Attention, механизм Multi-Token Prediction, а также объединение весов Cold Fusion GAIN. Формат — смешанная квантизация Apple MLX oQ6e; заявлено размещение примерно в 23,7 ГБ оперативной памяти и ускорение на Apple Silicon через Metal и Anvil Runtime. К сильным сторонам относятся заявленные большой контекст до 1 миллиона токенов, поддержка локального запуска на совместимых компьютерах Apple Silicon и высокие результаты на наборах SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и ARC. Эти показатели и сравнения с Claude Opus 4.6 приведены авторами README, но методика и независимое подтверждение не описаны. Ограничения включают зависимость производительности от MLX, Apple Silicon и доступной памяти, возможные потери качества из-за квантизации, а также отсутствие подробных данных о тренировочном наборе, мультимодальных возможностях и безопасности. Указанная лицензия — Apache-2.0.

Satella-30B-A3B — разреженная языковая модель семейства Atem, дообученная EphAsad на базе Qwen/Qwen3-30B-A3B. Это архитектура Qwen3 MoE с 30,5 млрд параметров, из которых активируется около 3,3 млрд на токен; обучение выполнено одним проходом с LoRA в BF16. Модель поддерживает диалог, интерфейс вызова инструментов и режимы с явным рассуждением и без него. Контекст модели — до 40 960 токенов. Модель предназначена для многошаговых математических и логических задач, генерации и отладки кода, технических объяснений, аналитических сравнений и выполнения сложных инструкций. В обучающую смесь вошли данные по программированию, рассуждениям, математике, медицине и диалогам; карточка указывает английский язык. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. Модель не имеет доступа к актуальным данным и не является поисковой системой. Ответы по медицинским, юридическим, финансовым и другим критически важным вопросам требуют независимой проверки; заявленные возможности и качество основаны на описании автора.

Caelum-G4-38B-A12.5B — экспериментальная общественная модель сообщества EryriLabs на архитектуре Gemma 4 Unified. Это разреженная MoE-модель с 38,01 млрд параметров, из которых на каждом токене активируется около 12,53 млрд; маршрутизатор top-1 выбирает одного из четырёх специализированных экспертов. Эксперты ориентированы на общие инструкции, агентные и кодовые задачи, системное администрирование и DevOps, а также научные и медицинские сценарии. В README также заявлена языковая архитектура из 48 слоёв и предел контекста 262 тыс. токенов, но практичность и качество на такой длине не проверялись. Модель предназначена для генерации текста, рассуждений, написания кода, планирования действий агента и структурированного использования инструментов. Веса и мультимодальный тракт унаследованы от Gemma 4 Unified, однако этот выпуск проверен только для генерации текста; работа с изображениями, видео и аудио не валидирована. Внутренний тест на 28 случаях дал обнадёживающий результат, но этого недостаточно для широких выводов о качестве. Модель требует совместимой версии Transformers и содержит пользовательский код; перед включением trust_remote_code следует изучить код репозитория. Лицензия — Apache-2.0.

Darwin-397B-ZTC — языковая модель семейства Darwin от VIDRAFT, созданная на базе Qwen/Qwen3.5-397B-A17B. Это разреженная MoE-модель с архитектурой Qwen3.5 MoE, общим масштабом 397 млрд параметров и примерно 17 млрд активных параметров. Веса представлены в формате compressed-tensors W8A8 FP8; README указывает размер около 418,7 ГБ. Модель предназначена для сложных рассуждений, генерации кода и работы в агентных сценариях с вызовом инструментов. Поддерживает корейский и английский, а также заявлена поддержка китайского и японского. Контекст — до 262 тысяч токенов. Ключевая особенность версии ZTC — оценка уверенности по внутреннему состоянию модели до начала генерации ответа, чтобы отсеивать потенциально ошибочные ответы и рискованные действия. В README приведены результаты на GPQA Diamond и оценке достоверности ответов, однако качество проверки зависит от модели, создавшей проверяемый ответ: перенос на существенно отличающуюся смесь генераторов требует отдельной оценки. Для запуска заявлена совместимость с Transformers, vLLM и SGLang; масштаб модели требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

GLM-4.7-Flash-NEO-CODE-Imatrix-MAX-GGUF — набор специализированных GGUF-квантов модели GLM-4.7-Flash, разработанный DavidAU на базе модели zai-org/GLM-4.7-Flash. Модель предназначена для генерации текста, рассуждений, программирования, диалогов и ролевых сценариев. Заявлена поддержка английского и китайского языков. Архитектура — mixture of experts (MoE) объёмом около 30B параметров, из которых при генерации активируются четыре эксперта, примерно 2B параметров. Модель может запускаться на GPU, CPU или их комбинации и поддерживает контекст до 200K токенов. В этой версии используются NEO- и Code-данные для imatrix-квантизации, а также 16-битный выходной тензор для повышения качества финальной генерации. Доступны специализированные варианты IQ4_NL, Q5_1, Q4_1 и Q8_0, а также обычные типы квантов. Сильными сторонами являются высокая эффективность MoE-архитектуры, большой контекст, ориентация на код и рассуждения, а также оптимизация квантов под актуальную версию llama.cpp. Ограничения связаны с зависимостью качества и скорости от выбранного кванта и конфигурации оборудования; для некоторых сценариев рекомендуется отключать Flash Attention из-за проблем со скоростью генерации и выгрузкой на CPU. Для длинных ответов автор рекомендует использовать контекст не менее 8–16K токенов и подбирать параметры сэмплирования. В метаданных указана лицензия MIT. Для подготовки квантов и их корректной работы требуется актуальная версия llama.cpp, указанная автором; более ранние кванты могут работать хуже.

Inkling-Small-GGUF — мультимодальная авторегрессионная модель, разработанная Thinking Machines и представленная в формате GGUF командой Unsloth. Модель принимает текст, изображения и аудио, а генерирует текст; она предназначена для разработчиков AI-приложений, включая агентные и tool-use системы, coding assistants, чат-ботов, retrieval-augmented generation, диалоговые и мультимодальные сценарии, а также для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой 42-слойный decoder-only Transformer с разреженным Mixture-of-Experts: всего 276 млрд параметров, из которых активны 12 млрд; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch-энкодером, аудио — дискретным токенизированным представлением, после чего все модальности проецируются в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4; GGUF-вариант ориентирован на локальный запуск через совместимые инструменты. Для изображений рекомендуются размеры каждой стороны от 40 до 4096 пикселей, для аудио — WAV с частотой 16 кГц и длительностью желательно менее двух минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, поддержка английского и общих мультиязычных сценариев, работы с кодом и широкого спектра прикладных задач. Ограничения включают текстовый формат вывода, рекомендуемые ограничения на входные изображения и аудио, а также отсутствие в представленных данных конкретного размера контекстного окна и подробных результатов оценивания. Модель распространяется под лицензией Apache-2.0.

Qwen3-53B-A3B-2507-THINKING-TOTAL-RECALL-v2-MASTER-CODER — модель Дэвида А. Ю (DavidAU), созданная на базе Qwen3-30B-A3B-Thinking-2507 с Brainstorm 40X и дополнительными изменениями конфигурации экспертов. Это причинная языковая модель с архитектурой Qwen3 MoE: в README указаны 53 млрд параметров, 84 слоя и 10 активируемых экспертов по умолчанию; метаданные указывают 4,3 млрд параметров. Модель предназначена для генерации текста, диалогов, программирования и задач рассуждения, включая работу с длинными проектами и контекстом до 262 144 токенов. README отмечает, что для сложных задач можно увеличить число активных экспертов, а для широкого охвата вариантов решения — запускать несколько генераций. Модель работает с текстом и ориентирована на английский, французский, китайский и немецкий языки согласно метаданным; README также заявляет поддержку основных и многих менее распространённых языков программирования. Доступны веса safetensors для использования через Transformers и преобразования в другие форматы. Лицензия — Apache-2.0. Конкретные настройки генерации влияют на результаты; рекомендации автора включают контекст от 8–16 тысяч токенов для рассуждения и вывода.

unsloth/Qwen3.6-27B-UD-MLX-4bit — 4-битная MLX-квантизированная версия открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной для распространения Unsloth. Модель представляет собой авторегрессионную языковую модель с vision-энкодером и предназначена для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и итеративные задачи кодинга. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру с блоками Gated DeltaNet, Gated Attention и FFN. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. README не указывает полный перечень поддерживаемых языков, однако модель позиционируется для многошаговой работы с кодом и сохранения контекста рассуждений между сообщениями. 4-битное представление снижает требования к памяти и подходит для запуска через MLX на совместимом оборудовании, но может уступать полноразмерным весам по точности. Сильными сторонами являются большой контекст, поддержка визуально-текстовых сценариев, задачи уровня репозитория и улучшенная работа в агентных coding-сценариях. Ограничения связаны с необходимостью MLX-совместимой среды и возможными потерями качества из-за квантизации; подробные сведения о языках, системных требованиях и результатах большинства тестов в предоставленном фрагменте README отсутствуют. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4-FP8PLE — квантованная vision-language модель, опубликованная lychee888 на основе orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4, который, в свою очередь, создан на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для обработки текста и изображений, рассуждений, function calling, тестирования безопасности и red-teaming. Вариант описан как abliterated и uncensored, то есть с изменениями, направленными на снижение встроенных ограничений поведения. Архитектура относится к семейству Qwen3.8-Flash-Next и использует 48 слоёв: 36 слоёв Gated-DeltaNet и 12 слоёв full attention с интервалом full_attention_interval 4. В конфигурации указаны 512 экспертов и MTP. Эксперты квантованы в NVFP4, attention-компоненты используют FP8, а таблица PLE n-gram embeddings дополнительно переведена из BF16 в FP8 e4m3 с единой глобальной шкалой. Благодаря этому размер контрольной точки уменьшен примерно со 170,93 до 123,25 GiB. Для запуска ориентирована на vLLM и рецепт развёртывания на двух NVIDIA DGX Spark; точные поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. К сильным сторонам относятся существенно меньший размер по сравнению с исходной сборкой, совместимость по структуре PLE с определёнными NVFP4-сборками Qwen3.8-Flash-Next и сохранение остальных файлов модели без изменений относительно исходной версии orcarouter. Ограничения включают необходимость совместимой инфраструктуры и vLLM, а также то, что PLE-веса нельзя смешивать с аналогичной сборкой RadixArk: формат совместим, но сами значения отличаются. Модель распространяется по лицензии Apache-2.0.

Mungert/Youtu-LLM-2B-GGUF — GGUF-версия языковой модели Youtu-LLM-2B, разработанной Tencent. Это авторегрессионная causal language model для генерации текста; семейство включает базовую и instruct-версии. Данная сборка создана с использованием llama.cpp, однако конкретный уровень квантования в README не указан. Модель содержит 1,96 млрд параметров, 32 слоя и использует плотную архитектуру MLA с 16 attention heads для Q/K/V. Поддерживается контекст до 131 072 токенов, размер словаря — 128 256. Модель ориентирована на рассуждения, следование инструкциям, STEM-задачи, программирование, работу с длинным контекстом и агентские сценарии с инструментами; для instruct-версии заявлен режим reasoning. В представленных тестах она показывает особенно сильные результаты в генерации кода, математике, обработке длинного контекста и ряде end-to-end агентских задач, но результаты зависят от версии модели и настроек запуска. README не указывает поддерживаемые языки, точные требования к ресурсам и ограничения безопасности. Лицензия обозначена как other; условия следует уточнять по файлу лицензии Tencent.

Darwin-28B-Opus — языковая модель для рассуждений, созданная командой Darwin путем эволюционного слияния Qwen/Qwen3.6-27B и модели rico03/Qwen3.6-27B-Claude-Opus-Reasoning-Distilled. Она сохраняет плотную архитектуру Qwen3.6 с гибридным линейным и полным вниманием и наследует стиль рассуждений, полученный дистилляцией поведения Claude Opus. Модель содержит 27,6 млрд параметров, представлена в формате BF16 и рассчитана на генерацию текста в режиме диалога и многошаговые рассуждения. Модель предназначена для решения сложных научных и математических задач, генерации и отладки кода, а также ответов на вопросы, требующие последовательного анализа. В README приведен результат 88,89% на GPQA Diamond при трехэтапной адаптивной оценке; он зависит от описанного протокола сэмплирования и уточнения ответов. Основной язык — английский; также заявлена поддержка корейского, китайского и японского языков. Полный вывод требует около 55 ГБ видеопамяти. Лицензия — Apache 2.0.

Virtuoso-Small-v2 — языковая модель на 14 млрд параметров от Arcee AI, основанная на архитектуре Qwen2.5-14B. Модель дообучена с дистилляцией логитов DeepSeek-V3 на большом текстовом корпусе, затем дополнительно выровнена с помощью DPO. Для совместимости при переносе знаний применялась обработка токенизатора; итоговая модель использует токенизатор Qwen. Метаданные указывают контекст до 131 072 токенов и формат Safetensors. Модель предназначена для диалоговой генерации текста, ответов на технические и научные вопросы, решения математических задач и генерации кода. В карточке также заявлен интерфейс вызова инструментов. README описывает дистилляцию знаний DeepSeek-V3 и улучшение следования инструкциям, однако количественные сравнительные оценки не приведены. Модель распространяется по лицензии Apache-2.0. Среди ограничений указаны возможные пробелы в знаниях о событиях после июня 2024 года и риск генерации вредного или предвзятого текста; заявленная длина контекста в README округлена до 128k токенов.

Карточка модели bh890/ARX на Hugging Face совпадает с карточкой bh890/LongCat-2.0, поэтому описание составлено по ней. LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

MiroThinker-v1.5-30B-GGUF — это открытая агентная модель для поиска, ответов на вопросы и глубокого многошагового исследования с использованием внешних инструментов. Модель разработана командой MiroMind AI и основана на Qwen3-30B-A3B-Thinking-2507; представленная версия распространяется в формате GGUF и создана с использованием llama.cpp. Модель предназначена для задач tool-augmented reasoning, информационного поиска и долгосрочного анализа. Она поддерживает контекст до 256K токенов и рассчитана максимум на 400 вызовов инструментов в рамках одной задачи, что позволяет выполнять сложные исследовательские сценарии с многочисленными взаимодействиями со средой. В карточке указано, что модель поддерживает английский язык. Архитектура исходной модели относится к классу Mixture of Experts, однако точные параметры представленной GGUF-квантизации не указаны. К сильным сторонам относятся способность корректировать ход рассуждений на основе обратной связи среды, получать внешнюю информацию и выполнять глубокие многошаговые траектории. Для GGUF-версий применяется дополнительное повышение точности отдельных важных слоёв при квантизации, что должно улучшать точность на заданном уровне битности, но увеличивает размер файла. Ограничения включают зависимость качества от доступных инструментов, вычислительных ресурсов и выбранного варианта квантизации; сведения о мультимодальности и конкретных требованиях к оборудованию отсутствуют. Лицензия — MIT.

Mungert/OpenReasoning-Nemotron-32B-GGUF — GGUF-версия большой языковой модели OpenReasoning-Nemotron-32B, производной от Qwen/Qwen2.5-32B-Instruct. Исходная модель разработана NVIDIA и дообучена для рассуждений, генерации решений по математике, программированию и научным задачам. Указан английский язык, текстовая модальность и сценарий text-generation. Модель создана с использованием llama.cpp; конкретный формат квантования зависит от файла GGUF. В README также описан подход с повышением точности отдельных важных слоёв при квантовании, что может улучшать качество на низких разрядностях, но увеличивает размер файла. Модель рассчитана на исследовательское и коммерческое/некоммерческое использование. Для сложных задач поддерживается генерация до 64K выходных токенов по данным исходной карточки. Сильные стороны — специализация на математическом, кодовом и научном рассуждении, а также возможность многократных параллельных генераций с последующим выбором решения через GenSelect. Ограничения включают высокие требования к вычислительным ресурсам для 32B-модели, возможную зависимость качества и размера от выбранного уровня квантования, а также отсутствие в предоставленных данных точного размера контекстного окна и подробностей об аппаратных требованиях. Лицензия модели — Creative Commons Attribution 4.0 International (CC-BY-4.0); для базовой модели дополнительно указана Apache 2.0.

Это GGUF-квантизация модели Qwen3.8-27B-Uncensored, разработанной orcarouter и подготовленной пользователем bartowski с использованием llama.cpp. Модель содержит около 28 млрд параметров и предназначена для локального запуска в совместимых инструментах, включая llama.cpp. Модель поддерживает работу с текстом и изображениями при использовании отдельного файла mmproj, а также speculative decoding через MTP. Она ориентирована на рассуждения, function calling, vision-language-сценарии, red teaming и другие задачи генерации и анализа контента. Заявлены английский и китайский языки. README не указывает размер контекстного окна и конкретную архитектуру базовой модели. Доступны варианты от BF16 до различных уровней квантования GGUF. Q6 и Q5 позиционируются как варианты очень высокого или высокого качества, а Q4_K_M — как сбалансированный вариант по размеру и качеству; менее точные варианты требуют меньше оперативной памяти. К ограничениям относятся необходимость значительных аппаратных ресурсов для крупных файлов, зависимость мультимодального режима от mmproj и отсутствие в README подробных результатов оценки качества. Указанная лицензия — Apache-2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Она дообучена методом SFT с применением LoRA на наборах данных с примерами рассуждений, включая материалы, заявленные как дистиллированные из взаимодействий с Claude-4.6 Opus. Модель ориентирована на задачи, требующие пошагового анализа, планирования, программирования и работы в средах coding agents, включая Claude Code и OpenCode. Модель относится к плотной архитектуре размером 27B параметров. В карточке указаны поддержка английского и китайского языков, а также совместимость с Transformers, llama.cpp и форматом GGUF. Метаданные описывают её как image-text-to-text и мультимодальную, однако в описании итоговая версия явно названа text-only, поэтому возможности обработки изображений следует считать не подтверждёнными. Заявлена поддержка роли developer в шаблоне диалога и сохранённого thinking mode с выводом рассуждений в тегах <think>. К сильным сторонам относятся структурированное рассуждение, улучшенная автономность и стабильность при работе инструментального агента, а также снижение избыточных повторов в рассуждениях на простых запросах. Согласно карточке, модель способна продолжать автономную работу более девяти минут без вмешательства пользователя, но приведённые результаты основаны на общественных тестах, а не на независимой систематической оценке. Размер 27B может предъявлять существенные требования к памяти и вычислительным ресурсам, особенно без квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B ThinkingCap Abliterated (MTP GGUF) — GGUF-версия модели, разработанная hotdogs на основе hotdogs/Qwen3.8-27B-thinkingcap-abliterated и дообученная с использованием датасета hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений, решения задач, следования инструкциям и помощи в программировании, включая сценарии SWE-bench. Она ориентирована на эффективное рассуждение с сокращённым числом токенов и поддерживает запуск через llama.cpp. Модель содержит 27,3 млрд параметров и сохраняет MTP-слой (Multi-Token Prediction) с 15 тензорами. Доступны варианты GGUF F16 размером около 51 ГБ, Q6_K размером около 21 ГБ и Q4_K_M размером около 16 ГБ; Q6_K позиционируется как компромисс между качеством и размером, а Q4_K_M — как наиболее быстрый вариант. В README указано тестирование с контекстом 8192 токена. Языки и набор поддерживаемых модальностей явно не указаны; по описанию это текстовая модель. Сильные стороны — эффективное рассуждение, сохранение MTP при квантовании и высокая производительность на GPQA Diamond, IFEval и SWE-bench в заявленных условиях тестирования. Ограничения включают зависимость качества от выбранной квантовки, значительные требования к памяти и вычислительным ресурсам, а также ограниченность и специфичность приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

Dolphin 2.6 Mixtral 8x7b — языковая модель для диалогов и генерации текста, разработанная Eric Hartford при спонсорской поддержке Convai. Это дообученная версия Mixtral-8x7b с архитектурой MixtralForCausalLM типа Mixture of Experts; в обучении использовались qLoRA и Axolotl, а карточка указывает 7,1 млрд параметров. Модель принимает текст и выдаёт текст, использует формат диалога ChatML и поддерживает контекст до 32 768 токенов по метаданным; автор сообщает, что дообучение проводилось на последовательностях длиной 16 тыс. токенов. Модель предназначена для диалогового помощника, написания и объяснения кода, а также ответов на общие вопросы. Автор характеризует её как особенно сильную в задачах программирования и отмечает, что она следует инструкциям; обучение охватывало наборы данных для диалогов, программирования и инструкций. Модель не проходила DPO-настройку и описана автором как uncensored и highly compliant, поэтому для публичного сервиса потребуется отдельная настройка безопасности. Лицензия — Apache 2.0.

GLM-5.3-Flash-TQ3_4S — текстовая GGUF-квантизация модели zai-org/GLM-5.3-Flash, подготовленная автором репозитория для запуска через llama.cpp с поддержкой TurboQuant. Используется архитектура Mixture of Experts: активны 8 из 288 маршрутизируемых экспертов на токен. Формат TQ3_4S имеет номинальную точность около 4 бит на вес; маршрутизируемые эксперты хранятся в 2-битном формате, внимание и общие эксперты — в 6-битном, а нормализации и смещения — в FP32. Веса занимают около 101,6 ГиБ и распределены по четырём GGUF-файлам. Модель предназначена для диалоговой генерации текста, программирования и вызова инструментов. Сохранённая MTP (NextN) голова позволяет использовать спекулятивное декодирование без отдельной черновой модели. README приводит результаты тестов на NVIDIA GB10/DGX Spark и рекомендует контекст 40 960 токенов в поставляемой конфигурации; заявлена проверенная работа до 512 тыс. токенов на этом оборудовании. Поддерживаются английский и китайский языки. Эта сборка не содержит vision tower, поэтому не принимает изображения, хотя базовая модель поддерживает обработку изображений. Для работы необходима публичная ветка TurboQuant runtime: основной llama.cpp не поддерживает тип тензора TQ3_4S. README отмечает необходимость пользовательского шаблона чата. Квантизация сокращает размер весов, но её влияние на качество может зависеть от задачи и оборудования; приведённые оценки получены на одной конфигурации и не гарантируют аналогичных результатов в других условиях. Лицензия — MIT.

MiniMax-M2.5-bf16 — текстовая MoE-модель для диалогов и выполнения задач с помощью агентных сценариев. Модель разработана MiniMax и обучалась с подкреплением на сложных задачах из реальных сред. В карточке указаны сильные результаты в программировании, поиске, вызове инструментов и офисной работе, включая подготовку материалов для Word, PowerPoint и Excel. Модель предназначена для планирования и разработки программных систем, исправления и проверки кода, многошагового поиска информации, работы с инструментами и создания офисных материалов. README сообщает об обучении на более чем десяти языках программирования; это не устанавливает поддержку конкретных естественных языков. Метаданные указывают 2,9 млрд параметров, контекст до 196 608 токенов, библиотеку Transformers и формат safetensors. Доступна версия MiniMax-M2.5 в формате bf16. Лицензия указана в README как Modified-MIT, а в метаданных — как other; перед использованием следует свериться с условиями лицензии в репозитории. Результаты бенчмарков приведены разработчиком и не гарантируют аналогичного качества в конкретном приложении. Модель описана как чат-модель; README рекомендует SGLang для локального развёртывания.

OmniCoder-9B-Opus-4.6-Uncensored-v2-GGUF — языковая reasoning-модель на базе Qwen/Qwen3.5-9B, созданная автором ansulev. Модель получена объединением нескольких производных моделей, включая OmniCoder-9B от Tesslate, reasoning-модель Qwen3.5-9B от Jackrong и uncensored-модель HauhauCS. При обучении и слиянии использовались данные в стиле Claude 4.6 Opus, ориентированные на рассуждения, математику, логические задачи, общие знания, инструкции и программирование. Формат распространения — GGUF; заявленная лицензия — Apache-2.0. Модель предназначена для локального запуска в приложениях вроде LM Studio и для задач общего назначения, требующих многошагового рассуждения, генерации и анализа кода, решения математических и логических задач, а также следования инструкциям. В карточке указаны английский, китайский и корейский языки. Архитектура унаследована от Qwen3.5-9B, размер — около 9 миллиардов параметров. В метаданных указана мультимодальная категория image-text-to-text, однако подробности о поддерживаемых визуальных входах и размере контекстного окна не приведены. Ключевая особенность версии v2 — более компактная и эффективная генерация рассуждений. По заявленным оценкам на HumanEval и HumanEval+ она превосходит базовую Qwen3.5-9B по точности и требует примерно на 20–23% меньше текста рассуждений для одного успешного решения. Это может снижать задержку и стоимость инференса, но заявленные результаты основаны на ограниченном наборе тестов и не гарантируют аналогичного качества во всех прикладных сценариях. Разработчик также предупреждает о возможном снижении широких общих способностей из-за ограниченного объёма и направленности дообучения. Термин uncensored указывает на ослабленные ограничения отказов, что может повышать гибкость, но требует дополнительного контроля безопасности при использовании.

Qwen3.8-27B-UD-Q3_K_XL-DFlash2-MLX — это MLX-квантизация базовой модели Qwen/Qwen3.8-27B, подготовленная для локального запуска на компьютерах Apple Silicon. Модель разработана автором репозитория nathansutton и предназначена прежде всего для генерации текста, написания и анализа кода, а также работы в локальном coding-агенте chad, стилизованном под Claude Code. Модель поддерживает текстовый ввод и вывод; язык базовой модели и точный перечень поддерживаемых языков в README не указаны. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с 27 млрд параметров, 64 слоями, включая 48 слоёв GatedDeltaNet и 16 слоёв полноформатного attention. Основная часть весов квантизирована до 3 бит с группами размера 64, эмбеддинги также имеют 3-битную квантизацию, а lm_head — 5-битную. Нативное контекстное окно составляет 262 тысячи токенов. Размер весов — около 12,1 ГБ, вместе с дополнительным drafter-модулем — около 13,3 ГБ; модель рассчитана на Apple Silicon с 24 ГБ памяти, но в таком режиме фактический доступный контекст обычно составляет десятки тысяч токенов. В комплект входит 1,9-миллиардный DFlash2 block drafter, который ускоряет авторегрессионную генерацию за счёт спекулятивного декодирования. Он квантизирован до 4 бит и предлагает блоки токенов, проверяемые целевой моделью с сохранением её распределения при семплировании. На M4 Pro с 24 ГБ памяти README сообщает ускорение примерно с 17,5 до 60,1 токена в секунду для жадной генерации и с 22,4 до 49–51 токена в секунду для режима с sampling; на длинных агентских контекстах прирост ниже. Ограничения включают зависимость от Apple Silicon и памяти, снижение эффективного контекста на устройствах с 24 ГБ, а также возможные расхождения жадной генерации с последовательным декодированием из-за различий вычислительных ядер. Целевые веса наследуют лицензию базовой модели Qwen3.8-27B, а содержимое каталога dflash — лицензию исходного релиза DFlash2. Перед использованием или распространением необходимо проверить условия обеих лицензий.