II.7DevOps, облако и эксплуатация IT-систем

Spark-X2.5-4B Community Quants — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и опубликованной сообществом. Модель предназначена для генерации текста, диалоговых и агентских сценариев с использованием инструментов, включая работу с файлами, терминалом, памятью и выполнением кода. Доступны варианты для видеокарт с 4, 8, 12 и 16 ГБ памяти, рассчитанные на полностью GPU-резидентный запуск через llama.cpp. Базовая модель содержит около 4,1 млрд параметров и использует гибридное внимание: соотношение слоёв sliding-window и full attention составляет 3:1. Заявлен нативный контекст до 1 млн токенов, однако на потребительских видеокартах практический предел определяется объёмом KV-кэша и существенно ниже. Квантизации используют importance matrix, рассчитанную на мультиязычном тексте. Варианты включают Q6_K, Q5_K_M, а также смешанные Q3_K_M и Q4_K_M; размер файлов составляет примерно от 2,0 до 3,2 ГБ. Модель поддерживает режим рассуждений, формат вызова инструментов и мультиязычные данные, но точный перечень языков в README не указан. Сильными сторонами являются компактный размер, высокая эффективность использования VRAM, поддержка длинного контекста и близкое к эталонному качество у вариантов Q6_K и Q5_K_M. Более компактные варианты позволяют запускать модель на видеокартах с 4–8 ГБ памяти, но заметно уступают по показателям perplexity и демонстрируют более высокую вероятность пропуска требуемых вызовов инструментов. Для запуска требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока отсутствует в upstream-версии. Модель распространяется по лицензии Apache-2.0.

Agents-A1 — агентная модель от InternScience, созданная для длительных многошаговых задач в поиске, инженерии, научных исследованиях, следовании инструкциям и работе с инструментами. В карточке указана архитектура Mixture-of-Experts и размер 35 млрд параметров; модель распространяется в формате Safetensors и поддерживает диалог и интерфейс вызова инструментов. Для запуска подходят Transformers, vLLM и SGLang. Модель предназначена для разбиения сложных запросов на шаги, планирования, использования внешних инструментов и адаптации по промежуточным результатам. Разработчики сообщают о трёхэтапном обучении: широкая supervised fine-tuning, обучение доменных моделей-учителей и многодоменная дистилляция с учётом различий между задачами. В карточке приведены сильные результаты на агентных, научных и инструкционных бенчмарках; они отражают оценку авторов и зависят от сценария и настроек. Веса опубликованы по лицензии Apache-2.0. Карточка не сообщает поддерживаемые естественные языки или длину контекста; описание стандартного варианта упоминает контекст 262K, но подробности конфигурации приведены не полностью. Тег метаданных указывает на генерацию текста; изображение упоминается среди тегов VLM, однако README не описывает визуальный ввод для этой конкретной модели.

Claude Sonnet 4 — модель Anthropic, представленная как развитие Sonnet 3.7. Она предназначена для задач программирования и рассуждений; в карточке отмечены улучшенные точность и управляемость, а также результат 72,7% на SWE-bench. Метаданные каталога относят модель к задаче image-text-to-text, однако доступные материалы не описывают её архитектуру, размер, модальности, языки или длину контекста.

Карточка модели TouchNight/cognitivecomputations_dolphin-2.9.2-qwen2-7b на Hugging Face совпадает с карточкой dphn/dolphin-2.9.2-qwen2-7b, поэтому описание составлено по ней. Dolphin 2.9.2 Qwen2 7B — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на инструктивных, диалоговых и программных данных. В карточке заявлены навыки ответов на инструкции, ведения беседы, программирования, начальные агентные возможности и вызов функций. Модель предназначена для генерации текста в формате чата, помощи с кодом и выполнения запросов к функциям. Базовая модель поддерживает контекст до 128 тысяч токенов, однако полновесное дообучение Dolphin проводилось на последовательностях длиной 16 тысяч токенов. Репозиторий использует формат safetensors; метаданные указывают библиотеку Transformers. Модель описана авторами как uncensored и более склонная выполнять запросы, включая небезопасные. Для публичного сервиса рекомендуется самостоятельно добавить слой выравнивания поведения. Лицензия — Tongyi Qianwen; README допускает коммерческое использование при соблюдении её условий.

Dolphin 2.9.2 Qwen2 7B — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на инструктивных, диалоговых и программных данных. В карточке заявлены навыки ответов на инструкции, ведения беседы, программирования, начальные агентные возможности и вызов функций. Модель предназначена для генерации текста в формате чата, помощи с кодом и выполнения запросов к функциям. Базовая модель поддерживает контекст до 128 тысяч токенов, однако полновесное дообучение Dolphin проводилось на последовательностях длиной 16 тысяч токенов. Репозиторий использует формат safetensors; метаданные указывают библиотеку Transformers. Модель описана авторами как uncensored и более склонная выполнять запросы, включая небезопасные. Для публичного сервиса рекомендуется самостоятельно добавить слой выравнивания поведения. Лицензия — Tongyi Qianwen; README допускает коммерческое использование при соблюдении её условий.

Kiel-2.2-Sol — языковая модель KielTech для диалогов и генерации текста. Это плотная причинная модель семейства Llama с 3,2 млрд параметров, дообученная на базе kiel2/Kiel-2.1-Sol. Веса представлены в формате Safetensors; модель работает через Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для чат-ассистентов, следования инструкциям, решения задач в разных предметных областях, логических рассуждений и генерации кода, включая асинхронные сценарии на Python. В карточке заявлена поддержка английского языка. Модель может использоваться как самостоятельный серверный бэкенд генерации текста. Карточка не приводит результаты независимых оценок качества. Модель распространяется под лицензией, указанной в метаданных Hugging Face; сведения о конкретной лицензии отсутствуют.

Карточка модели satpalsr/Meta-Llama-3-8B на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия принимает текст и генерирует текст, в том числе код. Семейство Llama 3 включает предварительно обученные и дообученные для инструкций модели; карточка этой модели описывает базовый предварительно обученный чекпойнт, пригодный для адаптации к различным задачам генерации текста. Модель предназначена для коммерческого и исследовательского применения на английском языке. Её можно использовать как основу для генерации текста и кода, а после адаптации — для диалоговых сценариев. Выпущена в апреле 2024 года и распространяется по пользовательской коммерческой лицензии Meta Llama 3. Карточка не приводит для этого репозитория конкретную длину контекста; сама модель статична и обучена на офлайн-данных. Для развёртывания приложений разработчикам следует самостоятельно подбирать меры безопасности под свой сценарий.

NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметной области, исследований и подготовки производных вариантов для развёртывания. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно используются около 3 млрд, а также предусмотрены слои Multi-Token Prediction. В метаданных указано 1,9 млрд параметров и контекст 262 144 токена; README сообщает о поддержке контекста до 1 млн токенов. Модель подходит для создания чат-ботов и агентных систем, генерации и анализа кода, решения задач на рассуждение, работы с длинными текстами и использования интерфейса вызова инструментов. Основной язык — английский; также заявлена поддержка испанского, французского, немецкого, итальянского и японского. README описывает модель как пригодную для коммерческого использования, но метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория. Для оптимизированного инференса автор рекомендует отдельный NVFP4-выпуск.

Qwen-2.5-7b-TitanFusion-v5-Exp — объединённая языковая модель на базе архитектуры Qwen2, созданная сообществом с помощью mergekit и метода TIES. В объединение вошли huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, Cran-May/T.E-8.1, Qwen/Qwen2.5-Coder-7B, Qwen/Qwen2.5-Math-7B, happzy2633/qwen2.5-7b-ins-v3 и katanemo/Arch-Function-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Включение кодовой, математической и функционально ориентированных моделей предполагает применение для программирования, решения математических задач и диалогов с инструментами, однако README не приводит отдельных результатов оценки этих возможностей. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Лицензия в предоставленных данных не указана.

unsloth/Qwen2.5-Coder-7B — плотная авторегрессионная языковая модель семейства Qwen2, подготовленная Unsloth на основе Qwen/Qwen2.5-Coder-7B. Она предназначена прежде всего для генерации, анализа и исправления программного кода, а также может применяться в задачах кодовых агентов и рассуждений. В метаданных указаны 7,1 млрд параметров, архитектура Qwen2ForCausalLM, формат safetensors и контекст до 32 768 токенов; README базовой модели сообщает о поддержке расширения контекста до 131 072 токенов с YaRN, но это требует настройки. Модель принимает текст и генерирует текст. README описывает базовую версию как предварительно обученную и не рекомендует использовать её для диалогов без последующего дообучения. В карточке указаны английский язык и лицензия Apache-2.0. Сведения README о 5,5 трлн обучающих токенов и архитектурных деталях относятся к серии Qwen2.5-Coder и исходной модели; они не подтверждают отдельные особенности обучения этой копии Unsloth.

sokada4/Qwen3.8-27B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия модели Qwen/Qwen3.8-27B, опубликованная пользователем sokada4. Квантизация выполнена с помощью GPTQModel 7.3.4 по схеме W4A16, с размером группы 128 и симметричным представлением. Модель предназначена для текстового вывода и рассчитана на локальное развертывание через vLLM, в том числе как OpenAI- или Anthropic-совместимый backend для Claude Code и Codex CLI. Это плотная языковая модель примерно на 27 млрд параметров с заявленным нативным контекстом до 262144 токенов. Квантизации подверглись только веса language_model; веса vision tower сохранены без изменений, однако данный checkpoint предназначен для text-only serving. Тензоры MTP, используемые для speculative decoding, также сохранены в формате bf16. Калибровка проводилась на англоязычных, китайских и японских текстах, а также на коде, поэтому модель ориентирована на многоязычные и программные сценарии, хотя точный языковой охват в README не указан. Ключевые преимущества — существенное снижение требований к памяти по сравнению с полноразмерной моделью, поддержка speculative decoding через MTP и совместимость с инструментальными вызовами в vLLM. Для комфортной работы с длинным контекстом и MTP рекомендуется конфигурация из двух GPU по 24 ГБ; на одной видеокарте 24 ГБ длину контекста придётся заметно уменьшить, а MTP использовать нецелесообразно. В README также отмечен повышенный риск некорректно сформированных tool calls по сравнению с облачными моделями, поэтому для автономных агентных сценариев рекомендуется проверка вызовов человеком. Модель распространяется по лицензии Apache-2.0.

google/gemma-2b-AWQ — AWQ-квантизированная версия базовой модели Gemma-2B, разработанной Google. Это компактная decoder-only большая языковая модель с открытыми весами, обученная на основе технологий, использованных при создании Gemini. Модель работает с текстом и ориентирована преимущественно на английский язык. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений, работы с программным кодом и математическими запросами. Она принимает текстовые строки, включая вопросы, инструкции и документы, а возвращает сгенерированный английский текст. Небольшой размер делает её подходящей для запуска на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре с ограниченными ресурсами; также предусмотрено последующее дообучение. При обучении использовалось около 6 триллионов токенов из веб-документов, кода и математических материалов с применением фильтрации вредоносного и чувствительного контента. README не указывает размер контекстного окна и конкретные характеристики архитектуры помимо класса decoder-only. Это базовая, а не instruction-tuned версия, поэтому для диалоговых сценариев и точного следования инструкциям могут потребоваться дополнительное дообучение или специальное форматирование запросов. Квантизация AWQ снижает требования к ресурсам, но её влияние на качество зависит от задачи и среды запуска. Использование регулируется лицензией Google Gemma Terms of Use; для доступа на Hugging Face требуется принять условия лицензии. Лицензия указана как gemma-terms-of-use.

TeichAI разработала Gemma 4 26B A4B IT Claude Opus Distill — мультимодальную диалоговую модель на базе unsloth/gemma-4-26B-A4B-it, дообученную методом SFT на примерах рассуждений Claude Opus и Sonnet. Модель ориентирована на сложные многошаговые задачи, где полезны структурированный анализ и подробное следование инструкциям. Модель предназначена для генерации и отладки кода, научных рассуждений, анализа сложных вопросов и исследовательского синтеза. Она принимает текст и изображения и формирует текстовые ответы; доступна в формате safetensors и поддерживает чат и работу с изображениями. В README отдельно описан режим рассуждений и приведены рекомендации для многоходовых диалогов и мультимодальных запросов. Качество и устойчивость исходной версии ограничены: автор рекомендует перейти на v2 из-за улучшенного качества данных и исправлений шаблона чата; окончательные результаты сравнительных тестов не приведены. Лицензия — Apache-2.0.

MuXodious выпустил дообученную и подвергнутую абляции отказов версию GLM-4.7-Flash-REAP-23B-A3B. Это разреженная причинная языковая модель MoE семейства GLM4-MoE-Lite: в карточке указаны 4,1 млрд параметров, а README описывает исходную конфигурацию REAP как 23 млрд параметров всего и около 3 млрд активируемых на токен. Модель принимает текст и генерирует текст; контекст составляет до 202 752 токенов. Карточка заявляет поддержку английского языка. Модель предназначена для диалогов, генерации кода и агентных сценариев, включая вызов инструментов. README сообщает, что к базовой модели применили pruning экспертов методом REAP и Heretic-abliteration; показатель отказов в описанном тесте снизился с 92/100 до 4/100. Эти результаты не подтверждают качество на широком наборе задач, а сам README отмечает условность классификации «Absolute Heresy». Для работы через Transformers требуется версия 5.0.0 или выше. Лицензия — MIT.

Карточка модели Vaibhavhome30/GLM-5.3-Flash-BF16 на Hugging Face совпадает с карточкой unsloth/GLM-5.3-Flash, поэтому описание составлено по ней. GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная Z.ai. Репозиторий unsloth содержит дообученную версию базовой модели zai-org/GLM-5.3-Flash-BF16 и распространяет веса в формате safetensors; заявлена лицензия MIT. Модель предназначена для диалогов и генерации текста, включая программирование и агентные сценарии. Архитектура GLM-5 Next сочетает разреженное и линейное внимание; в README указаны 320 млрд параметров всего и 18 млрд активных параметров. Разработчик также описывает мультимодальное предварительное обучение и улучшенную эффективность при работе с длинным контекстом, но точная длина контекста этой копии не приведена. Карточка базовой модели характеризует её как мультимодальную и поддерживающую анализ изображений, однако метаданные этого репозитория указывают в качестве задачи только text-generation. Поэтому назначение копии как модели для обработки изображений отдельно не подтверждено. Языковые теги карточки — английский и китайский. Практическое развёртывание требует соответствующей инфраструктуры для модели такого масштаба; в README перечислены SGLang, vLLM, TokenSpeed и KTransformers.

granite-4.1-8b-heretic — это децензурированная версия IBM Granite 4.1 8B Instruct, созданная пользователем RACER IS OP на основе модели ibm-granite/granite-4.1-8b-instruct. Модель предназначена для генерации текста, диалоговых сценариев, написания кода, задач на рассуждение и других случаев, где требуется прямое следование инструкциям без типичных отказов базовой модели. Она ориентирована на локальный запуск на потребительских GPU, CPU и Apple Silicon, а также может использоваться через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Модель имеет нативный размер около 8,4 млрд параметров; доступны веса BF16 и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. В README указана поддержка английского языка, архитектурные детали и размер контекста не приведены. Децензурирование выполнено с помощью Heretic 1.4.0 методом directional ablation («abliteration»): целевые изменения весов внесены в выходные проекции attention и down-projections MLP без дообучения. Заявляется, что знания и основные возможности базовой модели в значительной степени сохранены. Сильной стороной модели является сочетание возможностей 8B-модели, доступности различных уровней квантования и подавления отказов, что делает её удобной для локального использования. Ограничение состоит в намеренном отсутствии дополнительной фильтрации безопасности: модель может выполнять запросы, от которых отказалась бы базовая версия, в том числе нежелательные. Поэтому разработчик рекомендует не использовать её за незащищёнными публичными интерфейсами без собственного контроля и модерации. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

GRM-3.2-Cliff — модель OrionLLM для длительных агентных сценариев и сложных задач рассуждения. Она основана на Ornith-1.0-9B и, согласно README, содержит 9 млрд параметров; метаданные указывают архитектуру семейства Qwen 3.5 и поддержку диалогов и изображений. Модель предназначена для многошагового планирования и выполнения локальных рабочих процессов, сложного программирования, отладки и рефакторинга, продвинутой математики и логических задач. Разработчик заявляет, что модель рассчитана на продолжительные взаимодействия с сохранением цели и может работать на оборудовании с ограниченными ресурсами GPU. В качестве входа поддерживаются текст и изображения, выход — текст. В README не указаны поддерживаемые естественные языки и длина контекста. Модель распространяется по лицензии Apache 2.0; заявленные характеристики качества и эффективности представлены разработчиком, поэтому их следует оценивать с учётом конкретного сценария.

LLaDA2.0-mini-preview — диффузионная языковая модель с архитектурой Mixture-of-Experts от InclusionAI. Это предварительная instruction-tuned версия семейства LLaDA, предназначенная для диалогов и практических задач генерации текста. README указывает 16 млрд параметров всего и около 1,4 млрд активных при инференсе; в метаданных Hugging Face указан размер 1,2 млрд параметров. Модель содержит 20 слоёв, использует RoPE и поддерживает контекст до 8192 токенов согласно метаданным; README указывает 4096 токенов. Модель подходит для генерации кода, математических рассуждений, ответов на вопросы и сценариев с вызовом инструментов. В README заявлено обучение на серии Ling2.0 примерно на 20 трлн токенов и приведены результаты бенчмарков, но их детализация в доступном фрагменте неполная. Репозиторий содержит веса safetensors и рассчитан на работу через Transformers. Лицензия — Apache-2.0. README обозначает модель как preview, поэтому её качество и поведение следует оценивать для конкретных задач; при повышении температуры авторы предупреждают о возможном смешении языков и снижении качества.

tepirale/merge-cord-v1 — объединённая языковая модель, созданная с помощью mergekit на основе Qwen/Qwen2.5-1.5B. В слияние вошли Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct; в метаданных также указана связь с Qwen/Qwen2.5-1.5B. Архитектура — плотная причинная языковая модель Qwen2 с 1,5 млрд параметров, распространяемая в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая задачи с кодом; метаданные отмечают интерфейс вызова инструментов. Поддерживаемый язык по карточке не определён. Для использования указана библиотека Transformers, лицензия в предоставленных данных не приведена. README сообщает о применении метода Consensus-Orthogonal Residual Decomposition и отмечает, что функция cord отсутствует в MergeKit, поэтому воспроизводимость указанной конфигурации может быть ограничена.

MiMo-V2.6-Flash-RL — мультимодальная модель генерации текста Xiaomi из серии MiMo-V2.6, обученная с подкреплением для агентных сценариев и самоулучшения. Карточка описывает семейство как разреженную MoE-архитектуру с обработкой текста, изображений, видео и аудио и контекстом до 1 млн токенов; указаны визуальный и аудиокодировщики, а также спекулятивный декодер. Метаданные репозитория, однако, описывают загруженную модель как плотную 12-миллиардную MiMoV2ForCausalLM в формате safetensors FP8, а pipeline_tag задаёт генерацию текста. Модель предназначена для диалогов, работы с инструментами, программирования и продолжительных агентных задач, а мультимодальные возможности семейства рассчитаны на понимание изображений, видео и аудио. В отчёте Xiaomi описаны обучение смешанным RL на задачах кодирования, общих агентов, визуального анализа и кибербезопасности, а также методы оценки траекторий и дистилляции. По карточке указана лицензия MIT. Поскольку сведения о размере и архитектуре в README относятся к серии, а метаданные конкретного репозитория расходятся с ними, характеристики репозитория следует считать более конкретными для загруженного чекпойнта.

Nemotron-Cascade-14B-Thinking — универсальная языковая модель NVIDIA на 14 млрд параметров, построенная на архитектуре Qwen3 и дообученная от Qwen3-14B Base. Модель проходит многоэтапное SFT и последовательное обучение с подкреплением по отдельным областям; она предназначена исключительно для режима рассуждений и поддерживает диалоговый шаблон Qwen3 ChatML. Модель подходит для рассуждений на общие темы, математики, программирования, разработки ПО, следования инструкциям и использования инструментов. В метаданных указан контекст 32 768 токенов; README рекомендует YaRN для поддержки более длинного контекста и приводит параметры генерации temperature 0,6 и top_p 0,95. По данным карточки, доступны веса Safetensors и библиотека Transformers. Карточка сообщает о высоких результатах на широком наборе бенчмарков, но эти заявления относятся к оценкам авторов. Модель текстовая и ориентирована на английский язык; README не описывает поддержку других языков. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Карточка модели damfle/ornith-1.5-35b-a3b-custom на Hugging Face совпадает с карточкой ornith-ai/Ornith-1.5-35B-A3B, поэтому описание составлено по ней. Ornith-1.5-35B-A3B — разработанная Ornith AI диалоговая модель семейства Ornith-1.5 с архитектурой Qwen3.5 MoE. В модели около 35 млрд параметров, из которых примерно 3 млрд активируются на каждом токене. Она создана для генерации текста, агентного программирования и выполнения задач с помощью инструментов; README сообщает о результатах на бенчмарках кодирования и агентных задач. Модель принимает текст и выдаёт текст, включая структурированные вызовы инструментов. Поддерживает контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным небольшим ухудшением качества на обычной длине контекста. Для запуска в bf16 требуется около 70 ГБ памяти модели; в примере обслуживания используются две GPU по 80 ГБ. Репозиторий распространяется по лицензии MIT.

duyntnet/Phi-3-mini-4k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-mini-4k-instruct, разработанной Microsoft и опубликованной пользователем duytnet. Модель предназначена для генерации текста в диалоговом формате, следования инструкциям, многошагового общения, структурированного вывода, рассуждений и помощи в программировании. Заявлено улучшенное понимание Python, C++, Rust и TypeScript, а также поддержка системных инструкций через тег <|system|>. Это компактная текстовая авторегрессионная модель семейства Phi-3 Mini; конкретный размер файлов и параметры квантизаций в README не указаны. Модель работает с текстом, поддерживает английский язык и контекст до 4K токенов. Размер словаря токенизатора — до 32064 токенов. Для запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui и Ollama; исходная модель также интегрирована в Transformers. GGUF-квантизации удобны для локального запуска, однако README не содержит данных о точных требованиях к памяти, производительности или сравнительных результатах. Лицензия указана как other, без уточнения конкретных условий, поэтому права на использование следует проверять отдельно. К ограничениям относятся отсутствие заявленной мультимодальности, отсутствие подробных бенчмарков и неопределённость характеристик конкретной квантизации.

Qwen3.6-27B-DSV4Pro-Thinking-Distill-GGUF — набор GGUF-квантизаций модели, разработанный пользователем nerkyor на основе плотной Qwen3.6-27B от Qwen. Модель представляет собой дистилляцию рассуждений в стиле DeepSeek-V4-Pro ReAct с нативной головой MTP (multi-token prediction) и imatrix-коррекцией для большинства вариантов. Дистилляция направлена на улучшение сходимости рассуждений, при этом заявлено сохранение возможностей программирования и общих знаний. Модель предназначена для локального агентного рассуждения, программирования и работы в качестве независимого от облачных сервисов резервного решения, в частности внутри Lynn Agent. Доступны варианты размером от 15,3 до 54,7 GB: IQ4_XS рассчитан на запуск на видеокарте с 16 GB памяти без выгрузки на CPU, а Q5_K_M рекомендован для систем с 24 GB и более. Для ускорения генерации поддерживается нативный MTP; в приведённых измерениях Q4_K_M обеспечивал до 2,6 раза большую скорость в одном потоке, однако выигрыш снижается при высокой параллельности. Модель ориентирована как минимум на английский и китайский языки; для обработки изображений предусмотрен отдельный vision-проектор mmproj F16. В тестах дистиллированная версия показала более высокие результаты на задачах сложного рассуждения и не достигала ограничения длины ответа в случаях, где базовая модель могла не завершить решение. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, снижение эффективности MTP при многопоточности и необходимость подбирать параметры генерации для thinking-режима; в README рекомендуется temperature 0.6 и top_p 0.95. Лицензия — Apache-2.0.

Qwen3.6-27B-Uncensored-HauhauCS-Aggressive-MTP — пользовательская версия модели, опубликованная AIOpsInSpace. Она основана на Qwen3.6-27B и HauhauCS/Qwen3.6-27B-Uncensored-HauhauCS-Aggressive и распространяется в формате GGUF. Модель предназначена для генерации текста, диалогов, задач рассуждения и сложных рабочих процессов, включая программирование. Заявлены плотная архитектура размером 27B параметров, англоязычная поддержка и режим Multi-Token Prediction (MTP) для speculative decoding, который может ускорять инференс при совместимом программном обеспечении. Модель позиционируется как aggressively uncensored, то есть с минимальными ограничениями на содержание ответов. К сильным сторонам относятся заявленные conversational и reasoning-возможности, ориентация на локальное развёртывание и потенциально повышенная скорость генерации благодаря MTP. Ограничения включают отсутствие в предоставленных данных сведений о размере контекстного окна, точных результатах бенчмарков, требованиях к оборудованию и полной совместимости бэкендов; эффективность speculative decoding зависит от используемой инфраструктуры. Указанная лицензия — Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с квантизацией Q4_K_M, поэтому предназначена для запуска через llama.cpp, включая локальный inference и серверный режим. Модель ориентирована прежде всего на генерацию текста и задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках, модальностях, архитектуре, фактическом размере активной части модели и максимальной длине контекста. Ключевое преимущество этой версии — совместимость с экосистемой llama.cpp и возможность более экономичного запуска благодаря 4-битной квантизации; ограничениями могут быть потери качества по сравнению с исходной моделью и зависимость от подходящей аппаратной конфигурации. Указана лицензия Apache-2.0.

RavenXAiLabs-Chaos-Agent-Qwen3.8-27B-Frontier-Intelligence-Injected-OBLITERATED-MLX — языковая модель от RavenX AI Labs, построенная на базе OBLITERATUS/Qwen3.8-27B-OBLITERATED и представленная в формате MLX для Apple Silicon. По данным карточки, модель обучалась на 1,9 млн примеров с использованием proprietary-метода Soul Injection и ориентирована на текстовую генерацию, рассуждения, программирование, агентские сценарии и анализ кибербезопасности. Заявлены поддержка английского языка, размер 27B параметров и MLX-квантизация 4-bit; размер файла составляет около 14 ГБ. Данные о размере контекстного окна и дополнительных модальностях не указаны. Основные сценарии применения включают анализ уязвимостей, red-team и bug bounty, сопоставление с MITRE ATT&CK, генерацию кода на Python, Rust, JavaScript, C, Solidity и Go, разработку и аудит smart contracts, торговый и DeFi-анализ, математическое и техническое рассуждение, творческое письмо, а также tool calling и оркестрацию нескольких инструментов. Среди заявленных сильных сторон — объединение навыков программирования, security-анализа и агентского поведения в одной модели, поддержка структурированных вызовов функций и MCP-совместимых форматов. Ограничения включают отсутствие независимого подтверждения заявленных benchmark-результатов, отсутствие описания методики оценки и заявленные zero refusals, что может повышать риски при использовании модели для опасных или несанкционированных действий. Лицензия указана как Apache-2.0.

Skywork-OR1-7B — текстовая модель общего назначения для рассуждений в математике и программировании, разработанная командой Skywork. Она основана на DeepSeek-R1-Distill-Qwen-7B и обучена с использованием крупномасштабного обучения с подкреплением по правилам и модифицированного алгоритма GRPO. В обучении использовались около 110 тысяч математических задач и 14 тысяч вопросов по программированию, а также фильтрация данных, rejection sampling, многоэтапное обучение и адаптивное управление энтропией. Данная версия представляет собой набор GGUF-квантизаций для локального запуска через llama.cpp, llama-cpp-python, LM Studio или Ollama. Доступны варианты от F16 до 2-битных, примерно от 15,2 до 3,0 ГБ; выбор квантизации позволяет найти компромисс между качеством, требованиями к VRAM и размером модели. Модель предназначена прежде всего для англоязычной генерации текста, решения математических задач и написания кода. Она не заявлена как мультимодальная, а снижение разрядности может ухудшать качество рассуждений и ответов. В README приведён пример запуска с контекстом 32768 токенов, но максимальный контекст модели явно не указан. Распространяется по лицензии Apache 2.0.

Zrald/Zrald-AI-model-quant-qwen-3.8-27b — набор GGUF-квантований Qwen3.8-27B, опубликованный Zrald для локального запуска через llama.cpp. Это плотная модель на 27 млрд параметров, дообученная на базе Qwen/Qwen3.8-27B; репозиторий предлагает три варианта с разным балансом размера, скорости и сохранения качества. README описывает применение для диалогов, программирования, рассуждений и инструктивных задач. Варианты занимают от 10,18 до 17,08 ГиБ; заявлены сценарии запуска на видеокартах с 12, 16 и 24 ГБ памяти, а для старшего варианта — контекст до 32 тысяч токенов. Автор сообщает о тестировании на AMD Instinct MI300X и совместимости с llama.cpp. Лицензия — Apache-2.0. Это текстовая модель генерации; мультимодальные функции базовой модели в карточке этого репозитория не заявлены.

Карточка модели InternScience/Agents-A1-4B-F16-GGUF на Hugging Face совпадает с карточкой InternScience/Agents-A1-4B, поэтому описание составлено по ней. Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.