II.7DevOps, облако и эксплуатация IT-систем

NVIDIA Kimi-K2.6-NVFP4 — квантизированная версия авторегрессионной языковой модели Kimi-K2.6 от Moonshot AI. NVIDIA подготовила эту сборку с помощью Model Optimizer; сама модель не принадлежит NVIDIA и не была ею разработана. Она предназначена для разработчиков и провайдеров инференса, которым нужны готовые к развертыванию предварительно квантизированные генеративные модели для инференса на GPU NVIDIA. Модель использует оптимизированную архитектуру Transformer с сетевой архитектурой DeepSeek V3. Общий размер составляет около 1 трлн параметров, из которых активируется 32 млрд. Поддерживаются текст, изображения и видео на входе, а результатом является текст, включая естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты в зависимости от конфигурации сервинга. Заявлена длина контекста 256 тысяч токенов. В README языки явно не указаны. Сильные стороны модели — мультимодальность, большой контекст, поддержка задач рассуждения, программирования и агентного использования инструментов, а также готовая FP4-квантизация для ускоренного инференса. Сборка ориентирована на NVIDIA Blackwell, Linux и runtime vLLM; для эффективной работы требуются GPU-ускоренные системы NVIDIA. Данные о полном обучающем наборе, тестировании и некоторых характеристиках модели не раскрыты, поэтому перед промышленным применением необходимы дополнительные проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License. README также содержит ссылку на Modified MIT License базовой модели Kimi-K2.6; применимые условия следует проверять по обеим лицензиям и связанным материалам.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

PINQWEN-3.5-9B-1M-GGUF — компактная reasoning-модель, разработанная Blackfrost AI на базе архитектуры Qwen 3.5 9B. Модель предназначена для генерации текста, задач программирования, рассуждений и работы с большими объёмами контекста. Она распространяется в формате GGUF для локального запуска через llama.cpp и поддерживает режим пошагового рассуждения с блоками <think> и последующим ответом. Заявленное контекстное окно составляет до 1 000 000 токенов благодаря расширению YaRN, что подходит для анализа целых кодовых баз, книг и других объёмных документов. Доступны варианты квантования от 2 до 8 бит, а также f16; рекомендованным балансом размера и качества назван Q4_K_M. В комплект входят MTP-голова для speculative decoding и отдельный vision projector для обработки изображений в совместимых средах, однако конкретные поддерживаемые языки в README не указаны. К сильным сторонам относятся очень длинный контекст, локальное развертывание, открытое рассуждение, широкий выбор квантований и возможность мультимодального ввода при использовании совместимого runtime. Ограничения включают компромисс между размером, скоростью и качеством при квантовании, зависимость мультимодальных и MTP-возможностей от поддержки со стороны runtime, а также заявленную модель поведения без встроенных отказов, что требует ответственного применения. Лицензия — Apache-2.0; базовая архитектура указана как Qwen 3.5 9B.

geoffmunn/Qwen3-14B-f16 — версия модели Qwen3-14B в формате GGUF F16, подготовленная Geoff Munn для локального запуска через llama.cpp и совместимые приложения. Это языковая модель на 14 млрд параметров для диалогов, следования инструкциям, рассуждений, генерации кода и работы с многоязычным текстом. Карточка описывает варианты квантования, но этот репозиторий содержит веса F16. Модель подходит для локальных ассистентов, генерации и отладки кода, ответов по документам в RAG-системах и многошаговых задач. Метаданные указывают поддержку английского, китайского, испанского, французского, немецкого, русского, арабского, японского, корейского и хинди. Указана лицензия Apache-2.0. Размер модели составляет 14 млрд параметров. README заявляет о работе с длинными входами, но точную длину контекста не приводит. Для локального запуска требуются ресурсы, соответствующие размеру модели; потребление памяти и скорость зависят от формата весов и оборудования. Приведённые в карточке оценки квантованных вариантов не следует напрямую переносить на F16.

RedHatAI/Qwen3-30B-A3B-FP8-block — это текстовая causal language model, разработанная Red Hat на основе Qwen/Qwen3-30B-A3B. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых систем, ответов на вопросы, следования инструкциям, общего анализа текста и программирования. В README также приведены оценки на OpenLLM leaderboard и coding-бенчмарках HumanEval и MBPP. Архитектура модели обозначена как Qwen3MoeForCausalLM. Это версия с FP8-квантизацией весов и активаций линейных операторов внутри transformer-блоков; используется пок блочная квантизация весов и динамическая токенная квантизация активаций. Снижение разрядности с 16 до 8 бит уменьшает размер на диске и требования к GPU-памяти примерно на 50%. Число параметров указано в идентификаторе и базовой модели как 30B-A3B, однако размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженные требования к хранению и памяти при сохранении качества, близкого к исходной модели: средний результат в OpenLLM V1 составил 73,74 против 73,65 у базовой версии. Модель ориентирована на развёртывание с vLLM и форматом compressed-tensors. Ограничения включают возможные потери качества из-за квантизации, а также отсутствие в предоставленных данных подробностей о языковом покрытии и контекстном окне. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.5-397B-A17B-FP8-dynamic — мультимодальная причинная языковая модель архитектуры Qwen3_5MoeForCausalLM, разработанная RedHatAI на основе Qwen/Qwen3.5-397B-A17B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст. Она предназначена для рассуждений, работы с визуально-языковыми запросами, вызова инструментов и решения широкого круга задач обработки текста и кода. Модель содержит 397 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках, тогда как визуальный энкодер, механизм линейного внимания Gated DeltaNet, маршрутизаторы MoE, общие эксперты и эмбеддинги сохраняются в исходной точности. Это уменьшает размер на диске и потребление GPU-памяти примерно на 50% по сравнению с 16-битной версией. Поддерживаются текстовый режим, мультимодальная обработка изображений, вызов инструментов и multi-token prediction для speculative decoding. Модель оптимизирована для инференса с vLLM и валидирована с vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4. FP8-квантизация снижает требования к ресурсам, однако модель остаётся очень крупной и требует мног GPU-инфраструктуры; в README приведена конфигурация с tensor parallelism на 4 устройствах. Данные о поддерживаемых языках, размере контекста и численных результатах бенчмарков в представленном описании отсутствуют. Модель распространяется по лицензии Apache-2.0.

coder3101/Qwen3.8-27B-heretic — дообученная версия Qwen/Qwen3.8-27B, созданная с помощью Heretic v1.2.0 методом abliteration для уменьшения частоты отказов. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, поддерживающая диалог, изображения и видео. По карточке базовой модели, она рассчитана на программирование, профессиональные и исследовательские задачи, а также многошаговое планирование и работу с агентными сценариями. Контекст базовой модели составляет 262 144 токена с возможностью расширения до 1 000 000; README указывает, что режим рассуждений включён по умолчанию и может настраиваться. В приведённом сравнении модель отказала в 33 случаях из 100 против 92 у исходной версии; это характеризует снижение отказов, но не подтверждает качество ответов для всех запросов. Доступны веса в формате Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache-2.0.

Lucebox/Qwen3.8-27B-IQ4_XS-fast-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, подготовленная для проекта lucebox. Файл создан на основе IQ4_XS с imatrix-калибровкой от bartowski и полностью переквантизирован в IQ4_XS для снижения объёма и ускорения декодирования. Разработчик исходной модели — Qwen; сборку и оптимизацию файла выполнил Lucebox. Модель предназначена для генерации текста, программирования, математических задач и мультимодальных сценариев с анализом изображений. При использовании отдельного проектора Qwen3.8-27B-mmproj-Q8_0.gguf поддерживает ввод изображений через OpenAI-совместимый формат сообщений, до четырёх изображений за запрос. В README указан максимальный контекст до 131 072 токенов при соответствующей конфигурации сервера. Размер файла составляет 13,54 GiB. Для ускорения текстовой генерации предусмотрена совместная работа с черновой моделью DFlash2 и speculative decoding. Главное преимущество версии — более высокая скорость по сравнению с Unsloth UD-IQ4_XS: на указанном AMD Radeon AI PRO R9700 измерено 37,4 токена/с при обычном декодировании и 174,5 токена/с в сквозном тесте с draft-моделью. Компромисс — немного более низкое качество: относительно Q8_0 зафиксированы рост perplexity на 1,9%, top-1 agreement 92%, результат HumanEval 144/164 и GSM8K 171/200. Показатели зависят от оборудования, настроек и сценария; для задач, чувствительных к качеству, README рекомендует UD-IQ4_XS. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-GGUF — это набор GGUF-квантизаций модели Qwopus3.8-27B, опубликованный nom666. Модель создана как весовое слияние Qwen3.8-27B с компонентами Qwopus3.6-27B-v2, содержащими дистиллированный стиль рассуждений Opus. Базовую модель разработала команда Qwen, а исходный вклад в дистилляцию Qwopus принадлежит Jackrong. Это не дообучение с градиентами, а арифметическое слияние весов. Модель предназначена прежде всего для генерации текста, инструкционного взаимодействия, программирования и агентских циклов, особенно в режиме без рассуждений. Она сохраняет архитектуру Qwen3.8: 64 слоя, скрытое представление размером 5120, гибридную архитектуру GDN и full attention, словарь примерно на 248 тысяч токенов, контекст до 262 144 токенов и встроенную MTP-голову для speculative decoding. Экспорт в формате nextn позволяет использовать спекулятивное декодирование через llama.cpp. Доступны варианты с 4- и 8-битной квантизацией размером примерно от 16 до 27 ГБ. Сильные стороны модели — высокая эффективность по числу токенов, улучшенное следование инструкциям в non-thinking режиме и совместимость с быстрым локальным обслуживанием через llama.cpp. В приведённых тестах 4-битная версия набрала 37 из 38 заданий в наборе instruct/code/math, а в thinking-режиме сопоставила базовую модель на сложном наборе, используя примерно на 45% меньше токенов рассуждений. Ограничения включают меньшую стабильность на самых сложных задачах в режиме рассуждений и риск превышения жёсткого лимита токенов; для таких сценариев базовая Qwen3.8 может быть предпочтительнее. Лицензия — Apache-2.0.

CaptainArni/Swift-Qwen3.8-27B-NInfer — артефакт модели Swift-Qwen3.8-27B, разработанной UkisAI на базе Qwen3.8-27B и преобразованной в однофайловый формат NInfer v3 проектом NInfer. Это мультимодальная модель для работы с текстом и изображениями, с поддержкой видео при включении vision-компонента. Она предназначена для диалогов, рассуждений, программирования и генерации структурированного вывода, а также для локального развёртывания через OpenAI-совместимый API. Модель содержит 27 млрд параметров исходной архитектуры, текстовые и vision-компоненты, MTP и опциональный speculative decoding через DFlash2. Используются квантование NVFP4 и FP8, а также форматы BF16 и Q4/Q5/Q6 для отдельных компонентов. Артефакт занимает около 21,2 GiB, веса требуют 18,9 GiB VRAM с MTP или 20,5 GiB с DFlash2. Заявлен максимальный контекст до 262 144 токенов; в примерах конфигурации используется 64 000 токенов. Поддерживается ускоренная генерация с MTP или DFlash2, причём DFlash2 демонстрирует преимущества на коде и структурированном выводе, но требует больше памяти. К сильным сторонам относятся сокращённое число токенов рассуждения, высокая скорость предварительной обработки и меньший объём памяти по сравнению с приведённым официальным NVFP4-артефактом. Ограничения включают зависимость от NVIDIA GPU, Linux и CUDA 12.8+, необходимость использования NInfer, а также ограниченную доказательность заявленных качественных результатов: README описывает лишь небольшое тестирование. DFlash2 обучался на скрытых состояниях базовой Qwen3.8, а не Swift-версии, поэтому его эффективность для этой модели может различаться. Модель распространяется по лицензии swift-open-license-1.0; точные условия следует уточнять по указанному лицензионному документу.

MaziyarPanahi/calme-2.1-qwen2.5-72b — плотная языковая модель на 71,5 млрд параметров, дообученная Maziyar Panahi на основе Qwen/Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста, включая ответы на вопросы, работу виртуальных помощников, создание и суммаризацию контента, генерацию и анализ кода, решение задач и поддержку принятия решений. Модель использует архитектуру Qwen2 и шаблон диалога ChatML; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского языка. Модель подходит для широкого круга текстовых сценариев и имеет интерфейс чата. Возможны предвзятость и ошибки; при практическом применении рекомендуется человеческий контроль. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

casperhansen/deepseek-r1-distill-qwen-32b-awq — это распространённая пользователем casperhansen версия DeepSeek-R1-Distill-Qwen-32B с 4-битным квантованием AWQ. Исходную модель разработала DeepSeek на базе Qwen2.5-32B от команды Qwen компании Alibaba Cloud; она дообучена на 800 тысячах образцов, отобранных с использованием DeepSeek-R1, и предназначена для генерации текста и задач, требующих рассуждений, включая математику, программирование и научные вопросы. Модель является текстовой autoregressive language model с архитектурой Qwen2ForCausalLM и примерно 32 млрд параметров. В конфигурации указаны 64 слоя, 40 attention heads, 8 key-value heads, размер скрытого состояния 5120 и максимальная длина контекста 131072 токена. Репозиторий содержит веса Safetensors в формате AWQ с 4-битными группами размера 128 и типом вычислений bfloat16. Квантование существенно уменьшает требования к памяти и подходит для локального запуска, но может снижать точность по сравнению с исходной полноразмерной моделью; конкретные результаты тестирования этой AWQ-сборки в карточке модели не приведены. Для модели casperhansen указана лицензия MIT. В карточке также отмечается, что исходная DeepSeek-R1-Distill-Qwen-32B поддерживает коммерческое использование, модификацию и создание производных работ, однако при практическом применении следует учитывать условия лицензий исходных компонентов и выбранного программного окружения.

dolphin-2.9.1-llama-3-70b-GGUF — это квантизированная версия языковой модели Dolphin 2.9.1, созданной Cognitive Computations на базе Meta-Llama-3-70B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в диалогах и выполнение инструкций, а также на задачи программирования, математические задачи, function calling и агентские сценарии. Для обучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. Указанный шаблон запросов использует формат ChatML. Модель текстовая; сведения о поддерживаемых языках и размере контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В README рекомендуются, в частности, варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты экономят память, но снижают качество. Лицензия указана как llama3. Для точных условий использования следует дополнительно учитывать лицензию базовой модели Meta-Llama-3-70B.

dolphin-2.9.1-mixtral-1x22b-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9.1 Mixtral 1x22B, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1, а исходная модель размещена cognitivecomputations. Квантизация выполнена с использованием imatrix и llama.cpp; доступны варианты от Q8_0 до Q2_K и IQ-квантизации с размером файлов примерно от 6,64 до 23,63 ГБ. Модель предназначена для диалоговой генерации текста, следования инструкциям, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, SystemChat, Locutusque function calling и Agent-FLAN. Заявленный язык — английский. Формат взаимодействия использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются большое базовое семейство Mixtral, широкий набор instruction- и code-oriented данных, а также выбор вариантов квантизации для компромисса между качеством и требованиями к памяти. Более высокие варианты, включая Q6_K и Q5_K_M, заявлены как обеспечивающие высокое качество, тогда как низкобитные варианты экономят память, но заметнее снижают качество. Модель работает только с текстом; сведения о размере контекста и мультимодальности в README не указаны. Распространение разрешено по лицензии Apache-2.0.

Dolphin-2.9.3-Mistral-7B-32k-GGUF — это квантизированная версия языковой модели Dolphin-2.9.3-Mistral-7B-32k, созданной Cognitive Computations на базе Mistral-7B-v0.3 от Mistral AI. Репозиторий GGUF подготовлен и квантизирован bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговом формате, выполнения инструкций, программирования, решения математических задач, function calling и агентских сценариев. Модель содержит около 7 млрд параметров, работает с текстовой модальностью и поддерживает контекст до 32 000 токенов. Для обучения или дообучения использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Locutusque/function-calling-chatml и Agent-FLAN. README не указывает полный перечень поддерживаемых языков, поэтому языковые возможности нельзя надежно уточнить. Главное преимущество репозитория — широкий выбор GGUF-квантизаций с разным компромиссом между качеством и потреблением памяти: от высококачественных Q8_0 и Q6_K до более компактных вариантов Q4, Q3 и IQ3. Более низкие уровни квантизации экономят память, но могут заметно снижать качество ответов; некоторые варианты отмечены как экспериментальные. Для работы требуется совместимый inference-движок, например llama.cpp. Лицензия — Apache-2.0.

GKA-primed-HQwen3-32B-Reasoner — гибридная причинная языковая модель, созданная Amazon на основе Qwen3-32B с помощью конвейера Priming. В ней 32 слоя Attention и 32 слоя Gated KalmaNet (GKA): GKA — рекуррентный слой типа модели пространства состояний, который решает задачу онлайн-регрессии и использует постоянный объём памяти при линейной по длине последовательности вычислительной стоимости. Модель содержит 29,7 млрд параметров и принимает контекст до 128 тысяч токенов. Модель предназначена для диалогов и рассуждений в длинном контексте: решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Режим рассуждений можно включать и отключать. По заявлению авторов, гибридная архитектура ускоряет генерацию до двух раз на длинном контексте и сокращает расход памяти на KV-кэш; опубликованные тесты показывают близкое к базовой Qwen3-32B или более высокое качество на большинстве перечисленных задач, но более низкий результат на SciCode. Модель доступна в формате safetensors, точность bfloat16, по лицензии Apache 2.0.

cyankiwi/GLM-5.2-AWQ-INT4 — это квантизированная версия GLM-5.2, разработанная на базе модели Z.ai (zai-org). Модель предназначена для генерации текста, решения задач с длинной цепочкой рассуждений, программирования, работы с инструментами и агентских сценариев. В README также указана калибровка на наборах STEM и Agentic. Модель использует формат AWQ с точностью INT4. Заявлена поддержка контекста до 1 млн токенов. Архитектура GLM-5.2 включает IndexShare, повторно использующий один индексатор для каждой группы из четырёх разреженных attention-слоёв, что снижает вычисления на длинном контексте; MTP-слой предназначен для speculative decoding. В карточке указаны английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Размер основных файлов составляет 454,29 ГБ, дополнительного MTP-слоя — 19,91 ГБ, общий объём загрузки — 474,19 ГБ. Сильные стороны модели — работа с очень длинным контекстом, программирование, математическое и научное рассуждение, а также агентские задачи; конкретные результаты приведены в бенчмарках базовой GLM-5.2. Ограничениями являются крупный объём файлов и высокие требования к ресурсам для локального развёртывания, а также возможные потери качества из-за INT4-квантизации. Для запуска указана совместимость с SGLang, vLLM, Transformers, KTransformers и Unsloth. Лицензия — MIT.

Nemotron-Cascade-8B — языковая модель общего назначения от NVIDIA, дообученная на базе Qwen3-8B-Base. Модель имеет плотную архитектуру Qwen3 и около 7,6 млрд параметров; поддерживает контекст до 32 768 токенов и работает через Transformers в формате safetensors. Модель предназначена для диалогов и генерации текста, включая рассуждения, следование инструкциям, математические задачи, программирование, инженерные задачи в ПО и использование инструментов. Доступны режимы рассуждения и обычного ответа, переключаемые тегами /think и /no_think. В карточке описано последовательное дообучение с многоэтапным SFT и обучением с подкреплением по разным областям. Для длинного контекста NVIDIA рекомендует RoPE scaling с YaRN; это требует соответствующей настройки конфигурации. Метаданные указывают лицензию как other, поэтому конкретные права использования следует сверить с условиями репозитория.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

Qwen3-0.6B-FP8 — компактная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия базовой модели Qwen3-0.6B, предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, перевода и мультиязычных сценариев. Модель также поддерживает интеграцию с внешними инструментами и агентские приложения. Модель содержит 0,6 млрд параметров, из них 0,44 млрд не относятся к embedding, и включает 28 слоёв. Она использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений, поддерживает контекст до 32 768 токенов и более 100 языков и диалектов. В одной модели можно переключаться между thinking mode для сложных рассуждений, математики и кода и non-thinking mode для более быстрой генерации и обычного диалога. FP8-квантизация с размером блока 128 снижает требования к ресурсам и подходит для развёртывания через Transformers, SGLang и vLLM. Сильные стороны модели — небольшой размер, поддержка мультиязычности, режимов рассуждения и обычного ответа, а также применимость к диалоговым и агентским задачам. Ограничения включают возможные бесконечные повторы при неподходящих параметрах генерации и известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-Claude-Opus-DeepSeek-Distilled-Imatrix-MTP-1M-GGUF — квантованная модель в формате GGUF на базе Qwen3.6-27B, опубликованная Brian6145. Она предназначена для локального запуска, агентных сценариев, ReAct-рассуждений, использования инструментов, структурированного вывода, многошагового выполнения задач, анализа кода и работы с длинными документами. Модель поддерживает английский и китайский языки и относится к задачам генерации текста. Вариант дообучен методом дистилляции с использованием Claude Opus, DeepSeek и математико-логических моделей: заявлены улучшения систематичности рассуждений, оркестрации инструментов, завершения задач и математической логики. Контекстное окно расширено с 262 144 до 1 048 576 токенов с помощью YaRN, что позволяет обрабатывать книги, большие кодовые базы и длительные диалоги. В репозитории также заявлена поддержка speculative decoding через MTP; конкретный размер квантования для этой карточки не указан. В качестве сильных сторон заявлены агентное поведение, вызов инструментов, следование инструкциям, структурированный вывод и результаты на внутренних тестах, включая GPQA-Diamond — 83,84% и MMLU-500 — 91,80%. Рекомендуемые параметры генерации — temperature 0,6 и top_p 0,95; отклонение от них, согласно README, может ухудшать стабильность и качество вызова инструментов. Производительность зависит от оборудования и конфигурации инференса. Модель распространяется по лицензии Apache-2.0.

MoonRide/Qwen3.6-27B-heretic-ara-GGUF — GGUF-квантизированная версия модели Qwen3.6-27B, разработанная MoonRide. Это декензурированная модификация исходной модели Qwen/Qwen3.6-27B, созданная с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с визуально-текстовыми запросами; исходная архитектура включает языковую модель с vision encoder. Модель содержит 27B параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet и Gated Attention, а также обучалась с использованием multi-step MTP. В репозитории представлены различные GGUF-квантизации; рекомендованы IQ3_XS размером около 12 ГБ и IQ3_XXS размером около 11,2 ГБ. Ключевая особенность модели — значительно сниженная склонность к отказам: в приведённом сравнении она отказала в 16 из 100 тестовых случаев против 91 из 100 у исходной Qwen3.6-27B. При этом декензурирование может влиять на поведение и безопасность модели, а квантизация способна снижать точность по сравнению с оригинальными весами; измеренное KL-расхождение составляет 0,0221. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-MTP-GGUF — GGUF-квантизированная версия модели Qwen3.6-35B-A3B. Базовую модель разработала команда Qwen, а данный вариант опубликован Unsloth. Это причинная языковая модель с vision encoder, ориентированная на генерацию текста, программирование, агентные сценарии, работу с репозиториями и frontend-задачами, а также вызов инструментов с вложенными объектами. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена; в составе 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Поддерживаются многошаговое предсказание MTP, сохранение контекста рассуждений из предыдущих сообщений и обработка изображений благодаря vision encoder. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Точный набор поддерживаемых языков в README не указан. MTP заявлен как способ ускорить инференс примерно в 1,5–2 раза без потери точности. Модель рассчитана на запуск через llama.cpp, Unsloth Studio и совместимые инструменты; доступны режимы для GPU, CPU и Metal. В README указано ограничение: при использовании MTP параметры -np > 1 и --mmproj пока не поддерживаются. Репозиторий распространяется по лицензии Apache-2.0.

Mia-AiLab/Qwen3.8-27B-EXL3-3.5bpw — это текстовая генеративная модель на основе Qwen/Qwen3.8-27B, разработанная Mia-AiLab и представленная в формате EXL3 для запуска через exllamav3. Модель предназначена для генерации текста, программирования и задач математического и логического рассуждения, включая сценарии с длинным контекстом. Вариант использует workload-калибровку на самостоятельно сгенерированном наборе из 622 515 токенов с кодом и рассуждениями, что, по данным автора, улучшает принятие токенов при speculative decoding и поведение на целевых задачах по сравнению с общей калибровкой. Это плотная модель размером 27B с гибридной архитектурой: 48 слоёв gated-deltanet с рекуррентным состоянием и 16 слоёв full attention с KV-кэшем. Средняя точность квантования составляет 3,5 bpw, веса занимают около 14,2 ГБ; эмбеддинги и lm_head сохранены в не-квантованном формате. Модель поддерживает нативный контекст до 262 144 токенов, а через YaRN доступно расширение до 1 048 576 токенов, однако качество за пределами 262 тысяч токенов ограничено. Это текстовая модель без vision tower; конкретный набор поддерживаемых языков в README не указан. К сильным сторонам относятся небольшое потребление видеопамяти для модели такого размера, эффективная работа с длинным контекстом, встроенная MTP-голова для speculative decoding и возможность применения FP8 или NVFP4 KV-кэша в расширенной версии exllamav3. На видеокарте с 24 ГБ памяти заявлена возможность разместить веса и полный нативный контекст при использовании NVFP4 KV-кэша. Ограничения включают зависимость от exllamav3, необходимость специализированного aarch64-порта на DGX Spark/GB10 и использование форка exllamav3 для некоторых функций KV-кэша и DFlash2. Модель распространяется по лицензии Apache-2.0.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B — текстовая дистилляция от Empero на базе Qwen/Qwen3.6-35B-A3B. Это причинная языковая модель с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активируются на токен; используется 40 слоёв, 256 экспертов и 8 маршрутизируемых экспертов на токен. Модель распространяется в формате Transformers и поддерживается стандартными средами запуска с поддержкой архитектуры Qwen3.6. Модель предназначена для диалогов, математических задач, программирования, общих рассуждений, следования инструкциям и вызова инструментов. Она обучена методом дистилляции на отфильтрованных трассах внутренних моделей-учителей Qwen3.8; базовая модель поддерживает контекст до 262 144 токенов. Обучение было текстовым, поэтому визуальные возможности унаследованы от мультимодальной основы, но не дообучались и не оценивались. В сравнении с базовой моделью README сообщает о близком результате на MMLU и улучшении на ARC-Challenge. Известные ограничения: ответы обычно короче, чем у основы, длинные цепочки рассуждений могут обрываться, а жадное декодирование при длинной генерации может приводить к повторениям. Для работы нужны актуальная версия Transformers с поддержкой Qwen3.6 и CUDA-совместимые ядра Gated DeltaNet; веса выпущены под лицензией Apache-2.0.

casperhansen/deepseek-r1-distill-qwen-7b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-7B, опубликованная пользователем casperhansen. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-7B и дообучена на синтетических данных, сгенерированных DeepSeek-R1, для усиления способностей к рассуждению. Модель предназначена для текстовой генерации, диалогов и задач, требующих пошагового рассуждения, включая математику, программирование и ответы на вопросы. Это decoder-only модель архитектуры Qwen2ForCausalLM примерно с 7 млрд параметров, 28 слоями, 28 attention heads и контекстом до 131072 токенов. Она работает только с текстом; сведения о гарантированном наборе поддерживаемых языков в карточке этой версии не указаны. Ключевое преимущество версии casperhansen — снижение требований к памяти благодаря 4-битной AWQ-квантизации с group size 128 и размеру файлов около 5,58 ГБ, что упрощает локальный запуск. Ограничения включают возможную потерю качества из-за квантизации, зависимость результатов от используемого inference-движка и промпта, а также отсутствие в карточке подробных бенчмарков, описания безопасности и заявленных гарантий качества для разных языков. Репозиторий распространяется по лицензии MIT; для производных моделей также следует учитывать условия лицензии исходной модели Qwen.

Карточка модели nishti1024/DeepSeek-V4.1-Flash на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-V4.1-Flash, поэтому описание составлено по ней. DeepSeek-V4.1-Flash — мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач. Она принимает изображения и текст и авторегрессионно генерирует текст. По README, модель обучена с нуля и использует архитектуру Causal Encoder-Decoder с 40 слоями и Mixture-of-Experts; в ней 552 млрд параметров backbone, а при обработке токенов активируется 8 млрд параметров на этапе prefill и 16 млрд при генерации. Модель поддерживает контекст до одного миллиона токенов и управляемый уровень усилий рассуждения от 1 до 100. Среди заявленных архитектурных решений — сжатие KV-кэша, разреженное внимание, условная память Engram и спекулятивное декодирование. Модель ориентирована на сценарии с длинным контекстом и агентным выполнением задач, включая работу с кодом и визуальными данными. Метаданные указывают форматы safetensors FP8 и библиотеку Transformers; лицензия — MIT. README отмечает, что для релиза не предоставлен Jinja-шаблон чата, а для запуска локально предлагается обратиться к инструкциям в папке inference.

Gemini 2.5 Flash — мультимодальная модель Google, предназначенная для рассуждений, программирования, математики и научных задач. Карточка описывает её как универсальную рабочую модель со встроенным режимом «thinking» для более сложных ответов. Модель предназначена для диалоговых сценариев и решения сложных задач, в том числе связанных с кодом и наукой. В предоставленных данных не указаны размер, архитектура, поддерживаемые языки, длина контекста или условия лицензии.

AEON-7/Gemma-4-26B-A4B-it-Uncensored-NVFP4 — инструкцияная мультимодальная модель семейства Gemma 4, разработанная AEON-7 на основе TrevorJS/gemma-4-26B-A4B-it-uncensored. Модель предназначена для диалогов, генерации текста и кода, агентских сценариев, рассуждений, вызова инструментов и обработки изображений вместе с текстом. Заявлена поддержка английского языка. Архитектура — разреженная Mixture-of-Experts: 26 млрд параметров всего и около 4 млрд активных параметров. Веса квантизованы в NVFP4, используется формат safetensors. Для развёртывания предусмотрена интеграция с vLLM и OpenAI-совместимым API; в документации указана конфигурация с контекстом до 262 144 токенов, chunked prefill, prefix caching и speculative decoding через DFlash. Модель ориентирована на GPU-платформы NVIDIA Grace Blackwell, включая DGX Spark/GB10, а также на локальное или периферийное развёртывание. К сильным сторонам относятся сочетание мультимодальности, MoE-архитектуры с небольшим числом активных параметров, поддержки function calling и reasoning, а также оптимизации для высокопроизводительного инференса. Ограничения связаны с зависимостью от совместимого оборудования NVIDIA и специализированной конфигурации vLLM; заявленные параметры производительности относятся к конкретному серверному стеку и не гарантируют аналогичные результаты в других средах. Модель обозначена как uncensored/unfiltered, поэтому встроенные ограничения безопасности могут быть ослаблены. Лицензия указана как Gemma.