II.7DevOps, облако и эксплуатация IT-систем

Shuttle-3.5 — дообученная ShuttleAI версия языковой модели семейства Qwen3, предназначенная для диалогов, следования инструкциям и работы с внешними инструментами. Она сочетает режим рассуждений для сложных задач с обычным режимом ответов; в карточке заявлены улучшения в математике, программировании, логическом рассуждении, творческом письме и ролевых диалогах. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров по метаданным. Она принимает текст и генерирует текст; метаданные указывают контекст до 40 960 токенов, а карточка модели — поддержку более 100 языков и диалектов. Для совместимой интеграции предусмотрен интерфейс вызова инструментов. Модель подходит для многоязычного общения, перевода, генерации кода и агентных сценариев. Заявления о сравнительных результатах и качестве основаны на карточке разработчика и не сопровождаются здесь независимой оценкой. Лицензия — Apache-2.0.

Agnes-3.0-Flash Preview — открытая мультимодальная модель с весами от Agnes AI, предназначенная для рассуждений, программирования и выполнения инструкций. Это отдельный предварительный чекпойнт: заявленные характеристики относятся к нему, а не к более новой производственной версии через API. Модель использует гибридный декодер из 72 слоёв: 54 слоя с рекуррентным gated delta rule чередуются с 18 слоями глобального внимания. Контекстное окно составляет 262 144 токена. Модель обрабатывает текст, изображения и видео, поддерживает управляемый уровень рассуждений и интерфейс вызова инструментов. Карточка указывает поддержку английского и китайского языков. Модель подходит для анализа длинных материалов, диалога, задач по коду и мультимодального понимания. Для запуска требуются Transformers с удалённым кодом модели; README рекомендует GPU уровня H100 80 ГБ или H200 141 ГБ для bf16. Лицензия — Apache-2.0.

Cogito v2 preview — instruction-tuned генеративная языковая модель Deep Cogito на архитектуре DeepSeek V3. В метаданных указано 37,6 млрд параметров и базовая модель deepseek-ai/DeepSeek-V3-Base; README описывает её как вариант MoE на 671 млрд параметров. Репозиторий создан 27 июля 2025 года, веса представлены в формате Safetensors, лицензия — MIT. Модель поддерживает обычный режим ответа и режим с дополнительным рассуждением, который включается через шаблон чата или системную инструкцию. Она предназначена для программирования, задач STEM, следования инструкциям и общего диалога; README также заявляет поддержку вызова инструментов, более 30 языков и контекст до 128 тысяч токенов. Метаданные указывают нативный контекст 163 840 токенов. README сообщает о сравнительных преимуществах на отраслевых бенчмарках и об обучении методом Iterated Distillation and Amplification, но подробные результаты здесь не приведены. Заявления о размере расходятся: README указывает 671 млрд параметров, метаданные — 37,6 млрд. Это текстовая модель; подтверждения обработки изображений, аудио или видео в предоставленных данных нет.

DeepSeek-V4-Flash — предварительная версия большой языковой модели семейства DeepSeek-V4, разработанная командой DeepSeek AI. Модель предназначена для обработки длинного контекста, решения задач общего назначения, работы со знаниями, рассуждениями, программированием и агентными сценариями. В README также отмечается наличие режима DeepSeek-V4-Flash-Max с увеличенным бюджетом рассуждений, однако подробности его реализации не приведены. Модель построена на архитектуре Mixture-of-Experts (MoE) и содержит 284 млрд параметров, из которых 13 млрд активируются при обработке запроса. Поддерживается контекст длиной до 1 млн токенов. Для повышения эффективности длинноконтекстного вывода используются механизмы Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Модель поставляется в смешанном формате FP4 + FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Обучение проводилось более чем на 32 трлн токенов с последующей настройкой с использованием SFT, RL с GRPO и on-policy distillation. К сильным сторонам относятся высокая эффективность при работе с очень длинными контекстами, компактное число активируемых параметров относительно общего размера и заявленная конкурентоспособность в задачах рассуждений и программирования. По сравнению с версией Pro модель имеет меньший масштаб, поэтому, согласно README, несколько уступает ей в задачах, требующих обширных знаний, и в наиболее сложных агентных рабочих процессах. Языки и мультимодальные возможности в представленных данных не указаны. Лицензия — MIT.

Dolphin-2.9-Llama3-70B-GGUF — это квантизированная версия языковой модели Dolphin 2.9 на базе Llama 3 с 70 млрд параметров. Исходную модель разработала cognitivecomputations, а квантизации в формате GGUF подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, агентские сценарии и function calling. В README указан английский язык; модальность — текстовая. Размер контекстного окна не указан. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 16,75 до 74,97 ГБ. Более качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; варианты с меньшей разрядностью экономят память, но могут заметно снижать качество. Модель использует формат диалогового шаблона ChatML с ролями system, user и assistant. К сильным сторонам относятся большой размер модели, широкий набор обучающих данных для инструкций, кода, математики, диалогов и вызова функций, а также возможность локального запуска через llama.cpp при выборе подходящей квантизации. Ограничения — значительные требования к оперативной или видеопамяти, зависимость качества от выбранного варианта квантизации и отсутствие в README сведений о точной длине контекста и результатах стандартизированных оценок. Указанная лицензия — llama3.

GDN-primed-HQwen3-8B-Reasoner — гибридная причинно-следственная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Priming из Hybrid Model Factory. В архитектуре сочетаются 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), слоя модели пространства состояний с постоянным размером состояния. Модель содержит около 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений на длинном контексте, ответов на вопросы, математики, научных задач, программирования, следования инструкциям и вызова инструментов. Она поддерживает режимы с рассуждением и без него; режим рассуждения может повысить качество ответов на сложные запросы, но увеличивает задержку. Гибридная архитектура сокращает использование растущего KV-кэша и, по данным разработчика, может ускорить инференс на длинном контексте до двух раз при качестве, близком к базовой модели. Модель работает с текстом, имеет контекст 128K токенов в описании разработчика и доступна в формате safetensors для Transformers. Она основана на многоязычной Qwen3-8B, однако конкретный перечень поддерживаемых языков в карточке не приведён. Лицензия — Apache 2.0. Результаты на отдельных тестах различаются: например, показатель SciCode ниже базовой Qwen3-8B; для длинных генераций разработчик рекомендует настройки кэша float32.

muranAI/gemma-3n-E4B-it-GGUF — коллекция GGUF-квантизованных версий instruction-tuned модели Gemma 3n E4B IT. Базовая модель разработана Google, а muranAI подготовила варианты для эффективного запуска с использованием llama.cpp и Ollama. Модель предназначена для диалоговых приложений, генерации текста, ответов на вопросы, программирования и других задач общего назначения. Архитектура — Gemma 3n с эффективным объёмом около 4 миллиардов параметров, контекстным окном 32 768 токенов и словарём размером 256 000 токенов. Заявлена многоязычная поддержка более 140 языков. Доступны варианты квантования от F16 и Q8_0 до Q2_K размером примерно от 2,6 до 13 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к памяти. Модель оптимизирована для работы на обычных компьютерах и периферийных устройствах; поддерживаются CPU и совместимые GPU через llama.cpp или Ollama. Сильные стороны модели — instruction tuning для диалогов, расширенный контекст, многоязычность и широкий выбор степеней квантования. К ограничениям относятся потенциальная потеря качества в более агрессивно квантованных вариантах и зависимость производительности от оборудования и версии программного обеспечения. В README приведены ориентировочные результаты исходной модели на ряде бенчмарков, но они не обязательно отражают показатели каждой квантизованной версии. Распространение осуществляется по лицензии Gemma.

darkc0de/gemma-4-31B-it-Claude-Opus-Distill-v2-heretic — производная модель на основе unsloth/gemma-4-31B-it, дообученная с помощью Unsloth на наборах рассуждений, дистиллированных из взаимодействий Claude Opus 4.5 и 4.6 с высоким уровнем рассуждений. Затем модель была декензурирована методом abliteration с помощью Heretic v1.3.0; в описанных измерениях частота отказов снизилась с 89 до 28 из 100, а KL-дивергенция относительно исходной версии составила 0,0063. Модель предназначена для диалогов и решения многошаговых задач: генерации и отладки кода, научного анализа, исследовательских запросов и повседневных инструкций. Архитектура Gemma 4 — плотная мультимодальная модель на 31 млрд параметров с поддержкой изображений; заявлены режим рассуждений и обработка изображений с настраиваемым бюджетом визуальных токенов. В метаданных указан pipeline image-text-to-text и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. В README отмечены сниженная склонность к отказам и способность к сложным рассуждениям, однако бенчмарки ещё не опубликованы; измерение отказов приведено только для конкретной внутренней проверки и не гарантирует поведения во всех сценариях.

GLM-4.6-FP8 — языковая модель для генерации текста, разработанная командой zai-org, связанной с Zhipu AI. Модель предназначена для работы с агентами, рассуждениями, программированием, поиском и использованием инструментов, а также для задач, где важны качество текста и естественность ролевого взаимодействия. Модель поддерживает английский и китайский языки, работает через библиотеку Transformers и имеет контекстное окно до 200 000 токенов. По сравнению с GLM-4.5 заявлены улучшения в кодировании, рассуждениях, использовании инструментов и поисковых агентах, а также более качественная генерация визуально оформленных интерфейсов. В README не указаны архитектура, количество параметров и точные сведения о поддерживаемых модальностях; по заявленному pipeline_tag модель относится к генерации текста. К сильным сторонам относятся увеличенный контекст, улучшенная работа с кодом и агентскими сценариями, поддержка tool use во время вывода и более естественный стиль написания. Ограничения и результаты конкретных тестов в README подробно не приведены. Для общих оценок рекомендуется temperature 1.0, а для задач программирования дополнительно top_p 0.95 и top_k 40. Модель распространяется по лицензии MIT.

Карточка модели matrixdose/GLM-5.2 на Hugging Face совпадает с карточкой ShaunGves/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — мультимодальная версия модели GLM-5.3-Flash с открытыми от цензуры весами. Исходную архитектуру разработала Zhipu AI (ZAI), uncensored-веса предоставила dealignai, а смешанную MLX-квантизацию oQ8e подготовила Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Указаны языки English и Chinese. Модель основана на разреженной MoE-архитектуре с 320 млрд общих параметров, 288 экспертами и примерно 18 млрд активных параметров на токен. Она поддерживает контекст до 1 048 576 токенов, мультимодальное понимание изображений и видео и запуск на Apple Silicon через MLX. Используется смешанная точность около 8,6 бит на вес: критичные для маршрутизации и вывода слои сохраняются в 8-битном формате, vision tower и мультимодальный aligner — в BF16, а отдельные таблицы — в BF16/FP32. В комплект входит DFlash2 для speculative decoding, заявленное ускорение — до 3 раз. Сильными сторонами являются большой контекст, сочетание текстовых и визуальных возможностей, высокая заявленная производительность в программировании, математике и видеоанализе, а также оптимизация для чипов Apple M2–M5. Ограничения включают значительный размер модели и зависимость от совместимого оборудования и MLX; заявленная uncensored-настройка может требовать самостоятельного контроля безопасности при использовании. Лицензия — MIT.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

Granite-3.1-8B-Instruct — инструктивная языковая модель команды Granite компании IBM, опубликованная Red Hat AI. Это плотная модель на 8,2 млрд параметров, полученная дообучением Granite-3.1-8B-Base на открытых наборах инструкций и внутренних синтетических данных; в обучении использовались supervised fine-tuning, обучение с подкреплением для выравнивания и слияние моделей. Она предназначена для диалогов, следования инструкциям, генерации текста и работы с длинным контекстом; поддерживает интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Доступна в формате safetensors и распространяется по лицензии Apache 2.0. README сообщает о проверке на платформах Red Hat AI и рекомендует развёртывание через vLLM; конкретный пример конфигурации ограничивает длину контекста 32 768 токенами.

Hermes 4 14B FP8 — языковая модель, разработанная Nous Research на базе Qwen3-14B и представленная в формате FP8. Она предназначена для диалоговых ассистентов, решения задач рассуждения, математики, программирования, STEM и логики, творческого письма, ролевого взаимодействия, а также для сценариев с function calling, использованием инструментов, JSON и структурированными ответами. В карточке указана поддержка английского языка. Модель использует гибридный режим рассуждения: при необходимости она может формировать сегменты <think>…</think>, а также работать в более быстром режиме без явного рассуждения. Hermes 4 обучалась на расширенном посттренировочном корпусе примерно из 5 миллионов образцов и 60 миллиардов токенов. Среди заявленных характеристик — улучшенное следование схемам и способность исправлять некорректные JSON-объекты, высокая управляемость, снижение необоснованных отказов и поддержка формата ChatML. Архитектурные подробности и размер контекстного окна в README не указаны. Сильные стороны модели — универсальность, качество рассуждений, работа с кодом и структурированными форматами, а также поддержка вызовов функций и инструментов. Ограничения включают отсутствие в предоставленных данных подробных сравнительных результатов, сведений о мультимодальности и подтверждённой поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

QuantFactory/INTELLECT-1-Instruct-GGUF — квантизированная версия инструкционной языковой модели PrimeIntellect/INTELLECT-1-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста, выполнения инструкций, работы с кодом, математическими задачами и общими текстовыми запросами. Основной заявленный язык — английский; модель относится к модальности text-to-text и поддерживает только текстовые данные. Модель содержит около 10 млрд параметров, 42 слоя, 32 attention heads, hidden size 4096, словарь размером 128256 токенов и контекст длиной до 8192 токенов. Базовая INTELLECT-1 обучалась с нуля на 1 трлн токенов английского текста и кода, а затем прошла post-training и instruction tuning на наборах данных для общего следования инструкциям, программирования, математики, агентных сценариев и многоязычных данных. Предобучение выполнялось распределённо сообществом Prime Intellect и партнёров на базе framework prime и алгоритма DiLoCo. Ключевое преимущество этой версии — формат GGUF и квантизация, позволяющие запускать модель через совместимые инструменты llama.cpp с меньшими требованиями к памяти по сравнению с полной версией. Однако конкретный уровень качества, скорость и потребление памяти зависят от выбранного варианта квантизации. Контекст ограничен 8192 токенами, а качество для языков, отличных от английского, в README подробно не охарактеризовано. Для исходной модели требуется добавлять BOS-токен в начало каждого примера, иначе производительность может снизиться; применимость этого требования при использовании GGUF зависит от используемого рантайма и шаблона. Лицензия — Apache 2.0.

unsloth/llama-3-8b-bnb-4bit — это 4-битная квантованная версия 8-миллиардной языковой модели Llama 3, подготовленная Unsloth на базе Meta-Llama-3-8B. Исходную модель разработала Meta. Она предназначена для генерации текста и кода, диалоговых сценариев, текстового автодополнения и последующего дообучения на пользовательских наборах данных. Модель принимает только текст и генерирует текст или код. В основе лежит авторегрессионная архитектура оптимизированного Transformer; заявлены Grouped-Query Attention и контекстное окно 8 тысяч токенов. Модель обучалась на смеси общедоступных онлайн-данных; дата отсечения знаний — март 2023 года. Квантование до 4 бит снижает требования к памяти и делает модель более удобной для локального запуска и тонкой настройки, однако может уменьшать качество по сравнению с полноточной версией. Модель не поддерживает изображения и другие модальности, а качество ответов зависит от исходной Llama 3 и конкретного сценария использования. В README указана лицензия Llama 3 (license: llama3).

Next 32B — плотная языковая модель с архитектурой Qwen3 для генерации текста, диалога и выполнения инструкций. В карточке она представлена как разработка Lamapi; модель содержит 29,7 млрд параметров, использует формат safetensors и имеет контекстное окно 40 960 токенов. Модель предназначена для многошаговых рассуждений, анализа сложных запросов и стратегического планирования. Среди заявленных сценариев — генерация кода, работа с длинными документами, исследовательские задачи и агентные системы. README особо выделяет турецкий и английский языки; в метаданных карточки также перечислены немецкий, испанский, французский, русский, китайский, японский и корейский. Модель принимает текст и генерирует текст. README заявляет высокие результаты в рассуждениях и пригодность для корпоративных сценариев, однако не приводит проверяемых результатов бенчмарков; эти заявления следует считать заявлениями разработчика. Для запуска крупной модели потребуется существенная память GPU: в README приведены рекомендации от 24 ГБ для 4-битной квантизации и от 48 ГБ для 8-битной или FP16. Лицензия — MIT.

Это конвертированная для MLX и Apple Silicon версия NVIDIA Nemotron 3.5 Lightning 30B-A3B-NVFP4. Её подготовил автор репозитория Sawfwair на основе официального чекпойнта NVIDIA; это детерминированная конверсия, а не оригинальная раскладка TensorRT-LLM или vLLM. Модель предназначена для диалогов, рассуждений, следования инструкциям и генерации кода, а также для чат-ботов, RAG-систем и агентных приложений. Архитектура — гибридная MoE с чередованием слоёв Mamba-2 и MoE, отдельными слоями Attention и компонентами Multi-Token Prediction. В официальной карточке указано 30 млрд параметров, из которых активно около 3 млрд; репозиторные метаданные для этого артефакта указывают 1,9 млрд параметров. Контекст модели достигает 1 048 576 токенов. Она принимает текст и генерирует текст; заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков, а также задач программирования. Вариант MLX рассчитан на запуск на Apple Silicon. README характеризует исходную модель как пригодную для коммерческого использования, но метаданные этой конверсии указывают лицензию «other»; перед коммерческим внедрением следует проверить условия исходной модели и артефакта. Показатели тестов в README измерены NVIDIA для официального NVFP4-чекпойнта и не являются отдельной оценкой этой конверсии.

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.

RedHatAI/Qwen2.5-7B-Instruct-quantized.w8a8 — мультиязычная текстовая генеративная модель для диалоговых и ассистентских сценариев. Модель разработана Neural Magic на основе Qwen2.5-7B-Instruct от Alibaba Cloud и предназначена для коммерческого и исследовательского использования, включая чат на нескольких языках. Она принимает текст и генерирует текст; заявлены поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского и других языков. Модель использует архитектуру Qwen2 и содержит 7 миллиардов параметров в базовой версии. Вариант w8a8 оптимизирован квантованием весов и активаций до INT8. Для линейных операторов трансформерных блоков применяются симметричное статическое поканальное квантование весов и симметричное динамическое потокенное квантование активаций с использованием комбинации SmoothQuant и GPTQ. Это примерно на 50% снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений. Модель рассчитана на эффективное развертывание с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример максимальной длины контекста 8192 токена, а для отдельных конфигураций указано значение 32768; точное ограничение зависит от среды развертывания. Ограничения включают возможное снижение точности из-за квантования и запрет на использование с нарушением применимого законодательства и экспортных ограничений. Модель распространяется по лицензии Apache-2.0.

igriv/Qwen3-32B-heretic — разговорная языковая модель семейства Qwen3, созданная изменением Qwen3-32B методом abliteration, чтобы существенно снизить частоту отказов. В приведённом сравнении модель отказывает в 3 случаях из 100 против 99 у исходной модели; это оценка из карточки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, в том числе для рассуждений, программирования, перевода и следования инструкциям. Архитектура — плотная авторегрессионная Qwen3ForCausalLM; в метаданных указаны 29,7 млрд параметров, контекст 40 960 токенов и формат safetensors. README приписывает семейству Qwen3 поддержку более 100 языков, но не приводит отдельную оценку языков именно этой производной модели. Модель разработана автором репозитория igriv на основе Qwen3-32B. Лицензия — Apache-2.0. Снижение отказов может означать меньшую защиту от небезопасных запросов; опубликованная таблица не раскрывает полный протокол оценки, а качество и безопасность ответов требуют самостоятельной проверки.

Tooony133/Qwen-3.8-27B-DinkyDoo — модель семейства Qwen3.8, представленная как дообученный вариант Qwen3.8-27B с объединёнными с базовыми весами LoRA-адаптерами. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, предназначенная для диалогов, анализа изображений и видео, программирования, профессиональных задач, исследований и многошаговых агентных сценариев. Модель принимает текст и изображения, а также поддерживает понимание видео. В README указана длина контекста 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию; его можно отключать и настраивать глубину. Модель распространяется в формате Transformers и совместима с рядом средств инференса. Сильные стороны, заявленные в карточке: мультимодальное понимание, работа с длинным контекстом, кодирование и выполнение многошаговых задач. Карточка не приводит отдельных измерений качества именно этой производной модели. Лицензия — Apache-2.0; README также просит соблюдать требования об указании авторства и изменениях из файлов LICENSE и NOTICE.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Qwen3.8-9B MLX MXFP4 — это квантованная версия модели empero-ai/Qwen3.8-9B, подготовленная schsu для локального запуска на компьютерах Mac с Apple silicon. Исходная модель разработана Empero и представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B на основе примерно 70 000 отобранных трасс учителя, посвящённых математике, программированию, рассуждениям, следованию инструкциям и использованию инструментов. Модель предназначена для генерации текста, решения задач, программирования, рассуждений, выполнения инструкций и сценариев с tool use и function calling. Она поддерживает английский язык; в комплект входят токенизатор, конфигурация генерации и chat template. Модель содержит 9,65 млрд параметров, использует архитектуру Qwen3.5-9B и 4-битное weight-only-квантование MXFP4 (E2M1) с размером группы 32. Средний размер хранения составляет 4,251 бита на вес, размер квантованного checkpoint — около 4,5 ГБ, архитектурный предел контекста — до 262 144 токенов. К сильным сторонам относятся локальная работа на Apple silicon, поддержка явного режима рассуждений, вызова функций и многошагового взаимодействия с инструментами, а также компактный размер по сравнению с полноразмерными весами. Практические требования к памяти зависят от длины контекста и характеристик устройства, поскольку KV-кэш растёт вместе с активным контекстом; приведённые показатели скорости и потребления памяти являются лишь локальным smoke-тестом и не заменяют комплексные бенчмарки. Для работы требуются современная macOS, Python 3.10 или новее, mlx-lm версии 0.31.3 или новее и mlx версии 0.32.0 или новее. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-8B-quantized.w4a16 — языковая авторегрессионная модель на архитектуре Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-8B. Модель работает с текстом на входе и генерирует текст на выходе; заявлены поддержка рассуждений, вызова функций, многоязычного следования инструкциям, перевода и адаптации под предметные области посредством дообучения. Модель использует квантизацию весов до INT4 в формате W4A16. Квантизуются веса линейных операторов внутри трансформерных блоков с применением GPTQ, асимметричной групповой схемы и размером группы 64; параметр lm_head исключён. Такое сжатие уменьшает число бит на параметр с 16 до 4, а заявленный размер на диске и требования к памяти GPU — примерно на 75%. Для развёртывания рекомендуется backend vLLM, включая OpenAI-совместимый режим сервинга. Сильные стороны модели — существенно сниженные требования к хранению и GPU-памяти при сохранении назначения исходной Qwen3-8B, а также пригодность для задач рассуждений, перевода и работы с инструкциями. Ограничения включают потенциальное снижение качества из-за квантизации и отсутствие в представленном README конкретных численных результатов оценки; также не указаны точный перечень поддерживаемых языков и гарантированное максимальное окно контекста. В материалах приведены конфигурации с длиной последовательности до 8192 и отдельные оценки с длиной до 40960 токенов, что не следует автоматически трактовать как универсальное ограничение модели. Модель распространяется по лицензии Apache-2.0. Использование должно соответствовать применимым законам и нормативным требованиям.

Qwopus3.6-27B-v2-AWQ-4bit — это квантизированная версия Jackrong/Qwopus3.6-27B-v2, дообученной на базе Qwen 3.6 27B с дистилляцией рассуждений Claude Opus. Квантизацию выполнил mconcat. Модель предназначена для генерации текста, решения математических и логических задач, программирования, анализа, творческого письма, работы с общими знаниями и вызова инструментов. В README также сохранены метаданные мультимодального процессора и vision-компонентов. Модель использует гибридную архитектуру DeltaNet и softmax attention, а также однос-layer MTP head для speculative decoding. Основные веса представлены в формате AutoAWQ INT4 (W4A16) с размером группы 128, при этом ряд компонентов, включая vision tower, мультимодальный проектор, MTP head, нормы и крайние слои трансформера, сохранён в BF16. Размер чекпойнта составляет около 26 ГБ вместо примерно 54 ГБ у BF16-версии. Заявлены языки English, Chinese, Korean и Japanese; в конфигурации запуска указан максимальный контекст 16384 токена. К сильным сторонам относятся существенное уменьшение размера модели, сохранение качества исходной BF16-версии на приведённых тестах и ускорение генерации с MTP speculative decoding. На одном NVIDIA B300 SXM6 заявлена скорость до 251 токена в секунду при batch size 1 и ускорение 2,19 раза относительно режима без MTP. Ограничения включают зависимость от совместимого окружения vLLM версии 0.21.0 или выше, необходимость trust_remote_code для указанного запуска и аппаратную специфику приведённых показателей производительности. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

WizardLM-2 8x22B — большая языковая модель семейства Mixtral, разработанная командой WizardLM в Microsoft AI. Это диалоговая модель с архитектурой Mixture of Experts (MoE), дообученная на базе mistral-community/Mixtral-8x22B-v0.1 с использованием синтетической обучающей системы. README указывает 141 млрд параметров; метаданные Hugging Face — 22B параметров. Указанный в метаданных контекст составляет 65 536 токенов. Модель предназначена для сложных диалогов, многоязычных запросов, рассуждений, написания текстов и кода, математических задач и сценариев с агентами. Для общения в README приведён шаблон системного промпта. Заявления о качестве основаны на оценках авторов, включая MT-Bench и сравнения предпочтений людей; они не гарантируют аналогичных результатов во всех задачах. Модель принимает текст и генерирует текст. README описывает поддержку нескольких языков, но не перечисляет их по отдельности. Лицензия — Apache 2.0.

jondurbin/bagel-dpo-34b-v0.5 — диалоговая языковая модель, созданная дообучением Yi-34B-200K с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстным окном до 200 000 токенов. Модель предназначена для чата и широкого круга текстовых инструкций. Модель обучалась на данных для вопросов и ответов, рассуждений, программирования, математики, естественных наук, суммаризации, ролевого диалога и вызова функций. В карточке заявлены наборы данных для английских и многоязычных задач, однако основной язык модели отдельно не обозначен. Поддерживаются несколько форматов запросов: Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. DPO-настройка направлена на улучшение предпочтительности ответов, а дополнительные данные охватывают творческое письмо, следование контексту, код и правдивость. Среди обучающих данных также есть примеры токсичного контента и offensive cybersecurity. Это может отражаться на генерируемых ответах; модель может ошибаться и не гарантирует достоверность или безопасность. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели.