II.7DevOps, облако и эксплуатация IT-систем

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

Карточка модели ewgenni/AliceAI-Foundation-80B-A3B-Base на Hugging Face совпадает с карточкой yandex/AliceAI-Foundation-80B-A3B-Base, поэтому описание составлено по ней. AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля. Это предобученная модель с гибридной архитектурой и смесью экспертов: всего 80 млрд параметров, из которых на каждом токене активируются около 3 млрд. Архитектура включает 48 слоёв, 512 экспертов и механизмы KDA и Gated Attention; контекст — до 262 144 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под задачи рассуждений, математики, программирования, работы с фактами и взаимодействия с инструментами. По данным карточки, особенно сильна в фактологических задачах на русском языке; доступны русскоязычные бенчмарки WikiWebFacts и HardMultiQA. Это базовая модель, поэтому для диалогового применения и следования инструкциям может потребоваться дообучение и подходящий шаблон сообщений. Веса опубликованы в формате Safetensors и доступны по лицензии Apache 2.0. В README описан запуск через Transformers и vLLM; для выполнения KDA-слоёв на GPU требуется совместимая версия flash-linear-attention. Заявленные в README 80 млрд общих параметров расходятся с метаданными Hugging Face, где указано 3,1 млрд параметров.

jondurbin/bagel-20b-v04-llama — языковая модель для диалогов и генерации текста, созданная как версия Bagel-20B-v04 с архитектурой Llama. В README указано, что Bagel-20B-v04 дообучена на базе internlm2-20b; метаданные также указывают internlm/internlm2-20b в качестве базовой модели. Модель содержит 19,3 млрд параметров, имеет контекст до 32 768 токенов и распространяется в формате safetensors. Модель предназначена для ответов на вопросы, следования инструкциям, написания и пересказа текстов, решения задач по математике и естественным наукам, программирования, ролевого общения и вызова функций. В обучении использовались данные для диалогов, чтения с пониманием, контекстных ответов, суммаризации, Python и SQL, а также многоязычные материалы. Поддерживаются несколько форматов промптов; шаблон по умолчанию использует формат Llama 2. Карточка указывает лицензию «other», не раскрывая в предоставленных данных её точные условия. Обучающие данные охватывают разные стили и задачи, включая ролевые диалоги и токсичные примеры; ответы требуют проверки, особенно для фактических, программных и чувствительных запросов. Модель является дообученной версией InternLM2-20B.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — текстовая генеративная модель, опубликованная под идентификатором Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF. Она создана на базе Mistral-Small-3.1-24B-Base-2503 и представлена в формате GGUF; сборка выполнена с использованием llama.cpp. В README не указано имя отдельной организации-разработчика, однако модель связана с серией Dans и использует наборы данных PocketDoc и других авторов. Модель предназначена для универсальной генерации текста, ролевого общения, написания и редактирования историй, работы с инструкциями, математикой, рассуждениями, кодом, инструментами и специализированными темами, включая химию, биологию, климат, право, медицину и финансы. Заявлены английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Мультимодальность не заявлена, поэтому модель следует рассматривать как текстовую. Ключевая особенность — низкобитные варианты квантования IQ-DynamicGate с адаптивным распределением точности по слоям, ориентированные на снижение требований к памяти при сохранении качества. Такие варианты подходят для ограниченных по памяти GPU, CPU и периферийных устройств, но могут уступать более точным форматам по качеству. Приведённые в README результаты относятся к тестам Llama-3-8B, а не непосредственно к этой 24-миллиардной модели, поэтому их нельзя напрямую считать её характеристиками. Размер контекста для данной модели не указан. Лицензия — Apache-2.0.

Dolphin X1 8B — языковая модель для генерации текста, разработанная командой Dolphin на основе dphn/Dolphin-X1-8B и Llama 3.1 8B Instruct. Версия с идентификатором dphn/Dolphin-X1-8B-GGUF предназначена для запуска моделей в формате GGUF. Модель ориентирована на общее назначение и диалоговое взаимодействие, включая сценарии, аналогичные использованию универсальных ассистентов. Модель имеет архитектуру Llama 3.1 с размером около 8 миллиардов параметров и поддерживает текстовую модальность. Она сохраняет стандартный шаблон чата Llama 3 и позволяет задавать тон, характер и правила поведения через системный промпт. Заявленная особенность Dolphin — повышенная управляемость: владелец приложения самостоятельно определяет системные инструкции, выравнивание и способы обработки данных. Сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся универсальность, возможность локального или контролируемого развёртывания, совместимость с Ollama, LM Studio, Transformers, vLLM, SGLang и TGI, а также стремление сохранить или улучшить возможности Llama 3.1 8B Instruct при снижении ограничений на ответы. Ограничения модели и её поведения зависят от выбранных инструкций и настроек выравнивания; заявленная доля успешного прохождения набора Dolphin-refusals составляет 95,96%, а показатели MMLU и IFEVAL приведены в README без дополнительного описания методики. Лицензия указана как Llama 3.1.

ERNIE-4.5-21B-A3B-Thinking — текстовая MoE-модель семейства ERNIE от Baidu, представленная в репозитории Unsloth как дообучение baidu/ERNIE-4.5-21B-A3B-Thinking. Она предназначена для генерации текста и сложных рассуждений: логических задач, математики, науки, программирования и академических вопросов, а также для работы с инструментами. В модели 21 млрд параметров всего, из которых для каждого токена активируются около 3 млрд; архитектура включает 28 слоёв, а длина контекста составляет 131 072 токена. Модель принимает и генерирует текст, поддерживает английский и китайский языки. Карточка отмечает улучшенные рассуждения, использование инструментов и понимание длинного контекста; для сложных задач рекомендован режим с увеличенной длиной рассуждения. Для запуска описана поддержка Transformers версии 4.54.0 или новее, а также интеграции с FastDeploy и vLLM; парсеры рассуждений и вызовов инструментов для vLLM указаны как находящиеся в разработке. Лицензия — Apache-2.0.

unsloth/gemma-3-4b-it-GGUF — GGUF-версия инструкционно дообученной модели Gemma 3 4B IT, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для диалогов, генерации и понимания текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений. Она подходит для локального запуска на ноутбуках, настольных компьютерах и в собственной облачной инфраструктуре, включая сценарии с ограниченными ресурсами. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Для изображений используется нормализация до 896×896 пикселей и кодирование каждого изображения в 256 токенов. Для варианта 4B заявлено контекстное окно до 128 000 токенов и максимальный объём генерируемого ответа до 8192 токенов. Поддерживается более 140 языков, хотя в метаданных карточки явно указан английский. Относительно небольшой размер облегчает развёртывание, а формат GGUF ориентирован на эффективный локальный запуск. Ограничения включают зависимость качества от языка, задачи и доступных вычислительных ресурсов, а также возможные ошибки в ответах и интерпретации изображений. В README не приведены точные требования к оборудованию и параметры квантования конкретного файла. Модель распространяется по лицензии Gemma; условия использования представлены в отдельных Terms of Use Google.

trohrbaugh/gemma-4-31b-it-heretic-ara — разговорная мультимодальная модель на архитектуре Gemma 4, размещённая пользователем trohrbaugh. По метаданным она работает через Transformers и принимает изображения вместе с текстом, поддерживая диалог и визуальное понимание. README описывает семейство Gemma 4: его модели предназначены для рассуждений, агентных сценариев, программирования и мультимодальных задач; модель 31B относится к варианту с контекстом до 256K токенов. В описании семейства указаны гибридное внимание с локальными и глобальными слоями, распознавание текста и документов на изображениях, понимание графиков и интерфейсов, а также вызов функций. Аудиовозможности README относит только к версиям E2B и E4B. Метка heretic и теги uncensored, decensored и abliterated указывают на модификацию, нацеленную на ослабление отказов, однако README не объясняет точную методику или проверенные характеристики именно этой сборки. Семейство Gemma 4 поддерживает более 35 языков, но конкретный список языков этой модели не приведён. Лицензия репозитория — Apache-2.0. Как и другие генеративные модели, она может выдавать фактические ошибки, отражать смещения обучающих данных и хуже справляться с неоднозначными или сложными запросами.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

GLM-5.3-Flash-Alis-MLX-4bit — это 4-битная сборка модели GLM-5.3-Flash, разработанной Zhipu AI (zai-org), адаптированная для выполнения через MLX на устройствах Apple Silicon. Модель предназначена для генерации текста и локального инференса, включая сценарии программирования, работы с прозой, анализа табличных данных и решения математических задач. Базовая модель имеет архитектуру glm5_next: 320B параметров, из которых 18B активируются на токен (320B-A18B), mixture-of-experts с 288 экспертами, 34 слоями линейного внимания и 11 слоями DSA, а также механизмом mHC. Данная версия получена потоковой деквантизацией официального релиза FP8 и сохраняет маршрутизатор MoE и correction bias в формате FP32. В README также указана поддержка спекулятивного декодирования и двухузлового tensor parallelism, однако часть этих режимов относится к отдельным сборкам или экспериментальной инфраструктуре, а не непосредственно к опубликованному checkpoint. К сильным сторонам относятся существенно сниженный объём хранения по сравнению с полной моделью, оптимизация под MLX и высока скорость генерации на мощных системах Apple Silicon; для конфигурации M3 Ultra 512GB заявлялась скорость около 29 токенов в секунду при обычном декодировании. Ограничениями являются очень высокие требования к памяти, зависимость производительности от аппаратной конфигурации и MLX-окружения, а также экспериментальный статус некоторых режимов параллельного и спекулятивного декодирования. Модель распространяется по лицензии MIT.

bartowski/granite-3.0-3b-a800m-instruct-GGUF — набор квантизированных версий инструкционной языковой модели granite-3.0-3b-a800m-instruct, разработанной IBM Granite и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, решение математических задач, работу с кодом и мультиязычные сценарии. Доступны веса в форматах от F16 до Q4, включая варианты Q8_0, Q6_K, Q5_K и Q4_K; размер файлов составляет примерно от 1,93 до 6,75 ГБ. Для запуска рекомендуется использовать llama.cpp или LM Studio. В README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X, однако подробные характеристики архитектуры, максимального контекста, поддерживаемых языков и модальностей не указаны. К сильным сторонам относятся выбор степеней квантизации, возможность локального запуска и сохранение высокого качества в вариантах Q5 и Q6. Более компактные варианты требуют меньше памяти, но могут сильнее терять качество. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

Granite-3.3-2B-Base — базовая языковая модель, разработанная командой Granite компании IBM. Это плотный decoder-only трансформер с 2,5 млрд параметров и контекстом до 131 072 токенов. Архитектура включает GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддержка Fill-in-the-Middle позволяет генерировать фрагмент текста с учётом контекста до и после него, в том числе для автодополнения кода. Модель предназначена для генерации текста, суммаризации, классификации и извлечения информации, ответов на вопросы и работы с длинным контекстом. Она обучена на данных из веба, кода, академических источников, книг и математики, а также на многоязычных, инструкционных и синтетических длинноконтекстных данных. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель выпущена под лицензией Apache 2.0. Она не прошла safety-выравнивание, поэтому может генерировать проблемный контент; возможны предвзятость, недостоверные ответы и дословное воспроизведение обучающих данных.

lyf/Huihui-gemma-4-31B-it-abliterated-v2-NVFP4 — мультимодальная 31-миллиардная модель, представляющая собой NVFP4-квантизированную версию Huihui-gemma-4-31B-it-abliterated-v2 от huihui-ai, созданную на базе Google Gemma 4 31B IT. Релиз предназначен для диалогов, генерации и анализа текста, следования инструкциям, программирования, структурированного вывода, а также обработки изображений и видео. В README также указана abliteration-интервенция, направленная на удаление отказов модели. Модель поддерживает сценарии «текст—текст», «изображение—текст» и «видео—текст»; аудио не поддерживается, поскольку в 31B-чекпойнте отсутствует аудиоэнкодер. Визуальная башня сохранена в формате BF16, а большинство линейных слоёв текстового стека, включая слои self-attention, квантизированы в NVFP4. Эмбеддинги, lm_head и визуальная часть также остаются в BF16. Размер файлов составляет около 19,5 ГБ, что позволяет запускать модель на одной видеокарте RTX 5090 с 32 ГБ памяти; заявленная скорость декодирования — около 69 токенов в секунду. К сильным сторонам относятся уменьшенный размер, сохранение мультимодальных возможностей исходной модели, улучшенное по сравнению с предыдущей версией значение perplexity и более строгое следование инструкциям по результатам локального тестирования. Ограничения связаны с отсутствием аудиоподдержки, требовательностью к совместимому программному стеку и аппаратному обеспечению, а также возможным влиянием агрессивной NVFP4-квантизации на качество. Для работы рекомендуется vLLM с поддержкой Gemma 4 и NVFP4. Лицензия указана как gemma.

活字3.5（Huozi 3.5）是哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的稀疏混合专家语言模型，用于中文和英文对话、指令遵循及通用文本生成。模型基于 Chinese-Mixtral-8x7B 和活字3.0训练，并经过指令微调与模型融合；每个专家层含8个前馈网络，每次计算稀疏激活其中2个。README称模型共有46.7B параметров、推理时激тивируется около 13B; метаданные указывают 7.2B параметров. Поддерживается контекст до 32 768 токенов. Модель заявлена для работы с китайскими и английскими знаниями, математическими рассуждениями, генерацией кода, многоходовым диалогом и безопасными ответами. Доступны веса в формате safetensors, а для инференса описаны Transformers, vLLM, ModelScope, OpenAI API и преобразование в GGUF. Лицензия репозитория — Apache 2.0; для коммерческого использования авторы просят связаться с правообладателем и получить письменное разрешение. Модель может выдавать фактические ошибки, предвзятый или вредоносный контент, поэтому ответы требуют проверки. Заявления о возможностях и оценках приведены авторами; качество зависит от сценария и настройки генерации.

ThomasBaruzier/Meta-Llama-3.1-70B-Instruct-GGUF — это версия большой языковой модели Meta Llama 3.1 70B Instruct, опубликованная пользователем ThomasBaruzier в формате GGUF. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая ответы на вопросы, написание и преобразование текстов, суммирование и другие задачи обработки естественного языка. Модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров и поддерживает текстовую модальность. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимость с соответствующими инструментами инференса, однако конкретный тип квантования, требования к памяти и размер контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются большой размер, инструкционное дообучение и многоязычная поддержка. Ограничения включают высокие потенциальные требования к вычислительным ресурсам, а также возможные ошибки, неточности и нежелательные результаты, характерные для генеративных моделей. Модель распространяется по Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, требования к атрибуции и маркировке «Built with Llama», а также применимую Acceptable Use Policy.

Meta-Llama-3.1-70B-Instruct-iMat-GGUF — это квантизированная версия инструкционной языковой модели Meta-Llama-3.1-70B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. Доступна в формате GGUF для использования с совместимыми инструментами, в частности с актуальными версиями llama.cpp. Модель содержит около 70 миллиардов параметров и работает с текстовыми данными. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Представлены варианты квантизации от Q8_0 до IQ1_S, включая экспериментальные варианты; при квантизации использовалась importance matrix (imatrix), призванная уменьшить потери качества. Длина контекста в README не указана. Сильной стороной модели является сочетание крупного размера, инструкционного обучения и широкого набора вариантов квантизации, позволяющих выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения связаны с тем, что качество и ресурсоёмкость зависят от выбранного варианта квантизации, а для работы требуется современная сборка совместимого программного обеспечения. Модель распространяется по лицензии llama3.1.

IsValorum/Nex-N2.5-mini-APEX-I-MiniPlus-GGUF — это квантизированная GGUF-версия модели Nex-N2.5-mini, разработанной Nex-AGI и дополнительно оптимизированной IsValorum. Модель основана на архитектуре qwen35moe с 35,1 млрд параметров и использует многомодельную экспертную архитектуру MoE. В комплект входят основная модель размером около 14,56 ГБ с квантизацией 3,36 BPW и отдельный vision-проектор mmproj в формате Q8_0 размером около 610 МБ. Модель предназначена для рассуждений, вызова функций и инструментов, автономного взаимодействия с компьютером, обработки изображений и анализа графического интерфейса. Заявлены мультимодальные возможности, высокоточное визуальное сопоставление и поддержка высокоразрешённых изображений. В README перечислена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Также заявлена работа с контекстом до 256K токенов, однако подробные параметры этой поддержки в представленном фрагменте не приведены. Главные особенности квантизации — сохранение выходного слоя в Q6_K, маршрутизаторов экспертов в F32 и использование разных уровней точности для внимания и экспертных блоков. Это должно повышать стабильность синтаксиса, маршрутизации экспертов и рассуждений по сравнению с более агрессивными низкобитными вариантами, сохраняя умеренные требования к памяти и производительность на CPU. Ограничения связаны с потерями, неизбежными для квантизированной модели, потребностью примерно в 14 ГБ памяти для основной модели и тем, что это предыдущая, или legacy, версия MiniPlus. Для использования требуется совместимый рантайм GGUF, например llama.cpp. Лицензия — Apache-2.0.

Это версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, преобразованная сообществом mlx-community в формат MLX для запуска с mlx-lm. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель NVIDIA ориентирована на рассуждения, программирование и создание агентных приложений; в карточке также заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. В названии указана точность 5 бит. README сообщает о преобразовании исходной BF16-модели в формат MLX с помощью mlx-lm 0.29.1; метаданные указывают библиотеку MLX и формат файлов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и файлами репозитория. Данных о длине контекста в предоставленных источниках нет.

Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

Карточка модели open-thoughts/OpenThinker-32B на Hugging Face совпадает с карточкой trinityomnis/OpenThinker-32B, поэтому описание составлено по ней. OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

PolarisLM — плотная языковая модель семейства PolarNet с 9,2 млрд параметров, разработанная авторами семейства Polaris. Она предназначена для диалогового помощника, рассуждений, генерации текста и кода, ответов на вопросы, а также вызова функций и инструментов. Модель принимает текст и генерирует текст; заявлены улучшения в сложных рассуждениях, снижении галлюцинаций и надёжности вызова функций. Для работы с длинными запросами поддерживает контекст до 32 768 токенов. В README приведены результаты на арифметических, логических, фактических и многоязычных задачах, включая рост точности на GPQA-Diamond с 62,0% у предыдущей версии до 79,8%; авторы связывают это с более длинным рассуждением. Для запуска предлагается использовать температуру 0,5 и системный запрос с текущей датой. Модель распространяется по лицензии Apache-2.0. Численные результаты и сравнения приведены авторами README; независимая проверка в предоставленных данных не описана.

dnotitia подготовила вариант Qwen3-4B с изменённым шаблоном чата для удобства обучения. Веса совпадают с официальными весами Qwen3; шаблон вынесен в файл chat_template.jinja и дополнен тегами generation для поддержки assistant_only_loss в библиотеке TRL. Модель построена на плотной причинной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров по метаданным. Она принимает текст и предназначена для генерации текста, диалога, следования инструкциям, рассуждений, написания кода и многоязычных задач; заявлена поддержка более 100 языков и диалектов. Указанное в карточке контекстное окно составляет 32 768 токенов, тогда как метаданные каталога приводят 40 960 токенов; это расхождение требует проверки для конкретной конфигурации. Для обучения рекомендована актуальная версия Transformers. Лицензия — Apache-2.0.

mlx-community/Qwen3-4B-bf16 — конверсия модели Qwen/Qwen3-4B в формат MLX, выполненная сообществом mlx-community; веса представлены в bf16. Это плотная авторегрессионная языковая модель Qwen3 с примерно 3,7 млрд параметров, предназначенная для генерации текста и диалогов. Она поддерживает контекст до 40 960 токенов, а метаданные также указывают интерфейс для вызова инструментов. Модель можно применять для ответов в чате, рассуждений, генерации кода и многоязычных текстовых задач. Для запуска используется библиотека MLX и пакет mlx-lm; карточка README описывает преобразование исходной модели Qwen/Qwen3-4B в формат MLX. Лицензия — Apache-2.0.

RedHatAI/Qwen3.5-9B-quantized.w4a16 — квантованная версия мультимодальной модели Qwen3.5-9B, разработанная RedHatAI на базе модели Qwen от Qwen. Она принимает текст и изображения, а генерирует текст; модель предназначена для диалоговых приложений, анализа визуальной информации, выполнения инструкций и задач рассуждения. Для работы рекомендуется использовать vLLM, поддерживаются мультимодальный и текстовый режимы. Модель содержит около 9 млрд параметров и использует квантование весов INT4 по схеме W4A16 при сохранении исходной точности активаций. Квантируются линейные операторы в трансформерных блоках, тогда как vision encoder, токенизаторные embeddings и linear attention layers остаются в BF16. Размер на диске составляет около 11 ГБ против 19,3 ГБ у версии BF16, что снижает требования к памяти. В конфигурации vLLM заявлена максимальная длина контекста 262144 токена. К сильным сторонам относятся существенное сокращение размера и возможность эффективного инференса при сохранении близкой к исходной точности: на опубликованных тестах результаты квантованной версии составили 97,9–100,1% от показателей базовой модели на задачах следования инструкциям. Ограничения связаны с частичным, а не полным квантованием, зависимостью от совместимого стека vLLM и отсутствием в представленном описании сведений о поддерживаемых языках и подробных характеристиках архитектуры. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

TeichAI/Qwen3.6-27B-Claude-Opus-Reasoning-Distill — мультимодальная дообученная модель на архитектуре Qwen3.5 с 27 млрд параметров, созданная на базе Qwen/Qwen3.6-27B с использованием набора данных TeichAI/lordx64-claude-opus-4.7-max-cleaned. Она предназначена для программирования, творческого письма, понимания изображений и диалоговых задач общего назначения; метаданные также указывают интерфейс для вызова инструментов и поддержку зрения. Модель принимает текст и изображения и генерирует текст. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0.

mmangkad/Qwen3.6-27B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3.6-27B, разработанной Alibaba и подготовленной с использованием NVIDIA Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers, содержит 27 млрд параметров, принимает и генерирует текстовые последовательности и поддерживает контекст длиной до 262 тысяч токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат NVFP4. Модель ориентирована на работу с NVIDIA GPU, совместима с архитектурой NVIDIA Blackwell и рассчитана на запуск через SGLang в Linux. Данные о поддерживаемых языках, полном составе обучающего набора и результатах комплексной оценки не раскрыты; среди указанных оценок есть benchmark GPQA. К сильным сторонам относятся готовая к развертыванию квантизация, большой контекст и оптимизация для инференса на совместимом оборудовании NVIDIA. Ограничения включают зависимость от поддерживаемой GPU-инфраструктуры и SGLang, а также возможное воспроизведение токсичных высказываний и социальных предубеждений из обучающих данных. Модель может выдавать неточные, неполные, нерелевантные или избыточные ответы. Распространение разрешено по лицензии Apache 2.0; при использовании также необходимо учитывать условия и требования базовой модели Qwen3.6-27B.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

Qwen3.6-35B-A3B-OptiQ-4bit — это квантизированная версия языковой модели Qwen3.6-35B-A3B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon через MLX, без PyTorch и облачных сервисов. Она подходит для диалога, рассуждений, программирования, извлечения информации из длинного контекста, вызова инструментов и агентских сценариев. Модель использует смешанную точность: большинство параметров представлены в 4-битном формате, а чувствительные слои — в 8-битном. Всего квантизировано 510 слоёв, размер группы — 64; 392 слоя имеют 8-битную, а 118 — 4-битную точность. Размер модели на диске составляет около 22,1 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. Поддерживаются текстовые задачи; конкретные языки и размер контекста в README не указаны. К сильным сторонам относятся чувствительно-ориентированная квантизация, локальная работа на Apple Silicon и результаты, превосходящие равномерную 4-битную квантизацию по суммарному Capability Score, особенно в вызове функций и извлечении данных из длинного контекста. Ограничениями являются требования к памяти из-за размера около 22,1 ГБ, привязка к экосистеме MLX и Apple Silicon, а также небольшое снижение результатов в отдельных тестах по сравнению с равномерной 4-битной версией. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.