II.7DevOps, облако и эксплуатация IT-систем

Yi-1.5-34B-32K — базовая большая языковая модель семейства Yi, разработанная компанией 01.AI. Это плотная авторегрессионная модель архитектуры Llama с 33,9 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации и продолжения текста, понимания инструкций, рассуждений, решения математических задач, программирования и ответов на вопросы по длинным текстам. Yi-1.5 получена продолжением предобучения Yi на высококачественном корпусе из 500 млрд токенов и дообучением на 3 млн разнообразных примеров. README отмечает улучшения в коде, математике, рассуждениях и следовании инструкциям, сохраняя способности к пониманию языка и чтению. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0. В карточке нет сведений о поддерживаемых естественных языках или об отдельных ограничениях качества.

AFM-4.5B — инструкционная языковая модель Arcee.ai для диалогов и генерации текста. Это плотный decoder-only трансформер с архитектурой ArceeForCausalLM; в карточке указано 4,5 млрд параметров, а в метаданных — 6 млрд. Модель дообучена на основе arcee-ai/AFM-4.5B-Base с supervised fine-tuning и последующим обучением с подкреплением по проверяемым результатам и предпочтениям людей. Модель предназначена для генерации ответов и выполнения инструкций в различных средах развёртывания — от облака до периферийных устройств. Обучение включало данные для математических рассуждений и генерации кода. Среди архитектурных особенностей — grouped-query attention и активации ReLU²; поддерживаются диалоговый режим и контекст до 65 536 токенов. Указаны языки: английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский. Модель распространяется под лицензией Apache 2.0. Карточка приводит оговорку о вариативности результатов на бенчмарках и рекомендуемые параметры генерации, но не описывает подробно конкретные слабые стороны модели.

Apriel-1.5-15b-Thinker — мультимодальная модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Модель с плотной архитектурой на 15 млрд параметров принимает текст и изображения и генерирует ответы в формате диалога; её назначение включает рассуждения по тексту и изображениям, помощь с кодом, ответы на вопросы и вызов инструментов. Для обработки изображений используется архитектура LlavaForConditionalGeneration. Модель прошла продолжительное предварительное обучение на текстовых и визуальных данных, а последующее обучение с учителем выполнялось только на тексте; RL и дообучение на изображениях не применялись. Она рассчитана на общие инструкции, многошаговые задачи и агентные сценарии. Разработчики отмечают высокие результаты на ряде тестов, а также повышенный расход токенов и более долгие ответы из-за развёрнутого рассуждения по умолчанию. Лицензия — MIT. Разработчики предупреждают, что ответы могут содержать фактические ошибки и предвзятость, качество ниже на языках, представленных в обучении слабее, а в медицинских, юридических, финансовых и других критически важных сценариях требуется проверка человеком.

Apriel-1.5-15b-Thinker-GGUF — это GGUF-квантизированная версия мультимодальной reasoning-модели Apriel-1.5-15b-Thinker, разработанной ServiceNow AI в рамках серии Apriel SLM. Модель предназначена для генерации текста, решения математических, научных и логических задач, программирования, работы с корпоративными сценариями и анализа изображений. Вариант GGUF создан с использованием llama.cpp; в процессе конвертации применялся подход с повышением точности отдельных важных слоёв для улучшения качества при заданном уровне квантизации. Модель содержит 15 млрд параметров и поддерживает текстовые и визуальные входные данные. Она обучалась на текстах, связанных с математикой, программированием, научными и логическими задачами, а также на мультимодальных данных для понимания изображений, создания подписей и работы с чередующимися изображениями и текстом. Постобучение включало текстовый SFT более чем на 2 млн высококачественных примеров; reinforcement learning не применялся. Заявлены результаты 52 балла в Artificial Analysis, 68 в Tau2 Bench Telecom и 62 в IFBench. Модель рассчитана на размещение на одной GPU и по умолчанию выполняет расширенное рассуждение, что может повышать точность, но увеличивает расход токенов и время ответа. К ограничениям относятся повышенная ресурсоёмкость вывода из-за подробного рассуждения, возможная зависимость качества от выбранного GGUF-квантизированного варианта и отсутствие image SFT и RL в процессе обучения. Лицензия модели — MIT.

stelterlab/DeepSeek-R1-Distill-Qwen-14B-AWQ — квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанная сообществом stelterlab на основе оригинальных весов DeepSeek AI. Квантизация выполнена в формате INT4 GEMM с использованием AutoAWQ. Модель предназначена для задач рассуждения, решения математических и программных задач, генерации текста и других сценариев применения языковых моделей. Это плотная текстовая модель, дистиллированная из DeepSeek-R1 на базе Qwen2.5; заявлено, что дистилляция переносит эффективные паттерны рассуждений крупной модели в компактные модели. Размер данной версии — 14B параметров. Сведения о поддерживаемых языках и размере контекста в README не указаны. Ключевое преимущество версии AWQ — снижение требований к памяти и вычислительным ресурсам по сравнению с полноточными весами, что упрощает локальный запуск на совместимом оборудовании. Ограничения связаны с INT4-квантизацией: она может приводить к потере качества по сравнению с исходной моделью, а фактическая совместимость и производительность зависят от используемого ПО и оборудования. Модель распространяется по лицензии MIT.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

EXAONE-3.5-7.8B-Instruct-GGUF — языковая модель для генерации текста и выполнения инструкций. Оригинальная модель разработана LGAI-EXAONE, а данная версия представляет собой GGUF-квантизацию, подготовленную bartowski на основе llama.cpp. Модель рассчитана на работу с английским и корейским языками. Модель имеет размер 7,8 млрд параметров и поддерживает контекст до 32 000 токенов. Она предназначена для диалоговых и прикладных сценариев, требующих следования инструкциям, решения математических задач и генерации или анализа программного кода. Формат GGUF делает её подходящей для локального запуска в совместимых инструментах, включая LM Studio и llama.cpp. К сильным сторонам относятся заявленные высокие результаты среди моделей с сопоставимой длиной контекста, хорошее следование инструкциям, математические и программные способности. Ограничения включают зависимость качества и скорости работы от выбранного уровня квантизации и оборудования, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии EXAONE; README не содержит подробных условий лицензии, поэтому перед использованием следует ознакомиться с файлом LICENSE.

Falcon3-3B-Instruct — языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она предназначена для диалогов и выполнения инструкций, а также для задач рассуждения, понимания языка, программирования и математики. Модель содержит 2,8 млрд параметров и принимает текст, формируя текстовые ответы; поддерживает интерфейс вызова инструментов. Это трансформерный авторегрессионный декодер с 22 блоками, Grouped Query Attention, SwiGLU и RMSNorm. Контекстное окно — до 32 768 токенов. Модель подготовлена на веб-данных, коде, STEM-материалах и многоязычных данных, а затем дообучена на диалогах, инструкциях, коде, математике, безопасности и вызовах функций. Поддерживаемые языки: английский, французский, испанский и португальский. Для практического применения доступны веса в формате safetensors и библиотека Transformers. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует ознакомиться с её условиями. Качество ответов может различаться в зависимости от языка и задачи; заявленные сильные результаты не гарантируют точности в каждом конкретном случае.

coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic — производная диалоговая мультимодальная модель на основе Google Gemma 4 E4B-it, опубликованная пользователем coder3101. Это плотная модель семейства Gemma 4 для обработки текста и изображений; карточка также описывает для семейства поддержку видео и аудио в вариантах E4B, хотя возможности именно этой сборки отдельно не подтверждены. Архитектура Gemma4ForConditionalGeneration использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Для E4B в карточке семейства указан контекст до 128 тысяч токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, OCR, а также агентных сценариев с вызовом инструментов. Карточка семейства заявляет поддержку более 35 языков, но не перечисляет языки именно этой сборки. Метаданные указывают на дообучение от Google Gemma 4 E4B-it QAT и формат safetensors; название и теги описывают сборку как uncensored/abliterated. Лицензия — Apache-2.0. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса, сложности задачи и охвата обучающих данных; возможны трудности с языковыми нюансами и предвзятостью. Возможности аудио и видео приведены для семейства в целом и не подтверждены отдельно для данного репозитория.

GKA-primed-HQwen3-32B-Instruct — плотная языковая модель с гибридной архитектурой, разработанная на базе Qwen3-32B с помощью конвейера Priming от Hybrid Model Factory. В ней поровну слоёв Attention и Gated KalmaNet (GKA): 32 слоя каждого типа. GKA — слой модели пространства состояний, который поддерживает фиксированное состояние и линейные вычислительные затраты по длине последовательности; модель содержит 29,7 млрд параметров и принимает контекст до 131 072 токенов. Модель предназначена для диалога и выполнения инструкций, включая задачи на длинных контекстах. По данным авторов, она близка по качеству к базовой модели и может ускорять инференс на длинных контекстах до двух раз за счёт меньшего KV-кэша. Параметр num_iter позволяет настраивать компромисс между скоростью и вычислениями при инференсе. Модель не является thinking-моделью и не поддерживает вызов инструментов. Авторы отмечают отставание примерно на 2,5–3 пункта от длинноконтекстной версии Qwen3-32B в среднем по указанным бенчмаркам. Лицензия — Apache 2.0.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Карточка модели kizzlah/granite-4.2-3b на Hugging Face совпадает с карточкой ibm-granite/granite-4.2-3b, поэтому описание составлено по ней. Granite-4.2-3B — компактная языковая модель IBM Granite Team на базе плотного декодирующего трансформера GraniteForCausalLM с 3,4 млрд параметров. Она дообучена на Granite-4.1-3B-Base и рассчитана на диалог, рассуждения и следование инструкциям; доступны режимы полного, облегчённого и отключённого рассуждения. Модель предназначена для решения математических и логических задач, программирования, многошагового анализа и вызова инструментов в агентных сценариях. Она поддерживает контекст до 131 072 токенов по метаданным; в README заявлено окно 512 тысяч токенов. Поддерживаемые языки включают английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский; качество может быть ниже английского. Модель использует архитектуру decoder-only dense Transformer, формат весов safetensors и библиотеку Transformers. Она выпущена по лицензии Apache 2.0, допускающей коммерческое и академическое использование. Ответы могут быть неточными, предвзятыми или небезопасными; промежуточные рассуждения не всегда отражают итоговый ответ.

casperhansen/llama-3-8b-instruct-awq — квантизированная AWQ-версия Meta Llama 3 8B Instruct, опубликованная пользователем casperhansen на Hugging Face на основе модели Meta. Это авторегрессионная языковая модель для генерации текста и кода, прежде всего для диалоговых ассистентов, следования инструкциям и локального инференса. Модель принимает текст и генерирует текст; мультимодальность не заявлена. Модель содержит около 8 млрд параметров и использует оптимизированную Transformer-архитектуру Llama с Grouped-Query Attention. В репозитории указана 4-битная AWQ-квантизация с group size 128, а максимальная длина контекста в конфигурации составляет 8192 токена. Исходная Meta Llama 3 8B Instruct предназначена главным образом для английского языка, коммерческого и исследовательского применения. Квантизация ориентирована на более экономичное по памяти развертывание, однако может снижать точность по сравнению с полной точностью; стандартные ограничения языковых моделей, включая ошибки и остаточные риски безопасности, сохраняются. Использование регулируется кастомной Meta Llama 3 Community License и Acceptable Use Policy, условия которых необходимо соблюдать при применении и распространении модели или производных работ.

Карточка модели minjaechoi/nemotron3-nano-30b-a3b-2p03bit-r22 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель общего назначения, обученная с нуля NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Она предназначена для разработчиков чат-ботов, агентных систем, RAG-приложений и других решений на базе ИИ; также подходит для задач программирования и многоязычного общения. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE и 6 слоёв внимания. Всего в ней 30 млрд параметров, из которых активны 3,5 млрд на токен; веса представлены в BF16. Метаданные указывают 1,9 млрд параметров. Контекст в конфигурации Hugging Face составляет 262 144 токена; README сообщает о поддержке до 1 млн токенов при соответствующих настройках и повышенных требованиях к видеопамяти. Модель принимает текст и выдаёт текст, поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Режим рассуждений настраивается через шаблон чата; также заявлен интерфейс вызова инструментов. Модель заявлена как пригодная для коммерческого использования. В метаданных лицензия обозначена как other, поэтому перед внедрением следует проверить условия лицензии в карточке модели. Русский язык среди поддерживаемых не указан; возможности рассуждения могут снижаться при отключении промежуточного этапа рассуждений, а использование длинного контекста требует больше видеопамяти.

Openai_gpt-oss-20b-NEO-GGUF — это набор квантованных GGUF-версий модели openai/gpt-oss-20b, подготовленный DavidAU с использованием NEO Imatrix и собственного NEO-набора данных. Модель предназначена для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. В карточке заявлена лицензия Apache-2.0. Модель имеет архитектуру Mixture of Experts с 20 млрд параметров и поддержкой до 24 экспертов, из которых можно активировать часть в зависимости от сценария. Доступны варианты IQ4_NL, Q5_1 и MXFP4_MOE с различными настройками квантования; указана поддержка контекста до 128k токенов. Основной заявленный язык — английский. Также заявлена поддержка использования инструментов и browsing, однако подробности совместимости зависят от программного обеспечения для запуска. Сильные стороны модели — универсальность, задачи программирования и заявленное улучшение производительности благодаря NEO Imatrix, особенно в некоторых низко- и среднебитных вариантах квантования. Ограничения включают зависимость качества от выбранного кванта, числа активных экспертов, семплеров и настроек запуска; автор отдельно отмечает проблемы квантования, связанные с необычными размерами тензоров исходной модели. Рекомендуется проверять конкретный файл и параметры в используемом inference-интерфейсе.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

Qemma-GEI — англоязычная чат-модель для следования инструкциям, пошаговых рассуждений, помощи с кодом и анализа, разработанная Convergent Intelligence LLC: Research Division. Это дообученная версия Qemma-redux, которая, согласно карточке модели, объединяет веса Gemma 3 и Qwen 3 и использует масштабирование RoPE на основе YaRN. Архитектура — плотная Gemma3ForCausalLM примерно с 1 млрд параметров: основа Gemma 3 с вниманием в стиле Qwen, скрытым размером 1152 и 26 слоями. Модель принимает текст, использует токенизатор и шаблон чата Gemma 3; заявленная длина контекста — 131 072 токена. Модель предназначена для диалога, анализа и дальнейшего дообучения. Карточка указывает на возможные галлюцинации и не рекомендует полагаться на ответы в критически важных, медицинских, юридических или финансовых решениях. Лицензия — OSL-3.0; при использовании следует учитывать лицензии датасетов и базовых моделей.

mkurman/Qwen2.5-14B-DeepSeek-R1-1M — объединённая языковая модель для генерации текста, созданная на основе DeepSeek-R1-Distill-Qwen-14B и Qwen/Qwen2.5-14B-Instruct-1M. Слияние выполнено методом TIES с использованием Qwen2.5-14B-Instruct-1M в качестве базовой модели; заявленная цель — сочетать возможности рассуждения DeepSeek-R1 с поддержкой длинного контекста модели Qwen2.5. Модель предназначена для универсальной генерации текста и диалоговых сценариев, включая программирование, анализ документов и работу с большими объёмами контекста. Она поддерживает использование через Transformers, а также может запускаться в LM Studio и Ollama при наличии файлов GGUF. Пример применения демонстрирует генерацию Python-кода в формате чата. Из известных характеристик: модель относится к классу causal language models, содержит 14 миллиардов параметров и рассчитана на контекст размером до 1 миллиона токенов, унаследованный от Qwen2.5-14B-Instruct-1M. В конфигурации слияния указан тип данных bfloat16. README не сообщает поддерживаемые языки, результаты бенчмарков или точные требования к оборудованию, поэтому качество рассуждений, эффективность на длинных контекстах и практические ограничения следует оценивать отдельно. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Qwen2.5-7B-GGUF — квантизированная в формате GGUF версия базовой языковой модели Qwen2.5-7B, созданной командой Qwen и подготовленной QuantFactory с использованием llama.cpp. Модель предназначена для генерации и обработки текста, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это базовая модель после этапа предварительного обучения, поэтому разработчики не рекомендуют использовать её для диалогов без дополнительного дообучения, например SFT, RLHF или продолжительного предварительного обучения. Модель является авторегрессионной causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding-слою, имеет 28 слоёв и Grouped-Query Attention с 28 головами для Q и 4 для KV. Максимальная длина контекста составляет 131 072 токена, поддерживается генерация длинных текстов до 8K токенов. Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинного контекста, понимание таблиц и генерация структурированных данных. К ограничениям относятся базовый, а не instruction-tuned характер модели, отсутствие указанных в README подробностей о конкретном методе и разрядности квантизации, а также необходимость учитывать требования к памяти и производительности среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3-1.7B-MLX-4bit — компактная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Это MLX-версия модели Qwen3-1.7B-Base с 4-битным квантованием, предназначенная для локального запуска и генерации текста. Она подходит для диалогов, следования инструкциям, генерации кода, математических и логических рассуждений, творческого письма, ролевого взаимодействия, перевода и сценариев с использованием внешних инструментов. Модель содержит 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою, и имеет 28 слоёв. Используется Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов и допускает переключение между режимом рассуждений и нерaссуждающим режимом в рамках одной модели: первый ориентирован на сложные задачи, математику и программирование, второй — на более быструю генерацию и общий диалог. К сильным сторонам относятся сочетание небольшого размера, локального формата MLX и 4-битного квантования, мультиязычность, поддержка диалогов и инструкций, а также гибкое управление режимом рассуждений. Ограничения включают меньшую ёмкость по сравнению с крупными моделями и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Карточка модели p-e-w/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой Tolu49ja/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Tolu49ja/Qwen3-4B-Instruct-2507-heretic — производная чат-модель семейства Qwen3, созданная на основе Qwen/Qwen3-4B-Instruct-2507 методом abliteration, направленным на снижение частоты отказов. В приведённом сравнении доля отказов снизилась с 99 до 21 из 100 запросов; KL-дивергенция относительно исходной модели составляет 0,43. Репозиторий содержит веса safetensors для Transformers, лицензия — Apache-2.0. Модель предназначена для генерации ответов по инструкциям, рассуждений, работы с математическими и научными вопросами, кодом и инструментами, а также для задач на длинном контексте. Это плотная причинная языковая модель с 3,7 млрд параметров и контекстом до 262 144 токенов; README указывает, что она работает в режиме без пошагового рассуждения. Заявлена поддержка нескольких языков, но конкретные языки не перечислены. Меньшая частота отказов может быть полезна для запросов, которые исходная модель отклоняет, однако приведённая оценка основана на тесте из 100 запросов и не характеризует все сценарии. Как и другие языковые модели, она может ошибаться, а ответы требуют проверки; применение в чувствительных областях требует дополнительной оценки.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-FP8-dynamic — мультимодальная модель семейства Qwen3.6 с архитектурой mixture-of-experts (MoE), разработанная RedHatAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba Cloud. Модель принимает текст и изображения, а генерирует текст; заявлены улучшенные возможности рассуждений, вызова инструментов и обработки визуально-языковых запросов. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Модель оптимизирована для инференса в vLLM с помощью динамической FP8-квантизации весов и активаций. Квантизация применяется к линейным слоям трансформерных блоков, тогда как визуальный энкодер, MoE-маршрутизатор, общие эксперты, эмбеддинги и некоторые другие компоненты сохраняются в исходной точности. Это примерно на 50% снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Поддерживаются текстовый и мультимодальный режимы, вызов инструментов, рассуждения и speculative decoding с Multi-Token Prediction. Модель распространяется по лицензии Apache 2.0; в README подтверждена валидация для vLLM 0.18.0, RHOAI 3.4 и RHAIIS 3.4.

Qwen3-8B-4bit-AWQ — версия языковой модели Qwen3-8B, опубликованная сообществом mlx-community и конвертированная в формат MLX с помощью mlx-lm 0.24.0. Это плотная авторегрессионная модель с 7,6 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; поддерживает вызов инструментов через соответствующий интерфейс. Контекст модели составляет до 40 960 токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, помощи с кодом и сценариев с вызовом инструментов. Базовая Qwen3-8B — многоязычная модель, однако конкретный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. В названии указано 4bit-AWQ, но README описывает конвертацию в MLX, а среди метаданных формат обозначен как safetensors; фактический способ квантования по этим данным подтвердить нельзя. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

Qwen3-Next-80B-A3B-Thinking-FP8 — языковая модель семейства Qwen3-Next, разработанная командой Qwen. Это FP8-квантованный checkpoint модели Qwen3-Next-80B-A3B-Thinking для генерации текста, сложных рассуждений, программирования, агентских сценариев и задач с длинным контекстом. Модель поддерживает только режим thinking и ориентирована прежде всего на высокосложные задачи рассуждения. Модель имеет архитектуру causal language model с гибридным вниманием, сочетающим Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Общее число параметров составляет 80 млрд, из них 3 млрд активируются при обработке токена; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10, плюс один общий эксперт. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Используется fine-grained FP8-квантизация с размером блока 128. Модель обучалась на 15 трлн токенов и дополнительно проходила post-training. Сильные стороны модели — высокая параметрическая эффективность, сниженные вычислительные затраты на токен, потенциально высокая скорость инференса на длинных контекстах и хорошие результаты в задачах знаний, математики, программирования, следования инструкциям и использования инструментов. Ограничение заключается в поддержке только thinking-режима; модель может генерировать очень длинные рассуждения, поэтому она особенно предназначена для сложных задач, а не для минимально задерживаемых ответов. Приведённые в README результаты получены для исходной модели в формате bfloat16 до FP8-квантизации. Лицензия — Apache-2.0.

airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.