II.4Отладка, тестирование и качество ПО

GLM-5.3-W4AFP8 — квантизированная версия языковой модели GLM-5.3, разработанной организацией zai-org и опубликованной PhalaCloud. Модель предназначена для генерации текста, программирования, агентских сценариев и задач с вызовом инструментов. Она основана на checkpoint zai-org/GLM-5.3-BF16 и сохраняет архитектуру GLM-5.2, включая механизм Mixture-of-Experts (MoE), EAGLE/MTP-спекулятивное декодирование и контекст до 1 млн токенов при использовании H200-класса GPU. Эксперты модели квантизированы в INT4 с группами по 128 весов и калибровкой AWQ на трассах coding-agent, а активации и неэкспертные слои представлены в FP8. Такой формат рассчитан на запуск через SGLang с CUDA CUTLASS W4A8 grouped GEMM на GPU Hopper и обеспечивает примерно вдвое большую ёмкость KV-кэша по сравнению с FP8 checkpoint при одинаковой пропускной способности. Поддерживаются текстовая генерация, рассуждения и tool calling; точный список языков в README не указан. По приведённым оценкам модель показывает 91,9 на GPQA-Diamond, 73,0 на AA-LCR и 82,2 на 45-элементной подвыборке BFCL, а также успешно извлекает информацию из промптов размером около 930 тысяч токенов. Ограничения включают зависимость от специализированной конфигурации SGLang и GPU Hopper, необходимость tensor parallelism на 8 устройствах для полного запуска, а также отсутствие заявленной поддержки этого формата в vLLM на момент публикации. Модель распространяется по лицензии MIT.

Liberated-Qwen1.5-72B — диалоговая языковая модель AbacusAI и Eric Hartford, дообученная методом qLoRA на основе Qwen/Qwen1.5-72B. Она предназначена для многошаговых бесед, следования системным инструкциям, в том числе необычным или формальным, а также для общих задач ассистента и помощи с кодом. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов; обучение проводилось на последовательностях длиной 8 000 токенов. Для диалогов применяется формат ChatML. В обучении использованы открытые наборы данных, включая OpenHermes-2.5, Code-Feedback и собственный синтетический набор SystemChat. Разработчик сообщает о результате 77,13 на MMLU для контрольной версии обучения. В датасете не добавлялись ограничения на содержание, поэтому при развёртывании сервиса следует самостоятельно настроить подходящий слой выравнивания и фильтрации. Модель распространяется по лицензии tongyi-qianwen.

Ling-1T-GGUF — GGUF-версия языковой модели Ling-1T, разработанной InclusionAI. Это флагманская немыслящая модель серии Ling 2.0 для генерации текста, сложного рассуждения, программирования, математических и логических задач, использования инструментов, создания фронтенд-кода и мультиязычного контента. Модель построена на архитектуре Ling 2.0 и содержит около 1 триллиона общих параметров, из которых примерно 50 миллиардов активируются для каждого токена. Используется разреженная MoE-архитектура с коэффициентом активации 1/32, MTP-слои, маршрутизация экспертов без auxiliary loss, QK-нормализация и FP8-обучение. Модель предварительно обучалась на более чем 20 триллионах токенов, поддерживает контекст до 128K токенов и применяет метод evolutionary chain-of-thought (Evo-CoT). README не указывает полный список поддерживаемых языков, однако заявляет поддержку мультиязычного текста. К сильным сторонам относятся эффективность рассуждения, качество генерации кода, визуальное понимание, создание эстетичного фронтенд-кода, математические и логические задачи, а также вызов инструментов. По заявлению разработчиков, модель демонстрирует высокие результаты на ряде сложных бенчмарков, включая AIME 25, ArtifactsBench и BFCL V3. Ограничения включают чрезвычайно большой общий размер модели и, вероятно, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности GGUF-версии в README не приведены. Лицензия — MIT.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-block — большая языковая модель для генерации текста, рассуждений, решения сложных задач, математики и науки, генерации кода, следования инструкциям и вызова инструментов. Модель разработана Red Hat на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16; в карточке также указан NVIDIA как провайдер. Входом и выходом служит текст, поддерживаются сценарии text-to-text, text-generation, reasoning и tool-calling. Архитектура модели обозначена как NemotronHForCausalLM. Она содержит 550 млрд общих параметров, из которых активно используется 55 млрд. Весовые коэффициенты и активации линейных операторов внутри transformer-блоков квантизированы в FP8: для весов применяется per-block quantization, для активаций — динамическая per-token quantization. Это уменьшает размер модели на диске и требования к памяти GPU примерно на 50% по сравнению с исходным форматом BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании с vLLM. Языки модели в README не указаны. К сильным сторонам относятся сочетание большого общего числа параметров с меньшим числом активных параметров, поддержка сложных рассуждений, программирования и вызова инструментов, а также сниженные требования к хранению и памяти благодаря FP8-квантизации. Для работы рекомендуются vLLM и llm-compressor; карточка валидирована на RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Ограничения включают значительные аппаратные требования даже после квантизации, зависимость корректной работы tool-calling и reasoning от специальных парсеров, а также отсутствие в README подробных результатов бенчмарков и информации о поддерживаемых языках. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство и нормы экспортного контроля, исключено.

Phi-3.1 Mini 128K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантование подготовлено bartowski на основе Phi-3-mini-128k-instruct. Модель предназначена для диалогов, генерации и анализа текста, следования инструкциям, многошаговых рассуждений, решения математических задач, программирования, работы с общеизвестными сведениями и поддержания многоходовых бесед. Модель представляет собой плотный decoder-only Transformer примерно с 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные и синтетические учебные данные, код, а также качественные диалоговые наборы. Для настройки применялись supervised fine-tuning и Direct Preference Optimization. Контекстное окно составляет до 128K токенов и реализовано с использованием технологии LongRoPE. Поддерживается английский язык; заявленные модальности ограничены текстом. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, поддержка тега system, качество многоходового диалога и усиленные способности к рассуждению при относительно небольшом размере. Ограничениями являются текстовая специализация, заявленная языковая поддержка английского и возможные неточные, вредные или вводящие в заблуждение ответы. Модель распространяется по лицензии MIT.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

RedHatAI/Qwen3-30B-A3B-FP8-block — это текстовая causal language model, разработанная Red Hat на основе Qwen/Qwen3-30B-A3B. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых систем, ответов на вопросы, следования инструкциям, общего анализа текста и программирования. В README также приведены оценки на OpenLLM leaderboard и coding-бенчмарках HumanEval и MBPP. Архитектура модели обозначена как Qwen3MoeForCausalLM. Это версия с FP8-квантизацией весов и активаций линейных операторов внутри transformer-блоков; используется пок блочная квантизация весов и динамическая токенная квантизация активаций. Снижение разрядности с 16 до 8 бит уменьшает размер на диске и требования к GPU-памяти примерно на 50%. Число параметров указано в идентификаторе и базовой модели как 30B-A3B, однако размер контекста и поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженные требования к хранению и памяти при сохранении качества, близкого к исходной модели: средний результат в OpenLLM V1 составил 73,74 против 73,65 у базовой версии. Модель ориентирована на развёртывание с vLLM и форматом compressed-tensors. Ограничения включают возможные потери качества из-за квантизации, а также отсутствие в предоставленных данных подробностей о языковом покрытии и контекстном окне. Модель распространяется по лицензии Apache-2.0.

p-e-w/Qwen3-4B-Instruct-2507-heretic-v2 — разговорная языковая модель на архитектуре Qwen3, созданная на основе Qwen3-4B-Instruct-2507. Модель использует причинную архитектуру Qwen3ForCausalLM, содержит 3,7 млрд параметров и принимает текст для генерации текстовых ответов. Нативная длина контекста — 262 144 токена; заявлен режим без рассуждений в специальном формате thinking. Модель предназначена для диалога и выполнения инструкций, включая ответы на вопросы, рассуждения, математику, программирование и работу с инструментами. В README указана abliteration: в приведённом сравнении доля отказов снизилась с 100 из 100 у исходной модели до 8 из 100 у этой версии. Это не гарантирует отсутствия отказов или корректности ответов. Карточка не уточняет языковой охват этой производной версии; README базовой модели заявляет многоязычные возможности и контекстное понимание длинных текстов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — языковая модель для генерации текста и решения сложных аналитических задач, разработанная сообществом на базе Qwen/Qwen3.5-9B. Она дообучена методом supervised fine-tuning с применением LoRA и дистилляции рассуждений из Gemini 3.1, Qwen3.5-27B и корпуса Gemini 3.0 Pro. Модель ориентирована на структурированное пошаговое рассуждение, декомпозицию задач, планирование, абстрагирование и подготовку более связных ответов. Модель предназначена для многошагового анализа, математики и логики, программирования и системных задач, физики, инженерии, права, медицины, финансов, химии, а также сценариев, связанных с безопасностью и adversarial reasoning. Заявлены языки English, Chinese и Korean. Архитектура — плотная модель размером 9B параметров; поддерживается текстовая генерация. Размер контекстного окна в README не указан. Сильными сторонами являются компактный размер, структурированная организация рассуждений, улучшенное отслеживание ограничений и широкое междоменное покрытие. Ограничения включают возможное ухудшение обобщения или частичное забывание отдельных знаний базовой модели из-за дистилляции и специализированного дообучения, поэтому модель следует проверять на целевых задачах перед использованием в производстве. Лицензия — Apache-2.0.

FadedRedStar/Qwen3.5-9B-heretic-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-9B-heretic. Исходную модель разработала команда Qwen компании Alibaba, а квантизацию выполнил FadedRedStar на основе весов coder3101/Qwen3.5-9B-heretic. Суффикс heretic означает постобработку с помощью Heretic v1.2.0 и метода Multi-directional refusal suppression, направленного на снижение количества отказов модели. Модель предназначена для мультимодального рассуждения, генерации текста, программирования, вызова инструментов и агентских сценариев. Она поддерживает обработку изображений через встроенный vision encoder и раннее объединение модальностей, формат запросов ChatML, 201 язык и диалект, а также контекст до 262 144 токенов с заявленной возможностью расширения примерно до миллиона токенов. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть содержит около 9 млрд параметров, общий объём с vision encoder составляет примерно 10 млрд параметров. Модель по умолчанию генерирует рассуждения перед финальным ответом и поддерживает tool calling. Репозиторий предоставляет варианты квантизации Q4_K_M, Q5_K_M и Q8_0, а также отдельные vision-проекторы в форматах Q8_0 и BF16 для запуска с поддержкой изображений в llama.cpp. Q4_K_M рассчитан на баланс качества и потребления памяти, Q5_K_M — на более высокую точность, а Q8_0 — на близкое к исходному качество при больших требованиях к памяти. Для ускоренного декодирования доступны дополнительные MTP-файлы. Заявленные показатели обхода отказов являются самоотчётными и независимо не проверялись; изменение поведения безопасности может быть ограничением при использовании модели. Лицензия — Apache-2.0.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved — производная модель автора llmfan46 на основе Qwen/Qwen3.6-27B. Это мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; в версии сохранены все 15 компонентов MTP, а параметры модели изменены для снижения числа отказов. Она предназначена для диалогов, работы с изображениями, программирования и агентных сценариев, включая вызовы инструментов. Модель принимает текст и изображения и генерирует текст; заявленный нативный контекст — 262 144 токена с расширением до 1 010 000. В README приведены результаты тестов на отказах и MMLU, однако они не гарантируют качество на других задачах. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-MTP-GGUF — GGUF-квантизированная версия модели Qwen3.6-35B-A3B. Базовую модель разработала команда Qwen, а данный вариант опубликован Unsloth. Это причинная языковая модель с vision encoder, ориентированная на генерацию текста, программирование, агентные сценарии, работу с репозиториями и frontend-задачами, а также вызов инструментов с вложенными объектами. Модель использует архитектуру Mixture of Experts: 35 млрд параметров всего, около 3 млрд активируются при обработке каждого токена; в составе 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Поддерживаются многошаговое предсказание MTP, сохранение контекста рассуждений из предыдущих сообщений и обработка изображений благодаря vision encoder. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Точный набор поддерживаемых языков в README не указан. MTP заявлен как способ ускорить инференс примерно в 1,5–2 раза без потери точности. Модель рассчитана на запуск через llama.cpp, Unsloth Studio и совместимые инструменты; доступны режимы для GPU, CPU и Metal. В README указано ограничение: при использовании MTP параметры -np > 1 и --mmproj пока не поддерживаются. Репозиторий распространяется по лицензии Apache-2.0.

FreedomAISVR опубликовал GGUF-квантизацию MXFP4 MoE мультимодальной модели Qwen3.6-35B-A3B-Fast. В ней 35 млрд параметров, из которых на каждом токене активны около 3 млрд; архитектура сочетает 40-слойный декодер с Gated DeltaNet и полным attention, а для изображений и видео использует 27-слойный энкодер на основе SigLIP. Модель поддерживает чат, анализ изображений и видео, вызов инструментов и сценарии агентного программирования. Заявленное родное окно контекста — 262 тыс. токенов, с расширением свыше 1 млн через YaRN. Эксперты хранятся в 4-битном формате MXFP4, а attention, эмбеддинги и нормализации — в Q8_0; файл визуального энкодера доступен в F16. Репозиторий рассчитан на запуск через llama.cpp: README указывает минимум 24 ГБ видеопамяти для частичной выгрузки и рекомендует 32 ГБ и более для полной выгрузки на GPU. Карточка указывает Apache-2.0. Описание скорости и результатов бенчмарков приведено автором карточки; оно не гарантирует такую же производительность на любом оборудовании.

mattbucci/Qwen3.8-27B-AWQ — квантованная версия модели Qwen3.8-27B, разработанной Qwen и опубликованной mattbucci. Модель предназначена для задач генерации текста, рассуждений, вызова инструментов, анализа изображений и понимания видео, прежде всего в сценариях серверного инференса через SGLang. Она рассчитана на однопользовательскую работу с длинным контекстом до 262 144 токенов при конфигурации с двумя видеокартами RTX 3090. Модель использует 4-битное квантование AWQ/GPTQ в формате W4A16 с размером группы 128 и симметричными весами INT4. Веса занимают около 18,7 ГБ; архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet, а 16 — полное внимание. Башня обработки изображений, lm_head и отдельные параметры Gated DeltaNet сохранены в BF16. Проверены текстовые, математические, программные, визуальные и видео-сценарии; в указанных тестах модель показала высокие результаты на MMLU и HumanEval, а также успешно работала с контекстом свыше 250 тысяч токенов. Сильные стороны модели — поддержка нескольких модальностей, длинного контекста, рассуждений и инструментов при существенно меньшем объёме памяти по сравнению с полноразмерной моделью. Ограничения включают отсутствие MTP и недоступность MTP-ускоренного speculative decoding, снижение доступного контекста при параллельной обработке нескольких запросов, а также относительно низкий результат LAB-Bench, поэтому модель следует отдельно проверять для научных задач и специализированного протокольного QA. Квантование и валидация выполнялись на архитектуре Ampere с AWQ_Marlin; другие GPU не тестировались разработчиком. Лицензия — Apache-2.0, унаследованная от базовой модели.

Это квантованная сборка Qwen3.8-27B, подготовленная автором репозитория для запуска на Apple Silicon через oMLX. В основе — плотная мультимодальная архитектура Qwen3.5 с 27,8 млрд параметров, гибридом GatedDeltaNet и полнослойного attention, визуальным модулем в стиле SigLIP и контекстом до 256 тыс. токенов. Веса квантованы методом AWQ в среднем до 4,85 бита на параметр; размер сборки — 16,83 ГБ. Модель предназначена для диалогов, анализа изображений, программирования, математических и многошаговых задач. В README приведены результаты HumanEval, GSM8K и MMLU, близкие к исходной версии bf16 на использованных тестовых выборках. Интерфейс поддерживает вызов инструментов; для ускорения генерации доступна голова MTP. Для корректной загрузки требуется oMLX: README предупреждает, что другие загрузчики могут неверно обработать веса и выдавать некорректный текст. Для быстрой обработки длинного префикса требуется настроить указанные в карточке переменные окружения, пока исправление не включено в oMLX. Лицензия — Apache-2.0. Указанные языки в карточке модели не перечислены.

Unsloth SmolLM3-3B — инструктивная языковая модель, производная от HuggingFaceTB/SmolLM3-3B. Это плотный decoder-only Transformer с GQA и NoPE, рассчитанный на генерацию текста, диалоги, рассуждения и вызов инструментов. Модель содержит 3,1 млрд параметров и доступна в формате safetensors; карточка указывает лицензию Apache-2.0. Модель поддерживает многоязычные диалоги и задачи рассуждения, в том числе математику и программирование. В README заявлены обучение на контексте 64 тыс. токенов и расширение до 128 тыс. с YaRN; метаданные каталога указывают нативный контекст 65 536 токенов. Доступен режим расширенного рассуждения, включённый по умолчанию, и интерфейс вызова инструментов. README описывает SmolLM3 как открытую модель с опубликованными сведениями об обучении; версия Unsloth представлена как вариант с динамической квантизацией 2.0, хотя метаданные этого репозитория указывают формат safetensors. Сгенерированный текст может содержать фактические ошибки, противоречия и смещения, поэтому важные ответы следует проверять.

d0xin выпустил Swift-Qwen3.8-27B-Uncensored-BF16 — BF16-производную модели ukisai/Swift-Qwen3.8-27b на архитектуре Qwen3.5 dense с генерацией текста по текстовому и визуальному вводу. Модель рассчитана на диалоги, рассуждения, программирование, агентные сценарии и вызов инструментов; заявленная конфигурация контекста — 262 144 токена. Чекпойнт занимает около 52 ГБ, работает через Transformers и может обслуживаться через OpenAI-совместимый API SGLang. Модель получена ранговой абляцией направления в residual stream: изменены 131 из 1199 тензоров, а веса зрения оставлены без изменений. Автор сообщает, что на фиксированной проверке из 100 запросов модель не отказала ни разу, хотя в 10 случаях ответ сопровождался оговоркой; на отдельной проверке из 298 примеров измеримого снижения качества по сравнению с исходной моделью не обнаружено. Эти результаты относятся к описанным наборам и настройкам и не гарантируют поведение на других запросах. Из-за снижения склонности к отказам модель может выдавать небезопасный, незаконный или недостоверный контент. Лицензия указана как other; карточка рекомендует lawful use и предупреждает, что модель не предназначена для регулируемых профессиональных консультаций.

Tess-v2.5.2-Qwen2-72B — языковая модель для диалоговой генерации текста, созданная Мигелем Тиссерой (Migel Tissera) в серии Tess. Это плотная модель Qwen2 с 71,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и обучена следовать формату диалога ChatML. Модель дообучена на Qwen2-72B с использованием набора Tess-v2.5 из 300 тысяч синтетических примеров по широкому кругу тем, включая программирование, математику, STEM, бизнес, историю, общественные науки и искусство. Автор указывает на улучшения в рассуждениях, программировании и математике. Модель может поддерживать беседу и задавать уточняющие вопросы; чтобы отключить их, в системной инструкции можно попросить не задавать дополнительных вопросов. Обучение проводилось без RLHF и DPO. Модель подходит для диалоговых помощников, объяснений, рассуждений и помощи с кодом. Она может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы; результаты следует проверять. Автор характеризует модель как uncensored. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в репозитории.

Apodex-1.1-mini MLX — MLX-конверсия модели Apodex-1.1-mini от Apodex AI, предназначенная для исследовательских задач, работы с данными, файлами, кодом и инструментами. Это текстовая модель для генерации текста, оптимизированная для запуска на устройствах Apple silicon с библиотекой mlx-lm. Заявлены поддерживаемые языки — английский и китайский. Модель построена на архитектуре Qwen3.5 MoE и содержит 35,95 млрд параметров. Релиз использует аффинное 4-битное квантование с размером группы 64; веса маршрутизатора MoE и общих экспертов сохранены в 8-битном формате. Размер MLX-весов составляет 19,5 ГБ, поэтому для работы требуется дополнительная unified memory под выполнение модели и KV-кэш, особенно при длинном контексте. В этой версии отсутствуют обработка изображений и native MTP. Модель распространяется по лицензии Apache-2.0.

Azure99/Blossom-V7.1-9B-GGUF — открытая мультимодальная модель общего назначения семейства Blossom-V7.1, разработанная командой Azure99. Эта версия представлена в формате GGUF и основана на Qwen3.5-9B, поэтому ориентирована на локальный запуск на устройствах с ограниченными ресурсами, включая компактные GPU и мобильные устройства. Модель предназначена для повседневного диалога, работы с общими знаниями, математики и рассуждений, программирования, веб-разработки, визуализации данных и агентных сценариев с использованием инструментов. Она принимает текст и изображения, поддерживает два режима рассуждений — medium и max — и умеет рассуждать перед каждым вызовом инструмента. Заявлена поддержка английского и китайского языков. Максимальная длина контекста составляет 262 144 токена, при этом для наилучших результатов рекомендуется использовать до 131 072 токенов. К сильным сторонам относятся мультимодальное понимание изображений, расширенный контекст, поддержка инструментального использования и спекулятивного декодирования MTP в vLLM и llama.cpp. Ограничениями являются меньший размер и, вероятно, более низкие возможности по сравнению с вариантами Blossom на 27B и 35B-A3B, а также необходимость использовать встроенный специализированный chat template и сохранять сообщения с рассуждениями в многоходовых диалогах. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/calme-2.4-rys-78b — плотная авторегрессионная языковая модель семейства Qwen2, дообученная Maziyar Panahi на базе calme-2.1-rys-78b. Она предназначена для диалогов и генерации текста: ответов на вопросы, работы виртуальных помощников, создания и суммаризации контента, а также генерации и анализа кода и решения сложных задач. Модель насчитывает 76,7 млрд параметров, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH, но конкретных гарантий качества для отдельных сценариев нет. Модель может наследовать смещения и давать ненадёжные ответы; для применения нужны проверка результатов и человеческий контроль. Лицензия — MIT.

mlx-community/DeepSeek-R1-Distill-Llama-8B — конверсия в формат MLX модели DeepSeek-R1-Distill-Llama-8B от deepseek-ai, выполненная Focused с помощью mlx-lm 0.21.1. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для генерации текста и диалогового взаимодействия; заявленная длина контекста — 131072 токена. Базовая модель дообучена на данных рассуждений DeepSeek-R1 и предназначена для многошаговых рассуждений, решения математических задач и программирования. Репозиторий предлагает использовать модель через mlx-lm; метаданные указывают формат safetensors и интерфейс вызова инструментов. В README не приведены сведения о лицензии или языковом покрытии. Возможности и качество модели наследуют ограничения базового чекпойнта; характеристики использования MLX зависят от совместимой среды.

ERNIE-4.5-21B-A3B-Thinking — текстовая MoE-модель семейства ERNIE от Baidu, представленная в репозитории Unsloth как дообучение baidu/ERNIE-4.5-21B-A3B-Thinking. Она предназначена для генерации текста и сложных рассуждений: логических задач, математики, науки, программирования и академических вопросов, а также для работы с инструментами. В модели 21 млрд параметров всего, из которых для каждого токена активируются около 3 млрд; архитектура включает 28 слоёв, а длина контекста составляет 131 072 токена. Модель принимает и генерирует текст, поддерживает английский и китайский языки. Карточка отмечает улучшенные рассуждения, использование инструментов и понимание длинного контекста; для сложных задач рекомендован режим с увеличенной длиной рассуждения. Для запуска описана поддержка Transformers версии 4.54.0 или новее, а также интеграции с FastDeploy и vLLM; парсеры рассуждений и вызовов инструментов для vLLM указаны как находящиеся в разработке. Лицензия — Apache-2.0.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

coder3101/gemma-4-E2B-it-heretic — производная модель на базе Google Gemma 4 E2B IT, представленная в формате safetensors и доступная через Transformers. Это плотная мультимодальная модель семейства Gemma 4 для диалогов, рассуждений, генерации и редактирования кода, анализа изображений и аудио, а также сценариев с вызовом инструментов. README описывает для семейства Gemma 4 гибридное внимание, смешивающее локальные окна и глобальные слои, поддержку изображений, видео и аудио для вариантов E2B/E4B, а также контекст до 128 тысяч токенов для E2B/E4B; эти характеристики приведены для семейства и не подтверждены отдельно для этой производной версии. Метка heretic и теги uncensored/decensored/abliterated указывают на модификацию базовой модели, но карточка не поясняет способ и последствия этой модификации. README заявляет поддержку более 35 языков на уровне семейства. Модель распространяется по лицензии Apache-2.0. Возможны фактические ошибки, смещения, трудности с тонкими языковыми нюансами и сложными открытыми задачами; мультимодальные способности и характеристики контекста конкретной версии следует проверять отдельно.

GKA-primed-HQwen3-32B-Reasoner — гибридная причинная языковая модель, созданная Amazon на основе Qwen3-32B с помощью конвейера Priming. В ней 32 слоя Attention и 32 слоя Gated KalmaNet (GKA): GKA — рекуррентный слой типа модели пространства состояний, который решает задачу онлайн-регрессии и использует постоянный объём памяти при линейной по длине последовательности вычислительной стоимости. Модель содержит 29,7 млрд параметров и принимает контекст до 128 тысяч токенов. Модель предназначена для диалогов и рассуждений в длинном контексте: решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Режим рассуждений можно включать и отключать. По заявлению авторов, гибридная архитектура ускоряет генерацию до двух раз на длинном контексте и сокращает расход памяти на KV-кэш; опубликованные тесты показывают близкое к базовой Qwen3-32B или более высокое качество на большинстве перечисленных задач, но более низкий результат на SciCode. Модель доступна в формате safetensors, точность bfloat16, по лицензии Apache 2.0.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

Карточка модели tactBagel/GLM-4.6-Derestricted-v3 на Hugging Face совпадает с карточкой ArliAI/GLM-4.6-Derestricted-v3, поэтому описание составлено по ней. GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.