II.3Рефакторинг, миграция и модернизация

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

Gemma 4 31B IT QAT Q4_0 Unquantized Uncensored Heretic — мультимодальная диалоговая модель на архитектуре Gemma 4, опубликованная llmfan46 как доработка Google Gemma 4. Она предназначена для общения, генерации и редактирования текста, программирования, рассуждений и агентных сценариев с вызовом инструментов, а также анализа изображений. Модель принимает текст и изображения и выдаёт текст; для семейства заявлена обработка видео через последовательности кадров, но поддержка этого варианта отдельно не подтверждена. В карточке описана гибридная схема внимания с локальными скользящими окнами и глобальными слоями; базовая модель рассчитана на контекст до 256K токенов. Семейство поддерживает более 35 языков, однако конкретный перечень для этой версии не приведён. Вариант заявлен как uncensored/abliterated; файлы репозитория указаны в формате safetensors. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, написания кода и диалоговых приложений. Возможны фактические ошибки, смещения и трудности с тонкими языковыми нюансами и сложными открытыми задачами. В README описание возможностей относится ко всему семейству Gemma 4, поэтому аудио и видео возможности именно этой версии не подтверждены.

coder3101/gemma-4-E2B-it-heretic — производная модель на базе Google Gemma 4 E2B IT, представленная в формате safetensors и доступная через Transformers. Это плотная мультимодальная модель семейства Gemma 4 для диалогов, рассуждений, генерации и редактирования кода, анализа изображений и аудио, а также сценариев с вызовом инструментов. README описывает для семейства Gemma 4 гибридное внимание, смешивающее локальные окна и глобальные слои, поддержку изображений, видео и аудио для вариантов E2B/E4B, а также контекст до 128 тысяч токенов для E2B/E4B; эти характеристики приведены для семейства и не подтверждены отдельно для этой производной версии. Метка heretic и теги uncensored/decensored/abliterated указывают на модификацию базовой модели, но карточка не поясняет способ и последствия этой модификации. README заявляет поддержку более 35 языков на уровне семейства. Модель распространяется по лицензии Apache-2.0. Возможны фактические ошибки, смещения, трудности с тонкими языковыми нюансами и сложными открытыми задачами; мультимодальные способности и характеристики контекста конкретной версии следует проверять отдельно.

GLM-5.3-Flash-GGUF-Finetuning — GGUF-квантованная версия модели GLM-5.3-Flash, связанная с экосистемой Unsloth и основанная на модели zai-org/GLM-5.3-Flash. Исходную модель разработала команда GLM-5; README также содержит ссылки на материалы Z.ai. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки. GLM-5.3-Flash — нативно мультимодальная модель с гибридной архитектурой, объединяющей sparse attention и linear attention. Объём модели составляет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Для повышения эффективности масштабирования используется Manifold-Constrained Hyper-Connections, а обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка длинного контекста; в оценках использовались контексты до 300 000 и 1 млн токенов, однако точное штатное ограничение для данной GGUF-версии не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, экономичности инференса, мультимодальности, возможностей программирования и агентской работы, а также снижение стоимости обработки длинного контекста. Ограничения конкретной квантованной сборки, включая точный уровень квантования, требования к оборудованию и возможную потерю качества, в README не описаны. Лицензия указана как MIT; для запуска рекомендуются совместимые версии llama.cpp или Unsloth Desktop.

GLM-5.3-Flash — мультимодальная модель семейства GLM-5, разработанная командой GLM-5 и представленная Z.ai. Она предназначена для генерации текста, программирования, агентских сценариев, работы с инструментами и задачами, требующими обработки изображений и текста. Модель доступна для локального развёртывания и может использоваться через API-платформу Z.ai. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса. Она использует гибридную архитектуру с разреженным и линейным вниманием, а также Manifold-Constrained Hyper-Connections (mHC), что направлено на снижение стоимости обслуживания длинного контекста при сохранении точности. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлена поддержка английского и китайского языков; README также указывает нативную мультимодальность, но не уточняет полный перечень поддерживаемых типов входных данных и максимальный размер контекста. К сильным сторонам относятся высокая эффективность за счёт малого числа активных параметров, возможности работы с длинным контекстом, мультимодальность и производительность в задачах программирования и агентского взаимодействия. Ограничения, включая требования к аппаратному обеспечению, фактическое качество на отдельных задачах и особенности варианта NVFP4-Spark, в README не описаны. Указана лицензия MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e-DFlash2 — мультимодальная версия модели GLM-5.3-Flash, разработанная на основе архитектуры Zhipu AI / ZAI; некensored-веса предоставлены dealignai, а смешанная квантализация oQ4e и MLX-сборка — Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического рассуждения, работы с изображениями и видео, а также сценариев с длинным контекстом. Заявлены поддержка английского и китайского языков, native-контекст до 1 048 576 токенов и работа на Apple Silicon через библиотеку MLX. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами и примерно 18 млрд активных параметров на токен. Квантализация использует 4-битное аффинное представление с целевой плотностью около 4,6 bpw; критические компоненты, включая маршрутизаторы MoE, lm_head и мультимодальные слои, частично или полностью сохраняются в более высокой точности. В комплект входит DFlash2 для speculative decoding, заявленный для ускорения генерации до трёх раз. Потенциальные сильные стороны — большой контекст, мультимодальность, поддержка видео, эффективность разреженной архитектуры и оптимизация для чипов Apple. Ограничения включают высокие требования к памяти и совместимому Apple Silicon-окружению, а также возможные потери качества из-за квантализации; приведённые в README результаты тестов не являются независимой верификацией. Указана лицензия MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ4e — мультимодальная версия модели GLM-5.3-Flash, подготовленная Solstice-AI для Apple Silicon и библиотеки MLX. Исходная архитектура разработана Zhipu AI / ZAI, некensored-веса предоставлены dealignai. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Заявлена поддержка английского и китайского языков. Модель имеет 320 млрд общих параметров в разреженной MoE-архитектуре с 288 экспертами, из которых около 18 млрд активируются для каждого токена. Используется смешанная квантизация oQ4e примерно на 4,6 бит на вес: основные веса представлены в 4-битном формате, отдельные критически важные компоненты защищены 8-битным или полным BF16/FP32-представлением. Vision Tower ViT и мультимодальный выравниватель сохранены в BF16. Заявлено нативное контекстное окно до 1 048 576 токенов и поддержка спекулятивного декодирования с drafter DFlash2. Сильными сторонами модели являются большой контекст, мультимодальное понимание изображений и видео, разреженная архитектура и оптимизация под чипы Apple M2, M3, M4 и M5. К ограничениям относятся высокая общая ёмкость модели, требовательность к памяти и совместимость с конкретным программным стеком MLX и аппаратной платформой; фактическая производительность зависит от конфигурации устройства. В README модель описана как uncensored, поэтому её ответы могут не включать стандартные механизмы отказа по чувствительным запросам. Указанная лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

INTELLECT-3-REAP-50-heretic — текстовая чат-модель jtl11, созданная на основе PrimeIntellect/INTELLECT-3. Это версия INTELLECT-3 с удалением 50% экспертов методом REAP (Router-weighted Expert Activation Pruning) и изменением поведения отказов с помощью abliteration. Модель сохраняет архитектуру GLM-4 MoE; в репозитории указано 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге, включая ответы на запросы, код и сложные многошаговые задачи. Калибровка REAP использовала примеры генерации кода, вызова функций и многоходовых сценариев для агентов. В сравнении с исходной моделью в README указано 3 отказа из 100 запросов против 60 из 100; измеренная KL-дивергенция составляет 0,0413. Модель доступна в формате safetensors по лицензии Apache-2.0.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

LLaDA2.0-flash — диффузионная языковая модель с архитектурой Mixture-of-Experts от Inclusion AI, дообученная для следования инструкциям и практического применения. Модель предназначена для генерации текста, диалога, программного кода, решения сложных математических задач и работы с инструментами. В README указаны 100 млрд параметров всего и около 6,1 млрд активных при инференсе; метаданные Hugging Face указывают 5,5 млрд параметров. Архитектура включает 32 слоя и 32 головы внимания, использует RoPE и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors, модель работает с Transformers. Лицензия — Apache-2.0. README отмечает сильные результаты на приведённых бенчмарках, включая задачи на знания, код и рассуждения. При повышенной температуре возможны смешение языков и небольшое снижение качества; авторы рекомендуют температуру 0.0, длину блока 32 и 32 шага генерации.

OpenCerebrum-2.0-7B — англоязычная языковая модель от Cognitive Computations, дообученная методом SFT и DPO на базе alpindale/Mistral-7B-v0.2-hf. Она предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и диалогов с несколькими ходами. Обучающая выборка содержит около 7 тысяч примеров из 15 источников, подобранных для воспроизведения возможностей закрытой модели Cerebrum. Модель имеет плотную архитектуру Mistral с 7,1 млрд параметров и контекстное окно до 32 768 токенов. Карточка заявляет английский язык; репозиторий содержит веса в формате safetensors. Лицензия — Apache 2.0. Это открытая реплика, обученная на подмножестве данных, поэтому она может уступать оригинальной Cerebrum. На ответы могут влиять смещения и ограничения обучающих данных; размер 7B также ограничивает требования к памяти и вычислительным ресурсам по сравнению с более крупными моделями.

OpenChat-3.5-0106 Gemma — диалоговая языковая модель OpenChat, дообученная методом C-RLFT на данных OpenChat-3.5-0106 на базе Gemma. Это плотная архитектура Gemma для генерации текста, в том числе ответов в диалоге; заявленный размер в метаданных — 8,2 млрд параметров, контекст — до 8192 токенов. README приводит результаты тестов по программированию, математике, общим знаниям и диалоговому качеству. Модель предназначена для чат-ботов, ответов на вопросы, написания и преобразования текста, а также задач рассуждения и генерации кода. Для развертывания авторы рекомендуют OpenChat с OpenAI-совместимым сервером на базе vLLM. README указывает лицензию Apache 2.0, тогда как метаданные Hugging Face содержат значение «other»; условия распространения стоит сверить с файлами лицензии репозитория. Модель может выдумывать факты и выдавать вредные, предвзятые или небезопасные ответы, поэтому важные результаты нужно проверять, а для безопасных сценариев нужна дополнительная модерация.

Ornith-1.5-397B-MXFP4 — квантизированная версия модели Ornith-1.5-397B, опубликованная truespirit на базе модели ornith-ai. Это генеративная текстовая модель для задач общего рассуждения, программирования и агентских сценариев; сервер предоставляет OpenAI-совместимый API. README не содержит сведений о поддерживаемых языках и полном наборе модальностей, хотя в архитектуре упоминаются визуальные компоненты. Модель использует архитектуру Qwen3.5 MoE / Ornith 1.5 с 397 млрд параметров. Квантизация выполнена по формату OCP MXFP4 с размером блока 32 с помощью AMD Quark 0.12.post1. В MXFP4 переведены веса маршрутизируемых MoE-экспертов, а attention, shared experts, gates, MTP, визуальные компоненты и lm_head сохранены в BF16. Размер чекпойнта составляет около 239 ГБ, что примерно вдвое меньше исходной версии. Сборка ориентирована на запуск на одной AMD Instinct MI355X с 288 ГБ HBM и TP=1. В протестированной конфигурации с SGLang ROCm достигались примерно 180–200 токенов/с при однопоточном декодировании и около 290 токенов/с при четырёх одновременных запросах; измеренный предел входа составлял около 86 тысяч токенов, а в конфигурации сервера задан контекст до 81920 токенов. Эти показатели зависят от оборудования и программного окружения и не являются оценкой качества модели. Квантизация может приводить к численным отличиям от исходного FP8-чекпойнта. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

unsloth/phi-4-GGUF — это конвертированная в формат GGUF версия модели Phi-4, разработанной Microsoft Research и основанной на microsoft/phi-4. Unsloth адаптировала модель под архитектуру Llama, чтобы упростить использование и дообучение, а также внесла исправления, связанные с Phi-4. Модель распространяется для запуска через llama.cpp и других совместимых инструментов. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения математических задач и программирования. Это плотный decoder-only Transformer на 14 млрд параметров с текстовым вводом, оптимизированным для запросов в чат-формате. Заявленная длина контекста составляет 16K токенов, основной язык — английский. В репозитории доступны варианты квантования GGUF, включая phi-4-Q2_K_L.gguf, что позволяет запускать модель с различными компромиссами между качеством, скоростью и требованиями к памяти. Сильными сторонами модели являются ориентация на качественные данные, развитое рассуждение, точное следование инструкциям и поддержка сценариев дообучения. Ограничения включают текстовую модальность, преимущественную ориентацию на английский язык, ограничение контекста в 16K токенов и возможные потери качества, зависящие от выбранного уровня квантования. Модель распространяется по лицензии MIT.

ibrahimkettaneh/Qwen2.5-72B-Instruct-abliterated-AWQ — производная версия Qwen2.5-72B-Instruct, опубликованная пользователем Ibrahim Kettaneh на Hugging Face. Исходную модель разработала команда Qwen компании Alibaba Cloud. Репозиторий содержит веса в формате Safetensors, квантизированные методом AWQ до 4 бит, и предназначен для локального запуска текстовой генерации и диалоговых приложений на совместимом оборудовании. Отдельная карточка модели для этого производного репозитория отсутствует, поэтому сведения о специфических изменениях, внесённых в вариант «abliterated», не задокументированы надёжно. Архитектурно это causal language model семейства Qwen2.5 с примерно 72,7 млрд параметров, 80 слоями, RoPE, SwiGLU, RMSNorm и grouped-query attention: 64 головы для Q и 8 для KV. Исходная instruction-tuned модель поддерживает генерацию текста, следование инструкциям, программирование, математику, структурированные данные и JSON; заявлена поддержка более 29 языков, включая русский. Полный контекст составляет до 131 072 токенов, а рекомендуемая длина генерации — до 8192 токенов; для очень длинного контекста требуется настройка YaRN. К сильным сторонам относятся большой масштаб, развитые способности к рассуждению, коду и обработке длинного контекста, а 4-битная AWQ-квантизация уменьшает требования к памяти по сравнению с полноразмерными весами. Ограничения — высокая вычислительная требовательность даже после квантизации, возможное снижение качества из-за квантизации и отсутствие надёжно опубликованных оценок именно этого варианта. На странице производного репозитория отдельная лицензия не указана; у исходной Qwen2.5-72B-Instruct указана лицензия Qwen, поэтому условия использования следует проверять по лицензии исходной модели и файлам конкретного репозитория.

YOYO-AI/Qwen3-30B-A3B-YOYO-V4 — объединённая текстовая модель YOYO-AI на архитектуре Qwen3 MoE для генерации текста и диалогов. По метаданным, она объединяет Qwen/Qwen3-30B-A3B-Instruct-2507, Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-Coder-30B-A3B-Instruct. В README описан метод слияния cla-gm: для параметров моделей вычисляется устойчивый центр с использованием среднего, покоординатной медианы и итеративного алгоритма Вайсфельда. Модель принимает текст и выдаёт текст; заявлены интерфейс вызова инструментов и контекст до 262 144 токенов. В карточке также указано значение контекста 1 010 000 токенов, но оно не согласуется с метаданными. Языковые теги карточки — английский и китайский. Размер по метаданным — 2,6 млрд параметров; формат файлов — safetensors, точность в README — bfloat16. Лицензия — Apache-2.0. Модель предназначена для диалогов, следования инструкциям, рассуждений, задач с кодом и вызова инструментов в рамках генерации текста. Отдельных оценок качества, подробных языковых результатов и ограничений применения карточка не приводит.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-Final-NVFP4-GGUF — это квантизированная в формате GGUF версия модели на базе Qwen3.6, созданной Alibaba Group, с доработками LuffyTheFox и квантизацией NVFP4 от jan1k. Модель также включает Hermes-файнтюнинг для диалогов, генерации текста, программирования, агентских сценариев и function calling. Указана поддержка английского, китайского и других языков, а также мультимодального ввода изображений через отдельный vision-проектор. Архитектура представляет собой Mixture of Experts: около 35 млрд общих параметров и примерно 3 млрд активных параметров на токен, с восемью маршрутизируемыми экспертами и одним общим. NVFP4 — 4-битный формат с плавающей точкой, оптимизированный для GPU NVIDIA архитектур Ada Lovelace, Blackwell и Ampere. Рекомендуется использовать файл версии v4 с inline scales; он совместим с llama.cpp, LM Studio и Pelican. Для работы с изображениями требуется отдельный проектор F16 размером около 899 МБ. Размер рекомендуемого файла модели составляет около 20 ГБ. Сильными сторонами являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка мультимодальных и агентских задач, function calling и формат NVFP4, снижающий требования к памяти по сравнению с полноразмерной моделью. Ограничения включают зависимость от совместимого NVIDIA-оборудования и корректно поддерживающего NVFP4 рантайма, необходимость отдельного vision-проектора для изображений и отсутствие в предоставленных данных сведений о максимальной длине контекста и результатах независимого тестирования. Модель распространяется по лицензии Apache-2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

Davidmg0815/Qwen3.8-27B-MTP-GGUF — это GGUF-конверсия модели Qwen/Qwen3.8-27B, опубликованная Davidmg0815 и собранная из оригинальных BF16-весов. Репозиторий предназначен для запуска через llama.cpp и содержит отдельную MTP-модель для speculative decoding, благодаря чему Multi-Token Prediction можно использовать в llama-server. Модель рассчитана на текстовые и мультимодальные сценарии: диалог, рассуждения, генерацию и анализ текста, программирование, структурированный вывод, а также обработку изображений и видео при использовании отдельного vision/video-проектора. В метаданных указаны немецкий и английский языки. Доступны целевая модель в вариантах Q8_0 размером 27,3 ГБ и Q6_K размером 21,0 ГБ, отдельный MTP-draft размером около 3,0 ГБ и мультимодальный проектор F16 размером около 0,9 ГБ. Заявлен контекст до 262 144 токенов; в тестовой конфигурации использовался KV-cache q8_0. Сильная сторона сборки — эффективное speculative decoding: на трёх RTX 3080 по 20 ГБ MTP увеличивал скорость до 2,79 раза для рассуждений и примерно в 1,7 раза для обычного связного текста. В тестах указаны результаты 98,0% на MATH-500 и 88,4–90,2% на HumanEval+. При этом выигрыш от MTP сильно зависит от типа текста: для предсказуемых последовательностей он выше, а для творческого текста и кода ниже. Q8_0 ориентирован на максимальное сохранение качества, тогда как Q6_K быстрее и требует меньше памяти; различия в качестве между ними в приведённых тестах не обнаружены. Для работы MTP необходимы совместимые целевая и draft-модели и llama.cpp с соответствующими параметрами. Лицензия — Apache-2.0.

JACK-POTTSSON/Qwen3.8-27B-OBLITERATEDpintus — текстовая generative-модель на базе Qwen/Qwen3.8-27B, распространяемая под лицензией Apache-2.0. В README она представлена как модифицированная версия Qwen с удалёнными или ослабленными механизмами отказа от ответов; описанный подход сочетает методы SVD и LEACE. Модель предназначена для генерации текста и кода, следования инструкциям, отладки, проектирования систем, извлечения данных по JSON-схеме, агентских сценариев и исследований AI safety и red teaming. Заявлены варианты в форматах GGUF, Safetensors и MLX, а также поддержка thinking mode. Для рекомендуемого режима указаны температура 0, repetition_penalty 1.15, max_new_tokens не менее 2048 и отсутствие системного промпта. README сообщает о результатах MMLU около 83,7% для V3 и 84,32% для V2, а также о семи успешных тестах из восьми на расширенных прикладных задачах; при этом эти показатели относятся к указанным в README версиям и не обязательно полностью подтверждают именно данный идентификатор. К сильным сторонам относятся близкая к исходной производительность, генерация кода и сниженная частота отказов. Ограничения включают возможную деградацию качества при sampling и repetition_penalty ниже рекомендуемого, риск циклической генерации без штрафа повторов, неполные сведения о точной архитектуре, размере контекста и поддерживаемых языках, а также потенциальную нестабильность поведения thinking mode. Отсутствие защитных отказов повышает риски небезопасного применения, поэтому модель особенно требует контроля при использовании в продуктивных и агентских системах.

IsValorum Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-Abliterated-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для генерации текста, рассуждений, программирования и локального запуска через llama.cpp и совместимые инструменты. Модель относится к разреженной архитектуре Mixture-of-Experts и содержит 40 слоёв и 256 микроэкспертов. Заявлена поддержка контекста до 256K токенов, а также английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Это аблитерированная версия без стандартных ограничителей отказа, ориентированная на сценарии, где требуется минимизация отказов при задачах по безопасности систем, пентестингу и анализу соответствия требованиям. Вариант APEX-I-MiniPlus V2.1 использует настраиваемое покомпонентное квантование: маршрутизаторы gate_inp сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные экспертные тензоры — преимущественно в IQ3_XXS. Размер модели составляет примерно 13,74 GiB, заявлены отсутствие существенных задержек AVX2 и поддержка ускоренного speculative execution с отдельной Q8_0 MTP-компонентой. К сильным сторонам относятся компактный размер для MoE-модели, сохранение маршрутизации экспертов в F32, высокая заявленная близость к качеству Q5–Q6-квантов и широкий языковой охват. Ограничение унаследовано от исходной BF16 Distill-модели: при очень длинных ответах возможны повторения, в том числе после блока рассуждений; это не связывается с квантованием. Релиз распространяется по лицензии Apache-2.0.

IsValorum/Qwen3.8-35B-A3B-Distill-MTP-APEX-I-MiniPlus-V2.1-GGUF — это GGUF-квантизированная версия модели empero-ai/Qwen3.8-35B-A3B-Distill, подготовленная IsValorum. Модель предназначена для генерации текста, рассуждений, программирования и других задач, поддерживаемых llama.cpp и совместимыми инструментами. Архитектура основана на разреженной смеси экспертов (MoE): заявлены 35 млрд параметров и около 3 млрд активных параметров на токен, 40 слоёв и 256 микроэкспертов. Заявленный максимальный контекст — 256K токенов. Модель поддерживает английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Квантизация APEX-I-MiniPlus V2.1 использует комбинацию форматов IQ3_XXS, Q3_K, Q5_K, Q6_K, Q8_0 и F32; размер файла составляет приблизительно 13,74 GiB. В README заявлены сохранение маршрутизации экспертов в F32, оптимизация для работы с системной RAM и поддержка Multi-Token Prediction. Для мультимодальных сценариев упоминаются отдельные компоненты mmproj и MTP, однако основная карточка относится к текстовой GGUF-модели. Сильными сторонами заявлены компактный размер при сохранении качества, поддержка длинного контекста и возможность запуска с частичной или полной выгрузкой в GPU VRAM либо системную RAM. Производительность существенно зависит от видеопамяти, процессора, пропускной способности памяти и настроек llama.cpp; приведённые в README показатели скорости и perplexity являются заявленными авторами и не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

Snowflake Arctic Instruct — инструктивно дообученная языковая модель команды Snowflake AI Research Team на базе архитектуры Arctic. Она предназначена для диалогов, генерации текста и кода, а также для задач классификации текста. Архитектура — гибридный трансформер с разреженным MoE: в карточке описана комбинация плотной модели на 10 млрд параметров и остаточного блока MoE с 128 экспертами; для полной архитектуры указаны 480 млрд параметров и 17 млрд активных параметров с выбором двух экспертов. Метаданные репозитория указывают размер 8 млрд параметров, поэтому эта цифра расходится с описанием полной архитектуры в README. Модель принимает текст и генерирует текст или код. Родной размер контекста — 4096 токенов. Для запуска README рекомендует Transformers версии 4.39 или выше и загрузку с доверенным пользовательским кодом; для инференса предлагается сервер с восемью H100 из-за размера модели. Модель выпущена Snowflake под лицензией Apache-2.0, допускающей использование в исследованиях, прототипах и продуктах.

Bonsai 2 27B — производная от Qwen/Qwen3.8-27B модель семейства Prism ML для генерации текста, рассуждений и диалогов. Это плотный трансформер с гибридным вниманием, SwiGLU, RoPE и RMSNorm; языковые веса представлены в троичном формате {-1, 0, +1} с блочной Hadamard-ротацией. Репозиторий содержит веса в формате safetensors для MLX; заявлены 27,36 млрд параметров и контекст до 262 тыс. токенов. Модель также включает башню зрения, однако карточка этого варианта указывает основной задачей генерацию текста. Модель рассчитана на локальный запуск на устройствах Apple Silicon и совместимых GPU, в том числе для продолжительного анализа документов и кода, диалогов, рассуждений и сценариев с вызовом инструментов. Автор заявляет сохранение 98,2% среднего результата FP16-версии на 14 тестах, включая математику, программирование и использование инструментов. Троичное представление сокращает размер весов, но требует специализированных низкоразрядных ядер; скорость зависит от аппаратуры и реализации. Модель основана на Qwen/Qwen3.8-27B и распространяется по лицензии Apache-2.0. Для использования нужны совместимый runtime MLX и соответствующие низкоразрядные ядра; заявленные характеристики скорости и качества являются результатами автора и могут отличаться на конкретном оборудовании.