II.3Рефакторинг, миграция и модернизация

Карточка модели Hollow44844/Qwen3-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-4B, поэтому описание составлено по ней. Qwen3-4B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалогов, следования инструкциям, рассуждений, генерации кода, творческого письма, многоязычных задач и работы с инструментами. В модели около 3,7 млрд параметров по метаданным; она использует архитектуру Qwen3ForCausalLM и поддерживает контекст до 40 960 токенов по метаданным. README описывает переключение между режимами рассуждения и обычного диалога, а также поддержку более 100 языков и диалектов. Модель обучена на базе Qwen/Qwen3-4B-Base и распространяется в формате safetensors для библиотеки Transformers. Лицензия — Apache 2.0. Карточка предупреждает о возможных бесконечных повторах при генерации и рекомендует настраивать параметры сэмплирования.

Qwen3.5-27B — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель поддерживает интеграцию с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель содержит 27 млрд параметров, 64 слоя и скрытое измерение 5120. В архитектуре сочетаются Gated Delta Networks и разреженная Mixture-of-Experts; также используются механизмы Gated Attention и multi-step training. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Мультимодальное обучение выполнено с ранним объединением визуальных и языковых токенов. К сильным сторонам относятся сочетание языковых и визуальных возможностей, высокая эффективность архитектуры, большой контекст и широкое языковое покрытие. Ограничения README не описывает подробно; фактическая производительность и требования к ресурсам зависят от сценария использования и программного окружения. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-35B-A3B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и другие задачи генерации и анализа контента. Архитектура представляет собой causal language model с vision encoder и гибридной схемой Gated Delta Networks и разреженной Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых при обработке активируются около 3 млрд. Используются 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Формат совместим с Transformers, vLLM, SGLang и KTransformers. К сильным сторонам относятся сочетание мультимодальности, большого контекста, высокой вычислительной эффективности разреженной архитектуры и широкой языковой поддержки. AWQ-квантизация снижает требования к памяти и может упростить локальное развертывание, однако потенциально сопровождается компромиссом между качеством и точностью по сравнению с полной версией весов. README не приводит подробностей о требованиях к оборудованию, измерениях производительности именно для этой AWQ-версии и явных ограничениях применения. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-GPTQ-Int4 — это квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена для обработки текста и изображений, генерации ответов, рассуждений, программирования, визуального понимания и агентских сценариев. Модель сочетает языковую модель с vision encoder, гибридную архитектуру Gated Delta Networks и Gated Attention со sparse Mixture-of-Experts. Она содержит 397 млрд параметров, из которых 17 млрд активируются при обработке токена, 60 слоёв и 512 экспертов, при этом используются 10 маршрутизируемых и один общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация GPTQ Int4 снижает требования к памяти и может повысить эффективность инференса, но потенциально ограничивает точность по сравнению с полноразмерными весами. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о требованиях к оборудованию, фактической производительности или ограничениях качества, поэтому эти характеристики следует оценивать отдельно для конкретной инфраструктуры и задач.

Qwen3.5-4B-f32-GGUF — это набор GGUF-файлов с версиями модели Qwen3.5-4B, разработанной командой Alibaba Qwen и представленной в репозитории prithivMLmods. Модель представляет собой плотную мультимодальную causal language model примерно с 4 млрд параметров и встроенным vision-энкодером. Она предназначена для генерации и понимания текста, анализа изображений и видео, OCR, решения математических задач, программирования и агентских сценариев. Архитектура включает 32 слоя с гибридной схемой Gated DeltaNet и Gated Attention, размером скрытого состояния 2560 и словарём на 248 тысяч токенов для 201 языка. Заявлена поддержка контекста до 262 тысяч токенов с возможностью расширения свыше 1 млн токенов, а также переключаемый режим рассуждений для выбора между более глубоким анализом и быстрой генерацией. В комплект входят варианты BF16, F16, F32, Q8_0 и отдельные мультимодальные проекционные файлы mmproj; размеры файлов варьируются примерно от 367 МБ до 16,8 ГБ. К сильным сторонам относятся мультимодальность без необходимости в отдельном VL-компоненте, большой контекст, многоязычность и возможность запуска на ограниченных ресурсах: в README указано около 8 ГБ VRAM для BF16 и примерно 3 ГБ для 4-битной версии. К ограничениям относятся различия в качестве и размере квантованных вариантов, а также компромисс между скоростью и качеством рассуждений. Модель распространяется по лицензии Apache 2.0.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT8 — производная версия модели Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; модель предназначена для совместного использования с Transformers, vLLM, SGLang и KTransformers. По идентификатору это вариант с представлением AWQ-BF16-INT8, однако подробности процедуры квантования в предоставленных данных не описаны. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Она рассчитана на рассуждения, программирование, агентские сценарии, визуальное понимание, обработку документов и другие мультимодальные задачи. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Размер языковой части — 9 млрд параметров, используется 32 слоя, размер скрытого представления — 4096, а нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Сильными сторонами являются мультимодальность, большой контекст, высокая заявленная эффективность инференса и широкая языковая поддержка. Ограничения конкретной квантованной сборки, требования к оборудованию, точные характеристики vision encoder и результаты именно этой версии в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Smoffyy/Qwen3.5-9B-Instruct-Pure-GGUF — квантизированная версия официальной модели Qwen3.5-9B, созданная автором Smoffyy на основе исходных весов Qwen с использованием официальных инструментов llama.cpp. Модель распространяется в формате GGUF и позиционируется как «чистая» квантизация без изменений или дополнительных модификаций весов. Модель предназначена для задач генерации текста, рассуждений, программирования, агентских сценариев и мультимодального понимания изображений. Это единая vision-language модель с гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. Для работы с изображениями требуется дополнительный файл mmproj-f16.gguf. Доступен управляемый режим рассуждений через параметр enable_thinking в API или конфигурацию шаблона чата. Основное преимущество модели — сохранение исходных официальных весов при уменьшении требований к памяти благодаря квантизации. Доступны варианты с разным соотношением качества и размера, включая q4_k_m, q5_k_m и q8_0; при контексте 64k вариант q4_k_m использует около 10 ГБ памяти. Ограничения зависят от выбранного уровня квантизации и оборудования: более компактные варианты могут уступать исходной модели по качеству, а для визуальных возможностей необходим отдельный проектор. Модель и производные распространяются по лицензии Apache 2.0.

JunHowie/Qwen3-8B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-8B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого общения, перевода и сценариев с использованием внешних инструментов. Она поддерживает переключение между режимом рассуждений и обычным режимом генерации в рамках одной модели. Модель построена как causal language model и содержит около 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Архитектура включает 36 слоёв и grouped-query attention с 32 головами Q и 8 головами KV. Базовый контекст составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Qwen3 заявляет поддержку более 100 языков и диалектов, включая мультиязычное следование инструкциям и перевод. Квантизация выполнена в 4-битном формате с размером группы 128. По сравнению с более ранними квантизованными версиями заявлена повышенная эффективность по числу токенов в секунду благодаря параметру desc_act=False. Квантизация снижает требования к памяти и подходит для локального или серверного развёртывания, однако может приводить к потере качества по сравнению с полной точностью; конкретные показатели качества и требования к оборудованию в README не приведены. Для работы рекомендуется vLLM версии 0.9.2 или новее. Модель распространяется по лицензии Apache 2.0.

duyntnet/cogito-v1-preview-qwen-14B-imatrix-GGUF — набор imatrix-квантизаций языковой модели Cogito v1-preview Qwen 14B, первоначально разработанной deepcogito. Это instruction-tuned генеративная модель формата «текст на входе — текст на выходе», предназначенная для диалогов, генерации текста, программирования, задач STEM, следования инструкциям, общего ассистирования и вызова инструментов. Репозиторий предоставляет варианты в формате GGUF для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, text-generation-webui, Ollama, Jan и LM Studio. Модель использует гибридный подход к рассуждениям: может отвечать напрямую в стандартном режиме или выполнять дополнительную саморефлексию в режиме extended thinking. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. Модель обучалась более чем на 30 языках и поддерживает контекст до 128k токенов; заявлены улучшенные многоязычные возможности, качество программирования и tool calling по сравнению с моделями сопоставимого размера. Архитектура описана как Qwen 14B, однако точные параметры GGUF-квантизаций в README не приведены. К сильным сторонам относятся сочетание стандартного и рассуждающего режимов, широкий контекст, поддержка многоязычных сценариев, программирования и инструментов, а также возможность локального инференса. Ограничения включают preview-статус исходной модели, зависимость характеристик от конкретного варианта квантизации и отсутствие в README точных данных о размерах файлов, требованиях к оборудованию и результатах бенчмарков. Указана лицензия other; при этом исходное описание сообщает, что модели Cogito выпущены по открытой лицензии с разрешением коммерческого использования, но точные условия лицензии для данного репозитория не раскрыты.

Карточка модели ApocalypseParty/G4-31B-SFT-v5-2 на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

RedHatAI/gemma-4-31B-it-FP8-dynamic — квантизированная FP8-версия мультимодальной модели google/gemma-4-31B-it, подготовленная RedHatAI. Модель построена на архитектуре Gemma4ForConditionalGeneration, принимает текст и изображения и генерирует текст. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, рассуждений и вызова инструментов. Веса модели статически квантизированы в FP8 с масштабированием по каналам, а активации динамически квантизируются во время инференса с масштабированием по токенам. Квантизация применяется к линейным операторам трансформерных блоков; vision tower, embedding-слои и выходная голова сохраняют исходную точность. Это примерно вдвое уменьшает число бит на параметр, размер модели на диске и требования к памяти GPU по сравнению с 16-битной версией. Заявлены поддержка tool calling и режим reasoning/thinking. Модель оптимизирована для инференса через vLLM; в предоставленной конфигурации используется максимальная длина контекста 32768 токенов, а также специальные reasoning- и tool-call-парсеры Gemma 4. Оценки на GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4 показывают близкие к исходной модели результаты, однако конкретные значения зависят от режима thinking. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

NVIDIA Nemotron-3-Super-120B-A12B-BF16-heretic-v2 — это модифицированная сообществом версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B-BF16. В ней применена аблитерация слоёв 23–61, снижающая частоту отказов: в приведённой оценке отказы были в 11 случаях из 100 против 100 из 100 у исходной модели. Модель содержит 120 млрд параметров, из которых 12 млрд активны; её гибридная архитектура LatentMoE сочетает Mamba-2, MoE, слои внимания и Multi-Token Prediction. Репозиторий использует формат safetensors и библиотеку Transformers, поддерживает контекст до 262 144 токенов по метаданным и генерацию текста в диалоговых сценариях. Модель предназначена для рассуждений, чата, следования инструкциям, задач с длинным контекстом и создания агентных систем, включая чат-боты, RAG и автоматизацию IT-заявок. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки; также модель подходит для кода. README называет исходную модель коммерчески применимой, но лицензия этой производной указана как other, поэтому условия её использования следует уточнить в репозитории. Модель снижает склонность к отказам, что может быть нежелательно в сценариях, где важна строгая фильтрация запросов.

dominguesm/NVIDIA-Nemotron-Nano-9B-v2-GGUF — GGUF-квантизированная версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, разработанной NVIDIA Corporation и обученной с нуля. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждением и без него, программирования, создания чат-ботов, AI-агентов, RAG-систем и других приложений на базе LLM. Данные предварительного обучения актуальны по сентябрь 2024 года, выпуск базовой модели состоялся 18 августа 2025 года. Модель имеет гибридную архитектуру Nemotron-Hybrid, объединяющую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Размер модели — около 9 млрд параметров. Поддерживается текстовый ввод и текстовый вывод, контекстное окно — до 128K токенов. Заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе характеристик ввода также указаны китайский, корейский, португальский и русский. Модель поддерживает управление бюджетом рассуждений во время инференса: включение рассуждений обычно повышает качество на сложных задачах, но увеличивает расход токенов, а отключение позволяет получать ответ без промежуточной трассы рассуждений с возможным снижением точности. К сильным сторонам относятся сочетание эффективности гибридной архитектуры с возможностями рассуждения, широкий контекст и пригодность для локального запуска в формате GGUF через совместимые инструменты. Ограничения включают зависимость качества и затрат от выбранного бюджета рассуждений, а также возможные ограничения квантизации по сравнению с полной версией модели. Использование регулируется NVIDIA Open Model License Agreement; в README также указано, что модель готова для коммерческого использования.

ThomasBaruzier/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-7B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix; исходная модель разработана командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, структурированными данными и JSON. Модель является авторегрессионной causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами для Q и 4 для KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Основное преимущество репозитория — выбор вариантов квантизации с разным компромиссом между размером файла, качеством и требованиями к ресурсам: от IQ1_S размером около 1,8 ГБ до F16 размером около 14,5 ГБ. Более лёгкие варианты удобны для локального запуска, но могут сильнее терять качество; по приведённой таблице, F16 сохраняет базовый уровень качества, а Q6_K, Q8_0 и варианты Q5 обеспечивают близкие показатели при меньшем размере. Для использования необходима совместимая среда, например llama.cpp. Модель и производные квантизации распространяются по лицензии Apache-2.0.

Qwen3.5-27B-FP8 — мультимодальная причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-27B с весами и конфигурацией для Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers. Модель предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует языковую часть на 27 млрд параметров и vision encoder. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; предусмотрено многократное обучение предсказанию следующих токенов. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. FP8-квантизация выполнена с блочным размером 128, при этом, согласно README, показатели производительности близки к исходной модели. Сильными сторонами являются мультимодальность, большой контекст, широкая языковая поддержка и потенциально более эффективный инференс благодаря гибридной архитектуре и FP8-представлению. Ограничения конкретной версии, включая фактическое качество на отдельных задачах, требования к аппаратному обеспечению и особенности работы с изображениями, в README подробно не указаны. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-9B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-9B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для локального запуска, генерации и анализа текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Модель также поддерживает локальное дообучение с помощью Unsloth. Модель содержит около 9 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками Gated Attention. В конфигурации заявлены 32 слоя, скрытая размерность 4096 и нативная длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Модель обучена для работы с мультимодальными токенами и заявляет поддержку 201 языка и диалекта. Репозиторий ориентирован на экосистему GGUF и локальный инференс, однако конкретный уровень квантования в предоставленных данных не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, большой контекст, энергоэффективная архитектура и широкий языковой охват. Ограничения включают отсутствие в предоставленных данных подробных результатов именно для GGUF-варианта, сведений о требованиях к оборудованию и точных характеристик квантования; фактическое качество и скорость могут зависеть от используемого рантайма и уровня квантования. Модель распространяется по лицензии Apache-2.0.

Apriel-5B-Instruct — языковая модель общего назначения от ServiceNow AI, дообученная на Apriel-5B-Base с помощью продолженного предобучения, supervised fine-tuning и этапов выравнивания DPO и RLVR. Это плотный авторегрессионный Transformer-декодер с grouped-query attention и позиционными эмбеддингами YARN; в репозитории указаны 4,6 млрд параметров и контекст до 16 384 токенов. Веса опубликованы в формате safetensors и доступны по лицензии MIT. Модель предназначена для диалога и следования инструкциям, ответов на вопросы, генерации и краткого изложения текста, помощи с кодом, логических рассуждений и творческого письма. Она поддерживает структурированные диалоги и сценарии вызова инструментов. Основной язык — английский; качество на менее представленных языках может быть ниже. Модель может выдавать фактически неверные, вводящие в заблуждение или устаревшие ответы и отражать смещения обучающих данных. Её не следует применять в критически важных сценариях без проверки человеком и дополнительных мер защиты; для медицинских, юридических и финансовых решений она не подходит без специальных safeguards.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

Карточка модели arolstar52/gemma-4-31B-it на Hugging Face совпадает с карточкой ApocalypseParty/G4-31B-SFT-v6-2, поэтому описание составлено по ней. ApocalypseParty/G4-31B-SFT-v6-2 — дообученная версия мультимодальной Gemma 4 31B от Google DeepMind. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога, рассуждений, программирования и анализа визуальных данных, включая распознавание текста в документах, понимание диаграмм и интерфейсов. Поддерживаются вызовы инструментов и длинные контексты; для семейства Gemma 4 31B заявлено до 256K токенов. Gemma 4 обучена работать со многими языками, однако конкретные языки и настройки этого дообучения не описаны. Репозиторий содержит веса Safetensors и использует лицензию Apache 2.0. Карточка не приводит отдельных оценок качества или ограничений именно этой версии.

unsloth/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно дообученной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной сообществом Unsloth. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для задач генерации и понимания текста, рассуждений, программирования, агентных сценариев и вызова функций. Модель имеет плотную архитектуру с эффективным размером около 2,3 млрд параметров и примерно 5,1 млрд параметров с учётом эмбеддингов, 35 слоями и гибридным механизмом внимания, сочетающим локальное скользящее окно на 512 токенов с глобальным вниманием. Контекстное окно составляет 128K токенов, словарь — 262K токенов. Поддерживаются текст, изображения и аудио на входе с генерацией текста на выходе; заявлена работа более чем со 140 языками. Для обработки изображений используется энкодер примерно на 150 млн параметров, аудио — примерно на 300 млн. К сильным сторонам относятся мультимодальность, большое контекстное окно, режимы настраиваемого рассуждения, улучшенные возможности программирования, нативная поддержка системных промптов и function calling, а также ориентация на эффективное выполнение на локальных устройствах. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными моделями семейства Gemma 4; конкретный уровень качества и требования к памяти зависят от используемой GGUF-квантизации, параметры которой в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-E4B-it-MLX-8bit — это 8-битная MLX-версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и подготовленной Unsloth для локального запуска. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для выполнения инструкций, генерации текста, рассуждений, программирования и агентских сценариев с поддержкой function calling. Модель использует плотную архитектуру с примерно 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embedding-слоёв, 42 слоями и словарём размером 262 тысячи токенов. Она принимает текстовые и визуальные данные, а также аудио; генерирует текст. Для обработки контекста применяется гибридный механизм внимания с локальным sliding window размером 512 токенов и глобальным вниманием. Контекстное окно E4B составляет до 128 тысяч токенов, а мультиязычная поддержка охватывает более 140 языков. К сильным сторонам относятся мультимодальность, развитые возможности рассуждения и программирования, поддержка системных промптов и эффективное локальное выполнение на устройствах с ограниченными ресурсами. 8-битное представление снижает требования к памяти, но может сопровождаться некоторой потерей точности по сравнению с полноточными версиями. README не приводит подробных результатов бенчмарков, требований к оборудованию или перечня поддерживаемых аудио- и видеоформатов. Модель распространяется по лицензии Apache 2.0.

llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic — производная от Google Gemma 4 E4B Instruct мультимодальная модель, дообученная независимым автором. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального оконного и глобального внимания. Модель рассчитана на диалог, рассуждения, программирование и понимание мультимодальных данных; для варианта E4B заявлено контекстное окно до 128 тыс. токенов. Модель принимает текст и изображения, а семейство E4B также поддерживает аудиовход для распознавания речи и перевода речи в текст. Gemma 4 заявлена как многоязычное семейство с поддержкой более 35 языков; конкретный языковой охват этой производной отдельно не описан. Возможны извлечение текста из документов и изображений, понимание диаграмм и интерфейсов, генерация и исправление кода, суммаризация и диалог. Название uncensored указывает на изменённое поведение отказов, но README не раскрывает точный объём изменений. Карточка предупреждает о возможных предвзятости, фактических ошибках, затруднениях с нюансами языка и сложными открытыми задачами. Модель распространяется по лицензии Apache-2.0.

QuantFactory/internlm2-chat-7b-sft-GGUF — квантизированная версия языковой модели InternLM2-Chat-7B-SFT, созданная QuantFactory с использованием llama.cpp на базе модели internlm/internlm2-chat-7b-sft. Это текстовая causal language model для генерации текста и диалоговых сценариев. Модель предназначена для общения, следования инструкциям, рассуждений, решения математических задач, написания и анализа кода, творческого письма, анализа данных, а также использования в агентных системах с инструментами и многошаговыми вызовами. Указано контекстное окно до 200 000 токенов и размер 7 миллиардов параметров. Модель работает с текстом; конкретный набор поддерживаемых языков в README не указан. Версия SFT предназначена также для исследования влияния RLHF, поскольку последующая версия InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. К сильным сторонам относятся заявленные результаты в рассуждениях, математике, программировании, следовании инструкциям и задачах с длинным контекстом, а также преимущества квантизированного формата для запуска через llama.cpp. Ограничения включают возможные ошибки, предвзятость, дискриминационные или иные вредные ответы; качество зависит от квантизации и условий запуска. В README указана лицензия «other», без подробного описания условий, поэтому точные правила использования следует уточнять в исходной карточке модели.

MuXodious выпустил дообученную версию Ministral-3-8B-Reasoning-2512, созданную с помощью движка Heretic и метода abliteration. Это плотная мультимодальная модель семейства Mistral 3: языковая часть содержит 8,4 млрд параметров, а зрительный энкодер — 0,4 млрд. Репозиторий содержит веса Safetensors; для запуска указана библиотека vLLM, а README также сообщает о необходимости Transformers v5 для работы через Transformers. Модель предназначена для диалогов и многошаговых рассуждений, включая математические и научные вопросы, программирование, анализ изображений и документов, перевод и агентные сценарии с вызовом функций и JSON-выводом. Она принимает текст и изображения, отвечает текстом и поддерживает контекст до 256 тыс. токенов. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Автор описывает модель как сильно менее склонную к отказам после abliteration; это может привести к выдаче небезопасных ответов, поэтому её следует применять с осторожностью. Для работы с изображениями рекомендуется сохранять близкое к квадратному соотношение сторон. Лицензия Apache 2.0 разрешает использование и модификацию, в том числе в коммерческих целях.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

unsloth/Phi-4-mini-instruct-bnb-4bit — это 4-битно квантованная версия Phi-4-mini-instruct, разработанная Unsloth на базе модели Microsoft Phi-4-mini-instruct. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования, математики, рассуждений и NLP. Она поддерживает мультиязычное применение и относится к семейству Phi-4. Модель имеет контекст длиной до 128K токенов и оптимизирована для запуска при сниженных требованиях к памяти благодаря формату 4-bit. В версии Unsloth исправлены проблемы с padding и EOS-токенами, шаблоном чата и unk-токеном; также заявлено использование Dynamic Quants, которые должны обеспечивать более высокую точность по сравнению со стандартным 4-битным квантованием. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем проходила supervised fine-tuning и direct preference optimization. Сильные стороны модели — компактность, большой контекст, поддержка инструкций, диалогов, кода и математических задач, а также исправления, повышающие корректность инференса. Ограничения включают снижение точности по сравнению с полноразмерной или менее квантованной версией и отсутствие в предоставленных данных подробностей об архитектуре, точном числе параметров и перечне языков. Модель распространяется по лицензии MIT.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

unsloth/Qwen3.5-122B-A10B-NVFP4 — это NVFP4-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, подготовленная Unsloth на базе модели Qwen. Она относится к классу каузальных языковых моделей с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts. Всего заявлено 122 млрд параметров, из которых при обработке активируется около 10 млрд; архитектура включает 48 слоёв и 256 экспертов, из которых маршрутизируются 8, дополнительно используется один общий эксперт. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевое преимущество версии NVFP4 — снижение требований к памяти и стоимости инференса при сохранении возможностей исходной модели, однако качество и скорость могут зависеть от особенностей квантизации и совместимого программно-аппаратного окружения. В README рекомендуется запуск через vLLM с NVFP4-ядром; использование Marlin не рекомендуется из-за более низкой производительности. Модель распространяется по лицензии Apache 2.0. README не содержит подробных результатов бенчмарков для этой конкретной квантизованной версии, поэтому её фактические показатели качества следует проверять отдельно.