II.8Инженерия данных и аналитика

Карточка модели schwyzquants/Qwen2.5-32B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B, поэтому описание составлено по ней. Qwen2.5-32B — базовая языковая модель компании Qwen, обученная на этапе предварительного обучения. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Контекст составляет 131 072 токена. Модель предназначена для дальнейшего дообучения и построения систем генерации текста. Семейство поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, японский и арабский. Для этой базовой версии README не рекомендует непосредственное применение в диалогах; для чат-сценариев требуется последующее обучение, например SFT или RLHF. В README также отмечены сильные возможности семейства в следовании инструкциям, коде, математике и генерации структурированных ответов, однако эти улучшения описаны для Qwen2.5 в целом. Модель распространяется под лицензией Apache-2.0. Для работы рекомендуется актуальная версия библиотеки Transformers; версии ниже 4.37.0 могут не распознавать архитектуру qwen2.

bunnycore/Qwen2.5-7B-HyperMix — объединённая модель семейства Qwen2.5, созданная автором репозитория с помощью mergekit. В качестве базовой использована Orion-zhen/Qwen2.5-7B-Instruct-Uncensored; при слиянии DARE TIES также включены huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, Replete-AI/Replete-LLM-V2.5-Qwen-7b и EVA-UNIT-01/EVA-Qwen2.5-7B-v0.0. Модель предназначена для диалогов и генерации текста. Это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 32 768 токенов; репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит подробных оценок качества или гарантированных преимуществ относительно включённых моделей. Модель принимает текст и генерирует текст. В метаданных указана лицензия Apache-2.0.

Theros/Qwen2.5-ColdBrew-R1-test — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом Model Stock. В объединении использованы SvalTek/Qwen2.5-ColdBrew, bunnycore/Qwen-2.5-7B-R1-Stock и fblgit/cybertron-v4-qw7B-UNAMGS; базовой моделью и источником токенизатора указана SvalTek/Qwen2.5-ColdBrew. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст, поддерживает диалоговый сценарий и имеет контекст до 131072 токенов. Она предназначена для генерации ответов и ведения текстовых диалогов. В карточке не приведены результаты сравнительных оценок качества, поэтому пригодность для конкретных задач следует проверять отдельно. Файлы представлены в формате safetensors, библиотека — Transformers; лицензия в доступных данных не указана.

Карточка модели KnutJaegersberg/Qwen2-Deita-500m на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

huihui-ai/Qwen3-32B-abliterated — версия Qwen3-32B, созданная huihui-ai методом abliteration, который изменяет модель для уменьшения числа отказов. Автор описывает реализацию как грубую проверку концепции. Модель предназначена для диалоговой генерации текста и может использоваться через Transformers или Ollama. Это плотная многоязычная модель на 32 млрд параметров, дообученная на Qwen/Qwen3-32B; в репозитории указаны веса safetensors и библиотека Transformers. Модель ориентирована на чат и сохраняет общую область применения базовой Qwen3: рассуждения, программирование и работу с инструментами. Лицензия — Apache-2.0. Уменьшение отказов не гарантирует их полного отсутствия и может влиять на поведение и надёжность ответов.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-RAZOR-28B-A3B-E192of256 — производная диалоговая модель семейства Qwen, созданная методом RAZOR: из 256 маршрутизируемых экспертов в каждом MoE-слое оставлены 192. По README, это обучение-не-затрагивающее прореживание экспертов без градиентных обновлений и восстановительного дообучения; сохранены исходные веса оставшихся экспертов. В карточке указано 27,7 млрд параметров (27,0 млрд без модуля MTP) и около 3 млрд активных параметров на токен. Архитектура — Qwen3.5 MoE для Transformers; веса представлены в safetensors и bfloat16. Модель предназначена для генерации текста в диалогах и работы с интерфейсом вызова инструментов. Метаданные связывают её с Qwen/Qwen3.6-35B-A3B, краткое описание которого указывает на мультимодальный анализ изображений, однако README этой производной версии описывает только прореживание экспертов и не подтверждает сохранение или проверку обработки изображений. Лицензия — Apache-2.0. Прореживание уменьшает объём хранения экспертов, сохраняя примерно прежнее число активных параметров на токен, но является потерным: могут измениться разнообразие, форматирование и поведение завершения ответов; качество вне конечного калибровочного корпуса отдельно не охарактеризовано.

Qwen3.8-Flash-Next-ROCmFP4-STRIX_LEAN-GGUF — квантованная GGUF-версия модели Qwen3.8-Flash-Next, разработанная пользователем kingjones777 на базе модели Qwen/Qwen3.8-Flash-Next. Модель предназначена для генерации текста и запуска через llama.cpp-подобные среды, прежде всего на интегрированной графике AMD Ryzen AI Max+ 395 «Strix Halo» с архитектурой gfx1151 и общей памятью CPU/GPU. Указана поддержка длинного контекста; в README приведена проверка работы speculative decoding на диапазоне от 2K до 128K токенов. Точная длина контекста, число параметров и языковой охват не указаны. Модель использует архитектуру qwen4exp и типы тензоров ROCmFP4, поэтому стандартная сборка llama.cpp не подходит: требуется форк ROCmFPX с поддержкой обеих технологий и специальные патчи. Доступен режим speculative decoding через MTP-голову; на совместимой конфигурации он показал ускорение до 34% для задач рассуждения и до 11% для кода, однако на длинных документах и некоторых режимах может не давать ускорения или замедлять работу. Производительность и доступность модели существенно зависят от AMD Strix Halo, ROCm и объёма общей памяти. Модель ориентирована на сценарии локального текстового инференса, включая рассуждение, генерацию JSON, программирование и суммаризацию документов. Её сильная сторона — возможность запуска крупной модели в общей памяти интегрированного GPU; ограничениями являются специализированные требования к программному обеспечению и аппаратной платформе, а также отсутствие универсальной поддержки в стандартных рантаймах. Лицензия указана как qwen-community-1.0; модель связана с базовой моделью отношением quantized.

Kaoeiri/Qwenwify-32B-v4 — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit. В качестве базовой использована Qwen/QwQ-32B-Preview; при слиянии методом DARE TIES также использованы десять моделей Qwen2.5-32B, включая варианты для инструкций, рассуждений, ролевых диалогов и художественного текста. Модель предназначена для генерации текста в диалоге и может применяться для ответов на запросы, творческого письма и рассуждений. Она содержит 32 млрд параметров, принимает текст и выдаёт текст, а её родной контекст составляет 32 768 токенов. В метаданных отмечены чат и интерфейс вызова инструментов. Модель опубликована по лицензии CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных версий. В карточке есть метка not-for-all-audiences; качество и поведение объединённой модели могут различаться между задачами.

R1-Qwen2.5-32B-Instruct-5k — дообученная pe-nlp модель на базе Qwen/Qwen2.5-32B-Instruct, обученная на наборе данных Sky-T1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Контекстное окно составляет 32 768 токенов. Карточка не раскрывает конкретные сценарии обучения или результаты оценки, поэтому специализированные преимущества модели подтвердить нельзя. Лицензия указана как «other», без уточнения условий в доступных данных.

Ramonda-7B-DPO-TIES — объединённая языковая модель, созданная mayacinka методом TIES с помощью LazyMergekit на основе paulml/OGNO-7B и bardsai/jaskier-7b-dpo-v4.3. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и диалоговых ответов. Контекстное окно составляет до 32 768 токенов. В README приведены результаты оценок на наборах Open LLM Leaderboard и LLM AutoEval; они не гарантируют аналогичное качество в конкретных приложениях. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README не уточняет поддерживаемые языки и специальные ограничения; фактическое качество зависит от запроса и сценария применения.

Rombo-LLM-V2.7-llama-3.2-1b — плотная авторегрессионная языковая модель Rombo-Org на архитектуре LlamaForCausalLM. По карточке, модель объединяет предварительно обученную и инструктивно настроенную версии Llama 3.2 1B; в метаданных базовой моделью указана meta-llama/Llama-3.2-1B-Instruct. Модель содержит 1,2 млрд параметров, принимает текст и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, а также может использоваться для дальнейшего дообучения или инференса без дополнительной настройки. Метаданные также отмечают интерфейс вызова инструментов. Модель опубликована в формате safetensors и распространяется по лицензии Llama 3.2. README не приводит результаты оценивания качества, поэтому пригодность для конкретных задач следует проверять отдельно.

Seraph-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на основе Mistral-7B-Instruct-v0.2, созданная MaziyarPanahi слиянием весов через метод SLERP с моделью Weyaxi/Seraph-7B. Она предназначена для генерации текста в диалоге и выполнения инструкций. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов; принимает текст и выдаёт текст. Слияние сочетает две модели с настройкой коэффициентов для слоёв self-attention и MLP. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Доступные сведения не описывают отдельные тесты качества или специальные предметные области, поэтому результат следует проверять на задачах, где важны точность и надёжность ответов.

chankhavu/smolmo-32b-sft-merged-proofpilot — это объединённая методом равномерного усреднения весов модель на базе OLMo 3, подготовленная автором репозитория из восьми последовательных контрольных точек одного запуска SFT. Усреднены снимки шагов 18 750–20 500; независимые дообученные модели не смешивались. Модель содержит 31,7 млрд параметров, использует плотную архитектуру Olmo3ForCausalLM, представлена в safetensors и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Усреднение хвостовых контрольных точек было применено как способ сгладить эффект незавершённого затухания скорости обучения, но автор указывает, что возможное улучшение обобщения следует проверять на отложенной оценке относительно финальной контрольной точки. Данные о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

MaziyarPanahi/TheTop-5x7B-Instruct-S2-v0.1 — текстовая генеративная модель, созданная MaziyarPanahi путём слияния пяти моделей 7B с помощью метода SLERP. Она построена на архитектуре Mistral и предназначена для генерации ответов и других текстов по запросу; заявленное контекстное окно составляет 32 768 токенов, а размер модели по метаданным — 7,1 млрд параметров. Модель подходит для диалоговых сценариев, ответов на вопросы и общих задач генерации текста. В карточке приведены результаты тестов на академических наборах, включая ARC и HellaSwag; эти оценки сами по себе не гарантируют качество в конкретном приложении. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0.

TopEvolution7RAG — созданная сообществом mergekit объединённая языковая модель на архитектуре Mistral с плотной архитектурой и примерно 7,1 млрд параметров. Веса объединены методом SLERP из DeepMount00/Mistral-RAG и mergekit-community/TopEvolutionWiz. Модель предназначена для генерации текста; базовая модель Mistral-RAG описана как дообученная для генеративных и экстрактивных ответов на вопросы по текстам, поэтому объединённая модель может подходить для ответов на вопросы и сценариев RAG. Поддерживаемый контекст — 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Tulu V2.5 DPO 13B HH-RLHF — англоязычная диалоговая модель-помощник от Allen Institute for AI (AI2), основанная на Tulu 2 и дообученная методом DPO на наборе предпочтений HH-RLHF. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоги и имеет контекст до 4096 токенов. Модель предназначена для ответов на инструкции и ведения диалога с помощником. В README описаны предварительное обучение на смеси инструкций и диалогов Tulu V2, затем выравнивание на HH-RLHF с помощью DPO. Для неё указана лицензия Apache 2.0. Модель не проходила этап RLHF с целью обеспечить безопасные ответы и не использует фильтрацию ответов во время работы; поэтому может выдавать проблемный контент, особенно при соответствующих запросах. Для лучшего качества следует использовать предусмотренный шаблон чата, включая перенос строки после маркера пользователя.

Gemma 4 26B A4B IT — мультимодальная инструктивно дообученная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 26B A4B. Репозиторий содержит веса в формате safetensors и использует архитектуру Gemma4ForConditionalGeneration с поддержкой зрения и диалогового режима. Модель принимает текст и изображения и генерирует текст; варианты Gemma 4 этого размера рассчитаны на контекст до 256 тысяч токенов. Семейство поддерживает более 140 языков по данным карточки, а также включает механизмы рассуждения, вызова функций и гибридное внимание с локальными и глобальными слоями. Модель подходит для диалоговых ассистентов, генерации и исправления кода, рассуждений, суммаризации, ответов по изображениям и документам, OCR, анализа диаграмм, скриншотов и пользовательских интерфейсов, а также агентных сценариев с вызовом инструментов. Лицензия Apache 2.0. Указанная в карточке поддержка изображений не означает, что именно эта версия умеет обрабатывать видео или аудио: README относит аудиовход к вариантам E2B, E4B и 12B, а метаданные отмечают для этой модели только зрение.

gemma-4-31B-it-FP8 — FP8-квантованный вариант instruction-tuned модели google/gemma-4-31B-it из семейства Gemma 4, разработанного Google DeepMind и опубликованного prithivMLmods. Модель предназначена для генерации текста, рассуждений, программирования, математических задач, многоязычных сценариев и мультимодального анализа изображений, включая работу с документами, PDF, интерфейсами, диаграммами и распознаванием текста. Она также ориентирована на агентские приложения, function calling, извлечение структурированных данных и планирование. Модель имеет плотную архитектуру примерно на 31 млрд параметров, 60 слоёв, гибридное внимание с локальными скользящими окнами и глобальным вниманием, а также контекст до 256K токенов. Она принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст; заявлена поддержка более 140 языков. Квантование FP8_DYNAMIC с форматом F8_E4M3 снижает требования к памяти и повышает эффективность вывода по сравнению с исходной версией, сохраняя основную функциональность базовой модели. Предусмотрена совместимость с Transformers, vLLM и llama.cpp, включая использование на NVIDIA и AMD GPU. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения, кодирования и автономных агентов, а также возможность локального развёртывания. Ограничения включают высокие требования к вычислительным ресурсам для модели такого размера и потенциальные компромиссы качества, связанные с FP8-квантованием; конкретные требования к памяти и результаты независимых тестов в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-235B-A22B-128K-GGUF — GGUF-квантизированная версия большой языковой модели Qwen3-235B-A22B, опубликованная Unsloth и основанная на модели Qwen от команды Qwen. Это авторегрессионная причинная языковая модель с архитектурой mixture-of-experts (MoE), предназначенная для генерации текста, диалогов, следования инструкциям, рассуждений, решения математических и программных задач, творческого письма, многошагового взаимодействия и работы с внешними инструментами. Модель содержит 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; в ней 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется grouped-query attention с 64 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов, что соответствует заявленному варианту на 128K. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она позволяет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрой генерации. К сильным сторонам относятся сочетание высокой способности к рассуждениям, программированию, агентным сценариям, многоязычной работе и диалогам, а также возможность использования в локальных приложениях и серверных средах, совместимых с GGUF. Ограничения включают очень большой общий размер модели и, как следствие, высокие требования к памяти и вычислительным ресурсам; конкретные характеристики зависят от выбранного уровня квантизации, который в README не указан. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-GGUF — квантизированное представление причинной языковой модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов и допускает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; число слоёв — 48, используется Grouped-Query Attention с 32 головами Q и 4 головами KV, 128 экспертами и 8 активируемыми экспертами. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание возможностей рассуждения и эффективного режима общего назначения, мультиязычность, следование инструкциям и поддержка агентских задач. Ограничения включают возможное снижение качества на коротких текстах при некорректно настроенном статическом YaRN, а также зависимость производительности и требований к ресурсам от выбранного уровня квантизации и конфигурации запуска. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-FP8 — языковая модель семейства Qwen, разработанная командой Qwen. Это causal language model для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами thinking для сложных задач и non-thinking для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из них 3,6 млрд без учёта embedding, и имеет 36 слоёв. Используется Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, ориентирована на мультиязычное следование инструкциям и перевод. Доступна в формате fine-grained FP8-квантизации с размером блока 128, что предназначено для повышения эффективности инференса. Сильные стороны модели — сочетание рассуждений и обычного диалога, развитые возможности следования инструкциям, мультиязычность, поддержка агентных сценариев и большой контекст. Ограничения включают известные проблемы fine-grained FP8 в Transformers при распределённом инференсе на нескольких устройствах; в таких случаях может потребоваться дополнительная настройка. Для корректной работы рекомендуется использовать актуальную версию Transformers или совместимые серверы инференса. Модель распространяется по лицензии Apache-2.0.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

unsloth/gemma-4-E4B-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа. Модель относится к семейству Gemma 4 и имеет плотную архитектуру с примерно 4,5 млрд эффективных параметров (8 млрд с учётом эмбеддингов) и 42 слоями. Она поддерживает текстовые и визуальные входные данные, а также аудио для малых моделей Gemma 4, включая E4B. Контекстное окно составляет до 128K токенов. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальным вниманием, что помогает снижать требования к памяти при работе с длинным контекстом. Формат NVFP4 ориентирован на эффективное выполнение и развёртывание на совместимом оборудовании. К сильным сторонам относятся мультимодальность, поддержка многоязычия более чем на 140 языках, настраиваемые режимы рассуждений, улучшенные возможности программирования, нативная поддержка вызова функций и системных инструкций. Ограничения связаны с требованиями к совместимым программным и аппаратным средствам для NVFP4, а также с тем, что квантизация может влиять на точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0.

NVIDIA Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и создания агентных систем. Она содержит 120 млрд параметров, из которых при генерации активны 12 млрд, и использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2, Mixture-of-Experts и Attention, а также Multi-Token Prediction для ускорения генерации. Модель обучена с применением квантования NVFP4 и рассчитана на контекст до 1 млн токенов. Модель предназначена для сложного следования инструкциям, длинноконтекстных задач, чат-ботов, RAG-систем и совместно работающих ИИ-агентов; среди примеров применения — автоматизация обработки IT-заявок и задачи с вызовом инструментов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а также сценарии работы с кодом. NVIDIA указывает, что модель готова к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия следует проверять в лицензионных материалах репозитория.

C4AI Command-R — языковая модель на 35 млрд параметров, разработанная Cohere For AI и представленная в формате GGUF-квантизации bartowski на основе llama.cpp. Модель предназначена для генерации текста и поддерживает рассуждения, обобщение, ответы на вопросы, работу с общими знаниями и программирование. Также заявлена высокая эффективность в сценариях RAG. Модель оптимизирована для многоязычной генерации на английском, французском, немецком, испанском, итальянском, бразильском португальском, японском, корейском, упрощённом китайском и арабском языках. В предобучающие данные дополнительно входили русский, польский, турецкий, вьетнамский, нидерландский, чешский, индонезийский, украинский, румынский, греческий, хинди, иврит и персидский языки. Заявлена поддержка контекста до 128K токенов. Модель обучалась с применением supervised fine-tuning и preference training для повышения полезности и безопасности. К сильным сторонам относятся большой контекст, широкий набор языков, универсальность и пригодность для RAG, анализа текста и программирования. Ограничения включают отсутствие поддержки system prompt согласно указанному шаблону и необходимость использования подходящего prompt template Cohere Command R. Модель распространяется по лицензии CC BY-NC-4.0, допускающей некоммерческое использование согласно её условиям.

DiffusionGemma 26B A4B IT NVFP4 — мультимодальная генеративная модель с открытыми весами, разработанная Google DeepMind и квантованная NVIDIA с помощью Model Optimizer в формате NVFP4. Она построена на архитектуре Gemma 4 26B A4B Mixture-of-Experts: содержит 25,2 млрд параметров, из которых активно используется 3,8 млрд. Модель применяет encoder-decoder Transformer с двунаправленным вниманием и дискретной диффузией, генерируя текст параллельными блоками по 256 токенов. Заявлена скорость свыше 1100 токенов в секунду на NVIDIA Hopper H100 при низком размере батча в режиме FP8. Модель принимает текст, изображения и видео, а генерирует текст. Она предназначена для диалоговых систем и чат-ботов, суммаризации, генерации кода, пошагового рассуждения, анализа изображений и документов, OCR, понимания графиков, разбора PDF, анализа экранов и пользовательских интерфейсов, обработки видео, агентских сценариев с вызовом функций и мультиязычных задач. Поддерживаются более 35 языков, контекст до 256 тысяч токенов, настраиваемый режим рассуждения, нативный function calling и структурированный вывод в формате JSON. Изображения могут иметь различные разрешения и соотношения сторон, а видео обрабатывается как последовательность кадров длительностью до 60 секунд с частотой один кадр в секунду. Сильными сторонами модели являются мультимодальность, большой контекст, параллельная генерация и относительно небольшое число активных параметров для MoE-архитектуры. Ограничения включают необходимость проверки качества и безопасности на данных конкретного сценария, а также преимущественную ориентацию на NVIDIA GPU с поддержкой Blackwell и Hopper H100; заявленная интеграция выполняется через vLLM в Linux. Модель доступна для коммерческого и некоммерческого использования по Apache 2.0 с дополнительными Gemma Terms of Use и Gemma Prohibited Use Policy. NVIDIA указывает, что не является владельцем или разработчиком исходной модели.

unsloth/gemma-4-26B-A4B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели google/gemma-4-26B-A4B-it. Семейство Gemma 4 разработано Google DeepMind, а данную сборку подготовила Unsloth. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к архитектуре Mixture-of-Experts (MoE): в названии указаны 26B общих параметров и около 4B активных параметров. Gemma 4 поддерживает текстовые и графические входы с генерацией текста, а также мультиязычную работу более чем со 140 языками. Для моделей среднего размера заявлено контекстное окно до 256K токенов. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания, что снижает требования к памяти при обработке длинного контекста. К сильным сторонам относятся режимы настраиваемого рассуждения, улучшенные возможности программирования, native function calling, поддержка системных промптов и пригодность для развёртывания на потребительских GPU и рабочих станциях. Ограничения конкретного GGUF-файла, включая точный уровень квантизации, требования к памяти и возможное снижение качества по сравнению с полноточной моделью, в README не указаны. Модель распространяется по лицензии Apache 2.0.