II.4Отладка, тестирование и качество ПО

Qwen3-1.7B compression L+0 final — дообученная языковая модель на архитектуре Qwen3ForCausalLM, опубликованная hi-todayis-jh. Это стандартный чекпойнт BF16 в формате Hugging Face Safetensors, экспортированный с шага обучения 100; в репозитории также находятся конфигурация, токенизатор и шаблон диалога с режимом рассуждений. Модель содержит 1,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. README указывает на наличие оценок с режимом рассуждений; метаданные также отмечают интерфейс вызова инструментов. Её можно загружать через Transformers или vLLM. Базовая модель — Qwen/Qwen3-1.7B. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

Это GGUF-квантизированная версия модели r1-1776-distill-llama-70b, разработанной perplexity-ai и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b4738 и метода imatrix. Модель предназначена для генерации текста и может запускаться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Архитектура основана на Llama, размер исходной модели — 70 миллиардов параметров. В README не указаны поддерживаемые языки, длина контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Доступны варианты квантизации от Q8_0 до Q3_K и IQ3/IQ4, с размером файлов примерно от 27,47 до 74,98 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5_K и Q4_K_M отмечены как рекомендуемые для различных сценариев. Сильными сторонами являются широкий выбор размеров файлов, совместимость с локальными инструментами llama.cpp и сохранение высокого качества в старших вариантах квантизации. Ограничения включают значительные требования к оперативной или видеопамяти, особенно для версий с высоким качеством, а также потенциальное снижение качества в компактных вариантах. Модель распространяется по лицензии MIT.

Vimarckoso v3 — языковая модель для генерации текста с акцентом на рассуждения и следование инструкциям, созданная автором проекта Lamarck. Это объединённая модель семейства Qwen2 с 14 млрд параметров; в README описаны вклады нескольких моделей и LoRA-адаптеров, направленные на усиление рассуждений, качества прозы и следования инструкциям. Модель предназначена для диалогов, ответов на вопросы и задач, где нужны развернутые рассуждения и связный текст. Поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Доступна в формате safetensors для Transformers. Лицензия — Apache-2.0. Автор сообщает об улучшении следования инструкциям без заметной потери качества рассуждений; приведены ориентиры по результатам на бенчмарках GPQA и MUSR, но количественные результаты в карточке не указаны. Модель создана слиянием нескольких чекпойнтов, а README также описывает применение LoRA при формировании рецепта. Для запуска через Ollama автор рекомендует использовать конфигурацию как для Qwen2.5 14B Instruct и температуру 0,8.

Qwen2.5-32B-AGI-GGUF — это GGUF-квантизация модели Qwen2.5-32B-AGI, подготовленная разработчиком bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Указаны языки Chinese и English, однако подробное описание исходной модели и её специализации в README отсутствует. Модель основана на архитектуре Qwen2.5 и содержит 32B параметров. Доступны варианты от F16 до низкобитных форматов Q2 и Q3, а также варианты Q4–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти. Рекомендуемыми названы некоторые варианты Q4–Q6; отдельные сборки оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Контекстное окно, поддерживаемые модальности, точные сценарии применения и дополнительные характеристики не указаны. Распространение заявлено по лицензии Apache-2.0. Ограничения связаны прежде всего с потерей качества при агрессивной квантизации и различиями в требованиях к памяти; низкобитные варианты подходят для устройств с ограниченными ресурсами, но могут заметно уступать более крупным форматам.

RedHatAI/Qwen2.5-VL-72B-Instruct-FP8-dynamic — квантизированная версия мультимодальной модели Qwen2.5-VL-72B-Instruct, разработанной Qwen и оптимизированной Neural Magic. Модель принимает изображения и текст, а генерирует текст; в карточке также указан английский язык. Версия выпущена 24 февраля 2025 года. Модель предназначена для визуально-языковых задач: ответов на вопросы по изображениям, анализа документов и диаграмм, визуального рассуждения и решения математических задач по визуальному содержимому. Архитектура основана на Qwen2.5-VL-72B-Instruct с 72 млрд параметров. Веса и активации квантизированы в FP8 с динамическим режимом, что ориентировано на более эффективное выполнение инференса. Для запуска рекомендуется vLLM версии 0.5.2 или новее; поддерживается OpenAI-совместимый сервер. В примере развертывания используется контекст до 4096 токенов, однако общий максимальный контекст модели в README не указан. По приведенным оценкам, FP8-версия сохраняет близкое к исходной качество на задачах MMMU, VQAv2, DocVQA, ChartQA и MathVista, но результаты могут зависеть от сценария использования и настроек инференса. Модель распространяется по лицензии Apache 2.0.

TeichAI/Qwen3-14B-GPT-5.2-High-Reasoning-Distill — плотная авторегрессионная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3-14B. Модель предназначена для генерации текста и диалогового взаимодействия; карточка также указывает интерфейс вызова инструментов. Длина контекста составляет 40 960 токенов. Модель обучена на наборе TeichAI/gpt-5.2-high-reasoning-250x с использованием Unsloth и библиотеки TRL от Hugging Face. Она может применяться для диалоговых ответов и генерации текста с рассуждениями. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Карточка не приводит оценок качества или подробных результатов тестирования.

mlx-community/Qwen3-235B-A22B-4bit — это 4-битная версия модели Qwen3-235B-A22B, преобразованная в формат MLX сообществом mlx-community с использованием mlx-lm 0.24.0. Исходную модель разработала команда Qwen; README указывает базовую модель Qwen/Qwen3-235B-A22B. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm, в том числе в диалоговом режиме с применением chat template. Указаны общий размер 235B параметров и обозначение A22B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в README не приведены. Ключевое преимущество этой версии — 4-битное представление и адаптация к MLX, что ориентировано на запуск в совместимой MLX-среде; ограничения производительности, качества и требований к оборудованию не описаны. Модель распространяется по лицензии Apache-2.0.

Aimin12/Qwen3-4B-Thinking-2507-Distill-Claude-Opus-4.6-Reasoning-Abliterated — плотная языковая модель семейства Qwen3 с 3,7 млрд параметров для генерации текста и диалоговых ответов. Модель дообучена на наборе Opus-4.6-Reasoning-3000x-filtered; в README указаны LLaMA-Factory и Unsloth как использованные инструменты обучения. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 262 144 токена. Карточка связывает её с базовой Huihui-Qwen3-4B-Thinking-2507-abliterated, описанной в каталоге как Qwen3 с уменьшенной склонностью к отказам. Репозиторий распространяется под лицензией Apache-2.0.

sleepy186247 конвертировал модель llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved в формат MLX с точностью fp16; README указывает версию mlx-lm 0.31.2. Это мультимодальная MoE-модель семейства Qwen3.5, предназначенная для диалогов, анализа изображений и агентного программирования. Метаданные указывают архитектуру Qwen3_5MoeForConditionalGeneration, поддержку чата и зрения, а также задачу image-text-to-text. Модификация uncensored/heretic ослабляет ограничения на ответы. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3.6-Whittle-25B-A3B — текстовая MoE-модель для диалогов и генерации текста, созданная автором проекта Whittle на основе Qwen3.6-35B-A3B. В основной версии репозитория удалены 30% маршрутизируемых экспертов базовой модели (256 → 180 на слой), а оставшиеся веса дообучены с помощью самодистилляции от исходной модели. Общее число параметров по метаданным — 2,9 млрд; модель поддерживает контекст до 262 144 токенов. В репозитории также описаны отдельные экспериментальные и GGUF-артефакты, поэтому характеристики конкретных файлов различаются. Модель предназначена для диалогов, следования инструкциям и агентных сценариев; метаданные отмечают интерфейс вызова инструментов. Карточка приводит результаты небольших проверок и указывает на близкую к исходной модели точность в отдельных заданиях, но эти результаты основаны на малом числе примеров. Для текстового и кодового дополнения в стиле базовой модели автор отмечает потерю качества без удалённой n-граммной памяти. Метаданные указывают лицензию Apache-2.0.

Twu31/Qwen3.8-27B-AWQ-INT4-MTP-LowLatency — квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем Twu31. Модель предназначена для интерактивного диалога с низкой задержкой, включая чат-интерфейсы, голосовых агентов и embodied assistants, при отключённом рассуждении и работе через vLLM на одной GPU. Это гибридная модель с архитектурой GDN и attention, поддержкой текстово-визуального ввода и языками English и Chinese. Основные веса представлены в формате INT4 W4A16 с симметричной групповой квантизацией g128 и обслуживаются через compressed-tensors и Marlin; lm_head использует INT8, а vision tower и MTP draft head сохранены в BF16. Размер квантизированных весов составляет около 18,2 ГБ против 55,6 ГБ у BF16-версии. Указан максимальный контекст 12 288 токенов в рекомендуемой конфигурации. Сборка поддерживает speculative decoding через MTP и оптимизирована для prefix caching; заявлены TTFT менее 100 мс и задержка полного ответа менее 0,5 секунды в отдельных конфигурациях на RTX 6000 Ada или RTX 5090. Сильные стороны модели — низкая задержка, экономия видеопамяти, сохранённая MTP-голова и высокая эффективность prefix caching при длинном фиксированном системном промпте. Ограничения включают зависимость производительности от версии и настроек vLLM, GPU с архитектурой SM 8.0+, параметров prefix caching и длины ответа; MTP требует проверки фактического acceptance rate и может замедлять работу при низком принятии черновых токенов. Поддержка SGLang не проверялась. Модель распространяется по лицензии Apache-2.0.

Avifenesh/Qwen3.8-27B-NVFP4-MTP-GGUF — квантизированная версия Qwen3.8-27B, разработанная Qwen и подготовленная Avifenesh как артефакт сервинга лаборатории tiyuvta. Модель предназначена для генерации текста, диалоговых приложений и агентных сценариев; встроенный MTP (multi-token prediction) позволяет использовать speculative decoding для ускорения инференса в совместимых движках, прежде всего memra. Модель использует NVFP4-квантизацию с 4-битными весами, эмбеддинги и выходную голову в формате Q5_K, а также включает отдельный MTP-блок и маскированную draft head для speculative decoding. Размер базовой модели — 27B параметров, словарь содержит 248 320 токенов, встроенный chat template поддерживает tool calling и thinking blocks. Заявлен нативный текстовый контекст до 262 144 токенов. Мультимодальный VL-компонент в этот артефакт не входит, а поддерживаемые языки в README не указаны. К сильным сторонам относятся существенно сниженный размер файла, поддержка длинного контекста и ускорение декодирования: для конфигурации MTP K=3 указаны медианная скорость 137,9 токена в секунду на RTX PRO 6000 Blackwell и 73,6 токена в секунду на RTX 5090 Laptop при коэффициенте принятия черновых токенов 0,74. Ограничения связаны с необходимостью движка, поддерживающего GGUF, NVFP4 и MTP, а также с оптимизацией под аппаратные платформы Blackwell; приведённые сервисные измерения относятся к уже закрытому endpoint и не являются текущей гарантией производительности. Модель распространяется по лицензии Apache-2.0.

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный JonathanColetti для запуска через llama.cpp и совместимые среды. В модели существенно снижено отказное поведение, но оно не устранено полностью; при этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Изменения выполнены методом abliteration без дообучения и добавления новых данных. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений при использовании совместимого vision runtime. Указаны английский и китайский языки. Архитектура — Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248320 токенов, один MTP-слой и контекст до 262144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с MTP для speculative decoding и отдельный vision-проектор. Сильные стороны модели — большой контекст, поддержка изображений, несколько вариантов квантизации для разных ограничений по памяти и возможность ускорения генерации через speculative decoding. Качество зависит от выбранной квантизации и аппаратного обеспечения; наиболее компактная IQ2_M заметно уступает остальным вариантам по измеренной perplexity. MTP-голова обучалась на неизменённой базовой модели, поэтому коэффициент принятия черновых токенов может немного снижаться, хотя проверка каждого токена сохраняет качество вывода. Для работы требуется совместимый runtime, а поддержка изображений доступна только при наличии соответствующего vision runtime. Лицензия — Apache-2.0.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

aquaduck/Qwen3.8-Flash-Next-GGUF — это квантизированная версия каузальной языковой модели Qwen3.8-Flash-Next, разработанной командой Qwen и Alibaba Cloud. Репозиторий поддерживается Aquaduck и содержит GGUF-представление UD-Q3_K_XL, а также пакеты слоёв для поэтапной или многонодовой загрузки. Это не дообученная модель и не новый запуск обучения, а упаковка и квантизация исходных весов. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты, в частности llama.cpp, а также staged loading через экосистему Aquaduck Arc. Заявлены мультиязычная поддержка, контекст до 262 144 токенов и около 180 млрд параметров. Архитектура включает 48 слоёв, GQA с 24 Q- и 2 KV-головами и скрытое измерение 2560. К преимуществам относятся большой контекст, мультиязычность, возможность локального запуска в формате GGUF и поддержка поэтапной загрузки для распределённых конфигураций. Ограничения связаны с крупным размером модели и снижением качества по сравнению с более точными версиями из-за квантизации UD-Q3_K_XL. Отдельные shard-файлы не являются полноценной моделью и не предназначены для прямого запуска в стандартном llama.cpp. Лицензия указана как other и наследуется от базовой модели; необходимо соблюдать условия лицензии и рекомендации исходной карточки модели.

michaelfeil/Qwen3-Embedding-4B-auto — текстовая embedding-модель семейства Qwen3, представленная в виде дообучения Qwen/Qwen3-4B-Base. Она преобразует текст в векторы для поиска и сравнения текстов, извлечения информации, кластеризации, классификации и поиска соответствий между языками; поддерживаются также сценарии поиска по коду. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает последовательности длиной до 40 960 токенов согласно метаданным. Размер выходного embedding можно задавать в диапазоне от 32 до 2560 измерений. Карточка заявляет поддержку более 100 естественных языков и языков программирования, а также настройку инструкций под задачу; для многоязычных сценариев рекомендуются инструкции на английском языке. Модель предназначена для прикладного использования в поисковых и аналитических системах. Для получения векторов требуется библиотека Transformers версии 4.51.0 или новее: в более ранних версиях возможна ошибка распознавания архитектуры Qwen3. Лицензия — Apache-2.0.

Kaoeiri/Qwenwify2.5-32B-v4.5 — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen/QwQ-32B-Preview. В слияние DARE TIES также вошли Kaoeiri/Qwenwify-32B-v3, allura-org/Qwen2.5-32b-RP-Ink, Dans-DiscountModels/Qwen2.5-32B-ChatML, Saxo/Linkbricks-Horizon-AI-Japanese-Base-32B, OpenBuddy/openbuddy-qwq-32b-v24.2-200k и Sao10K/32B-Qwen2.5-Kunou-v1. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 32 млрд параметров. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. Максимальный контекст — 32 768 токенов. Модель работает с текстом на входе и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC-ND 4.0 допускает использование с соблюдением её условий, включая ограничения на коммерческое использование и распространение производных материалов. В карточке не описаны отдельные оценки качества или подробные языковые гарантии; теги указывают на контент не для всех аудиторий.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.1 — объединённая модель Maziyar Panahi на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и SciPhi/SciPhi-Mistral-7B-32k и предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текстовые запросы и поддерживает контекст длиной до 32 768 токенов, что позволяет вести длинные диалоги и работать с объёмными текстовыми фрагментами. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения.

ThinkingCap-Qwen3.6-27B-heretic-GGUF — набор GGUF-квантизаций модели ThinkingCap-Qwen3.6-27B-heretic, подготовленный egibson с использованием llama.cpp. Исходная модель представляет собой декензурированную версию ThinkingCap-Qwen3.6-27B от bottlecapai, созданную с помощью Heretic. Архитектура основана на Qwen3.6, размер — 27 млрд параметров; точные сведения о языках, длине контекста и поддерживаемых модальностях в README не указаны. Модель предназначена для локального запуска через совместимые среды, включая llama.cpp, с выбором между вариантами от f16 до низкобитных Q- и IQ-квантизаций. Доступны версии объёмом примерно от 10 до 50,1 ГБ; Q4_K_M рекомендована как сбалансированный вариант по качеству и размеру, а IQ-квантизации используют importance matrix, что может улучшать качество при сопоставимом размере. Более точные варианты обеспечивают максимальную близость к исходным весам, тогда как версии с меньшей разрядностью рассчитаны на оборудование с ограниченной памятью и сильнее теряют качество. В экспортированных файлах исключена MTP-head: это устраняет ошибку конвертера GGUF и не мешает обычной работе модели, но исключает возможность соответствующей оптимизации speculative decoding. Модель распространяется по лицензии Apache-2.0. README не содержит результатов тестирования, поэтому фактическое качество, скорость и пригодность для конкретных задач следует оценивать в целевой среде.

ZEUS-8B-V17-abliterated — текстовая диалоговая модель, созданная T145 с помощью mergekit методом passthrough из T145/ZEUS-8B-V17 и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, содержащая 7,1 млрд параметров и рассчитанная на генерацию текста и диалоговые сценарии. Метаданные указывают контекстное окно до 131 072 токенов и поддержку интерфейса вызова инструментов. Модель принимает текст и генерирует текст; карточка не приводит специальных предметных областей или перечня поддерживаемых естественных языков. В README опубликованы результаты Open LLM Leaderboard, включая 75,76% на IFEval и 31,52% на BBH. Эти оценки отражают отдельные тесты и не гарантируют качество в конкретном приложении. Лицензия в предоставленных данных не указана.

Qwen3-32B-GGUF — квантизированная версия крупной языковой модели Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 32,8 млрд параметров, из них 31,2 млрд не относятся к embedding, и включает 64 слоя. Используется Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Поддерживаются режимы thinking для сложного рассуждения и non-thinking для более быстрых общих диалогов; между ними можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN модель протестирована на контекстах до 131 072 токенов. Основные преимущества — сочетание рассуждения, следования инструкциям, многоязычности и агентских возможностей, а также возможность выбирать баланс между качеством рассуждений и скоростью ответа. Модель распространяется в форматах GGUF с вариантами квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что облегчает локальный запуск через llama.cpp или Ollama. Ограничения включают возможное снижение качества на коротких текстах при неподходящей статической настройке YaRN, риск повторов при неоптимальных параметрах генерации и потенциальное смешение языков при чрезмерном presence penalty. Лицензия — Apache-2.0.

Gemma 4 12B Unified — мультимодальная модель с открытыми весами, разработанная Google DeepMind и относящаяся к семейству Gemma 4. Она принимает текст, изображения, видео и аудио, а выдаёт текст; для аудио предусмотрены распознавание речи и перевод речи в текст. Единая архитектура позволяет обрабатывать аудио и изображения без отдельных энкодеров, что подходит для локального запуска на потребительских устройствах. Модель имеет плотную архитектуру и гибридное внимание, сочетающее локальные скользящие окна с глобальным вниманием; заявленное окно контекста для версии 12B — до 256 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, вызова инструментов, а также понимания изображений, видео и аудио. Среди визуальных сценариев — извлечение текста из документов, OCR, разбор PDF, диаграмм и экранных интерфейсов; для аудио доступны транскрипция и перевод речи в текст. Семейство поддерживает более 35 языков в обычном использовании и обучалось на более чем 140 языках, но README не перечисляет конкретные языки этой версии. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные модели, она может давать ошибочные ответы; README также указывает, что приведённые сценарии использования не являются исчерпывающими.

Cohere и Cohere Labs разработали Command R7B 12-2024 — авторегрессионную языковую модель на 7 млрд параметров с оптимизированной архитектурой Transformer. Она принимает текст и генерирует текст, поддерживает контекст до 128 тыс. токенов и обучена на 23 языках, включая русский. Модель использует чередование слоёв с локальным скользящим вниманием и глобальным вниманием; после предварительного обучения прошла дообучение с учителем и обучение на предпочтениях. Модель предназначена для диалогов и инструкций, ответов на вопросы, суммаризации, рассуждений, работы с кодом, генерации с дополненной выборкой (RAG) и использования инструментов, в том числе в многошаговых сценариях. Для RAG можно передавать короткие фрагменты документов через шаблон чата; для вызова инструментов предусмотрены шаблоны чата и описания инструментов в формате JSON Schema. Режимы диалога и инструкций подходят соответственно для интерактивных помощников и задач с кратким, целевым ответом. Веса опубликованы по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs. README рекомендует установить Transformers из исходного репозитория для поддержки этой модели. Для практических сценариев с RAG и инструментами следует оценивать качество на собственных данных и корректно передавать результаты вызовов инструментов в историю диалога.

gemma-4-31B-it-FP8 — FP8-квантованный вариант instruction-tuned модели google/gemma-4-31B-it из семейства Gemma 4, разработанного Google DeepMind и опубликованного prithivMLmods. Модель предназначена для генерации текста, рассуждений, программирования, математических задач, многоязычных сценариев и мультимодального анализа изображений, включая работу с документами, PDF, интерфейсами, диаграммами и распознаванием текста. Она также ориентирована на агентские приложения, function calling, извлечение структурированных данных и планирование. Модель имеет плотную архитектуру примерно на 31 млрд параметров, 60 слоёв, гибридное внимание с локальными скользящими окнами и глобальным вниманием, а также контекст до 256K токенов. Она принимает текст и изображения с переменным соотношением сторон и разрешением и генерирует текст; заявлена поддержка более 140 языков. Квантование FP8_DYNAMIC с форматом F8_E4M3 снижает требования к памяти и повышает эффективность вывода по сравнению с исходной версией, сохраняя основную функциональность базовой модели. Предусмотрена совместимость с Transformers, vLLM и llama.cpp, включая использование на NVIDIA и AMD GPU. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения, кодирования и автономных агентов, а также возможность локального развёртывания. Ограничения включают высокие требования к вычислительным ресурсам для модели такого размера и потенциальные компромиссы качества, связанные с FP8-квантованием; конкретные требования к памяти и результаты независимых тестов в карточке не указаны. Модель распространяется по лицензии Apache 2.0.

DiffusionGemma 26B A4B IT NVFP4 — мультимодальная генеративная модель с открытыми весами, разработанная Google DeepMind и квантованная NVIDIA с помощью Model Optimizer в формате NVFP4. Она построена на архитектуре Gemma 4 26B A4B Mixture-of-Experts: содержит 25,2 млрд параметров, из которых активно используется 3,8 млрд. Модель применяет encoder-decoder Transformer с двунаправленным вниманием и дискретной диффузией, генерируя текст параллельными блоками по 256 токенов. Заявлена скорость свыше 1100 токенов в секунду на NVIDIA Hopper H100 при низком размере батча в режиме FP8. Модель принимает текст, изображения и видео, а генерирует текст. Она предназначена для диалоговых систем и чат-ботов, суммаризации, генерации кода, пошагового рассуждения, анализа изображений и документов, OCR, понимания графиков, разбора PDF, анализа экранов и пользовательских интерфейсов, обработки видео, агентских сценариев с вызовом функций и мультиязычных задач. Поддерживаются более 35 языков, контекст до 256 тысяч токенов, настраиваемый режим рассуждения, нативный function calling и структурированный вывод в формате JSON. Изображения могут иметь различные разрешения и соотношения сторон, а видео обрабатывается как последовательность кадров длительностью до 60 секунд с частотой один кадр в секунду. Сильными сторонами модели являются мультимодальность, большой контекст, параллельная генерация и относительно небольшое число активных параметров для MoE-архитектуры. Ограничения включают необходимость проверки качества и безопасности на данных конкретного сценария, а также преимущественную ориентацию на NVIDIA GPU с поддержкой Blackwell и Hopper H100; заявленная интеграция выполняется через vLLM в Linux. Модель доступна для коммерческого и некоммерческого использования по Apache 2.0 с дополнительными Gemma Terms of Use и Gemma Prohibited Use Policy. NVIDIA указывает, что не является владельцем или разработчиком исходной модели.

Карточка модели Iambackup/gemma-4-12B на Hugging Face совпадает с карточкой google/gemma-4-12B, поэтому описание составлено по ней. Gemma 4 12B Unified — мультимодальная модель с открытыми весами, разработанная Google DeepMind и относящаяся к семейству Gemma 4. Она принимает текст, изображения, видео и аудио, а выдаёт текст; для аудио предусмотрены распознавание речи и перевод речи в текст. Единая архитектура позволяет обрабатывать аудио и изображения без отдельных энкодеров, что подходит для локального запуска на потребительских устройствах. Модель имеет плотную архитектуру и гибридное внимание, сочетающее локальные скользящие окна с глобальным вниманием; заявленное окно контекста для версии 12B — до 256 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, вызова инструментов, а также понимания изображений, видео и аудио. Среди визуальных сценариев — извлечение текста из документов, OCR, разбор PDF, диаграмм и экранных интерфейсов; для аудио доступны транскрипция и перевод речи в текст. Семейство поддерживает более 35 языков в обычном использовании и обучалось на более чем 140 языках, но README не перечисляет конкретные языки этой версии. Модель распространяется по лицензии Apache 2.0. Как и другие генеративные модели, она может давать ошибочные ответы; README также указывает, что приведённые сценарии использования не являются исчерпывающими.

Карточка модели Terom/gemma-4-12B-it на Hugging Face совпадает с карточкой google/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

Карточка модели reckzit/gemma-4-E2B на Hugging Face совпадает с карточкой google/gemma-4-E2B, поэтому описание составлено по ней. Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Карточка модели ArchiveStudio/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели Terom/gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.