I.6Перевод и языковая адаптация

cinnybun02/heretic-e2b-fp16 — мультимодальная производная Gemma 4 E2B IT, представленная в формате Safetensors и доступная по лицензии Apache-2.0. По метаданным, она дообучена на google/gemma-4-E2B-it. README описывает семейство Gemma 4 и указывает, что вариант E2B рассчитан на локальное развёртывание, включая устройства с ограниченными ресурсами. Модель предназначена для диалогов, рассуждений, генерации и редактирования кода, а также анализа изображений, видео и аудио. Она поддерживает распознавание речи и перевод речи в текст; семейство также умеет разбирать документы и PDF, распознавать текст на изображениях, анализировать графики и интерфейсы и вызывать инструменты. Для E2B заявлено контекстное окно до 128 тысяч токенов; семейство поддерживает более 35 языков. В README репозиторий помечен как uncensored/decensored/abliterated, но конкретные методы изменения базовой модели не описаны. Возможные ограничения включают фактические ошибки, зависимость качества от формулировки запроса и контекста, а также трудности с языковыми нюансами и сложными открытыми задачами. Следует учитывать возможные смещения и риск генерации вводящего в заблуждение контента.

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

Qwen3.6-35B-A3B-GPTQ-4bit — это 4-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, работы с изображениями, задач программирования, рассуждений, вызова инструментов и обслуживания через vLLM. Она поддерживает мультимодальные запросы с текстом и изображениями, а также спекулятивное декодирование благодаря модулю MTP. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; в каждом слое выбираются 8 из 256 экспертов. Архитектура включает 40 слоёв, чередующиеся линейное и полное внимание, визуальный энкодер ViT из 27 блоков и контекстное окно до 262 144 токенов. Экспертные модули квантизованы до INT4 методом GPTQ, тогда как визуальный энкодер, MTP, общие эксперты, эмбеддинги и ряд других компонентов сохранены в BF16 или FP16. Размер модели составляет около 25 ГБ, а измеренная деградация perplexity относительно исходной BF16-версии — около 0,83% на wikitext-2. К сильным сторонам относятся значительное сокращение размера и требований к памяти при сохранении мультимодальности, длинного контекста и поддержки инструментов. Ограничение заключается в том, что согласно README модель напрямую не загружается через GPTQModel или transformers и предназначена для инференса в vLLM; для запуска может потребоваться исправление совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

Это вариант Gemma 4 26B A4B, подготовленный Unsloth на базе google/gemma-4-26B-A4B и распространяемый в формате safetensors. Модель семейства Gemma 4 использует гибридное внимание: сочетает локальное скользящее окно с глобальным вниманием. Вариант предназначен для мультимодальной работы с изображениями и текстом; заявленное семейство поддерживает контекст до 256 тысяч токенов и многоязычную работу более чем с 35 языками. Модель подходит для диалогов, рассуждений, программирования, вызова инструментов и анализа изображений: например, распознавания текста, разбора документов и PDF, понимания диаграмм и интерфейсов. Карточка также описывает видеоанализ для семейства Gemma 4, но не подтверждает отдельно его поддержку именно этим вариантом. Аудиовозможности указаны только для моделей E2B и E4B и к этому варианту не относятся. Возможны ошибки в фактах, трудности с неоднозначными формулировками и сложными открытыми задачами, а ответы могут отражать смещения обучающих данных. Лицензия — Apache 2.0.

Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation и представленная в квантованном формате NVFP4. Она предназначена для генерации текста, решения задач с рассуждением и без него, программирования, математических и научных задач, а также создания специализированных AI-агентов. Модель может сначала формировать рассуждение, а затем итоговый ответ; этот режим настраивается через флаг в chat template. Отключение промежуточных рассуждений уменьшает задержку, но может немного снизить точность на сложных запросах. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, 6 attention-слоёв, по 128 экспертов и одному общему эксперту в каждом MoE-слое, при этом на каждый токен активируются 6 экспертов. Всего модель содержит 30 млрд параметров, из которых активно около 3,5 млрд, что повышает эффективность инференса. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами модели являются сочетание reasoning и обычной генерации, высокая вычислительная эффективность за счёт разреженной активации экспертов и пригодность для коммерческих сценариев. NVFP4-квантизация может снизить требования к памяти по сравнению с полноформатными вариантами, однако в приведённых оценках она уступает BF16-версии на ряде задач. Модель обучалась на данных с отсечками июня 2025 года для предобучения и ноября 2025 года для post-training, поэтому её знания могут быть неполными или устаревшими. Использование регулируется NVIDIA Nemotron Open Model License.

Litwein/Qwen3.8-Flash-Next-REAP320-oQ3e-DWQ-MTP-Vision-MTPLX — это мультимодальная квантованная версия Qwen3.8-Flash-Next, подготовленная Litwein для запуска через MTPLX на компьютерах Apple Silicon. Модель предназначена для генерации текста, агентских сценариев, задач рассуждения и программирования, а также для работы с изображениями, документами, графиками и визуальными вопросами. В обучающих данных указаны, в частности, SWE-bench, математические и кодовые наборы, ChartQA, DocumentVQA, TextVQA и COCO. Модель использует MoE-архитектуру с 512 исходными экспертами, из которых после REAP pruning оставлено 320. Она содержит 133,7 млрд параметров, общий уровень квантования составляет 4,28 бит на вес: маршрутизируемые эксперты представлены в 3-битном формате, отдельные компоненты используют 4–8 бит, а vision tower хранится в bf16. Поддерживаются английский и русский языки, текстово-визуальный ввод и контекст до 262 144 токенов архитектурно; в конфигурации для 48 ГБ памяти заявлено до 163 840 токенов. MTP sidecar и speculative decoding ускоряют генерацию, сохраняя распределение целевой модели. К сильным сторонам относятся мультимодальность, длинный контекст, поддержка агентских и reasoning-сценариев, а также высокая скорость декодирования на Apple M4 Pro с 48 ГБ памяти: примерно 31–35 токенов в секунду при глубине MTP 2. Ограничения включают зависимость от Apple Silicon с не менее 48 ГБ unified memory, MTPLX версии 2.11.2 или новее, быстрого SSD и около 72 ГБ свободного места. Это прунинговые и квантованные веса, поэтому характеристики могут отличаться от исходной модели Qwen3.8-Flash-Next. Лицензия указана как Qwen Community License 1.0.

Карточка модели psych6tic66/diffusiongemma-26B-A4B-it на Hugging Face совпадает с карточкой google/diffusiongemma-26B-A4B-it, поэтому описание составлено по ней. DiffusionGemma — мультимодальная генеративная модель Google DeepMind на архитектуре Gemma 4 с 26B общих параметров и разреженной схемой Mixture-of-Experts, в которой активны 8 из 128 экспертов. Вместо последовательной генерации по одному токену модель использует дискретную диффузию и итеративно уточняет блоки текста; архитектура сочетает авторегрессионный энкодер с декодером, использующим двунаправленное внимание. Модель принимает текст, изображения и видео, а выдаёт текст. Она предназначена для диалогов, рассуждений и генерации текста, а также для анализа изображений и видеокадров. Поддерживает режим рассуждений, вызов инструментов и контекст до 256K токенов. Заявлена поддержка более 35 языков на уровне использования и предобучение более чем на 140 языках. Разработчики ориентировали её на быструю генерацию при малом размере пакета, в том числе на одном ускорителе. Модель может применяться для ответов по изображениям и видео, OCR, разбора документов, понимания графиков и интерфейсов, написания кода, суммаризации и разговорных приложений. Карточка сообщает о возможностях, но не приводит независимых оценок качества; скорость зависит от оборудования и сложности запроса. Распространяется по лицензии Apache 2.0.

ERNIE-4.5-300B-A47B-Paddle — текстовая языковая модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Это модель типа Mixture of Experts: всего 300 млрд параметров, из которых для каждого токена активируется около 47 млрд; архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, понимания текста и генерации ответов; контекстное окно составляет 131 072 токена. В карточке также описаны мультимодальное обучение ERNIE 4.5 и визуальные варианты семейства, однако данный чекпойнт обозначен как текстовая модель. Для запуска и дообучения предусмотрены инструменты PaddlePaddle и ERNIEKit. Модель распространяется по лицензии Apache-2.0.

mlx-community/gemma-4-12B-it-OptiQ-4bit — это локальная MLX-квантизованная версия Gemma-4-12B-it, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для генерации текста, рассуждений, программирования, извлечения и классификации, следования инструкциям, вызова инструментов и агентских сценариев на компьютерах Apple Silicon без PyTorch и облачных сервисов. Это текстовый путь унифицированной модели Gemma-4, исходно поддерживающей текст, изображения и аудио: при конвертации визуальная и аудиобашни были удалены, поэтому данная версия работает только с текстом. Языковая башня использует смешанную квантизацию: чувствительные слои представлены в 8-битном формате, остальные — в 4-битном. Всего квантизовано 328 слоёв, средняя точность составляет 5,22 бита на вес, размер группы — 64, размер файла — около 8,3 ГБ. Модель поддерживает режим рассуждений с отдельным thinking channel; для прямых ответов его можно отключить. Согласно приведённым тестам, OptiQ-версия превосходит равномерную 4-битную квантизацию по пяти из шести метрик, особенно в задачах длинноконтекстного извлечения и программирования; в тесте BFCL разница находится в пределах указанного доверительного интервала. Для работы требуются mlx-lm из основной ветки и импорт optiq, регистрирующий тип модели gemma4_unified, поэтому стандартного выпуска mlx-lm 0.31.3 недостаточно. Модель распространяется на условиях Gemma license, унаследованных от базовой модели Google; применяются условия использования Google Gemma.

unsloth/gemma-4-E2B — вариант Gemma 4 E2B от Unsloth, основанный на дообученной Google Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель генерации текста по текстовым и визуальным входам; для семейства Gemma 4 заявлены гибридное внимание с локальными и глобальными слоями, режим пошагового рассуждения и контекст до 128 тысяч токенов для E2B. В репозитории указаны веса safetensors и лицензия Apache 2.0. Модель подходит для диалогов, генерации и исправления кода, суммаризации, ответов по изображениям, OCR, распознавания объектов, разбора документов, графиков и интерфейсов, а также агентных сценариев с вызовом инструментов. Семейство поддерживает более 35 языков; README также сообщает о возможностях аудио для E2B, но метаданные данного репозитория подтверждают только зрительную модальность и задачу image-text-to-text. Среди ограничений — возможные фактические ошибки, смещения и трудности с неоднозначностью, сложными открытыми задачами и тонкими языковыми нюансами.

Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

gratex/Mistral-Small-3.2-24B-Instruct-2506-W4A16-AutoRound — квантизированная версия мультимодальной instruct-модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель поддерживает работу с текстом и изображениями благодаря vision-компоненту Pixtral и предназначена для генерации текста, ответов на инструкции, рассуждений, программирования, задач с вызовом функций и сценариев vision-language. Модель содержит около 24 млрд параметров и использует архитектуру Mistral3ForConditionalGeneration: 40 декодерных слоёв, скрытый размер 5120, GQA с 32 query- и 8 key/value-головами, а также контекст до 131 072 токенов. Vision-энкодер Pixtral включает 24 слоя с размером скрытого состояния 1024; используется обработка изображений, но поддержка видео в калибровочных данных не заявлена. Квантизация выполнена методом AutoRound 0.10.2 с оптимизацией SignRound: веса текстового декодера представлены в INT4 с group_size 128, а активации, vision tower, мультимодальный проектор, эмбеддинги, lm_head и layer norms сохранены в BF16. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей и широкая совместимость формата с GPU архитектур Ampere, Ada и Blackwell, а также движками vLLM, SGLang и TensorRT-LLM. По приведённому тесту WikiText-2 perplexity составляет 7,2478 против 7,0332 у базовой BF16-модели, то есть ухудшение равно 3,05%; это указывает на умеренную потерю качества из-за 4-битной квантизации. Лицензия — Apache-2.0.

SanctumAI/Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия модели Phi-3.5-mini-instruct, разработанной Microsoft и подготовленной к распространению в данном формате командой SanctumAI. Модель предназначена для генерации текста, диалоговых приложений и выполнения инструкций, включая задачи, связанные с обработкой естественного языка и кодом. Она относится к семейству Phi-3 и обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. В процессе дообучения применялись supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на улучшение следования инструкциям и безопасности ответов. Модель поддерживает контекст до 128K токенов и заявлена как multilingual, однако конкретный перечень языков не указан. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; их размер составляет примерно от 1,42 до 7,64 ГБ, а оценочная потребность в оперативной или видеопамяти — от 5,02 до 10,82 ГБ. Это позволяет запускать модель на сравнительно ограниченных по ресурсам системах, но более сильная квантизация может снижать качество по сравнению с f16. Модель распространяется по лицензии MIT.

Lorbus/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанная на базе Qwen/Qwen3.6-27B с использованием Intel AutoRound. Модель предназначена для обработки текста и изображений, включая диалоговые сценарии, генерацию текста, объяснение сложных тем, программирование и задачи с визуальным вводом. Она совместима с Transformers и vLLM, поддерживает OpenAI-совместимый интерфейс, вызов инструментов и reasoning-сценарии. Модель представляет собой плотную VLM с 27 млрд параметров. Используется схема W4A16: веса хранятся в INT4, активации обрабатываются в FP16; размер группы — 128, квантование симметричное. Объём модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Мультитокенная предсказательная голова MTP сохранена в BF16, что позволяет применять нативное speculative decoding в vLLM и получать примерно двукратное ускорение генерации в указанных тестах. Максимальная длина контекста в README демонстрируется до 262144 токенов. Сильные стороны модели — существенно сниженные требования к памяти, высокая скорость инференса и сохранение качества благодаря неквантизированным нормализующим слоям, router-слоям, отдельным проекциям и MTP-компоненту. Ограничения связаны с компромиссом INT4-квантования между точностью и эффективностью; заявленные показатели производительности получены на RTX 5090 и зависят от версии vLLM, аппаратного обеспечения и настроек KV-кэша. Визуальный энкодер MoonViT оставлен в исходной точности, поэтому выигрыш от квантования в основном относится к языковой части. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-Next-80B-A3B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, опубликованная пользователем cyankiwi и разработанная в рамках семейства Qwen. Это каузальная текстовая модель для генерации текста, ответов на вопросы, программирования, следования инструкциям, агентских сценариев и работы с длинными контекстами. Модель поддерживает только instruct-режим без блоков рассуждений <think></think>. Архитектура сочетает Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; используется 512 экспертов, 10 активных экспертов и один общий эксперт. Модель имеет 48 слоёв, контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В README языки и мультимодальные возможности не указаны; заявлена работа с текстом. Сильные стороны — высокая эффективность по числу активируемых параметров, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и конкурентные результаты в задачах знаний, рассуждений, программирования, следования инструкциям и мультиязычности. Ограничения включают необходимость совместимой версии transformers и значительные требования к вычислительным ресурсам, несмотря на 4-битную квантизацию; качество на конкретных задачах зависит от реализации инференса и квантизации. Лицензия базовой модели — Apache-2.0.

Unsloth SmolLM3-3B — инструктивная языковая модель, производная от HuggingFaceTB/SmolLM3-3B. Это плотный decoder-only Transformer с GQA и NoPE, рассчитанный на генерацию текста, диалоги, рассуждения и вызов инструментов. Модель содержит 3,1 млрд параметров и доступна в формате safetensors; карточка указывает лицензию Apache-2.0. Модель поддерживает многоязычные диалоги и задачи рассуждения, в том числе математику и программирование. В README заявлены обучение на контексте 64 тыс. токенов и расширение до 128 тыс. с YaRN; метаданные каталога указывают нативный контекст 65 536 токенов. Доступен режим расширенного рассуждения, включённый по умолчанию, и интерфейс вызова инструментов. README описывает SmolLM3 как открытую модель с опубликованными сведениями об обучении; версия Unsloth представлена как вариант с динамической квантизацией 2.0, хотя метаданные этого репозитория указывают формат safetensors. Сгенерированный текст может содержать фактические ошибки, противоречия и смещения, поэтому важные ответы следует проверять.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

unsloth/Phi-4-mini-instruct-bnb-4bit — это 4-битно квантованная версия Phi-4-mini-instruct, разработанная Unsloth на базе модели Microsoft Phi-4-mini-instruct. Модель предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи программирования, математики, рассуждений и NLP. Она поддерживает мультиязычное применение и относится к семейству Phi-4. Модель имеет контекст длиной до 128K токенов и оптимизирована для запуска при сниженных требованиях к памяти благодаря формату 4-bit. В версии Unsloth исправлены проблемы с padding и EOS-токенами, шаблоном чата и unk-токеном; также заявлено использование Dynamic Quants, которые должны обеспечивать более высокую точность по сравнению со стандартным 4-битным квантованием. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем проходила supervised fine-tuning и direct preference optimization. Сильные стороны модели — компактность, большой контекст, поддержка инструкций, диалогов, кода и математических задач, а также исправления, повышающие корректность инференса. Ограничения включают снижение точности по сравнению с полноразмерной или менее квантованной версией и отсутствие в предоставленных данных подробностей об архитектуре, точном числе параметров и перечне языков. Модель распространяется по лицензии MIT.

Карточка модели nttruong1007/qb-granite31-8b на Hugging Face совпадает с карточкой ibm-granite/granite-3.1-8b-instruct, поэтому описание составлено по ней. Granite-3.1-8B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов. Это дообученная на базе Granite-3.1-8B-Base плотная авторегрессионная трансформерная модель на 8,2 млрд параметров; при обучении использовались supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Поддерживает диалоги на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. Лучше всего модель обучена следовать инструкциям на английском; качество на других языках может быть ниже. Она может выдавать неточные, предвзятые или небезопасные ответы. Лицензия — Apache 2.0.

Qwen3.8-27B-KTopt-GGUF — квантизированная GGUF-сборка базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем wiklif. Она предназначена для генерации текста, решения сложных вопросов, следования инструкциям, программирования и задач, требующих рассуждений, включая работу с длинным контекстом. Модель содержит около 27 млрд параметров, использует trellis-квантизацию типов KT и занимает примерно 10,31 ГБ, или около 3,06 бит на вес. Это текстовая модель без vision tower. На видеокарте с 16 ГБ памяти заявлена поддержка контекста от 160 тысяч до полного нативного объёма 262 тысячи токенов, а на 12 ГБ — примерно 64–96 тысяч токенов. В комплект входят опциональный EoRA-адаптер размером 32,4 МБ и drafter для speculative decoding. Сильная сторона модели — близкое к Q8_0 качество при значительно меньшем размере и пригодность для запуска на одной 16-ГБ видеокарте. На указанных тестах средний результат составил 86,7 против 87,5 у Q8_0; при ограничении вывода 64 тысяч токенов модель превзошла сопоставимую UD-IQ3_XXS на 2,8 процентного пункта. Для работы требуется специальная сборка lrozewicz/kt-llama-cpp с поддержкой KT-квантизации, VBR KV-кэша и DFlash2; модель не загружается в основной llama.cpp, LM Studio или Ollama. Лицензия — Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-FP8 — мультимодальная vision-language модель из семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-30B-A3B-Instruct с мелкозернистым квантованием и размером блока 128; заявлено, что её производительность почти идентична исходной версии в формате BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео. Модель ориентирована на визуальное восприятие и рассуждение, анализ документов и сцен, OCR, пространственное понимание, обработку длинных текстов и многочасовых видео, а также на визуальное управление PC- и мобильными GUI, вызов инструментов и выполнение задач агентом. Она поддерживает генерацию Draw.io, HTML, CSS и JavaScript по изображениям и видео, STEM- и математическое рассуждение, а также временную локализацию событий в видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка; полный перечень языков в README не указан. К сильным сторонам относятся объединённое текстово-визуальное понимание, улучшенное распознавание объектов и документов, анализ пространственных отношений и видео, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничение при развёртывании заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; README рекомендует vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

SmolLM3-3B — открытая инструктивная языковая модель компании Hugging Face, рассчитанная на сильные результаты при небольшом размере. Это плотный декодерный Transformer с GQA и NoPE, содержащий 3,1 млрд параметров; модель дообучена на базе HuggingFaceTB/SmolLM3-3B-Base. Она поддерживает диалог, вызов инструментов и режимы с расширенными рассуждениями, а также генерацию и продолжение текста, включая задачи по математике, программированию и работе с длинными документами. Модель обучалась с контекстом 64 тыс. токенов; конфигурация задаёт 65 536 токенов, а README описывает расширение до 128 тыс. и 256 тыс. с YaRN. В README указаны английский, французский, испанский, немецкий, итальянский и португальский как нативно поддерживаемые языки; метаданные также отмечают китайский, арабский и русский. Доступны открытые веса и подробности обучения. Лицензия Apache-2.0. Модель подходит для чат-ботов, помощи в рассуждениях, генерации кода и математических ответов, а также сценариев с вызовом инструментов. Она может выдавать фактически неверные или логически непоследовательные ответы и воспроизводить смещения из обучающих данных; важные сведения следует проверять.

Cogito v2 preview 109B MoE — мультимодальная инструктивно настроенная модель Deep Cogito для диалога и анализа изображений. Она основана на Meta Llama 4 Scout 17B-16E и дообучена с использованием итеративной дистилляции и усиления (IDA). По карточке модели, Cogito v2 сочетает обычный режим ответа с режимом саморефлексии, поддерживает вызов инструментов и предназначена для программирования, задач STEM, следования инструкциям и общих помощнических сценариев. Модель принимает текст и изображения и генерирует текст. В README заявлена подготовка более чем на 30 языках и поддержка контекста до 10 млн токенов; это заявление относится к семейству Cogito v2, а метаданные каталога подтверждают возможности чата и зрения. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия указана как llama4; README описывает лицензию как открытую для коммерческого использования.

Falcon3-7B-Instruct — инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотная авторегрессионная Transformer-модель с причинным декодером и 7,1 млрд параметров, дообученная на основе tiiuae/Falcon3-7B-Base. Архитектура включает 28 блоков декодера, grouped-query attention, SwiGLU и RMSNorm; контекстное окно — до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, понимания языка, программирования и математики. Она поддерживает английский, французский, испанский и португальский языки; метаданные также отмечают интерфейс вызова инструментов. В README указана посттренировка на примерах STEM, диалогов, кода, безопасности и вызова функций. Репозиторий использует safetensors и библиотеку Transformers. Лицензия — TII Falcon-LLM License 2.0; перед применением следует учитывать её условия.

GLM-4-9B-Chat — диалоговая языковая модель семейства GLM, выпущенная Zhipu AI. Репозиторий содержит версию в формате Transformers и safetensors; модель насчитывает 8,8 млрд параметров и рассчитана на генерацию текста в многораундовом чате. Модель подходит для ответов на вопросы, рассуждений, задач по математике и коду, а также для сценариев с вызовом инструментов и длинными документами. Заявленная длина контекста — до 128K токенов. Поддерживаются китайский и английский; автор также заявляет поддержку 26 языков. README сообщает о результатах тестов на задачах семантики, математики, рассуждений, кода и знаний, но не приводит полных данных для некоторых сравнительных таблиц. Это дообученная версия THUDM/glm-4-9b-chat. Для загрузки весов требуется transformers версии 4.46.0 или новее: репозиторий несовместим с более старыми версиями. Лицензия указана как other, поэтому условия использования следует уточнить в материалах репозитория.

manjunathshiva/gpt-oss-20b-tq3 — это 3-битная MLX-квантизация модели openai/gpt-oss-20b, созданная с помощью TurboQuant-MLX. Базовая модель представляет собой Mixture-of-Experts с 21 млрд параметров, 32 экспертами и примерно 3,6 млрд активных параметров на токен. Квантизация использует вращение Hadamard и кодовую книгу Lloyd-Max с group_size=64 и не требует калибровочных данных. Модель предназначена для генерации текста, диалогов, ответов на вопросы, творческого письма, программирования, математических задач и многошагового рассуждения. Она поддерживает контекст до 131 000 токенов. Размер файлов составляет около 9,5 ГБ, пиковое потребление связанной оперативной памяти при декодировании — около 11 ГБ. Модель рассчитана на Apple Silicon M1–M4 с unified memory объёмом от 16 ГБ; заявленная скорость генерации на чипах серии M составляет примерно 60–80 токенов в секунду. Сильные стороны модели — компактное размещение, возможность полностью держать веса в памяти Mac с 16 ГБ, высокая скорость и поддержка длинного контекста. Дополнительное сжатие KV-кэша в смешанной точности K8/V3 может уменьшить его размер примерно в четыре раза. Ограничения связаны с 3-битной квантизацией и зависимостью от платформы MLX: при более высокой температуре генерации модель может нестабильно решать математические и программные задачи, поэтому для них рекомендуется температура 0,3. Веса распространяются по лицензии Apache-2.0.

Granite-3.0-2B-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых помощников. Это дообученная на основе Granite-3.0-2B-Base плотная decoder-only трансформерная модель на 2,5 млрд параметров; в обучении использовались supervised fine-tuning, выравнивание с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и структурированный формат чата, включая интерфейс вызова инструментов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже на языках, отличных от английского. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому для прикладного использования требуется оценка модели. Лицензия — Apache 2.0.

Granite-4.1-30B-Base — базовая авторегрессионная языковая модель IBM Granite Team для генерации текста и широкого круга задач преобразования текста. Это плотный decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами; модель содержит 28,9 млрд параметров и распространяется в формате safetensors для Transformers. Карточка описывает обучение с нуля примерно на 15 трлн токенов и расширение контекста до 512 тыс. токенов, тогда как метаданные репозитория указывают нативное контекстное окно 131 072 токена. Модель рассчитана на суммаризацию, классификацию и извлечение информации, ответы на вопросы, длинную генерацию и дополнение кода, включая Fill-in-the-Middle. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Это базовая модель без выравнивания безопасности; для прикладных сценариев её можно дообучать под специализированные задачи. Лицензия Apache 2.0.

nvidia/Qwen3-32B-NVFP4 — текстовая авторегрессионная языковая модель на базе Qwen3-32B, разработанной Alibaba. NVIDIA подготовила её квантованную версию с использованием TensorRT Model Optimizer v0.35.0; при этом модель не является собственной разработкой NVIDIA. Она предназначена для коммерческого и некоммерческого применения, включая AI Agent-системы, чат-боты, RAG-системы и другие приложения на основе генеративного ИИ. Модель использует архитектуру Transformers и содержит 32,8 млрд параметров. Она принимает и генерирует текстовые последовательности, поддерживает контекст длиной до 131 тысячи токенов. В рамках посттренировочной квантования веса и активации линейных операторов в трансформерных блоках преобразованы в формат FP4, что ориентировано на эффективный инференс. Указанная конфигурация предназначена для запуска с TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, преимущественно в среде Linux. К сильным сторонам относятся большой контекст, высокая ёмкость базовой модели и оптимизация FP4 для аппаратно ускоренного инференса. По приведённым результатам, относительно эталонной версии BF16 качество на MMLU Pro и AIME 2024 немного ниже, на SciCode сопоставимо или немного выше, а на MATH-500 совпадает; однако результаты не охватывают все сценарии применения. README не содержит сведений о поддерживаемых естественных языках, полном наборе ограничений, данных обучения и характеристиках производительности вне тестовой конфигурации. Лицензия — Apache License 2.0.