I.3Извлечение и структурирование данных

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

unsloth/Qwen3-4B-GGUF — GGUF-версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и подготовленной Unsloth для запуска и дообучения в совместимых инструментах, включая llama.cpp, Ollama и Open WebUI. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, математических и программных задач, многошагового рассуждения, творческого письма, ролевых сценариев, перевода и интеграции с внешними инструментами. Это авторегрессионная causal language model с 4,0 млрд параметров, из которых 3,6 млрд приходятся на нелучевые параметры, 36 слоями и архитектурой Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN заявлена поддержка до 131 072 токенов. Модель поддерживает более 100 языков и диалектов, однако в карточке отдельно указан английский язык. Она умеет переключаться между режимами рассуждения и нерссуждения, что позволяет выбирать между качеством решения сложных задач и более быстрым ответом. К сильным сторонам относятся компактный размер, поддержка мультиязычных сценариев, рассуждения, программирования, агентных задач и гибкое переключение режимов работы. Ограничения включают неизвестные из этой карточки точные требования к ресурсам, результаты бенчмарков, перечень поддерживаемых языков с оценкой качества и особенности конкретной квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4.1-Flash — мультимодальная модель семейства DeepSeek от RedHatAI. Она принимает текст и изображения и авторегрессионно генерирует текст. Модель построена по архитектуре Mixture-of-Experts с 552 млрд параметров основы; активируются 8 млрд параметров на токен при предварительной обработке контекста и 16 млрд при генерации. В README заявлена поддержка контекста до 1 млн токенов. Модель предназначена для рассуждений, агентных сценариев, работы с кодом и визуальными задачами. Среди архитектурных особенностей — сжатие KV-кэша, разреженное внимание, память Engram и управляемый уровень усилий рассуждения от 1 до 100. Репозиторий содержит веса safetensors в формате FP8, а метаданные указывают библиотеку Transformers. Лицензия — MIT. В карточке нет шаблона чата Jinja; для кодирования диалогов README указывает на отдельную реализацию encoding.py.

K-EXAONE-2.0-750B-A37B — мультиязычная языковая модель общего назначения, разработанная LG AI Research. Это модель семейства EXAONE с архитектурой MoE для генерации текста и диалогов; в репозитории представлены веса Safetensors, а общий размер модели по метаданным составляет 34,1 млрд параметров. Нативная длина контекста — 262 144 токена. Модель предназначена для рассуждений, агентных сценариев, помощи в программировании, понимания длинных текстов и поиска сведений в контексте. Она поддерживает корейский, английский, испанский, немецкий, японский, вьетнамский, французский, итальянский, польский и португальский языки. В README также описаны методы ускорения генерации MTP и DSpark и развертывание на нескольких узлах с GPU. Модель может генерировать некорректные, устаревшие, предвзятые или нежелательные ответы, поэтому результаты следует проверять. Распространяется по лицензии Apache 2.0.

unsloth/Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной в формате bnb-4bit сообществом Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также последующего дообучения, включая сценарии с GRPO и созданием reasoning-моделей. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров, поддержкой Grouped Query Attention и контекстом до 128 тысяч токенов. Она работает только с текстом на входе и генерирует многоязычный текст и код. Базовая инструкционная версия обучалась с использованием supervised fine-tuning и reinforcement learning from human feedback; заявленный срез знаний — декабрь 2023 года. README указывает английский язык, а описание Llama 3.1 заявляет многоязычную поддержку. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и облегчающее локальный запуск и дообучение по сравнению с полноразмерными весами. Ограничения включают возможное снижение качества из-за квантования, текстовую модальность и отсутствие в README подробных сведений о точной процедуре квантования и измерениях качества именно этой сборки. Использование регулируется лицензией Llama 3.1.

Llama-3.3-Nemotron-Super-49B-v1.5-NVFP4 — большая языковая модель NVIDIA, производная от Meta Llama-3.3-70B-Instruct. Это плотная модель семейства Nemotron-NAS с 87 млрд параметров и контекстом до 131 072 токенов; версия NVFP4 предназначена для эффективного использования вычислительных ресурсов. Модель поддерживает диалог, рассуждения и интерфейс вызова инструментов. Модель рассчитана на чат-ботов, AI-агентов, системы RAG и выполнение инструкций. При дообучении улучшены рассуждения и работа с математикой, кодом, наукой и инструментами; применялись supervised fine-tuning, обучение с подкреплением и объединение нескольких чекпойнтов. Основной язык — английский; также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Языки программирования указаны среди сценариев использования. Модель заявлена как готовая к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия распространения следует сверить с лицензией в репозитории. Для запуска README приводит пример с vLLM и несколькими GPU; практическая скорость и доступная длина контекста зависят от конфигурации оборудования и сервера.

unsloth/meta-Llama-3.1-8B-unsloth-bnb-4bit — 4-битная версия модели Meta Llama 3.1 8B Instruct, подготовленная Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer, дообученная с применением supervised fine-tuning и reinforcement learning from human feedback для более полезного и безопасного поведения. Модель предназначена для многоязычного диалога, генерации текста и кода, а также локального запуска и последующей тонкой настройки, включая обучение reasoning-моделей. Она работает только с текстом на входе и выдаёт текст или код на выходе, поддерживает контекст до 128 тысяч токенов и использует Grouped-Query Attention. Заявленный объём модели — 8 миллиардов параметров; данные обучения — новый набор общедоступных онлайн-данных, срез знаний — декабрь 2023 года. Ключевое преимущество этой редакции — 4-битное квантование, снижающее требования к памяти и делающее модель более подходящей для эффективного локального использования и дообучения. Ограничения включают текстовую модальность, устаревание знаний после декабря 2023 года и потенциальные потери качества, связанные с квантованием. В README указана лицензия llama3.1; разработчик базовой модели — Meta, формат и оптимизацию предоставляет Unsloth.

unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF — GGUF-версия большой языковой модели NVIDIA Nemotron-3-Super, разработанной NVIDIA Corporation. Модель предназначена для агентных сценариев, сложного рассуждения, диалоговых приложений, использования инструментов, RAG и высоконагруженных задач, включая автоматизацию обработки IT-заявок. Доступна настройка режима рассуждения через шаблон чата с параметром enable_thinking. Модель использует гибридную архитектуру LatentMoE, объединяющую Mamba-2, Mixture of Experts и attention, а также Multi-Token Prediction (MTP). Общий размер составляет 120 млрд параметров, из них 12 млрд активны при обработке запроса. Поддерживается контекст до 1 млн токенов и английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Для запуска исходной BF16-версии требуется минимум 8 GPU H100 с 80 ГБ памяти; для данной GGUF-версии конкретные требования зависят от выбранной квантизации и среды выполнения. Сильными сторонами модели являются длинный контекст, сочетание эффективности MoE с возможностями гибридной архитектуры, поддержка рассуждений, инструментального использования и агентных рабочих процессов. Ограничениями остаются очень большой общий размер и высокие аппаратные требования, особенно для неквантизированной версии. Модель распространяется по лицензии NVIDIA Nemotron Open Model License; README также указывает возможность дообучения с помощью Unsloth.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и работы в агентных системах. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-приложений, включая автоматизацию IT-заявок, сложное следование инструкциям и анализ длинных контекстов. Модель использует гибридную архитектуру LatentMoE на основе Mamba-2, смеси экспертов и слоёв внимания, а также Multi-Token Prediction для ускорения генерации. Всего в ней 120 млрд параметров, из которых активны 12 млрд; заявленная длина контекста — до 1 млн токенов. Веса представлены в NVFP4, при этом репозиторий содержит файлы Safetensors и рассчитан на работу с Transformers. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки; в карточке также заявлены сценарии с кодом. NVIDIA указывает, что модель готова к коммерческому использованию; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с лицензией репозитория. К возможным ограничениям относятся потребность в мощном оборудовании для обслуживания модели и зависимость качества ответов от задачи и контекста.

Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели RedHatAI/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16 на Hugging Face совпадает с карточкой AbhijeetJain4075/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-BF16 — большая языковая модель NVIDIA для диалога, рассуждений и агентных сценариев. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-агентов, которым нужны сложное следование инструкциям, анализ больших документов и кодовых баз, а также задачи в математике и науке. Модель использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture-of-Experts, отдельными слоями внимания и Multi-Token Prediction. Всего в ней 550 млрд параметров, из которых активно используются 55 млрд; метаданные указывают контекст до 262 144 токенов. README заявляет поддержку английского, французского, испанского, итальянского, немецкого, японского, хинди, корейского, бразильского португальского и китайского; теги карточки также включают арабский и иврит. Модель распространяется в формате safetensors, работает через Transformers и заявлена как пригодная для коммерческого и некоммерческого применения. Лицензия обозначена как other, поэтому перед использованием следует проверить её условия у разработчика.

Карточка модели Chiraag25/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

Карточка модели OceanLabs/Ocean-3.7B-agentic на Hugging Face совпадает с карточкой OceanLabs/Ocean-Horizon-3.7B, поэтому описание составлено по ней. Ocean-Horizon-3.7B — плотная авторегрессионная языковая модель с декодерной архитектурой от OceanLabs. В метаданных указано 4,1 млрд параметров, тогда как в названии и README модель обозначена как 3,7B. Она работает через Transformers и имеет нативное контекстное окно 524 288 токенов. Модель предназначена для генерации текста, программирования, математических и научных рассуждений, агентных сценариев и анализа длинных документов. Карточка заявляет настраиваемую глубину рассуждений, специальные токены для них и встроенный вызов инструментов с представлением JSON, XML или Markdown. В README описан многоэтапный процесс обучения, включающий предобучение, расширение контекста, обучение на задачах рассуждения и настройку по инструкциям. Базовая модель не указана. Лицензия Apache-2.0 разрешает исследовательское и коммерческое использование. Заявления о высокой производительности приведены без численных результатов бенчмарков в доступной части карточки.

Qwen3-235B-A22B-GPTQ-Int4 — квантизированная 4-битная версия крупной языковой модели Qwen3-235B-A22B, разработанная командой Qwen. Это авторегрессионная causal language model с архитектурой mixture-of-experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при генерации. Модель имеет 94 слоя, 128 экспертов, 8 активируемых экспертов, а также Grouped Query Attention с 64 головами Q и 4 головами KV. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевых сценариев, многошаговых диалогов и агентских задач с использованием внешних инструментов. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Доступно переключение между режимом reasoning для сложных задач и non-thinking для более эффективного общего общения в рамках одной модели. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. GPTQ-квантизация Int4 снижает требования к памяти, однако модель остаётся очень крупной и требует специализированной инфраструктуры; в README отмечены проблемы Transformers с мног GPU-инференсом и рекомендованы SGLang или vLLM. Для режима reasoning рекомендуется использовать заданные параметры сэмплирования и не применять жадное декодирование, поскольку это может ухудшать качество и приводить к повторениям. Модель распространяется под лицензией Apache 2.0. README не содержит подробных результатов бенчмарков, требований к конкретному оборудованию или измерений производительности.

ISTA-DASLab/Qwen3.8-27B-3Bit-GSQ — это квантованная версия Qwen/Qwen3.8-27B, опубликованная ISTA-DASLab и созданная с применением метода GSQ (Gumbel-Softmax Quantization). Модель предназначена для рассуждений, программирования, научных и общих текстовых задач, многоязычного понимания, обработки длинного контекста и агентских сценариев. В контрольную выборку для квантования также входили математические, кодовые, научные, мультиязычные и длинноконтекстные данные. Веса transformer-корпуса квантованы до 3 бит с размером группы 128. Слой эмбеддингов и LM head квантованы отдельно до 4 бит методом RTN с размером группы 64 для сохранения качества вывода и эмбеддингов. Контрольная точность на AIME 2025 составила 100%, а на GPQA Diamond — 91,41% в одном прогоне; авторы предупреждают о значительной вариативности таких результатов. Чекпойнт поддерживает vision-компоненты, однако они не калибровались на мультимодальных данных, поэтому качество работы с изображениями может быть ограничено. Размер составляет около 11,83 ГБ с vision-компонентами и 10,90 ГБ в text-only режиме. Для сервинга через vLLM требуется версия 0.27.1 и специальный патч для поддержки квантованных embedding-весов. Спекулятивное декодирование не поддерживается: компоненты MTP удалены из опубликованного чекпойнта. Лицензия — Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.

unsloth/Seed-OSS-36B-Instruct-GGUF — GGUF-вариант инструкционной большой языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, работы с длинным контекстом, использования инструментов и агентских сценариев, включая решение технических вопросов и задач разработки. Серия оптимизирована преимущественно для международных многоязычных применений, однако точный перечень поддерживаемых языков в карточке не указан. Модель содержит 36 млрд параметров и использует архитектуру causal language model с RoPE, GQA-вниманием, RMSNorm и активацией SwiGLU. Она имеет 64 слоя, 80/8/8 QKV-голов, размер головы 128, скрытый размер 5120 и словарь на 155 тысяч токенов. Нативная длина контекста заявлена до 512 тысяч токенов. Пользователь может гибко управлять бюджетом рассуждения, регулируя длину процесса вывода и балансируя качество и эффективность. К сильным сторонам относятся развитые способности к рассуждению, агентским задачам, работе с инструментами и обработке длинного контекста при сохранении универсальных возможностей. Ограничения включают высокие требования к вычислительным ресурсам, связанные с размером модели и контекстом; конкретные требования для данного GGUF-файла и точные характеристики квантования в README не указаны. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V3.1 — большая языковая модель, разработанная DeepSeek AI. Она поддерживает гибридный режим: может работать в режиме с рассуждением и без него, переключаясь через шаблон чата. Модель предназначена для диалоговых приложений, генерации ответов, задач, требующих сложного рассуждения, а также для использования инструментов и агентских сценариев. Модель содержит 671 млрд параметров, из которых при генерации активируется 37 млрд, и поддерживает контекст длиной до 128 тысяч токенов. Она дообучена на базе DeepSeek-V3.1-Base, использует расширенное обучение на длинных контекстах и формат данных UE8M0 FP8 для весов и активаций. Режим с рассуждением ориентирован на повышение качества решения сложных задач и сопоставим по качеству с DeepSeek-R1-0528, при этом заявлено более быстрое формирование ответов. Поддержка вызова инструментов заявлена для режима без рассуждения. README не содержит сведений о поддерживаемых языках и мультимодальных возможностях, поэтому модель следует рассматривать прежде всего как текстовую языковую модель. Большой общий размер параметров может предъявлять высокие требования к инфраструктуре, несмотря на меньшее число активируемых параметров. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

unsloth/gemma-4-31b-it-UD-MLX-4bit — квантизированная 4-битная MLX-версия instruction-tuned модели Gemma 4 31B, разработанной Google DeepMind и подготовленной Unsloth. Модель предназначена для локального запуска и дообучения в среде MLX, а также для генерации текста, программирования, рассуждений, агентских сценариев и мультимодального анализа изображений с выдачей текста. Это плотная модель примерно на 30,7 млрд параметров с 60 слоями, гибридным механизмом внимания, сочетающим локальное sliding-window и глобальное внимание, контекстным окном до 256K токенов и словарём размером 262K. Она поддерживает текст и изображения, а семейство Gemma 4 в целом заявляет многоязычность более чем для 140 языков; аудио для версии 31B не указано. Нативно поддерживаются system-промпты и function calling, а режимы рассуждений можно настраивать. Ключевое преимущество этой версии — 4-битная квантизация, уменьшающая требования к памяти и упрощающая локальное развёртывание на совместимом оборудовании, при этом она сохраняет возможности базовой модели для длинного контекста и мультимодальных задач. Ограничением является возможная потеря качества по сравнению с полноточными вариантами из-за квантизации, а требования к ресурсам всё ещё остаются значительными из-за крупного размера модели. Модель распространяется по лицензии Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели ckcegg/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели matrixdose/GLM-5.2 на Hugging Face совпадает с карточкой ShaunGves/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

Granite-4.2-3B (MXFP4) — квантизированная версия Granite-4.2-3B, разработанная командой Granite компании IBM. Это компактная авторегрессионная языковая модель для генерации текста, рассуждений, программирования, вызова инструментов, агентских рабочих процессов и многоязычного диалога. Базовая модель имеет архитектуру decoder-only Dense Transformer с 3 млрд параметров, Grouped Query Attention, 40 attention heads и 8 KV heads, RoPE, SwiGLU и RMSNorm. Она поддерживает текстовую модальность, встроенный режим рассуждений с тегами <think>...</think>, режимы полного, отключённого и облегчённого рассуждения, а также контекст длиной 128K токенов с заявленным расширением до 512K. Тестирование проводилось для английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; работа с другими языками полностью не проверялась. Сильные стороны модели — компактный размер, поддержка длинного контекста, reasoning, tool calling и сценариев автоматизации, а также возможность выбирать баланс между качеством рассуждений и задержкой. MXFP4 уменьшает требования к хранению и инференсу по сравнению с полноформатной версией, но конкретные аппаратные требования и влияние квантизации на качество зависят от среды. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и исследовательское использование.

Gravity-30B-A5B-Preview — языковая модель Trillion Labs, дообученная на основе Gravity-30B-A5B-Base. Это разреженная модель семейства GravityMoE: в карточке указаны 29,56 млрд параметров всего и 5,34 млрд активных параметров; метаданные каталога сообщают 3,8 млрд параметров. Модель принимает текст и генерирует ответы в диалоговом формате, поддерживает контекст до 131 072 токенов и гибридный режим рассуждений, включённый по умолчанию. Обучение включало длинноконтекстное instruction tuning и несколько этапов DPO, в том числе настройку многошагового использования инструментов на метках, полученных при выполнении вызовов. Модель предназначена для диалогов, рассуждений, работы с кодом и научными темами, а также сценариев с вызовом инструментов. Это предварительная версия; агентные и многошаговые возможности продолжают развиваться, а качество может снижаться для языков, слабо представленных в обучающих данных. Для работы требуется Transformers с поддержкой пользовательского кода архитектуры. Лицензия — Apache-2.0.

MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6 от Xiaomi, обученная с помощью масштабного обучения с подкреплением и последующей дистилляции на основе траекторий учителей и самой модели. Это разреженная MoE-модель с 1,02 трлн параметров, из которых активируются 42 млрд; в метаданных репозитория указано 27,7 млрд параметров. Модель принимает текст, изображения, видео и аудио, а контекстное окно составляет до 1 млн токенов. Модель предназначена для генерации текста в диалоге, агентных сценариев с вызовом инструментов, программирования и анализа мультимодальных данных. В обучении смешивались задачи кодирования, работы агентов, визуальные задачи и кибербезопасность; групповая оценка траекторий направляет модель к более качественным решениям. Архитектура включает MiMo ViT для изображений, аудиокодировщик и пятислойный спекулятивный декодер. Карточка приводит результаты на отдельных бенчмарках, но не гарантирует качество для конкретных задач. Для работы с длинным контекстом и мультимодальными входами требуются ресурсы для крупной модели; опубликованный репозиторий содержит веса в формате safetensors FP8. Лицензия — MIT.

Mungert/NVIDIA-Nemotron-Nano-12B-v2-GGUF — это GGUF-версия языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA Corporation и преобразованной с использованием llama.cpp. Модель дообучена на базе NVIDIA-Nemotron-Nano-12B-v2-Base и предназначена для генерации текста, диалогов, следования инструкциям и решения задач с рассуждением, включая программирование, математические задачи, чат-ботов, RAG-системы и AI-агентов. Модель имеет гибридную архитектуру Mamba2-Transformer (Nemotron-Hybrid), включающую преимущественно слои Mamba-2 и MLP, а также четыре attention-слоя. Она поддерживает текстовый ввод и вывод, контекст до 128K токенов и управление бюджетом рассуждений во время инференса. В карточке указана поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе о вводе дополнительно перечислены корейский, португальский, русский и китайский языки. Модель имеет размер 12B параметров. Сильными сторонами являются сочетание возможностей рассуждения и обычного диалога, большой контекст, возможность отключать или ограничивать рассуждения, а также оптимизация GGUF-представления с повышением точности отдельных важных слоёв при квантовании. Ограничения включают возможное снижение точности при отключении рассуждений и увеличение размера файлов из-за повышения точности отдельных слоёв; конкретные характеристики производительности зависят от выбранного варианта квантования. Использование разрешено для коммерческих целей в соответствии с NVIDIA Open Model License Agreement.

Qwen3-235B-A22B-Thinking-2507-FP8 — открытая языковая модель, разработанная командой Qwen. Это FP8-версия Qwen3-235B-A22B-Thinking-2507, предназначенная для генерации текста и сложных задач рассуждения: логики, математики, естественных наук, программирования, академических тестов, следования инструкциям, использования инструментов и агентских сценариев. Модель построена как causal language model на архитектуре Mixture-of-Experts: 235 млрд параметров всего, из которых 22 млрд активируются при обработке запроса; 128 экспертов, 8 активных, 94 слоя, Grouped-Query Attention с 64 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только thinking mode, причём увеличенная длина рассуждений рассчитана на особенно сложные задачи. По приведённым оценкам, она показывает высокие результаты в reasoning, coding, следовании инструкциям, работе с инструментами и мультиязычных тестах, однако README не содержит полного перечня поддерживаемых языков и сведений о мультимодальных входах. Модель ориентирована на сценарии, где важны глубина рассуждений, качество кода, анализ и обработка длинного контекста. Ограничением является поддержка только режима рассуждения, что может увеличивать задержку и расход вычислительных ресурсов; конкретные требования к оборудованию и производительности в README не указаны. Распространяется по лицензии Apache-2.0.