I.6Перевод и языковая адаптация

Карточка модели belltechsoft/gemma-4-12B-it на Hugging Face совпадает с карточкой google/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

Карточка модели bill861/gemma-4-12B-it на Hugging Face совпадает с карточкой google/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

Qwen2.5-14B-Instruct-AWQ — инструкционная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Модель предназначена для диалоговых систем, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, а также создания структурированных ответов, включая JSON. Модель содержит около 14,7 млрд параметров, из них 13,1 млрд без учёта эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Это AWQ-квантизированная версия с точностью 4 бит, предназначенная для более экономичного развёртывания. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. Полная заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена. В текущей конфигурации доступно 32 768 токенов; для более длинных входов требуется настройка YaRN, причём статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенное следование инструкциям, работа с длинными текстами, структурированными данными, программированием и математикой. Ограничения включают возможные потери качества из-за 4-битной квантизации и повышенные требования к настройке при использовании длинного контекста. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-GGUF — большая инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Репозиторий содержит 72-миллиардную версию модели Qwen2.5-72B-Instruct в формате GGUF, предназначенном для локального запуска, в том числе с использованием llama.cpp. Модель относится к авторегрессионным causal language models и предназначена для диалоговых систем, генерации и продолжения текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Поддерживается более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель рассчитана на текстовую модальность. Архитектура включает transformers, RoPE, SwiGLU, RMSNorm и bias в Attention QKV; модель содержит 72,7 млрд параметров, из них 70 млрд без учёта embedding, 80 слоёв и механизм GQA с 64 головами для Q и 8 для KV. Для GGUF указана длина контекста 32 768 токенов и генерация до 8192 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Преимуществами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — отсутствие штатной поддержки контекста до 131 072 токенов; для такого расширения README рекомендует использовать неквантизованные модели и отмечает поддержку YARN только в vLLM. Модель распространяется по лицензии Qwen, обозначенной как other; точные условия приведены в файле лицензии репозитория.

Карточка модели Terom/gemma-4-12B-it на Hugging Face совпадает с карточкой google/gemma-4-12B-it, поэтому описание составлено по ней. Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

mlx-community/gemma-4-12B-it-8bit — 8-битная MLX-версия instruction-tuned модели Gemma 4 12B Unified, опубликованная сообществом mlx-community на основе модели Google DeepMind. Это открытая мультимодальная модель с генерацией текста и поддержкой текстовых, изображений, видео и аудио входов; вариант 12B поддерживает аудио непосредственно. Модель предназначена для диалогов, генерации и анализа текста, рассуждений, программирования, обработки документов и изображений, OCR, понимания видео, распознавания речи и агентских сценариев с function calling. Она использует encoder-free unified-архитектуру, содержит около 12 млрд параметров и распространяется в 8-битном представлении MLX. Для Gemma 4 12B заявлены контекст до 256K токенов, мультиязычная поддержка более 140 языков при обучении и готовая поддержка более 35 языков. Сильные стороны — сочетание текстовых, визуальных и аудиовозможностей, длинный контекст, режим рассуждений и локальное выполнение; ограничение данного варианта — зависимость от совместимого стека MLX и снижение точности представления по сравнению с полноразмерной версией из-за 8-битной квантизации. Карточка исходной модели указывает разработчика Google DeepMind и лицензию Apache 2.0; для Gemma также следует учитывать применимые условия использования Google. Репозиторий mlx-community содержит веса в формате Safetensors и инструкции для запуска через MLX.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

Qwen2.5-7B-Instruct-GGUF — инструкционная языковая модель, разработанная командой Qwen. Это GGUF-версия модели Qwen2.5-7B-Instruct, предназначенная для диалоговых приложений, генерации текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе русский, английский, китайский, французский, немецкий, испанский, японский и корейский. Модель использует архитектуру causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Она содержит 7,61 млрд параметров, 28 слоёв и механизм GQA с 28 головами Q и 4 головами KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Сильные стороны модели — улучшенные следование инструкциям, кодирование, математика, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов не поддерживается напрямую: для такого расширения README рекомендует использовать не-GGUF версии, а текущая конфигурация с YARN поддерживается только в vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-14B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-14B, опубликованная Unsloth на базе Qwen/Qwen2.5-14B-Instruct. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Архитектура — causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и группированным запросом внимания (GQA). Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding, и имеет 48 слоёв, 40 голов внимания для Q и 8 для KV. Поддерживаются контексты длиной до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; точные показатели качества и совместимость с конкретными аппаратными конфигурациями в README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки Transformers; README не содержит подробностей о точном формате квантования, ограничениях производительности или дополнительных условиях использования.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

axana-labs/Qwen2.5-72B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen/Alibaba Cloud и опубликованной в формате, совместимом с Transformers. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации и анализа текста, работы со структурированными данными, создания JSON, программирования и математических задач. Модель относится к causal language models и использует архитектуру с RoPE, SwiGLU, RMSNorm, смещениями в QKV и Grouped Query Attention: 64 головы для Q и 8 для KV. Исходная модель содержит около 72,7 млрд параметров, из них 70 млрд без учёта embedding, имеет 80 слоёв, поддерживает контекст до 131 072 токенов и генерацию до 8 192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество этой версии — 4-битное представление параметров, которое должно снижать требования к памяти и упрощать локальный запуск по сравнению с полноразмерной моделью. Сильными сторонами исходной Qwen2.5 заявлены улучшенные знания, программирование, математика, следование инструкциям, обработка длинных текстов и устойчивость к различным системным промптам. README не содержит подробных сведений о точном формате квантования, аппаратных требованиях, результатах тестирования именно этой сборки или ограничениях качества, поэтому их нельзя определить по имеющимся данным. Лицензия указана как other; конкретные условия использования в README не приведены.

unsloth/Qwen3.5-27B-GGUF — квантованный формат модели Qwen3.5-27B, разработанной командой Qwen; сборка и GGUF-варианты подготовлены Unsloth. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для диалогов, анализа изображений, рассуждений, программирования, агентских сценариев, работы с длинным контекстом и вызова инструментов. Модель может использоваться локально и совместима с распространёнными средствами инференса для GGUF; README также рекомендует настройки для включения или отключения режима рассуждений. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts; размер скрытого представления — 4096. Нативная длина контекста составляет 262 144 токена, с расширением до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта, а также мультимодальный ввод. Unsloth указывает на применение Dynamic 2.0 GGUF и imatrix-данных для повышения качества в задачах диалога, программирования, длинного контекста и tool calling. Сильными сторонами являются сочетание языкового и визуального понимания, большой контекст, поддержка широкого набора языков и варианты для эффективного локального запуска. Ограничения включают необходимость подходящего GGUF-совместимого программного обеспечения и аппаратных ресурсов; конкретные требования зависят от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-f32-GGUF — мультимодальная причинная языковая модель с 9 млрд параметров, основанная на Qwen3.5-9B и разработанная командой Alibaba Qwen. Данная версия распространяется в формате GGUF и предназначена для локального и серверного инференса с использованием llama.cpp, vLLM или SGLang. Модель обрабатывает текст, изображения и видео и рассчитана на OCR, визуальные вопросы и ответы, анализ документов, программирование, математические задачи, многоязычное рассуждение и создание мультимодальных агентов. Архитектура включает интегрированный vision encoder, гибридную схему Gated DeltaNet и Gated Attention, 32 слоя, скрытую размерность 4096, словарь из 248 тысяч токенов для 201 языка и нативный контекст до 262 тысяч токенов с возможностью расширения свыше 1 млн с помощью YaRN. Для обработки визуальных данных используется DeepStack ViT, включая временную динамику видео. К сильным сторонам относятся сочетание текстовых и визуальных возможностей, длинный контекст, поддержка большого числа языков и возможность запуска на одном RTX 4090: около 18 ГБ в BF16 или 5 ГБ в 4-битном представлении. Ограничения включают требования к значительным вычислительным и видеоресурсам для полноразмерных вариантов, а также зависимость мультимодального инференса от отдельного файла mmproj. В репозитории доступны варианты BF16, F16, F32 и Q8_0, а также соответствующие мультимодальные проекции. Лицензия — Apache 2.0.

Qwen3-Next-80B-A3B-Instruct-FP8 — языковая модель для генерации текста, разработанная командой Qwen и распространяемая в репозитории RedHatAI. Это FP8-квантизированный вариант Qwen3-Next-80B-A3B-Instruct, предназначенный для диалогов, следования инструкциям, решения задач, программирования, многоязычных сценариев и агентских взаимодействий. Модель работает только в instruct-режиме и не формирует блоки рассуждений <think></think>. Модель построена как causal language model с гибридным механизмом внимания Gated DeltaNet и Gated Attention, а также архитектурой Mixture-of-Experts. Она содержит 80 млрд параметров, из которых около 3 млрд активируются на токен, 48 слоёв и 512 экспертов, 10 из которых активируются одновременно. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. FP8-квантизация выполнена методом fine-grained FP8 с размером блока 128. К сильным сторонам относятся высокая эффективность по числу активируемых параметров, ускоренный вывод, поддержка сверхдлинного контекста, задачи программирования, следование инструкциям и многоязычность. Ограничения включают отсутствие thinking-режима, а также то, что приведённые результаты тестирования получены для исходной модели в формате bfloat16 до FP8-квантизации, поэтому они не обязательно полностью отражают характеристики данного checkpoint. Модель может разворачиваться с использованием, в частности, sglang и vLLM, включая OpenAI-совместимый сервер. Лицензия — Apache-2.0.

unsloth/gemma-4-26B-A4B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели google/gemma-4-26B-A4B-it. Семейство Gemma 4 разработано Google DeepMind, а данную сборку подготовила Unsloth. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к архитектуре Mixture-of-Experts (MoE): в названии указаны 26B общих параметров и около 4B активных параметров. Gemma 4 поддерживает текстовые и графические входы с генерацией текста, а также мультиязычную работу более чем со 140 языками. Для моделей среднего размера заявлено контекстное окно до 256K токенов. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания, что снижает требования к памяти при обработке длинного контекста. К сильным сторонам относятся режимы настраиваемого рассуждения, улучшенные возможности программирования, native function calling, поддержка системных промптов и пригодность для развёртывания на потребительских GPU и рабочих станциях. Ограничения конкретного GGUF-файла, включая точный уровень квантизации, требования к памяти и возможное снижение качества по сравнению с полноточной моделью, в README не указаны. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Qwen2.5-14B-Instruct-FP8-dynamic — производная FP8 dynamic-квантизованная версия Qwen2.5-14B-Instruct, опубликованная Red Hat AI. Исходная модель разработана командой Qwen и представляет собой инструкционно дообученную авторегрессионную языковую модель для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, следования инструкциям, генерации длинных и структурированных ответов, включая JSON, а также для задач программирования, математики, анализа таблиц и других текстовых сценариев. Это текстовая, не мультимодальная модель с архитектурой Qwen2ForCausalLM; в исходной версии около 14,7 млрд параметров. Заявлена поддержка контекста до 128K токенов и генерации до 8K токенов. Модель мультиязычная; среди явно указанных языков есть английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта RedHatAI — FP8 dynamic-квантизация, рассчитанная на уменьшение требований к памяти и ускорение инференса при сохранении назначения исходной instruct-модели. Ограничения включают типичные для языковых моделей риск ошибок, галлюцинаций и зависимости качества от формулировки запроса; конкретные результаты тестирования именно этой квантизованной версии в найденном репозитории не приведены. Для исходной Qwen2.5-14B-Instruct указана лицензия Apache 2.0; отдельная карточка модели RedHatAI лицензионные условия явно не описывает.

Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen3-32B-FP8 — языковая модель серии Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотная causal transformer-модель с 32,8 млрд параметров и grouped-query attention, предназначенная для генерации текста, диалогов, сложных рассуждений, решения математических задач, программирования, вызова инструментов и построения агентных сценариев. Модель работает с текстом на входе и выходе, поддерживает многоязычное использование и предоставляет OpenAI-совместимый API через сервер Furiosa-LLM. Ключевая особенность — гибридный режим работы: по умолчанию модель может формировать рассуждение перед итоговым ответом, а для более быстрых общих диалогов рассуждение можно отключить отдельно для запроса или задать как режим по умолчанию. Поддерживается вызов функций через tool-call parser hermes. Веса статически квантизированы в FP8 с размером блока 128, активации используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Для запуска на RNGD требуется тензорный параллелизм на 32 вычислительных элементах, соответствующий четырём картам RNGD. Сильные стороны модели — сочетание рассуждений и эффективного диалога в одной модели, поддержка многоязычности, программирования, инструментов и агентных задач, а также снижение требований к памяти благодаря FP8-квантизации. Ограничения README не раскрывает: не указаны длина контекста, конкретный перечень языков, результаты бенчмарков и требования к ресурсам для других платформ. Данная сборка ориентирована на Furiosa-LLM и FuriosaAI RNGD, хотя исходная модель также может запускаться через vLLM, SGLang и Transformers. Лицензия — Apache 2.0.

C4AI Command R+ 08-2024 — большая авторегрессионная языковая модель семейства Cohere, опубликованная Cohere и Cohere For AI; данная версия размещена Unsloth. Модель содержит 103,8 млрд параметров, использует архитектуру Transformer с grouped-query attention и принимает текст, выдавая текст. Контекстное окно — 128K токенов. Модель предназначена для диалогов, ответов на вопросы, суммаризации, рассуждений и генерации с опорой на предоставленные документы (RAG). Она обучена работать с инструментами в несколько шагов, например для поиска информации и автоматизации составных задач. Поддерживает 23 языка, включая английский, русский, китайский, арабский, японский и другие; оценивалась на 10 языках. Модель дообучена с помощью supervised fine-tuning и обучения предпочтениям. Для использования возможностей работы с инструментами рекомендуется соблюдать специальный шаблон диалога; отклонение от него может снизить качество. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование и требует соблюдения Acceptable Use Policy C4AI.

unsloth/cogito-v2-preview-llama-70B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 70B, разработанная Unsloth на базе deepcogito/cogito-v2-preview-llama-70B. Это инструкционно дообученная генеративная модель с гибридным режимом рассуждений: она может отвечать напрямую либо предварительно выполнять саморефлексию. Обучение проводилось с использованием Iterated Distillation and Amplification (IDA), стратегии итеративного самоулучшения. Модель предназначена для генерации текста, следования инструкциям, программирования, задач STEM, вызова инструментов и общего ассистирования. Модель поддерживает контекст длиной до 128k токенов и обучена более чем на 30 языках, поэтому ориентирована на многоязычные сценарии. Заявлены улучшенные возможности в программировании, работе с инструментами и многоязычии по сравнению с сопоставимыми по размеру моделями. Доступны стандартный режим и расширенное рассуждение; для последнего в совместимых инструментах требуется включить параметр enable_thinking или использовать предусмотренный системный запрос и префилл. GGUF-формат подходит для запуска через совместимые средства локального инференса, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. К ограничениям относятся значительные требования к вычислительным ресурсам, обусловленные размером 70B, а также экспериментальный статус preview и возможная хрупкость гибридного режима в редких случаях. Репозиторий распространяется по лицензии Llama 3.1, указанной как допускающая коммерческое использование; точные условия следует проверять в тексте лицензии.

Gemma 4 26B A4B IT QAT GGUF — это мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она основана на разреженной Mixture-of-Experts архитектуре: содержит около 25,2 млрд параметров, из которых при генерации активны примерно 3,8 млрд. Модель поддерживает текст и изображения, но не аудио, и предназначена для диалогов, анализа изображений, OCR, анализа кадров видео, генерации текста и кода, вызова функций и задач, требующих рассуждений. Доступен настраиваемый режим reasoning. Модель использует около 550 млн параметров в vision encoder, контекстное окно до 256K токенов, скользящее окно 1024 токена и словарь примерно из 262 тысяч токенов для более чем 140 языков. Quantization-Aware Training помогает сохранить качество, близкое к bfloat16, при меньших требованиях к памяти. Репозиторий предоставляет варианты GGUF с квантованием от Q2_K до Q8_0, а также BF16, F16 и F32; размеры файлов составляют примерно от 10,6 до 101 ГБ, поэтому практическое использование зависит от доступной памяти и аппаратных ресурсов. К ограничениям относятся отсутствие аудиомодальности, высокие требования к ресурсам для полноразмерных вариантов и зависимость качества от выбранного уровня квантования. Лицензия — Apache 2.0.

Gemma 4 26B A4B NVFP4 — мультимодальная модель для генерации текста, разработанная Google DeepMind и квантизированная NVIDIA с помощью Model Optimizer. Модель принимает текст и изображения, поддерживает обработку видео как последовательности кадров, а её выходом является текст. Она предназначена для диалоговых систем, чат-ботов, суммаризации, извлечения данных из изображений, рассуждений, программирования, мультимодального анализа, function calling, а также исследовательских и образовательных задач. Модель построена на архитектуре Transformers с разреженной MoE-структурой: содержит около 25,2 млрд параметров, из которых активно используется около 3,8 млрд, 30 слоёв, 128 экспертов и один общий эксперт. Она поддерживает контекст до 256K токенов, скользящее окно внимания размером 1024 токена, словарь из 262 тысяч токенов и более 140 языков. Для обработки изображений предусмотрен vision encoder примерно на 550 млн параметров, поддерживаются различные соотношения сторон и разрешения, а также настраиваемые бюджеты визуальных токенов. Видео длительностью до 60 секунд обрабатывается со скоростью один кадр в секунду. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов, задач рассуждения и кода, а также сниженное вычислительное потребление благодаря MoE-архитектуре и формату NVFP4. Ограничения связаны с зависимостью от NVIDIA GPU, заявленной совместимостью прежде всего с архитектурой Blackwell, использованием Linux и поддержкой runtime vLLM. Квантизация может влиять на точность по сравнению с исходной моделью. Релиз не обучался заново: NVIDIA выполнила квантизацию и калибровку, тогда как исходная модель принадлежит Google. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0 с дополнительными условиями Gemma. Версия модели — v1.0, квантизация выполнена с помощью nvidia-modelopt v0.43.0.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E4B Instruct. Это вариант с весами половинной точности, извлечёнными из конвейера обучения с учётом квантования (QAT); он предназначен для последующей компиляции и исследовательской работы. Архитектура — плотная Gemma4ForConditionalGeneration, файлы представлены в safetensors. Модель принимает текст и изображения, а также аудио; генерирует текст. Она подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Семейство поддерживает более 140 языков; для небольших вариантов, включая E4B, заявлено контекстное окно до 128 тысяч токенов. Поддерживаются вызов функций и режим рассуждений. Вариант QAT призван снизить требования к памяти при сохранении качества, близкого к bfloat16, но именно эта публикация содержит не готовый к развёртыванию квантованный формат, а веса для дальнейшей компиляции. Лицензия — Apache 2.0. Возможности аудио, языка и контекстное окно описаны для семейства; в карточке этой конкретной публикации отдельные параметры не уточнены.

Карточка модели lamm-mit/google-gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

Mungert/granite-3.2-8b-instruct-GGUF — это GGUF-версия Granite-3.2-8B-Instruct, разработанная командой Granite компании IBM и преобразованная пользователем Mungert с помощью llama.cpp. Модель содержит около 8 миллиардов параметров и предназначена для генерации текста, выполнения инструкций и задач, требующих рассуждений, с поддержкой управляемого режима thinking. Модель подходит для создания AI-ассистентов, суммирования документов и встреч, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), программирования, function calling, многоязычного диалога и работы с длинным контекстом. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Точная длина контекста для этой сборки в README не указана. Сильной стороной является сочетание возможностей рассуждения, многоязычности и адаптации к длинным документам. Сборка использует GGUF и экспериментальный подход к квантованию: отдельные важные слои переводятся на более высокую точность, что, по описанию автора, может повысить точность при сохранении относительно низкого битового уровня, но увеличивает размер файла. Ограничения включают зависимость характеристик от выбранного варианта квантования и отсутствие в карточке подробных бенчмарков, требований к аппаратному обеспечению и точного размера контекста. Модель распространяется по лицензии Apache 2.0.

Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

unsloth/Llama-3.1-8B-Instruct-GGUF — это GGUF-версия инструкционно дообученной текстовой модели Llama 3.1 с 8 млрд параметров. Модель разработана Meta, а представленная конвертация и набор форматов опубликованы Unsloth. Она предназначена для генерации текста и кода, диалоговых сценариев, ассистентов и других задач, где требуется следование инструкциям на естественном языке. Модель использует авторегрессионную оптимизированную архитектуру Transformer с Grouped-Query Attention (GQA). Она работает только с текстом на входе и формирует текст или код на выходе, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов; данные обучения основаны на общедоступных онлайн-данных, дата отсечения знаний — декабрь 2023 года. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning with human feedback. К сильным сторонам относятся мультиязычный диалог, поддержка длинного контекста, генерация кода и возможность запуска в GGUF-совместимых инструментах, включая llama.cpp, Ollama и vLLM. Ограничения модели связаны с текстовой модальностью, статичностью знаний и возможными ошибками или небезопасными ответами; конкретный объём памяти и степень квантования зависят от выбранного GGUF-файла. Использование регулируется коммерческой Llama 3.1 Community License.

RedHatAI/Mistral-Small-3.1-24B-Instruct-2503-FP8-dynamic — мультимодальная instruction-модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Архитектура Mistral3ForConditionalGeneration принимает текст и изображения, а генерирует текст. Заявлены поддержка 27 языков, включая русский, английский, французский, немецкий, испанский, китайский и японский, а также задачи text-to-text и image-text-to-text. Модель предназначена для быстрых диалоговых агентов, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Она также подходит для дообучения под предметные области и локального развертывания, в том числе в сценариях с чувствительными данными. Размер модели составляет 24 млрд параметров; README не указывает точное максимальное окно контекста. Модель оптимизирована с помощью FP8-квантизации весов и активаций: это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных вычислений по сравнению с FP16. Для весов используется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная потокенная квантизация; квантизуются линейные операторы внутри трансформерных блоков. Ограничения включают необходимость соблюдать законодательство и официально поддерживаемые языки. Модель распространяется по лицензии Apache-2.0.

Карточка модели aertsimon90/Qwen2.5-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.