I.11Классификация, ранжирование и сопоставление

Sparse-Llama-3.1-8B-2of4 — разреженная версия Llama-3.1-8B, разработанная Neural Magic. Это авторегрессионная языковая модель с 2:4 структурированной разреженностью: в каждой группе из четырёх весов сохраняются два. Линейные операторы в блоках трансформера были прорежены с помощью SparseGPT, затем модель дообучали с дистилляцией знаний на 13 млрд токенов, чтобы восстановить качество. Размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов; она принимает и генерирует текст. Модель предназначена для генерации текста и развёртывания языковых моделей с более эффективным использованием вычислений и памяти. README сообщает о результатах на OpenLLM и Mosaic Eval Gauntlet, близких к плотной версии Llama-3.1-8B, и описывает развёртывание через vLLM. Базовая модель поддерживает восемь языков, однако карточка не перечисляет их по отдельности. Лицензия — llama3.1; применение должно соответствовать её условиям.

T3qm7xNeuralsirkrishna_ShadowExperiment29 — объединённая текстовая модель на архитектуре Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/ShadowExperiment29-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате safetensors. Модель принимает текст и выдаёт текст. Её можно применять для диалоговых интерфейсов, составления черновиков и продолжения текста. Репозиторий распространяется по лицензии Apache-2.0.

ricepaper/vi-gemma-2-2b-function-calling — языковая модель, разработанная hiieu, himmeow the coder и cuctrinh и дообученная на базе unsloth/gemma-2-2b-it-bnb-4bit. Она предназначена для диалогов и вызова одной или нескольких функций по запросу пользователя; обучающие данные включали диалоги с вызовами функций в формате ChatML и многоязычные данные, переведённые на вьетнамский язык. Модель также подходит для чат-ботов, систем вопросно-ответного поиска, суммаризации, перевода и агентных сценариев. Это плотная авторегрессионная Gemma 2 с 2,7 млрд параметров и контекстом до 8192 токенов. Основные языки — вьетнамский и английский; заявлена также работа с многоязычными данными. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Качество выполнения вызовов зависит от предоставленных функций и настроек генерации. README отмечает, что для эффективной работы могут потребоваться подходящая аппаратная конфигурация и настройка параметров генерации.

GPT-5.6 Terra — языковая модель OpenAI общего назначения, предназначенная для рабочих сценариев, где важен баланс возможностей и стоимости. Она поддерживает рассуждение с настраиваемым уровнем усилий, вызов функций, структурированный вывод и работу с инструментами через Responses API. Модель принимает текст и изображения, а выдаёт текст; заявленное окно контекста — 1 050 000 токенов, максимальный объём ответа — 128 000 токенов. Terra подходит для программирования, анализа и создания документов, поиска по информации и выполнения многошаговых задач с инструментами. В API доступны веб-поиск, поиск по файлам, интерпретатор кода и управление компьютером. OpenAI указывает, что аудио- и видеовходы не поддерживаются. Модель предоставляется через API и сервисы OpenAI; открытая лицензия на веса не указана.

Qwen2.5-32B-Instruct-AWQ — инструкционно дообученная языковая модель из семейства Qwen, разработанная командой Qwen. Это причинная языковая модель для генерации текста, диалоговых ассистентов, следования инструкциям, написания и анализа кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из них 31 млрд — без учёта эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и GQA с 40 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию, что может снизить требования к памяти по сравнению с полноточной моделью. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Полная длина контекста указана до 131 072 токенов, а генерация — до 8192 токенов; при этом текущая конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется включение YaRN. Сильными сторонами модели являются улучшенные возможности в программировании и математике, следование инструкциям, обработка длинных текстов, понимание таблиц и генерация структурированных данных. При использовании статического YaRN производительность на коротких текстах может снижаться, поэтому его рекомендуется включать только при работе с длинным контекстом. Для загрузки и развёртывания требуются совместимые версии Transformers и поддержка AWQ; в документации рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

Qwen2.5-14B-Instruct-GPTQ-Int4 — инструкционно дообученная причинная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она поддерживает более 29 языков, среди которых английский, китайский, русский, французский, немецкий, испанский, японский и корейский. Модель содержит 14,7 млрд параметров, из них 13,1 млрд непараметров эмбеддингов, и включает 48 слоёв. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-внимании и Grouped Query Attention с 40 головами для Q и 8 для KV. Применяется 4-битная GPTQ-квантизация, уменьшающая требования к памяти по сравнению с полноразмерной версией. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, для более длинных входов требуется YaRN. Сильные стороны модели — улучшенное следование инструкциям, генерация длинных текстов, работа с кодом, математикой, таблицами и JSON, а также поддержка мультиязычных сценариев. GPTQ-квантизация может упростить развёртывание, однако квантование способно влиять на качество относительно исходной bfloat16-версии. Использование статического YaRN в vLLM может снижать производительность на коротких текстах. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct-GPTQ-Int4 — 4-битно квантованная GPTQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Это авторегрессионная causal language model для диалогов, генерации и преобразования текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 32,5 млрд параметров, из которых 31 млрд относятся к неэмбеддинговым, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в attention QKV и GQA с 40 головами для Q и 8 для KV. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста — до 131 072 токенов, а максимальная длина генерации — 8192 токена; в текущей конфигурации без дополнительной настройки доступно до 32 768 токенов, а для более длинных входов требуется YaRN. К преимуществам относятся улучшенные способности к программированию и математике, соблюдение инструкций, генерация длинных текстов, обработка таблиц и других структурированных данных, а также меньшие требования к памяти благодаря 4-битной квантованию. К ограничениям относятся возможное снижение качества по сравнению с исходной моделью в формате bfloat16 и потенциальное ухудшение производительности на коротких текстах при включении статического масштабирования YaRN. Модель распространяется по лицензии Apache-2.0 и предназначена для использования с библиотекой Transformers и совместимыми средствами инференса.

Qwen2.5-72B-Instruct-GGUF — большая инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Репозиторий содержит 72-миллиардную версию модели Qwen2.5-72B-Instruct в формате GGUF, предназначенном для локального запуска, в том числе с использованием llama.cpp. Модель относится к авторегрессионным causal language models и предназначена для диалоговых систем, генерации и продолжения текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Поддерживается более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Модель рассчитана на текстовую модальность. Архитектура включает transformers, RoPE, SwiGLU, RMSNorm и bias в Attention QKV; модель содержит 72,7 млрд параметров, из них 70 млрд без учёта embedding, 80 слоёв и механизм GQA с 64 головами для Q и 8 для KV. Для GGUF указана длина контекста 32 768 токенов и генерация до 8192 токенов. Поддерживаются варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Преимуществами являются улучшенные возможности в программировании и математике, следование инструкциям, генерация длинных текстов и устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — отсутствие штатной поддержки контекста до 131 072 токенов; для такого расширения README рекомендует использовать неквантизованные модели и отмечает поддержку YARN только в vLLM. Модель распространяется по лицензии Qwen, обозначенной как other; точные условия приведены в файле лицензии репозитория.

Qwen3-30B-A3B-FP8 — языковая модель серии Qwen, разработанная командой Qwen. Это causal language model в формате FP8-квантизации, предназначенная для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и задач с использованием внешних инструментов и агентных сценариев. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых при обработке каждого токена активируется около 3,3 млрд; в ней 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Сильные стороны модели — сочетание высокой ёмкости с меньшим числом активных параметров, развитое рассуждение, поддержка многоязычных инструкций, диалогов и инструментальных сценариев. Ограничения связаны с использованием FP8-квантизации: для распределённого вывода в Transformers известны проблемы, из-за которых может потребоваться настройка CUDA_LAUNCH_BLOCKING=1. Для работы нужны совместимые версии Transformers, vLLM или SGLang и соответствующее аппаратное обеспечение. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V3 — крупная языковая модель с архитектурой Mixture-of-Experts, разработанная командой DeepSeek AI. Модель содержит 671 млрд параметров, из которых для каждого токена активируется около 37 млрд. Она предназначена для работы с естественным языком, генерации и анализа текста, программирования, решения сложных задач и сценариев, требующих развитого рассуждения. Модель доступна как открытая базовая модель, дополненная этапами supervised fine-tuning и reinforcement learning. Архитектура DeepSeek-V3 основана на Multi-head Latent Attention и DeepSeekMoE, унаследованных и развитых по сравнению с DeepSeek-V2. Среди ключевых нововведений — балансировка нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое также может применяться для ускорения speculative decoding. Модель предварительно обучена на 14,8 трлн разнообразных токенов; заявлена поддержка эффективного FP8-обучения. В README не указаны точная длина контекста, перечень языков и дополнительные модальности, поэтому модель следует рассматривать прежде всего как текстовую LLM. Сильными сторонами DeepSeek-V3 являются высокая заявленная производительность, эффективное использование параметров при инференсе, развитые возможности рассуждения и сравнительная экономичность обучения. Ограничения включают значительный общий размер модели и соответствующие требования к вычислительным ресурсам; конкретные характеристики инференса и результаты по отдельным задачам зависят от конфигурации и реализации. Код распространяется по лицензии MIT, а сама модель — по Model Agreement.

unsloth/Qwen2.5-14B-Instruct — инструкционно настроенная плотная причинная языковая модель, опубликованная Unsloth на основе Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов, генерации текста и выполнения инструкций; среди подходящих сценариев — ответы на вопросы, помощь с кодом и математикой, работа с таблицами и создание структурированных ответов, включая JSON. Модель содержит 14 млрд параметров и использует архитектуру Qwen2 с RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст до 32 768 токенов; в README описана возможность расширить его до 131 072 токенов с YaRN, а генерацию — до 8 192 токенов. Модель поддерживает многоязычные сценарии, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Доступны веса в формате safetensors, библиотека Transformers, а также интерфейсы чата и вызова инструментов. README отмечает, что для работы с длинным контекстом требуется настройка YaRN, которая может повлиять на качество коротких запросов. Лицензия — Apache 2.0.

Карточка модели Devastaticglitch/Qwen2.5-72B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-72B-Instruct, поэтому описание составлено по ней. Qwen2.5-72B-Instruct — инструкция-настроенная большая языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на архитектуре Qwen2 с 71,5 млрд параметров по метаданным; карточка описывает 80 слоёв, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов с генерацией до 8 192 токенов. В текущей конфигурации репозитория задан контекст 32 768 токенов, а для более длинных входов README предлагает YaRN. Модель предназначена для диалогов и следования инструкциям, генерации длинных текстов и структурированных ответов, включая JSON, а также для задач программирования, математики и понимания таблиц. Она поддерживает более 29 языков, включая русский и английский, и предоставляет интерфейс для вызова инструментов. Модель принимает и генерирует текст. Репозиторий содержит веса в формате safetensors и рассчитан на использование с Transformers; README рекомендует актуальную версию библиотеки и vLLM для развёртывания. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Удлинение контекста через статический YaRN может снижать производительность на коротких запросах.

Qwen3-4B-FP8 — FP8-квантованная версия причинной языковой модели Qwen3-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, программирования, творческого письма, многошаговых агентных сценариев и работы с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов, и включает 36 слоёв. Используется архитектура causal language model с группированным запросом внимания GQA: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрой обработки обычных запросов. Суффикс FP8 указывает на мелкозернистое квантование FP8 с размером блока 128, что ориентировано на повышение эффективности инференса при сохранении совместимости с распространёнными фреймворками. Среди ограничений отмечены известные проблемы совместимости vLLM и особенности распределённого инференса в Transformers; для некоторых конфигураций требуется дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

Qwen3-Next-80B-A3B-Instruct — инструкционная причинная языковая модель семейства Qwen3-Next, разработанная командой Qwen. Она предназначена для генерации и понимания текста, решения задач на знания и рассуждение, программирования, написания текстов, многоязычного взаимодействия, вызова инструментов и агентских сценариев. Модель работает только в instruct-режиме без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру из Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Всего предусмотрено 80 млрд параметров, из которых 3 млрд активируются на токен; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10. Контекст составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки явно не перечислены, но заявлена многоязычная поддержка и приведены результаты мультиязычных тестов. К сильным сторонам относятся высокая эффективность параметров, сниженные вычислительные затраты и пропускная способность при длинном контексте, а также результаты на задачах программирования, рассуждения, следования инструкциям и агентского взаимодействия. Ограничения включают отсутствие thinking-режима и зависимость практической производительности от аппаратного обеспечения и реализации инференса. Модель распространяется по лицензии Apache-2.0.

Gemma 4 12B Unified — мультимодальная плотная модель семейства Gemma 4, разработанная Google DeepMind и распространяемая под лицензией Apache 2.0. Она принимает текст, изображения, видео и аудио, а генерирует текст; унифицированная архитектура обрабатывает аудио и визуальные данные без отдельных энкодеров. Модель предназначена для локального запуска на потребительских устройствах, а также для серверов и рабочих станций. Модель подходит для диалога, генерации и анализа текста, программирования, рассуждений и сценариев с вызовом инструментов. Она может разбирать документы и PDF, распознавать текст и объекты на изображениях, понимать интерфейсы и диаграммы, анализировать видеокадры, распознавать речь и переводить речь в текст на другом языке. Для семейства заявлена поддержка контекста до 256 тыс. токенов и многоязычность; карточка указывает обучение более чем на 140 языках. Ограничения конкретной версии в предоставленных материалах подробно не описаны.

Gemma 4 12B IT — мультимодальная модель Google DeepMind с открытыми весами, настроенная для следования инструкциям. Она построена на плотной унифицированной архитектуре Gemma4Unified и принимает текст, изображения, видео и аудио, выдавая текст. Модель поддерживает анализ изображений и видеокадров, распознавание речи и перевод речи в текст, а также генерацию текста и кода, рассуждения и вызов инструментов. Модель рассчитана на локальный запуск на потребительских устройствах и сценарии с длинным контекстом; для семейства заявлено до 256 тысяч токенов у версии 12B. Gemma 4 поддерживает более 35 языков непосредственно и обучалась на данных более чем 140 языков. Лицензия — Apache 2.0. Карточка описывает семейство Gemma 4 в целом, поэтому отдельные характеристики и возможности конкретной версии могут зависеть от реализации и настроек.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель, разработанная NVIDIA как производная Meta Llama-3.3-70B-Instruct. Это reasoning-модель для диалогов, следования инструкциям, решения задач по математике, программированию и науке, а также для агентных сценариев, включая RAG и вызов инструментов. Она предназначена для разработчиков AI-агентов, чат-ботов, RAG-систем и других приложений на базе ИИ. Модель представляет собой плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search. В отдельных блоках внимание может пропускаться или заменяться одним линейным слоем, а коэффициент расширения FFN варьируется, что уменьшает требования к памяти и повышает эффективность при сохранении качества. Модель обрабатывает только текст, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского, тайского и языков программирования. Сильные стороны модели — сочетание рассуждений, чат-взаимодействия, инструментального использования и высокой эффективности, включая возможность работы на одной GPU H200 при больших нагрузках. Ограничения включают текстовую модальность, ориентированность прежде всего на английский язык, дату отсечения предобучающих данных 2023 годом и оптимизацию под NVIDIA GPU-ускоренные системы. Модель доступна для коммерческого использования на условиях NVIDIA Open Model License с дополнительными условиями Llama 3.3 Community License Agreement.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-FP8 — языковая модель с авторегрессионной архитектурой causal language model, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-32B с 32,8 млрд параметров, из которых 31,2 млрд приходятся на неприкрытые эмбеддингом параметры. Модель содержит 64 слоя и использует Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Она распространяется через Hugging Face Transformers и предназначена для генерации текста. Модель подходит для диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, математических и логических задач, генерации кода, перевода, многоязычного общения и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. FP8-квантизация с мелкозернистой схемой и размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Для развёртывания рекомендуются актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-4B-128K-GGUF — это GGUF-версия текстовой авторегрессионной языковой модели Qwen3-4B, разработанной командой Qwen и опубликованной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 4 миллиардов параметров, из них 3,6 миллиарда приходятся на параметры без учёта embedding-слоя. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами запросов и 8 головами ключей/значений. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Базовая длина контекста составляет 32 768 токенов, а с применением YaRN — до 131 072 токенов, что соответствует заявленному в идентификаторе варианту 128K. Модель ориентирована на работу более чем со 100 языками и диалектами. К сильным сторонам относятся компактный размер, поддержка многоязычных сценариев, развитое следование инструкциям, рассуждение, генерация кода и интеграция с инструментами. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, текстовую специализацию без заявленной поддержки изображений или аудио, а также необходимость корректной настройки режима рассуждения и совместимого программного обеспечения для запуска GGUF. Лицензия — Apache 2.0.

Qwen3-4B-AWQ — причинная языковая модель из серии Qwen, разработанная командой Qwen. Она предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимом рассуждения для сложных задач и нерешающим режимом для более быстрых ответов в рамках одной модели. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, и включает 36 слоёв. Используется Grouped-Query Attention с 32 головами запросов и 8 головами ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Доступна 4-битная AWQ-квантизация, уменьшающая требования к памяти. Qwen3 заявляет поддержку более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Сильными сторонами являются сочетание рассуждения и эффективного общего диалога, возможности работы с инструментами, поддержка длинного контекста и сниженные требования к ресурсам благодаря квантизации. Ограничения включают возможное ухудшение качества и зацикливание при жадном декодировании в режиме рассуждения; для него рекомендуются Temperature 0,6, TopP 0,95 и TopK 20. Модель распространяется по лицензии Apache-2.0.

Apertus-8B-Instruct-2509-GGUF — открытая мультиязычная языковая модель с 8 млрд параметров, разработанная Swiss AI и связанная со Swiss National AI Institute, ETH Zurich и EPFL. Это instruct-вариант модели Apertus для генерации и обработки текста, диалогов, работы с кодом и математическими задачами, а также агентских сценариев с использованием инструментов. Модель построена на архитектуре decoder-only Transformer, предварительно обучена на 15 трлн токенов данных веба, кода и математики, а затем дообучена с помощью supervised fine-tuning и выравнивания QRPO. Она поддерживает 1811 языков, контекст до 65 536 токенов и может запускаться через совместимые инструменты, включая Transformers, vLLM, SGLang и MLX. Формат GGUF предназначен для удобного локального развертывания, однако конкретный вариант квантования в предоставленных данных не указан. К сильным сторонам относятся открытые веса, раскрытые данные и детали обучения, широкий языковой охват, длинный контекст и акцент на соответствии требованиям обработки данных. Ограничения включают возможные ошибки и неточности, характерные для языковых моделей, а также высокие вычислительные требования по сравнению с небольшими моделями. Модель распространяется по лицензии Apache 2.0, но её использование также связано с отдельной политикой допустимого использования Apertus и требованиями по обработке персональных данных; разработчики рекомендуют регулярно применять фильтр выходных данных на основе актуальных запросов на удаление данных.

dragonboat/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в представлении Unsloth. Модель предназначена для локального запуска и дообучения, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет около 4,5 млрд эффективных параметров, 42 слоя и контекстное окно до 128K токенов. Она поддерживает обработку текста, изображений и аудио с генерацией текста, а также более 140 языков. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер локального окна составляет 512 токенов. Небольшой размер и оптимизация Gemma 4 E4B ориентированы на запуск на ноутбуках, мобильных устройствах и другом локальном оборудовании. К сильным сторонам относятся мультимодальность, длинный контекст, настраиваемый режим рассуждений, улучшенные возможности программирования, нативная поддержка системных инструкций и function calling. Ограничения включают зависимость производительности и качества от используемого GGUF-квантизатора и доступных вычислительных ресурсов; точные параметры квантизации в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen2.5-14B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-14B, опубликованная Unsloth на базе Qwen/Qwen2.5-14B-Instruct. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Архитектура — causal language model на базе Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и группированным запросом внимания (GQA). Модель содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding, и имеет 48 слоёв, 40 голов внимания для Q и 8 для KV. Поддерживаются контексты длиной до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта — 4-битное представление, снижающее требования к памяти; точные показатели качества и совместимость с конкретными аппаратными конфигурациями в README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы рекомендуется использовать актуальную версию библиотеки Transformers; README не содержит подробностей о точном формате квантования, ограничениях производительности или дополнительных условиях использования.

Qwen2.5-7B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалога и генерации текста; репозиторий использует библиотеку Transformers и формат safetensors. Архитектура включает RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для чат-ботов и ассистентов, следования инструкциям, генерации длинных текстов, работы с таблицами и структурированными ответами, включая JSON. Также подходит для задач программирования и математики. Поддерживает более 29 языков, включая русский и английский. Контекст репозитория настроен на 32 768 токенов; в README указано расширение до 131 072 токенов с YaRN, а максимальная длина генерации — 8 192 токена. Модель предлагает широкую многоязычную поддержку и улучшенные возможности следования инструкциям, однако качество зависит от задачи и языка, а длинный контекст с YaRN может повлиять на производительность при коротких запросах. Лицензия — Apache-2.0.

Qwen2-72B-Instruct — большая языковая модель с настройкой для следования инструкциям и диалогов, разработанная командой Qwen. Это плотная decoder-only модель на архитектуре Transformer Qwen2 с 71,5 млрд параметров; в ней используются активация SwiGLU, смещение в проекциях внимания QKV и групповое внимание запросов. Модель принимает текст и формирует текстовые ответы, поддерживает чатовый режим и несколько естественных языков, а также код. Модель предназначена для диалоговых помощников, генерации и понимания текста, ответов на вопросы, рассуждений, математических задач и программирования. Метаданные указывают контекст 32 768 токенов; в README описано расширение до 131 072 токенов с помощью YARN, которое требует соответствующей настройки. Для длинных контекстов авторы отмечают возможное снижение качества на коротких запросах при статическом масштабировании YARN. Модель является дообученной версией Qwen/Qwen2-72B. В репозитории указана лицензия other, поэтому конкретные условия использования следует сверять с файлами лицензии модели. Для запуска рекомендуется Transformers версии 4.37.0 или новее; README также рекомендует vLLM для развёртывания.

Qwen2-7B-Instruct-AWQ — инструкционная языковая модель из серии Qwen, разработанная командой Qwen. Это текстовая модель для генерации ответов в диалогах, следования инструкциям, понимания и создания текста, а также задач программирования, математики, рассуждений и многоязычной обработки. Модель предназначена для локального развертывания и интеграции в приложения через Transformers или vLLM. Модель содержит около 7 миллиардов параметров и основана на decoder-only архитектуре Transformer с активацией SwiGLU, смещениями в QKV-проекциях и Grouped Query Attention. Она прошла предварительное обучение, supervised fine-tuning и Direct Preference Optimization. Вариант AWQ использует квантованные веса для снижения требований к памяти и ускорения инференса. Модель работает с текстом, поддерживает английский язык, а токенизатор адаптирован также к нескольким естественным языкам и языкам программирования. Заявлена длина контекста до 131 072 токенов; для обработки очень длинных входов применяется метод YARN. Сильными сторонами модели являются большой контекст, инструкционное выравнивание, поддержка многоязычных и технических сценариев, а также более экономичное развертывание благодаря квантованию. Модель не является мультимодальной и ориентирована на текстовую генерацию. При использовании YARN в vLLM статический коэффициент масштабирования может отрицательно влиять на качество или производительность на коротких текстах, поэтому его рекомендуется включать только при необходимости длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.