I.6Перевод и языковая адаптация

Это модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, дообученная на основе KasuleTrevor/wav2vec2-xls-r-300m-nyn_filtered-yogera-v3. В репозитории указано 402,7 млн параметров и формат safetensors. Название модели указывает на многоязычную фильтрацию для Yogera, однако README не описывает языки и обучающие данные, поэтому языковую поддержку по этим сведениям установить нельзя. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки: WER 0,6815 и CER 0,2155; они указывают на заметные ошибки распознавания и требуют осторожности при практическом применении. Условия лицензии в предоставленных данных не приведены.

YanoljaNEXT-EEVE-Instruct-10.8B — разговорная языковая модель Yanolja, дообученная методом Direct Preference Optimization (DPO) на корейских переводах наборов Open-Orca/SlimOrca-Dedup и UltraFeedback. Она предназначена для ответов на вопросы и ведения диалога; для общения используется шаблон с ролями пользователя и ассистента. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 10,6 млрд параметров, работает с текстом и имеет контекстное окно 4096 токенов. Базой послужила yanolja/EEVE-Korean-10.8B-v1.0 — модель с расширенным корейским словарём, основанная на upstage/SOLAR-10.7B-v1.0. Модель ориентирована прежде всего на корейский язык. В карточке приведены результаты тестов на рассуждение и здравый смысл, но они не гарантируют качество в конкретных сценариях. Распространяется по лицензии Apache-2.0.

Qwen3-32B — плотная причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Она предназначена для диалога, следования инструкциям, рассуждений, генерации кода, перевода и работы с внешними инструментами. В одной модели можно переключаться между режимом рассуждений для сложных задач и обычным режимом ответа. Модель содержит 29,7 млрд параметров по метаданным каталога; в README указано 32,8 млрд параметров, включая 31,2 млрд без эмбеддингов. Архитектура — Qwen3ForCausalLM, для запуска поддерживается Transformers. Нативный контекст составляет 40 960 токенов по метаданным каталога; README указывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Семейство поддерживает более 100 языков и диалектов. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Модель подходит для многошагового диалога и сценариев с вызовом инструментов, а также для математических и логических рассуждений, творческого письма и программирования. Карточка заявляет сильные способности к следованию инструкциям и многоязычным задачам; качество конкретных ответов зависит от запроса и развертывания. В README не приведены конкретные ограничения или оговорки по безопасности.

C4AI Command R7B 12-2024 — авторегрессионная языковая модель семейства Cohere2, разработанная Cohere и Cohere For AI. В карточке заявлены 7 млрд параметров, а метаданные указывают 8 млрд; модель использует архитектуру Transformer с чередованием слоёв скользящего и глобального внимания. Метаданные указывают контекст 8192 токена, тогда как README заявляет 128K, поэтому фактическую длину контекста следует проверять для используемой конфигурации. Модель предназначена для диалогов и инструктивных задач: ответов на вопросы, суммаризации, рассуждений, перевода, категоризации и генерации кода. Она обучена для сценариев RAG и использования инструментов, включая многошаговое взаимодействие с ними. Поддерживает текст на 23 языках, среди которых русский и английский; принимает и генерирует только текст. Весам требуется Transformers с поддержкой этой модели. Лицензия CC-BY-NC-4.0, также необходимо соблюдать политику допустимого использования Cohere AI. README описывает выпуск как исследовательский и приводит оценки на бенчмарках; качество в конкретных задачах следует проверять отдельно.

Qwen3-235B-A22B-GGUF — квантованная версия модели Qwen3-235B-A22B, разработанной командой Qwen. Квантование в формате GGUF выполнил bartowski на основе llama.cpp. Модель предназначена для локального текстового взаимодействия, генерации и обработки текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики и задач, требующих рассуждений. Это MoE-модель с общим размером 235B параметров и 22B активируемых параметров; в конфигурации указаны 128 экспертов, из которых одновременно активны 8. Поддерживаются режимы с рассуждением и без него, а также отключение рассуждений с помощью параметра /no_think в конце запроса. Заявлена поддержка более 100 языков и диалектов. Контекстное окно достигает 131 072 токенов с YaRN, при этом значение по умолчанию составляет 32 000 токенов. Сильные стороны модели — улучшенное рассуждение, широкий языковой охват, развитые агентские возможности и универсальность в диалоговых, творческих и технических задачах. Ограничения включают зависимость характеристик от конкретного варианта квантования и конфигурации запуска, а также возможность неточных, вредных или неподходящих ответов. Модель распространяется по лицензии Apache 2.0.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

Cohere и Cohere Labs разработали Command A — авторегрессионную языковую модель на базе оптимизированного Transformer с 111 млрд параметров. Она принимает и генерирует текст, поддерживает диалог, вызов внешних инструментов и работу в сценариях RAG с фрагментами документов и цитированием источников. Модель ориентирована на корпоративные задачи, включая многоязычные сценарии и агентные приложения. Модель обучена с учителем и дополнительно настроена с помощью обучения на предпочтениях. В архитектуре чередуются слои со скользящим окном внимания размером 4096 токенов и слой с глобальным вниманием. Заявленная длина контекста — 256 тыс. токенов, хотя конфигурация Hugging Face по умолчанию ограничивает её 128 тыс. Поддерживаются 23 языка, в том числе русский и английский. Command A подходит для диалоговых ассистентов, ответов по документам, извлечения информации, суммаризации, перевода и категоризации. Для запуска требуется значительная вычислительная инфраструктура, несмотря на заявление разработчиков о возможности развёртывания на двух GPU; для работы с Transformers нужны изменения из исходного репозитория. Лицензия CC-BY-NC-4.0 предусматривает некоммерческое использование и требует соблюдения Acceptable Use Policy Cohere Labs.

cosmicproc/gemma-4-E4B-it-NVFP4 — квантизированный вариант instruction-tuned модели google/gemma-4-E4B-it из семейства Gemma 4, разработанного Google DeepMind. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений и аудио с выдачей текста. Она поддерживает более 140 языков, нативные системные промпты и вызов функций. Контекстное окно составляет до 128K токенов. Модель использует плотную архитектуру с 42 слоями, примерно 4,5 млрд эффективных параметров и около 8 млрд параметров с учётом Per-Layer Embeddings. Гибридный механизм внимания сочетает локальное скользящее окно размером 512 токенов с глобальным вниманием. Основные линейные слои трансформера квантизированы в формате NVFP4 W4A4 с помощью NVIDIA Model Optimizer, тогда как Per-Layer Embeddings, зрительный и аудиобашни, а также мультимодальный проектор сохранены в BF16 для поддержания качества. Ключевое преимущество версии — сниженные требования к памяти и потенциально высокая производительность при инференсе на GPU NVIDIA Blackwell. Для полноценного W4A4-инференса требуются GPU Blackwell, CUDA 12.9 или новее и vLLM 0.19.0 или новее. На GPU поколений Ada, Hopper и Ampere модель может загрузиться, но оптимизированные FP4-ядра активаций не будут использоваться, поэтому преимущество по скорости квантизации будет утрачено. Модель распространяется по лицензии Apache 2.0.

Mistral-Nemo-Instruct-2407 — языковая модель с инструктивным дообучением, созданная Mistral AI совместно с NVIDIA на базе Mistral-Nemo-Base-2407. Это плотный трансформер Mistral с 12,1 млрд параметров, группированным запросом внимания и контекстом до 131 072 токенов. Модель предназначена для диалога, следования инструкциям, генерации текста и вызова инструментов; обучалась на многоязычных данных и данных для программирования. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Заявлена как замена Mistral 7B с увеличенным контекстом. Распространяется по лицензии Apache 2.0. В карточке отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут не соблюдать заданные ограничения.

Qwen3-14B-AWQ — квантизированная 4-битная версия языковой модели Qwen3-14B, разработанной командой Qwen. Это причинная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами в агентных системах. Модель содержит 14,8 млрд параметров, из которых 13,2 млрд не являются embedding-параметрами, и включает 40 слоёв. Она использует Grouped Query Attention с 40 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель поддерживает переключение между режимом рассуждений и обычным режимом генерации. Сильные стороны модели — развитые возможности рассуждений, генерации кода, многоязычного общения, многошагового диалога и использования инструментов. Формат AWQ 4-bit снижает требования к памяти по сравнению с полноразмерной версией, но README не содержит количественной оценки возможной потери качества, требований к аппаратному обеспечению или результатов бенчмарков. Для работы рекомендуется использовать актуальную версию Transformers; также поддерживается развёртывание через SGLang и vLLM. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-397B-A17B-FP8 — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-397B-A17B в формате Hugging Face Transformers, предназначенная для локального и серверного вывода с использованием Transformers, vLLM, SGLang, KTransformers и совместимых инструментов. Модель сочетает языковую модель с vision encoder и поддерживает обработку текста и изображений. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; предусмотрено 512 экспертов, из них для токена выбираются 10 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентные сценарии и другие задачи общего назначения. Ключевое преимущество версии FP8 — снижение требований к ресурсам при сохранении показателей, близких к исходной модели; используется мелкозернистое FP8-квантизирование с размером блока 128. Ограничениями являются значительные требования к вычислительной инфраструктуре из-за общего размера модели, а также необходимость проверять фактическую совместимость и производительность конкретного стека инференса. Модель распространяется по лицензии Apache-2.0.

C4AI Command-R — языковая модель на 35 млрд параметров, разработанная Cohere For AI и представленная в формате GGUF-квантизации bartowski на основе llama.cpp. Модель предназначена для генерации текста и поддерживает рассуждения, обобщение, ответы на вопросы, работу с общими знаниями и программирование. Также заявлена высокая эффективность в сценариях RAG. Модель оптимизирована для многоязычной генерации на английском, французском, немецком, испанском, итальянском, бразильском португальском, японском, корейском, упрощённом китайском и арабском языках. В предобучающие данные дополнительно входили русский, польский, турецкий, вьетнамский, нидерландский, чешский, индонезийский, украинский, румынский, греческий, хинди, иврит и персидский языки. Заявлена поддержка контекста до 128K токенов. Модель обучалась с применением supervised fine-tuning и preference training для повышения полезности и безопасности. К сильным сторонам относятся большой контекст, широкий набор языков, универсальность и пригодность для RAG, анализа текста и программирования. Ограничения включают отсутствие поддержки system prompt согласно указанному шаблону и необходимость использования подходящего prompt template Cohere Command R. Модель распространяется по лицензии CC BY-NC-4.0, допускающей некоммерческое использование согласно её условиям.

lmstudio-community/Qwen3-30B-A3B-GGUF — квантованная в формате GGUF версия модели Qwen3-30B-A3B, разработанной командой Qwen. Квантование выполнено bartowski на базе llama.cpp, релиз b5200. Модель распространяется по лицензии Apache-2.0. Это Mixture-of-Experts-модель с 30 млрд общих параметров, из которых при обработке активируются около 3,3 млрд; всего используется 128 экспертов, из них 8 активны одновременно. Поддерживается контекст до 131 072 токенов с применением YaRN, при этом значение по умолчанию составляет 32 000 токенов. Модель работает в режимах с рассуждением и без него; режим рассуждения можно отключить добавлением /no_think в конец запроса. Модель предназначена для генерации текста, следования инструкциям, многоходовых диалогов, творческого письма, ролевых сценариев, программирования, математики, задач на здравый смысл и агентных применений. Она поддерживает более 100 языков и диалектов. К сильным сторонам относятся расширенные способности к рассуждению, широкий языковой охват и сравнительно эффективная активация параметров благодаря архитектуре MoE. Ограничения включают возможные ошибки, неточности и нежелательное содержание, характерные для генеративных моделей, а также потенциальное снижение качества из-за квантования; конкретные параметры квантования в README не указаны.

Карточка модели simonycl/qwen3-30b-plateau-6skill-0617-iter191 на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Instruct-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Instruct-2507 — языковая модель компании Qwen на архитектуре причинного MoE-декодера. В модели 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; она включает 48 слоёв и 128 экспертов, из которых активны восемь. Модель обучена для режима без рассуждений в специальном формате и доступна под лицензией Apache 2.0. Модель предназначена для диалогов и выполнения инструкций, генерации и понимания текста, логических и математических задач, вопросов по науке, программирования и вызова инструментов. Она поддерживает многоязычные сценарии и нативный контекст до 262 144 токенов; в README также описана экспериментальная настройка обработки контекста около миллиона токенов с DCA и разреженным вниманием, требующая примерно 240 ГБ видеопамяти. К сильным сторонам относятся следование инструкциям, работа с длинным контекстом и инструментами. Ограничение: модель работает только в режиме без рассуждений; обработка около миллиона токенов требует дополнительной настройки и значительных ресурсов.

dragonboat/gemma-4-E4B-it-GGUF — это квантизированная в формате GGUF instruction-tuned версия модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной в представлении Unsloth. Модель предназначена для локального запуска и дообучения, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет около 4,5 млрд эффективных параметров, 42 слоя и контекстное окно до 128K токенов. Она поддерживает обработку текста, изображений и аудио с генерацией текста, а также более 140 языков. Архитектура использует гибридное внимание с чередованием локального sliding window attention и глобального внимания; размер локального окна составляет 512 токенов. Небольшой размер и оптимизация Gemma 4 E4B ориентированы на запуск на ноутбуках, мобильных устройствах и другом локальном оборудовании. К сильным сторонам относятся мультимодальность, длинный контекст, настраиваемый режим рассуждений, улучшенные возможности программирования, нативная поддержка системных инструкций и function calling. Ограничения включают зависимость производительности и качества от используемого GGUF-квантизатора и доступных вычислительных ресурсов; точные параметры квантизации в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-3B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, работы с кодом и математическими задачами, обработки структурированных данных и формирования структурированных ответов, включая JSON. Она может использоваться локально через llama.cpp в формате GGUF. Модель относится к causal language models и содержит 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам. Архитектура основана на transformers и включает RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанные эмбеддинги слов. Она имеет 36 слоёв, 16 attention heads для Q и 2 для KV в конфигурации GQA. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Модель поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинным текстом, кодом, математикой и структурированными форматами. Ограничения включают относительно небольшой размер и максимальный контекст 32 768 токенов для данной GGUF-версии, поэтому производительность и качество зависят от выбранного уровня квантизации. Лицензия указана как qwen-research; дополнительные условия следует уточнять в файле лицензии разработчика.

Qwen2-72B-Instruct-GGUF — крупная языковая модель с 72 миллиардами параметров, разработанная командой Qwen. Это instruction-tuned версия Qwen2, предназначенная для диалогов, генерации и понимания текста, многоязычных задач, программирования, математики и рассуждений. Модель относится к семейству decoder-only языковых моделей и распространяется в формате GGUF для запуска с помощью llama.cpp. Модель построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV-внимании и group query attention. В README указана улучшенная токенизация для нескольких естественных языков и языков программирования, однако точный список языков и размер контекстного окна не приведены. Доступны варианты квантования q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать компромисс между качеством, размером модели и требованиями к памяти. Поддерживается локальный запуск через llama.cpp и совместимый с OpenAI API сервер. К сильным сторонам относятся заявленная конкурентоспособность с проприетарными моделями и высокое качество на задачах понимания, генерации, многоязычности, кодинга, математики и рассуждений. Основные ограничения — очень большой размер, высокие требования к вычислительным ресурсам и возможная потеря качества при агрессивном квантовании. В метаданных указана лицензия other; конкретные условия использования в README не описаны.

Qwen3-30B-A3B-Instruct-2507-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, опубликованная пользователем cyankiwi и основанная на модели Qwen/Qwen3. Исходная модель разработана командой Qwen. Это авторегрессионная языковая модель для генерации текста, диалогов и выполнения инструкций. Модель предназначена для следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и открытых текстовых запросов. Она поддерживает многоязычные сценарии и контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются на запрос; 48 слоёв, 128 экспертов, 8 активируемых экспертов, Grouped Query Attention с 32 головами Q и 4 головами KV. Модель работает только в режиме non-thinking и не формирует блоки <think></think>. Сильные стороны включают улучшенное следование инструкциям, качество рассуждений, программирование, творческое письмо, работу с длинным контекстом и многоязычными данными. Ограничения связаны с использованием только non-thinking режима, возможными ошибками генерации и потерей качества из-за 4-битной квантизации; конкретные требования к аппаратному обеспечению в предоставленных данных не указаны. Лицензия — Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Карточка модели wycliffearapcheruiyot/Qwen3-4B-Instruct-2507 на Hugging Face совпадает с карточкой Qwen/Qwen3-4B-Instruct-2507, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507 — плотная причинно-языковая модель семейства Qwen3, разработанная командой Qwen. Это обновлённая версия Qwen3-4B в режиме без рассуждений: модель обучена следовать инструкциям и вести диалог, а также поддерживает интерфейс вызова инструментов. В репозитории указано 4,0 млрд параметров, метаданные Hugging Face указывают 3,7 млрд; нативная длина контекста составляет 262 144 токена. Модель предназначена для генерации ответов, понимания текста, логических и математических задач, вопросов по естественным наукам, программирования и работы с инструментами. Большое окно контекста подходит для анализа длинных документов и диалогов; заявлена поддержка нескольких языков и улучшенное покрытие редких знаний. Модель принимает текст и выдаёт текст. В README отмечены улучшения следования инструкциям, рассуждений, генерации текста и работы с длинным контекстом. Модель работает только в режиме без рассуждений и не выводит блоки рассуждений. Лицензия — Apache-2.0.

unsloth/Qwen3.5-122B-A10B-GGUF — GGUF-версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen и подготовленной компанией Unsloth с использованием улучшенного алгоритма квантования и imatrix-данных. Модель предназначена для локального запуска, диалогов, программирования, рассуждений, вызова инструментов, работы с агентами и визуального понимания изображений. Это авторегрессионная языковая модель с vision encoder и гибридной архитектурой, объединяющей Gated DeltaNet и разреженную Mixture-of-Experts. Всего модель содержит 122 млрд параметров, из которых при обработке активируется около 10 млрд; используется 256 экспертов, 8 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Модель поддерживает 201 язык и диалект, а также текстовые и визуальные входные данные. К сильным сторонам относятся высокая вычислительная эффективность разреженной архитектуры, поддержка длинного контекста, мультимодальность и оптимизация Unsloth для сценариев общения, программирования, tool calling и агентных задач. GGUF-квантизация позволяет запускать модель локально, однако итоговые требования к памяти, скорость и качество зависят от выбранного варианта квантования и используемого оборудования. README не приводит подробных числовых результатов бенчмарков и не описывает ограничения мультимодальной обработки. Модель распространяется по лицензии Apache-2.0.

karlsencoin/Qwen3.5-9B-GGUF — вариант модели Qwen3.5-9B, разработанной командой Qwen; репозиторий подготовлен с использованием технологий Unsloth и распространяется в формате GGUF для локального запуска. Модель предназначена для генерации и понимания текста, программирования, рассуждений, агентских сценариев и обработки визуальной информации. Это каузальная языковая модель с vision-энкодером и мультимодальным ранним объединением токенов. Она содержит около 9 млрд параметров, 32 слоя и гибридную архитектуру на основе Gated Delta Networks, Gated Attention и разреженной Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Модель поддерживает 201 язык и диалект; заявлены текстовая и визуальная модальности. К сильным сторонам относятся мультимодальное понимание, высокая эффективность архитектуры, поддержка длинного контекста и пригодность для локального инференса. Ограничения конкретной GGUF-сборки, включая точный уровень квантизации, требования к памяти и совместимость с отдельными рантаймами, в README не указаны. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-Base — предварительно обученная плотная языковая модель семейства Spark2.5 от разработчиков Spark-X2.5. Она содержит 3,8 млрд параметров и предназначена для генерации текста, диалогов, написания и перевода текстов, рассуждений, программирования и использования инструментов в агентных сценариях. Гибридная архитектура чередует один слой полного внимания с тремя слоями внимания в скользящем окне, что помогает снизить вычислительные затраты и расход KV-кэша при длинном контексте. Модель поддерживает контекст до 1 048 576 токенов. README заявляет поддержку более 200 языков, включая английский и китайский; метаданные также отмечают интерфейс для вызова инструментов. Веса доступны в формате Safetensors для Transformers. Модель рассчитана на применение в чат-ботах, программировании и агентных системах; совместима с несколькими аппаратными платформами и системами инференса. Лицензия — Apache-2.0. Заявленные в карточке сравнительные преимущества не сопровождаются здесь подробностями оценок; фактическое качество может зависеть от задачи и конфигурации.

Gemma 3 12B IT — мультимодальная instruction-tuned модель семейства Gemma, разработанная Google DeepMind на основе исследований и технологий Gemini. Модель распространяется с открытыми весами и предназначена для взаимодействия по инструкциям с текстом и изображениями, генерируя текстовые ответы. Модель подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа изображений, извлечения визуальной информации и генерации кода. Она принимает текстовые запросы и изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для версии 12B заявлено входное контекстное окно до 128K токенов и максимальный объём генерируемого текста до 8192 токенов. Модель обучалась на данных более чем на 140 языках, включавших веб-документы, код, математические материалы и изображения. К сильным сторонам относятся мультимодальность, большой контекст, многоязычная поддержка и сравнительно компактный размер, позволяющий развёртывать модель на ноутбуках, настольных компьютерах или собственной облачной инфраструктуре при наличии подходящих ресурсов. Ограничения включают зависимость качества от языка, типа задачи и доступных вычислительных ресурсов, а также потенциальные риски, свойственные генеративным моделям. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

cyankiwi/gemma-4-26B-A4B-it-AWQ-8bit — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате AWQ 8bit. Она основана на Google Gemma 4 26B A4B и использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых около 3,8 млрд активируются при обработке запроса. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа изображений и построения агентных сценариев с вызовом функций. Модель принимает текст и изображения и генерирует текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов и использует гибридный механизм внимания с чередованием локального sliding window attention и глобального внимания. В конфигурации MoE предусмотрены 128 экспертов, 8 активных экспертов и один общий эксперт; размер скользящего окна составляет 1024 токена, словарь — 262 тысячи токенов. Поддерживаются настраиваемые режимы рассуждений и системные сообщения. Ключевое преимущество — сочетание возможностей модели класса 26B с вычислительной нагрузкой, близкой к модели примерно на 4 млрд активных параметров, что делает инференс быстрее плотной модели Gemma 4 31B. Большой контекст и поддержка изображений подходят для анализа длинных документов, сложных задач рассуждения, программного кода и визуальных данных. Ограничения включают необходимость совместимого оборудования и программного обеспечения для AWQ 8bit, а также потенциальные ошибки и ограничения, свойственные генеративным мультимодальным моделям; конкретные показатели производительности в предоставленном фрагменте README приведены не полностью. Лицензия — Apache 2.0.

casperhansen/mistral-nemo-instruct-2407-awq — это 4-битная AWQ-квантизированная версия Mistral-Nemo-Instruct-2407, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработали совместно Mistral AI и NVIDIA; она представляет собой instruction-tuned версию Mistral-Nemo-Base-2407 и предназначена для генерации текста, диалогов, следования инструкциям и вызова функций. Модель содержит около 12 млрд параметров и использует архитектуру Transformer с 40 слоями, размерностью 5120, 32 attention heads и 8 key-value heads в конфигурации GQA, активацией SwiGLU и словарём примерно на 128 тысяч токенов. Исходная модель обучалась с контекстом 128K токенов на многоязычных и программных данных; заявлена поддержка девяти языков, включая русский. AWQ-квантизация до 4 бит уменьшает требования к памяти и подходит для локального инференса через Transformers, vLLM и SGLang, но может немного снижать точность относительно исходной версии. Сильные стороны — большой контекст, многоязычность, работа с кодом, поддержка диалогового режима и function calling, а также более экономичный инференс благодаря квантизации. Ограничение исходной модели — отсутствие встроенных механизмов модерации, поэтому её ответы могут требовать дополнительного контроля. Для базовой Mistral-Nemo-Instruct-2407 указана лицензия Apache 2.0; отдельная карточка AWQ-репозитория не содержит дополнительного лицензионного описания.

ybelkada/Mixtral-8x7B-Instruct-v0.1-AWQ — это 4-битно квантованная версия Mixtral 8x7B Instruct v0.1, опубликованная пользователем ybelkada на Hugging Face. Исходную модель разработала Mistral AI. Она предназначена для генерации текста, диалоговых сценариев и выполнения инструкций; поддерживает запуск через Transformers, vLLM и SGLang. В основе лежит decoder-only Transformer с разреженной архитектурой Mixture of Experts: восемь experts примерно по 7B параметров, из которых для каждого токена выбираются два. Всего модель содержит около 47B параметров, но во время обработки токена активно используется около 13B. Контекстное окно исходной модели составляет 32K токенов. Модель обучалась на многоязычных данных и демонстрирует сильные результаты в рассуждениях, математике, генерации кода и многоязычных задачах; версия Instruct дополнительно дообучена следовать инструкциям с использованием supervised fine-tuning и Direct Preference Optimization. Ключевое преимущество этой версии — снижение требований к памяти благодаря AWQ-квантизации до 4 бит при сохранении функциональности исходной модели. Ограничения включают значительный общий объём параметров и соответствующие требования к памяти, а также возможные накладные расходы MoE-маршрутизации; эффективность зависит от совместимого программного обеспечения и GPU. Для исходной Mixtral 8x7B Instruct указана лицензия Apache 2.0, допускающая академическое и коммерческое использование; для конкретного квантованного репозитория условия следует проверять отдельно.

Qwen1.5-4B-Chat — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это бета-версия Qwen2 на архитектуре Transformer с декодером для авторегрессионной генерации текста; в репозитории указано около 3,6 млрд параметров. Модель предназначена для диалогов и генерации текста по запросу. Модель поддерживает несколько естественных языков, а её контекстное окно составляет 32 768 токенов. Карточка описывает улучшенную для разных языков и программного кода токенизацию и отмечает улучшение предпочтений пользователей в чат-сценариях относительно предыдущей версии Qwen. Для запуска рекомендуется Transformers версии 4.37.0 или новее. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с лицензией репозитория. В карточке также отмечено, что при переключении между языками и некоторых других проблемах генерации могут помочь параметры из generation_config.json.

Qwen2.5-3B-Instruct-bnb-4bit — 4-битная версия инструкционно дообученной языковой модели Qwen2.5-3B-Instruct, опубликованная в экосистеме Unsloth на базе модели Qwen от Alibaba Cloud. Это авторегрессионная causal language model для диалогов, генерации и обработки текста, выполнения инструкций, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинными текстами, таблицами и другими структурированными данными, а также относительно низкие требования к памяти благодаря 4-битному квантованию. Ограничения включают меньший размер по сравнению с крупными моделями и возможное снижение точности из-за квантования; конкретные показатели качества для этой версии в README не приведены. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы. Лицензия модели — Apache-2.0.

Qwen3-14B-GGUF — квантизированная версия языковой модели Qwen3-14B, разработанной Qwen и подготовленной в формате GGUF пользователем bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям, многошаговых диалогов, творческого письма, ролевых сценариев, программирования, математических и общеинтеллектуальных задач, а также для агентских сценариев. Модель поддерживает режимы рассуждения и без рассуждения; режим /no_think позволяет отключить рассуждение, добавив эту команду в конец запроса. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов с YaRN, при этом значение по умолчанию — 32 000 токенов. Формат GGUF удобен для локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. К сильным сторонам относятся улучшенные способности к математике, программированию, здравому смыслу и работе с инструкциями, а также поддержка различных режимов генерации и широкого набора языков. Ограничения связаны с возможными неточностями, вредным или неподходящим содержанием, а также с тем, что квантизация и локальная среда выполнения могут влиять на качество и скорость. В README лицензия модели не указана, поэтому условия использования необходимо уточнять по лицензии оригинальной Qwen3-14B и конкретной сборки.