I.11Классификация, ранжирование и сопоставление

Qwen2.5-7B-Instruct-GPTQ-Int4 — квантизированная 4-битная instruction-tuned языковая модель семейства Qwen2.5, разработанная командой Qwen. Модель предназначена для диалоговых приложений, генерации текста, следования инструкциям, работы со структурированными данными и JSON, а также задач программирования и математики. Она поддерживает более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, японский, корейский и арабский. Модель является causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует GQA с 28 головами Q и 4 головами KV. Заявлена длина контекста до 131 072 токенов и генерация до 8192 токенов, однако исходная конфигурация репозитория рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах. Квантизация GPTQ Int4 уменьшает требования к памяти и делает модель более подходящей для локального или эффективного GPU-развёртывания, но может влиять на качество по сравнению с исходной версией в формате bfloat16. Для использования рекомендуется актуальная версия библиотеки Transformers; для длинного контекста рекомендуется vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF — это GGUF-квантизированная версия мультимодальной инструкционной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной в формате GGUF командой Unsloth. Модель предназначена для диалоговых приложений, выполнения инструкций, анализа изображений и текста, программирования, STEM-задач, обработки документов и вызова функций или инструментов. Модель содержит 24 млрд параметров, поддерживает текстовые и визуальные входные данные, а также языки English, French, German, Spanish, Portuguese, Italian, Japanese, Korean, Russian, Chinese, Arabic, Persian, Indonesian, Malay, Nepali, Polish, Romanian, Serbian, Swedish, Turkish, Ukrainian, Vietnamese, Hindi и Bengali. Заявленная длина контекста — до 128K токенов. По сравнению с Mistral-Small-3.1 улучшены следование точным инструкциям, устойчивость к повторяющимся или бесконечным генерациям и надёжность function calling. GGUF-версия включает исправления chat template; для llama.cpp рекомендуется включать режим Jinja. Сильные стороны модели — широкий языковой охват, поддержка зрения, длинный контекст, улучшенные результаты в instruction following, программировании и вызове функций. В опубликованных тестах отдельные показатели зрения немного ниже, чем у версии 3.1, поэтому качество зависит от конкретного типа визуальной задачи. Для запуска требуются совместимые GGUF-инструменты, например llama.cpp или Ollama; рекомендуется низкая температура около 0,15. Модель распространяется по лицензии Apache-2.0.

stelterlab/Qwen3-30B-A3B-Instruct-2507-AWQ — квантизированная версия модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen AI. Это авторегрессионная языковая модель на базе архитектуры Mixture-of-Experts с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке одного токена. Модель содержит 48 слоёв, использует Grouped Query Attention с 32 головами запросов и 4 KV-головами, а также 128 экспертов, из которых активны 8. Контекст поддерживается до 262 144 токенов. Модель предназначена для генерации и понимания текста, следования инструкциям, логического рассуждения, математики, научных и технических задач, программирования, использования инструментов, творческого письма и работы с длинными документами. Она поддерживает множество языков и ориентирована на улучшенное покрытие редких знаний и более качественное выполнение субъективных и открытых заданий. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. В данном репозитории веса преобразованы в формат AWQ с INT4 GEMM с использованием llm-compressor; квантизацию выполнила stelterlab. Это экспериментальная сборка, протестированная с vLLM 0.9.2, поэтому совместимость и качество инференса могут зависеть от используемого программного стека. Квантизация снижает требования к памяти по сравнению с полноточными весами, но может приводить к некоторой потере качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B — постобученная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это причинная языковая модель с визуальным энкодером на 27 млрд параметров, объединяющая Gated Delta Networks и разреженную архитектуру Mixture-of-Experts. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель предназначена для диалогов и рассуждений по тексту и изображениям, программирования, визуального понимания и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов; режим рассуждений включён по умолчанию. Разработчик отмечает высокую эффективность гибридной архитектуры и широкие мультимодальные возможности. Лицензия — Apache-2.0. Для запуска доступны популярные фреймворки инференса; README рекомендует специализированные серверы для производительных нагрузок. Модель крупная, поэтому длинный контекст может требовать значительных ресурсов и при нехватке памяти его рекомендуют уменьшать.

reinforce20001/gemma4-26b-a4b-it-qat-w4a16-ct — квантованная instruction-tuned модель семейства Gemma 4, разработанного Google DeepMind. Она основана на Google Gemma 4 26B A4B и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа изображений с текстом. Модель использует архитектуру Mixture-of-Experts: всего 25,2 млрд параметров, из которых при обработке активируется около 3,8 млрд. Она содержит 30 слоёв, поддерживает контекст до 256K токенов, словарь из 262 тысяч токенов и работает с текстовыми и визуальными входными данными, выдавая текст. Семейство Gemma 4 поддерживает более 140 языков, нативный system prompt, function calling и настраиваемые режимы рассуждений. Гибридное внимание с локальными sliding window и глобальными слоями рассчитано на эффективную работу с длинным контекстом. К сильным сторонам относятся сочетание возможностей крупной модели с вычислительной эффективностью MoE, поддержка длинного контекста, мультимодальность, кодирование, рассуждения и агентские задачи. Суффикс QAT W4A16 указывает на квантованный вариант с 4-битными весами и 16-битными активациями, однако README не содержит подробностей о фактических требованиях к памяти, совместимости или потере качества относительно исходной модели. Модель распространяется по лицензии Apache 2.0.

Llama 3.1 8B Instruct — текстовая генеративная языковая модель Meta, представленная в формате GGUF. Квантованные GGUF-файлы подготовлены несколькими участниками сообщества, включая bartowski, kaetemi и ddh0, а исходная модель — Meta-Llama-3.1-8B-Instruct от Meta. Модель предназначена для ассистентского диалога, генерации и обработки текста, работы с кодом, а также коммерческих и исследовательских сценариев на поддерживаемых языках. Она использует авторегрессионную оптимизированную архитектуру Transformer, Grouped-Query Attention, содержит около 8 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Входом и выходом служит мультиязычный текст; заявленные языки — английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель обучалась на более чем 15 триллионах токенов, а дата отсечения знаний указана как декабрь 2023 года. Сильные стороны модели — большой контекст, относительно компактный размер, оптимизация для диалоговых сценариев и возможность локального использования благодаря формату GGUF. Ограничения включают статичность знаний, текстовую мультимодальность без поддержки изображений и аудио, а также официальное ограничение на использование языков, не перечисленных в карточке. Модель распространяется по кастомной коммерческой лицензии Llama 3.1 Community License; применение также должно соответствовать Acceptable Use Policy и действующему законодательству.

JunHowie/Qwen3-14B-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия большой языковой модели Qwen3-14B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, творческого письма, перевода и многоязычных сценариев, включая интеграцию с внешними инструментами и агентами. Модель использует каузальную языковую архитектуру и содержит около 14,8 млрд параметров, из которых 13,2 млрд приходятся на параметры без учёта эмбеддингов. Она имеет 40 слоёв и групповое многоголовое внимание с 40 головами для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Поддерживаются более 100 языков и диалектов. Qwen3 позволяет переключаться между режимами рассуждения и обычной генерации. Квантизация выполнена в формат GPTQ Int4 с размером группы 128. По данным README, настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизированными версиями, что делает модель более подходящей для ресурсоограниченного развертывания. Для запуска рекомендуется vLLM версии 0.9.2 или новее; также заявлена совместимость с экосистемой vLLM и другими инструментами локального инференса. Ограничения включают возможное снижение точности из-за 4-битной квантизации, а также высокие требования к вычислительным ресурсам при использовании длинного контекста и режима рассуждения. Модель распространяется по лицензии Apache-2.0.

Xing4.0-29B-A4B — большая языковая модель серии Xing, ранее называвшейся TeleChat, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это плотная причинная языковая модель с архитектурой Xing4_0; по README она содержит 29 млрд параметров, из которых активны 4 млрд на токен, а метаданные указывают 6,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст длиной 262 144 токена, который, согласно README, можно расширить до 512 тыс. Модель предназначена для рассуждений, программирования, многошагового планирования и агентных сценариев с вызовом инструментов. Её можно применять для вопросов и ответов по знаниям, понимания таблиц, классификации намерений и аудита контрактов, а также дообучать на данных конкретной предметной области. Для запуска заявлена совместимость с Transformers, vLLM, SGLang и KTransformers; указан формат весов safetensors. Модель разработана и обучалась на Ascend NPU с MindSpore, однако эти сведения сами по себе не ограничивают выбор инфраструктуры для инференса. Карточка не сообщает поддерживаемые естественные языки. Лицензия Apache-2.0. Метаданные и README расходятся в размере модели: 6,5 млрд параметров в метаданных против 29 млрд общих и 4 млрд активных на токен в README.

Hermes-4-14B-AWQ-4bit — квантизированная 4-битная версия языковой модели Hermes 4 14B, разработанной Nous Research на базе Qwen 3 14B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, решения задач по математике, программированию, STEM и логике, творческого письма, структурированного вывода данных, а также сценариев с вызовом функций и использованием инструментов. Модель поддерживает гибридный режим рассуждений: при необходимости формирует сегменты <think>…</think>, а в быстром режиме может отвечать без длительного рассуждения. Она обучена следовать инструкциям, соблюдать заданные JSON-схемы и исправлять некорректные структурированные объекты. Для взаимодействия используется формат ChatML; заявлена поддержка английского языка. Архитектура основана на Qwen 3 14B, однако точная длина контекста в README не указана. Мультимодальные возможности не заявлены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, качество форматирования, управляемость и поддержка function calling и tool use. К ограничениям относятся зависимость качества от корректного применения ChatML-шаблона и инструментов, а также возможные компромиссы 4-битной квантизации по сравнению с полноточной версией; конкретные результаты бенчмарков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Mistral-Small-4-119B-2603-heretic-gguf — набор GGUF-квантизаций модели Mistral Small 4 119B 2603 Heretic. Базовая модель разработана Mistral AI, а heretic-версия опубликована darkc0de; данный репозиторий содержит варианты для запуска в формате GGUF. Модель построена на архитектуре Mistral4 с разреженной MoE-структурой и MLA attention: всего 119 млрд параметров, из которых 6,5 млрд активируются на каждом токене, используются 128 экспертов, 4 из них активны одновременно. Модель предназначена для диалогов, генерации и анализа текста, агентских сценариев, вызова функций с JSON-выводом, задач рассуждения и обработки изображений с формированием текстового ответа. Поддерживаются быстрый режим и режим рассуждения с дополнительными вычислениями во время вывода, а также контекст до 256 тысяч токенов. Заявлена мультимодальность с входными данными в виде текста и изображений. Указана поддержка множества языков, включая английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский, арабский, украинский, хинди и другие. К сильным сторонам относятся большой контекст, сочетание мультимодальности, рассуждения, function calling и агентских возможностей, а также высокая скорость за счёт MoE-архитектуры. Heretic-версия характеризуется меньшим числом отказов по сравнению с исходной моделью по приведённой статистике, однако конкретное поведение и качество зависят от выбранной квантизации. Доступны варианты от BF16 до Q2_K размером примерно от 221,6 до 40,4 GiB; рекомендуемым обозначен Q4_K_M. Лицензия Apache 2.0 допускает коммерческое и некоммерческое использование.

Qwen2.5-3B-Instruct-bnb-4bit — 4-битная версия инструкционно дообученной языковой модели Qwen2.5-3B-Instruct, опубликованная в экосистеме Unsloth на базе модели Qwen от Alibaba Cloud. Это авторегрессионная causal language model для диалогов, генерации и обработки текста, выполнения инструкций, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит около 3,09 млрд параметров, из которых 2,77 млрд не относятся к эмбеддингам, и включает 36 слоёв. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV и связанные эмбеддинги слов; применяется Grouped Query Attention с 16 головами для Q и 2 для KV. Полная длина контекста составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживается более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенное следование инструкциям, работа с длинными текстами, таблицами и другими структурированными данными, а также относительно низкие требования к памяти благодаря 4-битному квантованию. Ограничения включают меньший размер по сравнению с крупными моделями и возможное снижение точности из-за квантования; конкретные показатели качества для этой версии в README не приведены. Для работы рекомендуется актуальная версия библиотеки transformers; версии ниже 4.37.0 могут быть несовместимы. Лицензия модели — Apache-2.0.

Qwen3-14B-GGUF — квантизированная версия языковой модели Qwen3-14B, разработанной Qwen и подготовленной в формате GGUF пользователем bartowski на основе llama.cpp. Модель предназначена для генерации текста, следования инструкциям, многошаговых диалогов, творческого письма, ролевых сценариев, программирования, математических и общеинтеллектуальных задач, а также для агентских сценариев. Модель поддерживает режимы рассуждения и без рассуждения; режим /no_think позволяет отключить рассуждение, добавив эту команду в конец запроса. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов с YaRN, при этом значение по умолчанию — 32 000 токенов. Формат GGUF удобен для локального запуска через совместимые инструменты, включая llama.cpp и LM Studio. К сильным сторонам относятся улучшенные способности к математике, программированию, здравому смыслу и работе с инструкциями, а также поддержка различных режимов генерации и широкого набора языков. Ограничения связаны с возможными неточностями, вредным или неподходящим содержанием, а также с тем, что квантизация и локальная среда выполнения могут влиять на качество и скорость. В README лицензия модели не указана, поэтому условия использования необходимо уточнять по лицензии оригинальной Qwen3-14B и конкретной сборки.

cyankiwi/Qwen3.5-122B-A10B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Она распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженную Mixture-of-Experts. Общее число параметров составляет 122 млрд, из которых при обработке активируется около 10 млрд. Архитектура включает 48 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общий активный эксперт. Нативная длина контекста — 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. К сильным сторонам относятся мультимодальность, большой контекст, высокая вычислительная эффективность разреженной архитектуры и возможность локального запуска благодаря AWQ-квантизации. Ограничения включают потенциальные потери качества и точности, характерные для 4-битного представления, а также повышенные требования к памяти и инфраструктуре по сравнению с меньшими моделями. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Thinking-unsloth-bnb-4bit — это 4-битная версия мультимодальной vision-language модели Qwen3-VL-8B-Thinking, подготовленная Unsloth на основе модели Qwen/Qwen3-VL-8B-Thinking. Разработчик базовой модели — команда Qwen; Unsloth предоставляет оптимизированное квантование Unsloth Dynamic 2.0. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального рассуждения, анализа документов, OCR, STEM- и математических задач, пространственного анализа, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться для генерации HTML/CSS/JS и Draw.io по изображениям или видео, распознавания объектов и событий, анализа длинных документов и видео. Архитектура модели — dense, размер — 8B параметров; используется редакция Thinking с усиленным рассуждением. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а также видео с временной индексацией. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка. Квантование в 4 бита снижает требования к памяти, но может влиять на точность по сравнению с полноразмерными весами. Лицензия — Apache-2.0.

Карточка модели 21g/Xing4.0-29B-A4B на Hugging Face совпадает с карточкой XingChen-AGI/Xing4.0-29B-A4B, поэтому описание составлено по ней. Xing4.0-29B-A4B — большая языковая модель серии Xing, ранее называвшейся TeleChat, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это плотная причинная языковая модель с архитектурой Xing4_0; по README она содержит 29 млрд параметров, из которых активны 4 млрд на токен, а метаданные указывают 6,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст длиной 262 144 токена, который, согласно README, можно расширить до 512 тыс. Модель предназначена для рассуждений, программирования, многошагового планирования и агентных сценариев с вызовом инструментов. Её можно применять для вопросов и ответов по знаниям, понимания таблиц, классификации намерений и аудита контрактов, а также дообучать на данных конкретной предметной области. Для запуска заявлена совместимость с Transformers, vLLM, SGLang и KTransformers; указан формат весов safetensors. Модель разработана и обучалась на Ascend NPU с MindSpore, однако эти сведения сами по себе не ограничивают выбор инфраструктуры для инференса. Карточка не сообщает поддерживаемые естественные языки. Лицензия Apache-2.0. Метаданные и README расходятся в размере модели: 6,5 млрд параметров в метаданных против 29 млрд общих и 4 млрд активных на токен в README.

Hermes-4-405B-GGUF — это крупная языковая модель в формате GGUF, разработанная Unsloth на основе Hermes 4 405B от Nous Research, который, в свою очередь, базируется на Llama 3.1 405B. Модель предназначена для диалоговых ассистентов, генерации и анализа текста, программирования, математики, STEM-задач, логики, творческого письма, ролевого взаимодействия, вызова функций и работы с инструментами. Модель поддерживает гибридный режим рассуждений: при необходимости она может формировать отдельные сегменты <think>...</think>, а также работать в более быстром режиме без длительного рассуждения. Она обучена следовать схемам и создавать структурированные ответы, включая валидный JSON и исправление некорректных объектов. Заявлена поддержка длинного контекста, формата чата Llama 3 и шаблонов ChatML; основной заявленный язык — английский. Для llama.cpp рекомендуется использовать режим шаблонов Jinja. К сильным сторонам относятся улучшенные рассуждения, математика, код, логика, соблюдение форматов, управляемость, вызов инструментов и сниженный уровень необязательных отказов. Из ограничений следует учитывать очень большой размер модели 405B, который предполагает значительные требования к памяти и вычислительным ресурсам; конкретные параметры контекстного окна, сведения о квантизации и детальные характеристики модальностей в README не указаны. Лицензия обозначена как llama3.

ThomasBaruzier/Qwen2.5-32B-Instruct-GGUF — набор GGUF-квантизаций инструкционно дообученной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантизации созданы с использованием llama.cpp и метода imatrix на основе оригинальной модели Qwen/Qwen2.5-32B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, написание длинных текстов, работу со структурированными данными и генерацию структурированных ответов, в том числе JSON. Также заявлены улучшенные возможности в программировании и математике. Поддерживаются более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это текстовая модель без заявленной поддержки изображений или других немодальных входов. Архитектура — causal language model на базе transformers с RoPE, SwiGLU, RMSNorm и bias в Attention QKV; 32,5 млрд параметров, 64 слоя, 40 Q- и 8 KV-голов внимания с GQA. Полный контекст составляет 131 072 токена, максимальная длина генерации — 8192 токена. Доступно множество вариантов квантизации размером примерно от 6,9 до 33,2 ГБ; более компактные варианты снижают требования к памяти, но могут уступать полноразмерной F16-версии по качеству. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-GGUF — квантованная версия инструкционной языковой модели Qwen2.5-72B-Instruct, разработанной командой Qwen. Формат GGUF подготовлен bartowski на основе llama.cpp, поэтому модель предназначена для локального запуска в совместимых инструментах, включая LM Studio, и относится к моделям генерации текста и диалогового взаимодействия. Модель рассчитана на общение по инструкциям, генерацию и обработку текста, а также работу со структурированными данными. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Поддерживается контекст до 128 000 токенов с настройками YaRN RoPE и генерация до 8 000 токенов. В обучении использовался набор данных объёмом 18 триллионов токенов. К сильным сторонам относятся большой размер модели, широкий языковой охват, поддержка длинного контекста и улучшенная работа со структурированной информацией. Ограничения связаны с тем, что это GGUF-квантизация: конкретный уровень точности, требования к памяти и возможные компромиссы между качеством и производительностью в README не указаны. Как и другие генеративные модели, она может создавать неточную, вредную или вводящую в заблуждение информацию. Лицензия обозначена как Qwen; точные условия следует уточнять в лицензии оригинальной модели Qwen2.5-72B-Instruct.

Qwen3.5-397B-A17B-GPTQ-Int4 — это квантизированная 4-битная версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen. Модель представлена в формате Hugging Face Transformers и предназначена для обработки текста и изображений, генерации ответов, рассуждений, программирования, визуального понимания и агентских сценариев. Модель сочетает языковую модель с vision encoder, гибридную архитектуру Gated Delta Networks и Gated Attention со sparse Mixture-of-Experts. Она содержит 397 млрд параметров, из которых 17 млрд активируются при обработке токена, 60 слоёв и 512 экспертов, при этом используются 10 маршрутизируемых и один общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Квантизация GPTQ Int4 снижает требования к памяти и может повысить эффективность инференса, но потенциально ограничивает точность по сравнению с полноразмерными весами. Весовые файлы совместимы с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о требованиях к оборудованию, фактической производительности или ограничениях качества, поэтому эти характеристики следует оценивать отдельно для конкретной инфраструктуры и задач.

unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit — 4-битная версия инструкционной causal language model Qwen3-Next-80B-A3B-Instruct, опубликованная Unsloth на основе модели Qwen. Она предназначена для генерации текста по инструкциям, решения задач на знания и рассуждения, программирования, написания текстов, многоязычных сценариев и агентских задач с вызовом функций. Модель работает только в instruct-режиме и не формирует блоки <think></think>. Архитектура сочетает Hybrid Attention на основе Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на токен; число слоёв — 48, экспертов — 512, активных экспертов — 10. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Указаны обучение на 15 трлн токенов, Multi-Token Prediction и оптимизации стабильности. 4-битное представление снижает требования к памяти по сравнению с полной версией, однако README не приводит точные требования к оборудованию и сведения о поддерживаемых языках. Сильные стороны модели — высокая параметрическая эффективность, потенциально высокая скорость инференса, работа с очень длинным контекстом и результаты, сопоставимые с более крупной Qwen3-235B-A22B-Instruct-2507 на отдельных тестах. Ограничение состоит в том, что модель предназначена только для инструкционного, нерассуждающего режима; характеристики конкретной 4-битной квантованной сборки могут отличаться от результатов исходной модели. Лицензия — Apache-2.0.

Spark-X2.5-4B — компактная универсальная языковая модель от XHToken, представленная в виде дообученного чекпойнта для Transformers. Она содержит 3,8 млрд параметров и использует плотную архитектуру Spark2_5 с чередованием одного слоя полного внимания и трёх слоёв скользящего оконного внимания. Модель рассчитана на контекст до 1 048 576 токенов и, по заявлению разработчиков, поддерживает более 200 языков. Модель предназначена для диалога, написания и перевода текстов, рассуждений, программирования, следования инструкциям, вызова инструментов и агентных сценариев. Разработчики сообщают о предварительном обучении на примерно 20 трлн токенов и последующем дообучении с учителем и усилением; веса доступны в формате Safetensors и совместимы с Transformers. Для эксплуатации заявлена поддержка нескольких аппаратных платформ и сред инференса, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Модель распространяется по лицензии Apache-2.0. Окно в миллион токенов требует достаточной памяти устройства; в README советуют уменьшить длину контекста при нехватке памяти. Заявления о сравнительных результатах принадлежат разработчикам и зависят от режима оценки и настроек генерации.

Command A+ — открытая мультимодальная модель Cohere и Cohere Labs для диалогов, агентных сценариев и задач, требующих рассуждений. Эта версия представлена в формате BF16; её архитектура — декодерный трансформер со sparse Mixture-of-Experts: 218 млрд параметров всего, из которых 25 млрд активны, 128 экспертов и 8 активных экспертов на токен. Модель принимает текст и изображения и генерирует текст; поддерживает вызов внешних инструментов в диалоге. Модель рассчитана на многоязычные сценарии и обучение охватывает 48 языков, включая русский, английский, арабский, хинди, японский и китайский. Контекст составляет до 128 тысяч входных и 64 тысяч выходных токенов. Веса распространяются по лицензии Apache 2.0. Для запуска указаны Transformers с необходимыми изменениями из исходного репозитория либо vLLM версии 0.21.0 или выше; для корректного разбора ответов в vLLM требуется библиотека Cohere Melody. BF16-версия требует значительных GPU-ресурсов: в карточке приведены конфигурации от четырёх B200 или восьми H100.

ERNIE-4.5-300B-A47B-Paddle — текстовая языковая модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Это модель типа Mixture of Experts: всего 300 млрд параметров, из которых для каждого токена активируется около 47 млрд; архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, понимания текста и генерации ответов; контекстное окно составляет 131 072 токена. В карточке также описаны мультимодальное обучение ERNIE 4.5 и визуальные варианты семейства, однако данный чекпойнт обозначен как текстовая модель. Для запуска и дообучения предусмотрены инструменты PaddlePaddle и ERNIEKit. Модель распространяется по лицензии Apache-2.0.

Gemma-SEA-LION-v4-27B-IT-GGUF — квантованная GGUF-версия Gemma-SEA-LION-v4-27B-IT, разработанная подразделением AI Products Pillar компании AI Singapore при финансировании Singapore NRF. Это decoder-модель семейства SEA-LION (Southeast Asian Languages In One Network), ориентированная на задачи для Юго-Восточной Азии. Модель предназначена для генерации и понимания текста, диалоговых сценариев, обработки документов, визуальных вопросов и ответов, рассуждений по изображениям, вызова функций и формирования структурированных ответов. Модель имеет 27B параметров и контекстное окно до 128K токенов. Она поддерживает текст и изображения, использует токенизатор Gemma 3 27B Instruct и обучалась на бирманском, английском, индонезийском, кхмерском, лаосском, малайском, китайском, тагальском, тамильском, тайском и вьетнамском языках. Квантованные варианты Q4_K_M, Q8_0 и BF16 снижают требования к памяти и совместимы с различными движками инференса, включая llama.cpp; вариант Q4_K_M может запускаться на ноутбуке с 16 ГБ памяти через Ollama. Сильными сторонами являются специализация на языках и сценариях Юго-Восточной Азии, большой контекст, мультимодальность и поддержка интеграции в системы через function calling и structured outputs. Ограничения включают зависимость производительности и требований к памяти от выбранного варианта квантования, а также отсутствие выравнивания по безопасности: разработчикам и пользователям необходимо самостоятельно применять safety fine-tuning и дополнительные меры защиты. Лицензия — Gemma Terms of Use.

Qwen3-VL-235B-A22B-Thinking-FP8 — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия модели Qwen3-VL-235B-A22B-Thinking с мелкозернистым квантованием и размером блока 128; согласно README, её показатели почти идентичны оригинальной версии BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального восприятия и рассуждений, анализа документов, OCR, пространственного анализа, STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться для распознавания содержимого изображений, понимания длительных видеоматериалов, генерации HTML/CSS/JS и Draw.io по визуальным примерам, а также для задач визуального агента. Ключевые характеристики включают архитектуру Qwen3-VL с Thinking-режимом, мультимодальную обработку текста, изображений и видео, нативный контекст до 256K токенов с возможностью расширения до 1M, улучшенное временное и пространственное рассуждение, механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильными сторонами являются визуальное рассуждение, понимание пространственных и временных связей, обработка длинного контекста и близкая к BF16 производительность при FP8-представлении. Ограничение — прямую загрузку весов через Transformers README не поддерживает; рекомендуется развёртывание с помощью vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

AI21 Jamba Large 1.6 — большая языковая модель для следования инструкциям, разработанная AI21. Она использует гибридную архитектуру Jamba, объединяющую Mamba (SSM) и Transformer, и предназначена для генерации текста и диалогов, в том числе для бизнес-сценариев с вызовом функций, структурированным выводом JSON и генерацией ответов с опорой на предоставленные данные. Модель имеет 94 млрд активных и 398 млрд общих параметров и контекстное окно 256 тысяч токенов. В README заявлена поддержка английского, испанского, французского, португальского, итальянского, нидерландского, немецкого, арабского и иврита. Для запуска требуется CUDA; в качестве способа эффективного инференса рекомендован vLLM. Модель распространяется по Jamba Open Model License, допускающей исследовательское и коммерческое использование на условиях лицензии. Указанная в карточке дата отсечения знаний — 5 марта 2024 года.

gemma-4-E4B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на ноутбуках и производительных мобильных устройствах, а также для исследовательских и прикладных сценариев с использованием llama.cpp. Модель поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, OCR, анализ изображений и видеокадров, function calling и настраиваемый режим рассуждений. Модель имеет около 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, использует Quantization-Aware Training, Per-Layer Embeddings и гибридное внимание с 512-токенным скользящим окном в 42 слоях. В состав входят vision encoder примерно на 150 млн параметров и audio encoder примерно на 300 млн параметров. Заявлены контекст до 128 тысяч токенов, словарь на 262 тысячи токенов и поддержка более 140 языков, включая английский. Доступны версии GGUF с точностью от Q2_K до Q8_0, а также BF16, F16 и F32; размер файлов зависит от варианта и составляет примерно от 4,38 до 29,9 ГБ, не считая multimodal-проектора. Сильными сторонами являются сочетание мультимодальности, большого контекста, локального исполнения и сниженных требований к памяти благодаря QAT при сохранении качества, близкого к bfloat16. Ограничения включают значительные аппаратные требования для высокоточных вариантов и зависимость мультимодальных возможностей от совместимого программного обеспечения и projector-файла. Модель распространяется по лицензии Apache-2.0.

furiosa-ai/gpt-oss-120b — адаптация открытой весовой модели OpenAI gpt-oss-120b, подготовленная для запуска на аппаратных ускорителях FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая модель на архитектуре Mixture-of-Experts (MoE), предназначенная для универсальной генерации текста и задач, требующих углублённого рассуждения, включая рабочие производственные сценарии. Модель принимает и генерирует текст, поддерживает английский язык и работает в формате harmony response format, отделяющем рассуждения от итогового ответа. Доступна настройка глубины рассуждения с помощью параметра reasoning_effort со значениями low, medium и high. Также поддерживается вызов инструментов и функций через OpenAI-совместимый API. Экспертные веса MoE квантизованы в MXFP4, а компоненты attention, router и embeddings сохраняются в более высокой точности. Для запуска на RNGD используется tensor parallelism с 32 вычислительными элементами, что соответствует четырём картам RNGD. Ключевое ограничение — описанная в README сборка ориентирована на Furiosa-LLM и оборудование FuriosaAI RNGD, хотя исходная модель также может работать с другими фреймворками. Модель распространяется по лицензии Apache 2.0.

JoyAI-LLM Flash — среднеразмерная инструкционная языковая модель, разработанная командой JD/JDopensource. Она предназначена для генерации текста, ответов на вопросы, работы со знаниями, рассуждений, программирования, использования инструментов и автономного решения задач. Модель обучалась на 20 триллионах текстовых токенов с применением оптимизатора Muon, а затем прошла supervised fine-tuning, direct preference optimization и reinforcement learning в различных средах. Заявлена поддержка китайского и английского языков. Модель использует архитектуру Mixture-of-Experts с 48 миллиардами общих и 3 миллиардами активируемых параметров. Она содержит 40 слоёв, включая один dense-слой, 32 attention heads, 256 экспертов, из которых для каждого токена выбираются 8, и один shared expert. Используются attention-механизм MLA, активация SwiGLU, словарь примерно на 129 тысяч токенов и контекст длиной до 128K токенов. Среди заявленных особенностей — FiberPO для повышения устойчивости обучения агентов и методы совместной оптимизации обучения и инференса, обеспечивающие заявленный прирост пропускной способности в 1,3–1,7 раза относительно версии без MTP. README указывает лицензию Modified MIT. Конкретные ограничения, требования к оборудованию и условия коммерческого использования отдельно не описаны.

Llama-Krikri-8B-Instruct-GGUF — инструкционная большая языковая модель, разработанная ILSP на основе Llama 3.1 8B. Модель ориентирована прежде всего на греческий язык, сохраняя двуязычные возможности для греческого и английского. Она создана с помощью дополнительного предварительного обучения на корпусе объёмом 91 млрд токенов с последующим увеличением эффективного объёма до 110 млрд токенов, а также многоэтапного дообучения на инструкциях и предпочтениях пользователей. Модель предназначена для диалогов, следования инструкциям, генерации, понимания, редактирования и суммаризации текста, анализа тональности и сущностей, перевода между греческим и английским, французским, немецким, итальянским, португальским и испанским языками. Также заявлены применение в юридических, финансовых, медицинских и научных сценариях, Retrieval-Augmented Generation по нескольким документам, структурированное преобразование данных в XML или JSON, программирование, использование инструментов и агентские задачи. Модель имеет архитектурную основу Llama 3.1 8B, расширенный токенизатор с греческими токенами и контекстное окно 128 тысяч токенов, что соответствует примерно 80 тысячам греческих слов. В обучающих данных представлены греческие, английские, параллельные, математические и программные тексты; постобучение проводилось на греческих и английских инструкциях, многошаговых диалогах и preference triplets с применением Length Normalized DPO. К сильным сторонам относятся специализация на греческом языке, поддержка английского, длинный контекст и широкий набор текстовых и структурированных задач. Ограничения, точные показатели качества и требования к аппаратному обеспечению в README не указаны. Лицензия обозначена как llama3.1.