I.11Классификация, ранжирование и сопоставление

QuantFactory/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — квантизированная версия Llama-3.1-Nemotron-Nano-8B-v1, созданная QuantFactory с использованием llama.cpp на основе модели NVIDIA. Это текстовая reasoning- и chat-модель для генерации текста, решения математических и программных задач, рассуждений, instruction following, RAG, tool calling, чат-ботов и AI-агентов. Модель предназначена для локального использования и помещается на одной RTX GPU. Архитектура — плотный decoder-only Transformer семейства Llama 3.1, размер — 8B параметров. Модель работает только с текстом, поддерживает контекст до 131 072 токенов и генерирует текст. Основной язык — английский, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также языков программирования. Reasoning mode управляется системным промптом; для режима рассуждений рекомендуются temperature 0.6 и top_p 0.95, для обычного режима — greedy decoding. Сильные стороны модели — сочетание качества рассуждений, поддержки чата, RAG и вызова инструментов с умеренными требованиями к вычислительным ресурсам и возможностью локального запуска. Ограничения включают текстовую модальность, зависимость поведения от правильной настройки reasoning mode и возможные особенности качества, связанные с квантизацией GGUF; конкретный уровень квантизации в README не указан. Использование регулируется NVIDIA Open Model License; также указана дополнительная Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

casperhansen/mistral-small-24b-instruct-2501-awq — это 4-битная AWQ-квантизованная версия Mistral-Small-24B-Instruct-2501. Исходную модель разработала Mistral AI, а квантизованные веса опубликованы пользователем casperhansen. Это instruction-tuned большая языковая модель для генерации текста, диалоговых агентов, вызова функций, локального инференса и последующей адаптации под специализированные задачи. Модель содержит около 24 млрд параметров и использует архитектуру MistralForCausalLM: 40 скрытых слоёв, 32 attention heads и 8 key-value heads. Максимальный контекст — 32 768 токенов. Модель работает с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Квантизация AWQ в формате INT4 уменьшает требования к памяти и делает локальное развёртывание практичнее, но может снижать точность по сравнению с исходными полноразмерными весами. Сильные стороны — относительно компактный для своего класса размер, поддержка многоязычной генерации, инструкций и function calling, а также возможность локального использования. Ограничения включают текстовую модальность, зависимость качества от выбранного 4-битного квантования и отсутствие подробной отдельной model card для этого производного репозитория. Для исходной Mistral-Small-24B-Instruct-2501 указана лицензия Apache 2.0; точные условия использования производного репозитория следует проверять по его метаданным.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.

tripolskypetr/gemma-4-it-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B-it, основанной на google/gemma-4-31B-it. Семейство Gemma разработано Google DeepMind, а данный вариант опубликован в формате GGUF для удобного локального запуска и квантования, в том числе с использованием инструментов Unsloth. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и работы с изображениями. Она принимает текстовые и графические данные и генерирует текст; заявлена поддержка более 140 языков. Для управления поведением поддерживаются системные сообщения, режимы рассуждения и нативный function calling. Это плотная архитектура с 30,7 млрд параметров, 60 слоями и словарём размером 262 тысячи токенов. Используется гибридное внимание с чередованием локального скользящего окна размером 1024 токена и глобального внимания; максимальная длина контекста составляет 256 тысяч токенов. В состав входят визуальный энкодер примерно на 550 млн параметров. Большой размер модели и мультимодальность обеспечивают широкие возможности, но требуют значительных вычислительных ресурсов, поэтому локальное развертывание зависит от доступной памяти и выбранного варианта квантования. Модель распространяется по лицензии Apache 2.0.

Changgil/google-gemma-3-27b-it-text — текстовая адаптация Gemma 3 от Google DeepMind, представленная Changgil. Из модели удалены компоненты обработки изображений, при этом сохранена генерация текста; архитектура — плотная Gemma 3 для авторегрессионной генерации, размер — 28,3 млрд параметров. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для диалогов, ответов на вопросы, суммаризации и рассуждений по текстовым запросам и документам. Она поддерживает контекст до 131 072 токенов и, согласно README, более 140 языков; максимальная длина генерации в README указана как 8 192 токена. Принимает и выдаёт только текст. Лицензия — Gemma License; удаление визуальных компонентов позволяет использовать текстовый вариант там, где обработка изображений не нужна.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

Ministral-3-Instruct-2512-AIO-GGUF — набор квантованных моделей в формате GGUF, опубликованный prithivMLmods на основе семейства Ministral 3 Instruct от Mistral AI. В набор входят варианты на 3B, 8B и 14B параметров, совместимые с llama.cpp и интеграциями через Transformers. Модели предназначены для локального и эффективного запуска на устройствах с ограниченными ресурсами. Это мультимодальные vision-language модели для работы с текстом и изображениями. Они поддерживают анализ изображений, генерацию описаний, понимание документов, извлечение данных, перевод, краткую генерацию контента и агентские сценарии с function calling и JSON-выводом. Заявлено контекстное окно до 256K токенов и поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура включает языковую модель и vision encoder примерно на 0,4B параметров. Сильные стороны набора — разнообразие размеров и уровней квантования, поддержка мультимодальных задач, многоязычность, следование системным инструкциям и возможность локального развертывания. Компромиссом квантованных вариантов могут быть снижение точности и качества по сравнению с полноразмерными версиями; требования к памяти зависят от размера модели и выбранного формата. Доступ предоставляется по лицензии Apache 2.0.

Mistral-Small-3.1-24B-Instruct-2503-GGUF — текстовая инструкционная модель, разработанная Mistral AI и распространяемая в формате GGUF. Квантование подготовлено bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и задач, требующих продвинутого рассуждения. Модель поддерживает контекст длиной до 128 тысяч токенов и множество языков, включая английский, французский, немецкий, греческий, хинди, индонезийский, итальянский, японский, корейский, малайский, непальский, польский, португальский, румынский, русский, сербский, испанский, шведский, турецкий, украинский, вьетнамский, арабский, бенгальский, китайский и фарси. Указанная версия является текстовой и не поддерживает другие модальности. Размер базовой модели — 24B параметров. К сильным сторонам относятся широкий языковой охват, длинный контекст и ориентация на агентские и сложные задачи рассуждения. Ограничения включают текстовую специализацию, возможные ошибки, неточности и нежелательные ответы, типичные для генеративных моделей, а также зависимость производительности и качества от выбранного варианта квантования и аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation и представленная в квантованном формате NVFP4. Она предназначена для генерации текста, решения задач с рассуждением и без него, программирования, математических и научных задач, а также создания специализированных AI-агентов. Модель может сначала формировать рассуждение, а затем итоговый ответ; этот режим настраивается через флаг в chat template. Отключение промежуточных рассуждений уменьшает задержку, но может немного снизить точность на сложных запросах. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, 6 attention-слоёв, по 128 экспертов и одному общему эксперту в каждом MoE-слое, при этом на каждый токен активируются 6 экспертов. Всего модель содержит 30 млрд параметров, из которых активно около 3,5 млрд, что повышает эффективность инференса. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами модели являются сочетание reasoning и обычной генерации, высокая вычислительная эффективность за счёт разреженной активации экспертов и пригодность для коммерческих сценариев. NVFP4-квантизация может снизить требования к памяти по сравнению с полноформатными вариантами, однако в приведённых оценках она уступает BF16-версии на ряде задач. Модель обучалась на данных с отсечками июня 2025 года для предобучения и ноября 2025 года для post-training, поэтому её знания могут быть неполными или устаревшими. Использование регулируется NVIDIA Nemotron Open Model License.

RedHatAI/Qwen3-4B-Instruct-2507-quantized.w8a8 — это квантизированная версия языковой модели Qwen/Qwen3-4B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель построена на архитектуре Qwen3ForCausalLM, работает с текстом на входе и генерирует текст на выходе. Размер базовой модели — 4 млрд параметров; поддерживается контекст до 262 144 токенов в конфигурации развертывания, указанной в README. Модель предназначена для рассуждений, следования многоязычным инструкциям, перевода и function calling. Её также можно адаптировать под предметные области с помощью дообучения. Языки перечислены обобщённо как многоязычные, без указания конкретного набора языков. Поддерживается эффективное развертывание через vLLM, включая OpenAI-совместимый API. Веса и активации линейных операторов в блоках Transformer квантизированы в INT8; применяются SmoothQuant и GPTQ. Это примерно вдвое снижает требования к памяти и размер модели на диске, а также может увеличить пропускную способность матричных умножений примерно в 2 раза. Ограничение модели — использование квантованного представления и текстовая модальность; сведения о конкретном влиянии квантования на качество и подробные результаты оценки в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-27B-FP8 — мультимодальная причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-27B с весами и конфигурацией для Hugging Face Transformers; также заявлена совместимость с vLLM, SGLang и KTransformers. Модель предназначена для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель использует языковую часть на 27 млрд параметров и vision encoder. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; предусмотрено многократное обучение предсказанию следующих токенов. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. FP8-квантизация выполнена с блочным размером 128, при этом, согласно README, показатели производительности близки к исходной модели. Сильными сторонами являются мультимодальность, большой контекст, широкая языковая поддержка и потенциально более эффективный инференс благодаря гибридной архитектуре и FP8-представлению. Ограничения конкретной версии, включая фактическое качество на отдельных задачах, требования к аппаратному обеспечению и особенности работы с изображениями, в README подробно не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-BF16-INT4-W4A16-G32-AutoRound — мультимодальная языковая модель на базе Qwen3.8 Vision-Language Model, подготовленная goldhub с использованием AutoRound. Базовую архитектуру и мультимодальные возможности разработала команда Qwen. Модель предназначена для генерации и анализа текста, программирования, математических и логических рассуждений, творческих задач, а также обработки изображений и видео. Модель содержит 27 миллиардов параметров и использует квантизацию W4A16: веса представлены в 4 битах, активации — в 16 битах, размер группы — 32, применяется симметричная квантизация. Критические компоненты, включая визуальный энкодер, эмбеддинги и отдельные проекции attention, сохранены в FP16/BF16. Заявлена поддержка контекста до 256K токенов, Multi-Token Prediction, а также входных данных в форматах текст, изображение и видео. Указаны языки: английский, китайский, русский, украинский, греческий и иврит. Сильными сторонами являются сочетание мультимодальности, длинного контекста и сниженных требований к памяти по сравнению с полноразмерной моделью. README приводит результаты внутренних тестов по скорости, математике, рассуждениям, программированию и длинному контексту, однако их независимое подтверждение не представлено. К ограничениям относятся повышенные требования к видеопамяти из-за сохранённых слоёв FP16/BF16, необходимость аккуратной настройки батчинга для длинного контекста и потенциальная зависимость запуска от поддержки AutoRound, vLLM, SGLang или remote code. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-32B-Instruct-GGUF — мультимодальная модель семейства Qwen, разработанная командой Qwen. Репозиторий содержит веса модели Qwen3-VL-32B-Instruct в формате GGUF: языковую часть в вариантах FP16, Q8_0 и Q4_K_M и vision encoder в вариантах FP16 и Q8_0. Модель предназначена для обработки текста и изображений, а также для понимания видео, включая визуальные вопросы и ответы, OCR, анализ документов, пространственное рассуждение, STEM-задачи, визуальное программирование и взаимодействие с графическими интерфейсами через инструменты. Ключевые возможности включают расширенное визуальное восприятие, распознавание объектов и текста, анализ пространственных отношений, понимание длительных видеопоследовательностей и генерацию кода или разметки по изображениям и видео. Заявлен нативный контекст до 256 тысяч токенов с возможностью расширения до 1 миллиона. OCR поддерживает 32 языка. В архитектуре используются Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками, улучшающие обработку пространственных, временных и мелких визуальных деталей. Модель совместима с llama.cpp, Ollama и другими инструментами экосистемы GGUF и может запускаться на CPU, NVIDIA GPU, Apple Silicon и Intel GPU. Разные уровни точности позволяют выбирать компромисс между качеством, скоростью и требованиями к памяти, однако модель размером 32B может предъявлять значительные аппаратные требования, а квантование способно снижать точность. Для работы рекомендуется актуальная версия llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-8B-Instruct-FP8 — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-8B-Instruct с мелкозернистой квантизацией и размером блока 128; согласно README, её показатели почти идентичны исходной версии BF16. Модель предназначена для обработки текста, изображений и видео, генерации ответов по визуальному и текстовому контексту, OCR, анализа документов, пространственного рассуждения, понимания длительных видеоматериалов, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Заявлены возможности работы с контекстом до 256K токенов с расширением до 1M, временная привязка событий в видео, улучшенное распознавание текста на 32 языках и поддержка задач STEM и математики. Ключевые архитектурные особенности включают Interleaved-MRoPE для позиционного кодирования времени, ширины и высоты, DeepStack для объединения многоуровневых признаков ViT и механизм выравнивания текста с временными метками. Ограничение текущей версии заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; для развёртывания рекомендуются vLLM или SGLang. Модель распространяется по лицензии Apache 2.0.

Abu-Dju/Falcon-H1-34B-Instruct-GGUF — версия инструкционной языковой модели Falcon-H1-34B-Instruct, разработанной Technology Innovation Institute (TII). Это авторегрессионная decoder-only модель на 34 млрд параметров с гибридной архитектурой, объединяющей Transformer attention и State Space Model Mamba. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и научных задач, программирования и многоязычных сценариев. Falcon-H1 поддерживает контекст до 256 000 токенов и 18 языков: арабский, чешский, немецкий, английский, испанский, французский, хинди, итальянский, японский, корейский, нидерландский, польский, португальский, румынский, русский, шведский, урду и китайский. Гибридная архитектура ориентирована на эффективную обработку длинного контекста и снижение вычислительных затрат. В опубликованных оценках модель показывает сильные результаты в общих, математических, научных, кодовых и инструкционных задачах, хотя её показатели зависят от конкретного теста и не превосходят все более крупные или сопоставимые модели. Для запуска указана совместимость с Hugging Face Transformers, vLLM и актуальными версиями llama.cpp; формат GGUF ориентирован на экосистему llama.cpp. Из-за размера в 34 млрд параметров для инференса могут требоваться значительные вычислительные ресурсы, однако точные требования для данной сборки в README не приведены. Модель распространяется по Falcon-LLM License; применимые условия следует уточнять в тексте лицензии.

unsloth/gemma-3-12b-it-qat-bnb-4bit — 12-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Она создана на основе Google Gemma и использует Quantization Aware Training (QAT). Модель мультимодальная: принимает текст и изображения, а генерирует текст. Контрольные веса в данном репозитории указаны как соответствующие базовой модели google/gemma-3-12b-it-qat-q4_0-unquantized. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений, анализа изображений и извлечения визуальной информации. Она поддерживает более 140 языков и контекст до 128 000 токенов; максимальный объём генерируемого ответа составляет 8192 токена. Изображения нормализуются до разрешения 896×896 и кодируются в 256 токенов каждое. Благодаря относительно небольшому размеру модель подходит для развёртывания на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ключевое преимущество QAT — сохранение качества, близкого к bfloat16, при существенно меньших требованиях к памяти после квантования. При этом README уточняет, что размещённый checkpoint является неквантованным и его необходимо самостоятельно квантовать в формат Q4_0 подходящим инструментом. Модель распространяется по лицензии Gemma; для доступа к ней на Hugging Face требуется войти в аккаунт и принять условия использования Google.

gemma-4-E2B-it-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google и представленная в формате GGUF пользователем prithivMLmods. Она предназначена для локального запуска на смартфонах, ноутбуках, Raspberry Pi, IoT-устройствах и потребительских GPU, включая сценарии с llama.cpp. Модель подходит для агентных рабочих процессов, OCR, включая многоязычный и рукописный текст, анализа документов и PDF, понимания интерфейсов и экранов, диаграмм и объектов, помощи в программировании, извлечения структурированных данных и задач, требующих рассуждений. Заявлены 2,3 млрд эффективных параметров и 5,1 млрд параметров всего, 35 слоёв, 512-токенное скользящее окно, контекст до 128K токенов и словарь из 262K элементов. Модель поддерживает текст, изображения с переменным соотношением сторон и разрешением, а также аудио; предусмотрены настраиваемые режимы рассуждений. Указан английский язык. Доступны варианты BF16, F16 и квантизации от Q2_K до Q8_0, а также отдельные multimodal projector-файлы, что позволяет выбирать между качеством, размером и требованиями к памяти. Сильные стороны модели — мультимодальность, большой контекст, локальное выполнение и низкие требования к ресурсам; заявлена оптимизация для чипов Qualcomm и MediaTek через Android AICore. Ограничения включают зависимость мультимодальных возможностей от совместимого projector-файла и программного обеспечения, а также отсутствие в README подробных результатов бенчмарков, сведений о поддерживаемых языках кроме английского и точных требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

AlexAtomic/gemma4-e4b-it-GGUF — это квантизированная в формате GGUF версия Gemma 4 E4B-it, разработанная Google и самостоятельно квантизированная AlexAtomic для проекта Atomic Chat. Модель предназначена для локального и полностью офлайн-использования в чат-ботах, приложениях с агентными сценариями и задачах, требующих обработки текста, изображений и аудио с генерацией текстовых ответов. Поддерживаются нативный function calling и настраиваемый режим рассуждений, включаемый токеном <|think|>. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом эмбеддингов, использует Per-Layer Embeddings и состоит из 42 слоёв. Архитектура Dense сочетает локальное скользящее внимание с окном 512 и глобальное внимание с p-RoPE; размер контекста — 128K токенов, словарь — 262K. Поддерживаются более 35 языков, при этом предобучение проводилось на более чем 140 языках. Для мультимодальной работы в репозитории предусмотрен vision-проектор mmproj. Ключевое преимущество — сочетание мультимодальности, большого контекста, офлайн-запуска и экономичного размера, а importance matrix помогает сохранить качество при низкобитовой квантизации. Ограничения связаны с потерями качества у самых компактных вариантов, а для корректной работы требуется применять шаблон чата Gemma 4 через параметр --jinja; для изображений необходим соответствующий mmproj. Доступны варианты квантизации от Q2_K до Q8_0, рекомендуемый баланс размера и качества — Q4_K_M. Модель распространяется по лицензии Apache-2.0.

Kiwen1.1-27B — плотная мультимодальная модель на 27 млрд параметров, созданная beyoru дообучением Qwen3.8-27B на цепочках рассуждений Kimi K3. Она предназначена для диалогов, многошаговых рассуждений, программирования, следования инструкциям и работы с инструментами; поддерживает анализ изображений. В метаданных также отмечены возможности chat и tool calling. В README приведены результаты GSM8K и IFEval, а также внутреннего набора задач: автор сообщает о заметном улучшении на GSM8K, небольшом приросте на VMLU и выигрышах в переводе, классификации намерений и маршрутизации. Для извлечения, классификации и форматирования рекомендуется отключать режим рассуждений. README показывает запуск с контекстом 262144 токена. Модель распространяется по лицензии Apache-2.0. Автор отмечает проблемы качества ответов при использовании dflash2.

gratex/Mistral-Small-3.2-24B-Instruct-2506-W4A16-AutoRound — квантизированная версия мультимодальной instruct-модели Mistral-Small-3.2-24B-Instruct-2506 от Mistral AI. Модель поддерживает работу с текстом и изображениями благодаря vision-компоненту Pixtral и предназначена для генерации текста, ответов на инструкции, рассуждений, программирования, задач с вызовом функций и сценариев vision-language. Модель содержит около 24 млрд параметров и использует архитектуру Mistral3ForConditionalGeneration: 40 декодерных слоёв, скрытый размер 5120, GQA с 32 query- и 8 key/value-головами, а также контекст до 131 072 токенов. Vision-энкодер Pixtral включает 24 слоя с размером скрытого состояния 1024; используется обработка изображений, но поддержка видео в калибровочных данных не заявлена. Квантизация выполнена методом AutoRound 0.10.2 с оптимизацией SignRound: веса текстового декодера представлены в INT4 с group_size 128, а активации, vision tower, мультимодальный проектор, эмбеддинги, lm_head и layer norms сохранены в BF16. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей и широкая совместимость формата с GPU архитектур Ampere, Ada и Blackwell, а также движками vLLM, SGLang и TensorRT-LLM. По приведённому тесту WikiText-2 perplexity составляет 7,2478 против 7,0332 у базовой BF16-модели, то есть ухудшение равно 3,05%; это указывает на умеренную потерю качества из-за 4-битной квантизации. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

Qwen3-VL-30B-A3B-Instruct-FP8 — мультимодальная vision-language модель из семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-VL-30B-A3B-Instruct с мелкозернистым квантованием и размером блока 128; заявлено, что её производительность почти идентична исходной версии в формате BF16. Модель предназначена для понимания и генерации текста с учётом изображений и видео. Модель ориентирована на визуальное восприятие и рассуждение, анализ документов и сцен, OCR, пространственное понимание, обработку длинных текстов и многочасовых видео, а также на визуальное управление PC- и мобильными GUI, вызов инструментов и выполнение задач агентом. Она поддерживает генерацию Draw.io, HTML, CSS и JavaScript по изображениям и видео, STEM- и математическое рассуждение, а также временную локализацию событий в видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, а OCR поддерживает 32 языка; полный перечень языков в README не указан. К сильным сторонам относятся объединённое текстово-визуальное понимание, улучшенное распознавание объектов и документов, анализ пространственных отношений и видео, а также архитектурные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Ограничение при развёртывании заключается в том, что Transformers пока не поддерживает прямую загрузку этих весов; README рекомендует vLLM или SGLang. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Apertus-8B-Instruct-2509-FP8-dynamic — инструкционная языковая модель, разработанная Red Hat на базе swiss-ai/Apertus-8B-Instruct-2509. Она предназначена для генерации и преобразования текста, диалоговых приложений и других сценариев обработки естественного языка. Модель поддерживает более 1000 языков и рассчитана на работу с длинным контекстом, однако его максимальный размер в README не указан. Входом и выходом служит текст; архитектура обозначена как ApertusForCausalLM. Модель использует динамическое квантование весов и активаций линейных операторов трансформерных блоков в формате FP8. Это примерно вдвое уменьшает число битов на параметр, размер на диске и требования к GPU-памяти по сравнению с исходным представлением FP16, что упрощает развертывание. Модель валидирована с vLLM 0.11.2, Red Hat OpenShift AI 3.2 и Red Hat AI Inference Server 3.2.5; README также указывает поддержку развертывания через vLLM. К сильным сторонам относятся многоязычность, длинный контекст, открытые и полностью соответствующие требованиям источники обучающих данных, а также сниженные требования к ресурсам благодаря FP8-квантизации. Ограничения включают текстовую модальность, потенциальные особенности качества и совместимости, связанные с квантизацией, и отсутствие в предоставленных данных подробных бенчмарков, точного размера контекста и результатов по отдельным языкам. Модель распространяется по лицензии Apache 2.0.

tripolskypetr/gemma-3-12b-it — модель на базе Google Gemma 3 12B IT, разработанная Google DeepMind. Это открытая инструкционно дообученная мультимодальная модель, принимающая текст и изображения и генерирующая текст. README не содержит сведений о специфическом дополнительном дообучении, выполненном автором репозитория. Модель предназначена для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Она поддерживает более 140 языков, использует контекстное окно до 128 000 токенов, принимает изображения, нормализованные до 896×896 пикселей и представленные 256 токенами каждое, а максимальный объём генерируемого ответа составляет 8192 токена. Размер модели — 12 млрд параметров. К сильным сторонам относятся мультимодальность, широкий языковой охват, большое контекстное окно и возможность развёртывания на собственном оборудовании или в облачной инфраструктуре по сравнению с более крупными моделями. Ограничения включают неизвестные для данного репозитория результаты дополнительного обучения и оценки, а также необходимость учитывать требования к ресурсам для запуска модели такого размера. Использование регулируется лицензией Gemma и соответствующими условиями Google.

Gemma-SEA-LION-v4.5-E2B-IT — мультимодальная языковая модель AI Singapore, адаптированная для английского языка и языков Юго-Восточной Азии. Она основана на Google Gemma 4 E2B IT и прошла постобучение с дистилляцией знаний от Gemma 4 31B IT на наборе SEA-Instruct-2602. Архитектура — декодер Transformer с энкодерами зрения и аудио; размер составляет 2,3 млрд эффективных параметров (5,1 млрд с эмбеддингами), контекст — 128 тыс. токенов. Модель предназначена для диалогов и выполнения инструкций, ответов на вопросы, суммаризации, анализа тональности, перевода между английским и региональными языками, а также мультимодального анализа изображений, видео и аудио. Карточка указывает поддержку мультимодальных возможностей Gemma 4, включая вызов функций и режимы рассуждения. Модель оптимизирована для локального запуска на ноутбуках и мобильных устройствах. Постобучение охватывает бирманский, индонезийский, филиппинский (тагальский), малайский, тамильский, тайский и вьетнамский; метаданные также отмечают английский и китайский. Лицензия — MIT. Авторы предупреждают, что модель не прошла настройку безопасности и проверку устойчивости к состязательным запросам; возможны галлюцинации, нерелевантные и непоследовательные ответы.

Карточка модели Pq234/Kimi-VL-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-VL-A3B-Instruct, поэтому описание составлено по ней. Kimi-VL-A3B-Instruct — открытая мультимодальная модель Moonshot AI для понимания изображений, видео и текста. Она объединяет языковую модель с архитектурой Mixture-of-Experts, визуальный энкодер MoonViT с обработкой изображений в исходном разрешении и MLP-проектор. Всего модель содержит 16 млрд параметров, при генерации активирует около 3 млрд; контекстное окно — 128 тыс. токенов. Модель предназначена для диалогов с визуальными данными, распознавания текста на изображениях, анализа длинных документов и видео, понимания нескольких изображений и выполнения агентных задач по скриншотам. Поддерживает ввод текста, изображений и видео и выдаёт текстовые ответы. В README приведены результаты на задачах OCR, визуального понимания и взаимодействия с агентами; для сложных рассуждений, включая математику, разработчики рекомендуют вариант Kimi-VL-A3B-Thinking. Модель распространяется по лицензии MIT. Для запуска доступны веса в формате safetensors и библиотека Transformers. README рекомендует температуру 0,2 для Instruct-варианта. Указанные результаты основаны на бенчмарках разработчиков; качество может зависеть от задачи и настроек инференса.

Linkbricks-Horizon-AI-Japanese-Advanced-V8-70B — языковая модель, дообученная директором по данным Linkbricks Джи Юнсоном (Saxo) на основе версии V7. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста, диалога и вызова инструментов. В карточке указано контекстное окно 128 тыс. токенов. Модель усилена для работы на японском, корейском, китайском и английском языках. Среди заявленных сценариев — перевод между этими языками, анализ отзывов клиентов и публикаций в социальных сетях, написание текстов и кода, а также решение математических и логических задач. Для обучения использовались японские новостные и вики-корпуса, многоязычные данные для разных задач и примеры по математике и логике. Модель основана на V7 и прошла японское SFT, DPO и слияние. Веса опубликованы в формате Safetensors для Transformers; лицензия — Apache-2.0. Заявленные возможности и качество описаны в карточке модели и могут зависеть от языка, запроса и способа использования.

NVIDIA Llama 3.1 405B Instruct NVFP4 — квантованный чекпойнт Meta Llama 3.1 405B Instruct, подготовленный NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная плотная трансформерная языковая модель семейства Llama для генерации текста по инструкциям, диалога и интерфейсов вызова инструментов. Веса и активации линейных операторов в блоках трансформера квантованы до FP4; заявленное сокращение требований к диску и памяти GPU составляет примерно 3,5 раза. Модель содержит 403,7 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает текст и выдаёт текст. Для инференса предусмотрен TensorRT-LLM; README указывает совместимость с архитектурой NVIDIA Blackwell и Linux. Можно применять для диалоговых ассистентов, генерации и преобразования текста по инструкциям, а также сценариев с вызовом инструментов. README заявляет возможность коммерческого и некоммерческого использования; лицензия в метаданных — llama3.1. Квантование может влиять на точность, а для запуска требуется совместимое оборудование и программный стек TensorRT-LLM.

Карточка модели Jasper022/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой NVIDIA: Nemotron 3 Nano Omni (free), поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — разработанная NVIDIA мультимодальная модель семейства Nemotron Nano для понимания текста, изображений, аудио и видео. Она предназначена для корпоративных сценариев: ответов на вопросы и суммаризации мультимедийных материалов, транскрибации речи, анализа документов и GUI, а также для рабочих процессов с агентами. Модель поддерживает OCR, понимание речи и видео, плотные описания видео и извлечение информации из сложных деловых документов. Её можно применять в службе поддержки, медиа и развлечениях, обработке договоров и финансовых документов, а также в браузерных и почтовых агентах. В метаданных указана архитектура NemotronH_Nano_Omni_Reasoning_V3, тип dense и библиотека Transformers; веса опубликованы в формате safetensors. README рекомендует начинать развёртывание с длины контекста 131072 токена на Spark, но это рекомендация по настройке, а не заявленный предел контекста. Модель улучшена с использованием Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. README сообщает о доступности для коммерческого использования, тогда как метаданные обозначают лицензию как other; перед внедрением следует проверить условия лицензии в карточке. Модель рассчитана на мультимодальные корпоративные задачи, но карточка не приводит количественных оценок качества.

Qwen2.5-1.5B-Instruct-AWQ — квантизированная 4-битная AWQ-версия инструкционно дообученной языковой модели Qwen2.5, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, написания кода, решения математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель относится к каузальным языковым моделям и использует архитектуру на базе transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, 28 слоёв и механизм GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битной квантизации, улучшенные возможности следования инструкциям, работы с длинными текстами, кодом, математикой и JSON. Ограничения включают возможную потерю качества относительно исходной версии в формате bfloat16 из-за квантизации; конкретные результаты тестов в README не приведены. Модель распространяется по лицензии Apache-2.0.