II.1Анализ требований и архитектура ПО

SmolLM2-1.7B-Instruct-bnb-4bit — компактная 4-битная предварительно квантованная версия инструкционной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для выполнения широкого спектра текстовых задач и достаточно легковесна для запуска на устройствах с ограниченными ресурсами. Вариант Instruct дополнительно обучен следовать инструкциям с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Модель содержит 1,7 млрд параметров и работает с текстом на английском языке. Она ориентирована на диалоговые сценарии, переписывание и суммаризацию текста, решение задач, работу с кодом и function calling. Обучение базовой модели проводилось на 11 трлн токенов из наборов FineWeb-Edu, DCLM, The Stack, а также математических и кодовых данных; инструкционная версия использовала публичные и подготовленные разработчиками наборы, включая UltraFeedback и Synth-APIGen-v0.1. README не содержит сведений о размере контекстного окна и точной архитектуре. Ключевые преимущества — малый размер, сниженные требования к памяти благодаря 4-битной квантованию и улучшения в следовании инструкциям, знаниях, рассуждениях и математике по сравнению с SmolLM1-1.7B. Ограничения включают заявленную поддержку только английского языка и потенциальные компромиссы в качестве, вызванные квантованием и компактным размером. Модель распространяется под лицензией Apache-2.0.

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

GLM-5.3-BF16 — открытая по весам языковая модель для генерации текста и диалогов, представленная в карточке репозитория foranyone. По README, GLM-5.3 использует ту же базовую модель, что и GLM-5.2, а улучшения получены на этапе постобучения. Модель ориентирована на сложные задачи программирования, длительные агентные сценарии и кибербезопасность; в README приведены результаты на публичных бенчмарках, включая Terminal Bench 3.0 и CyberGym. Модель содержит 30,4 млрд параметров, использует архитектуру семейства GLM MoE DSA и распространяется в формате safetensors для Transformers. Метаданные указывают контекст до 1 048 576 токенов, поддержку английского и китайского языков и диалоговый режим. README также описывает настройку бюджета рассуждений уровнями low, high и max. Модель подходит для помощи в разработке и выполнения задач в агентных средах, но результаты на бенчмарках не гарантируют качество в конкретном проекте. README отмечает сильные возможности в киберсценариях, включая поиск уязвимостей и эксплуатационные задачи. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

Qwen2.5-0.5B-Instruct-GGUF — инструкционно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это компактная версия для генерации текста и диалоговых сценариев, включая чат-ботов, следование инструкциям, работу с кодом и математическими задачами, обработку структурированных данных и генерацию структурированных ответов, в том числе JSON. Модель является каузальной трансформерной языковой моделью с архитектурой на основе RoPE, SwiGLU и RMSNorm, с GQA: 14 головами для Q и 2 для KV. Она содержит около 0,49 млрд параметров, 24 слоя и поддерживает контекст до 32 768 токенов с генерацией до 8192 токенов. Доступна в GGUF-вариантах квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, японский и корейский; модальность — текстовая. Сильными сторонами являются малый размер, возможность локального запуска, улучшенное следование инструкциям, поддержка длинного контекста, многоязычность и работа со структурированным выводом. Ограничения связаны с компактным масштабом: по возможностям и качеству ответов модель может уступать более крупным моделям, а квантование способно снижать точность по сравнению с исходной версией. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-FP8 — мультимодальная каузальная языковая модель семейства Qwen3.5 с визуальным энкодером. Репозиторий surogate содержит FP8-квантизированные веса и конфигурации постобученной версии, основанной на Qwen/Qwen3.5-0.8B-Base. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 0,8 млрд параметров, 24 слоя и скрытое измерение 1024. В архитектуре сочетаются Gated Delta Networks, Gated Attention и разреженная Mixture-of-Experts; используется гибридная схема с 6 блоками, каждый из которых включает три последовательности Gated DeltaNet → FFN и один блок Gated Attention → FFN. Нативная длина контекста составляет 262 144 токена. Заявлена поддержка 201 языка и диалекта, однако конкретный перечень языков в README не приведён. Ключевое преимущество версии — снижение требований к памяти и вычислениям благодаря мелкозернистой FP8-квантизации с размером блока 128; заявлено, что показатели производительности почти идентичны исходной модели. Артефакты совместимы с Hugging Face Transformers, vLLM, SGLang и KTransformers. Ограничения включают небольшой размер модели по сравнению с более крупными системами и потенциальные потери качества, характерные для компактных моделей, а также отсутствие подробных сведений о визуальном энкодере и результатах большинства тестов в предоставленном фрагменте. Лицензия — Apache-2.0.

z-lab/Qwen3.6-35B-A3B-PARO — это мультимодальная версия модели Qwen/Qwen3.6-35B-A3B, подготовленная командой z-lab с использованием метода 4-битного квантования ParoQuant, или Pairwise Rotation Quantization. Модель предназначена для генерации и анализа текста, а также для сценариев image-text-to-text, в которых требуется обработка изображений вместе с текстовыми запросами. Модель имеет размер 35B-A3B согласно идентификатору базовой модели. Языковые компоненты квантованы до INT4, тогда как визуальные компоненты сохранены в исходной точности. Такой подход должен обеспечивать высокую эффективность вывода при сохранении качества, близкого к FP16, и скорости, сопоставимой с AWQ, согласно описанию разработчиков. Поддерживаются NVIDIA GPU через vLLM и Transformers, а также компьютеры Apple Silicon через MLX; доступны интерактивный режим и OpenAI-совместимый сервер. К ограничениям относятся повышенный размер относительно полностью квантованной мультимодальной модели и необходимость не загружать визуальные компоненты, если обработка изображений не требуется. В README не указаны поддерживаемые языки, максимальная длина контекста и подробные результаты бенчмарков. Модель распространяется по лицензии Apache-2.0; сведения о дополнительных ограничениях базовой модели в README не приведены.

WhiteRabbitNeo-2.5-Qwen-2.5-Coder-12.3B — языковая модель семейства Qwen2 для генерации текста, представленная как слияние моделей с помощью mergekit и метода passthrough. В состав слияния вошла WhiteRabbitNeo/WhiteRabbitNeo-2.5-Qwen-2.5-Coder-7B; метаданные также указывают её как базовую дообученную модель. Модель содержит 11,7 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогового использования и унаследовала специализацию базовой модели на генерации кода и помощи в задачах кибербезопасности. Она принимает текст и генерирует текст. В репозитории указаны веса Safetensors и библиотека Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Capicua25x/Qwen3.8-27B-MXFP4-Quark-RDNA4 — квантованная версия мультимодальной модели Qwen3.8-27B, подготовленная Capicua25x на базе модели Qwen/Qwen3.8-27B. Модель предназначена для задач image-text-to-text, включая обработку изображений и текста, диалоговые сценарии, рассуждения и агентские приложения с вызовами инструментов. Для работы ориентирована на видеокарты AMD архитектуры RDNA4, в частности Radeon AI PRO R9700 и RX 9070 XT, с использованием ROCm, AMD Quark и специализированной сборки vLLM. Квантование MXFP4 применяется к проекциям MLP и экспертным проекциям: упаковано около 22,7 млрд параметров, тогда как attention, нормализации, эмбеддинги, lm_head, маршрутизаторы и весь визуальный тракт сохраняются в формате bf16. Общий объём логических параметров составляет примерно 27,8 млрд, архитектура базовой модели не изменена. Заявлена поддержка контекста до 262 144 токенов, speculative decoding и параллельной обработки запросов. Режим рассуждений включается через параметр chat_template_kwargs с enable_thinking; параметр reasoning_effort для этой конфигурации не используется. Сильные стороны модели — существенное снижение требований к памяти по сравнению с полноразмерной моделью, сохранение точности критически важных компонентов в bf16, поддержка мультимодальности и оптимизация для concurrent serving на RDNA4. Ограничения связаны с узкой аппаратно-программной специализацией: для штатного запуска требуются совместимые AMD GPU, ROCm и рекомендованный порт vLLM; приведённые показатели производительности зависят от конфигурации, числа пользователей и режима декодирования. Языки и точные характеристики базовой модели в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8 — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная сообществом Freaksterz на базе оригинальной модели Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений и текста, а также для задач, где важны высокая скорость инференса и умеренное потребление памяти. В основе используется архитектура Qwen3.8-27B с 27 миллиардами параметров. Квантизация выполнена по схеме W8A8: веса представлены в симметричном INT8 с округлением GPTQ, а активации квантизуются динамически для каждого токена. В процессе применены офлайн-ротация QuaRot-подобного типа, SmoothQuant и GPTQ; отдельные компоненты, включая vision tower, embeddings, lm_head, нормы и модуль MTP для speculative decoding, сохранены в BF16. Модель распространяется в формате compressed-tensors и ориентирована на запуск через vLLM с нативным INT8 tensor-core kernel. Заявленная скорость prefilling составляет около 3500 токенов в секунду на двух RTX 3090 в режиме TP2, а средняя дивергенция относительно BF16-версии измерена на уровне KLD 0,0110. Сильными сторонами являются низкое отклонение от BF16-оригинала среди рассматриваемых INT8 W8A8-вариантов, высокая скорость prefilling и сохранение поддержки speculative decoding благодаря BF16 MTP. Ограничения включают неизбежную потерю точности из-за квантизации, зависимость производительности от совместимого оборудования и программного стека, а также отсутствие в предоставленных данных сведений о языковом охвате и размере контекстного окна. Лицензия — Apache-2.0.

Baekpica/Qwen3.8-Flash-Next-Mixed-Quant-SSD-PLE-GGUF — производная квантованная версия модели Qwen3.8-Flash-Next, разработанная Baekpica на базе модели Qwen. Она распространяется в формате GGUF с mixed-quant квантованием и рассчитана на запуск с использованием SSD-PLE offload, в частности на системах DGX Spark. Модель относится к мультимодальному классу image-text-to-text и поддерживает обработку текстовых запросов и изображений, включая фотографии, снимки экрана и документы. Опубликованы варианты MQ-Q6-SSD-PLE-BF16 и MQ-Q5-SSD-PLE-BF16 с общим BF16 SSD-PLE sidecar; также доступен FP8 sidecar. Для модели заявлена проверка прямого prefill на 262 144 токенах, а связанный runtime поддерживает путь Qwen YaRN до 524 288 токенов, однако это подтверждает возможности программного стека, а не качество модели на таком контексте. В README приведены измерения производительности prefill и decode, оптимизации MTP, повторное использование кэшей и сквозная работа изображений через несколько API-совместимых интерфейсов. Сильные стороны модели — мультимодальность, варианты с разным компромиссом между качеством и потреблением памяти, поддержка SSD-PLE offload, длинного контекста и оптимизированного инференса. Ограничения включают зависимость от совместимого runtime и аппаратной конфигурации, необходимость выбора подходящего sidecar, а также отсутствие в README точных данных о числе параметров, языках, полном описании архитектуры и сравнении качества с исходной моделью. Лицензия указана как qwen-community-1.0; применяются условия лицензии Qwen, доступной по ссылке в карточке модели.

Qwen3-VL-32B-Thinking — плотная мультимодальная модель семейства Qwen3-VL от Qwen, предназначенная для диалога и рассуждений по тексту и визуальным данным. Репозиторий содержит веса модели для использования с библиотекой Transformers; заявлена лицензия Apache-2.0. Модель принимает изображения и текст, а также рассчитана на понимание видео, пространственных отношений, OCR и визуальных интерфейсов. Она подходит для ответов на вопросы по изображениям и видео, распознавания и разбора документов, STEM-задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. В README заявлены контекст 256 тысяч токенов с возможностью расширения до 1 миллиона и поддержка OCR на 32 языках. Ключевые особенности включают объединение текстовой и визуальной обработки, временное позиционирование для видео и извлечение признаков на нескольких уровнях. Это вариант Thinking, ориентированный на усиленное рассуждение; качество и скорость на конкретных задачах зависят от сценария и реализации. Описание не приводит результаты бенчмарков или подробные ограничения применения.

cyankiwi/Qwen3-VL-8B-Thinking-AWQ-4bit — это 4-битно-квантизированная версия vision-language модели Qwen3-VL-8B-Thinking, разработанной командой Qwen. Модель предназначена для совместной работы с текстом и изображениями, а также для понимания видео, визуального рассуждения и генерации ответов на естественном языке. Она подходит для анализа изображений и документов, OCR, STEM- и математического рассуждения, визуального программирования, пространственного анализа и сценариев визуального агента, включая взаимодействие с графическими интерфейсами и инструментами. Модель использует плотную архитектуру размером 8B параметров и поддерживает мультимодальный ввод. Заявлен контекст до 256K токенов с возможностью расширения до 1M, а видео может анализироваться с учетом временной структуры и привязки событий к временным меткам. Среди архитектурных особенностей указаны Interleaved-MRoPE для позиционного кодирования во времени, ширине и высоте, DeepStack для объединения многоуровневых визуальных признаков и улучшенное выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведен. Сильными сторонами являются визуальное и пространственное восприятие, понимание длинного контекста и видео, мультимодальное рассуждение, распознавание объектов и документов, а также поддержка агентских и визуально-кодировочных задач. Ограничения, включая возможные ошибки распознавания, рассуждения и требования к вычислительным ресурсам, в README не описаны; 4-битная AWQ-квантизация призвана снизить требования к памяти по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

Rax 4.5 — мультимодальная модель семейства Qwen3.5 от raxcore-dev, представленная в виде постобученных весов для Hugging Face Transformers. Это плотная причинная языковая модель с визуальным энкодером, поддерживающая ввод изображений и текста и выдающая текст. Модель насчитывает 2 млрд параметров, использует гибридную архитектуру Gated Delta Networks и gated attention, а заявленная длина контекста составляет 262 144 токена. Модель предназначена для диалогов с изображениями, визуального анализа, рассуждений, задач по коду и агентных сценариев с вызовом инструментов. README заявляет поддержку 201 языка и диалекта; модель работает в режимах с рассуждением и без него, причём режим без рассуждения включён по умолчанию. Авторы рекомендуют её для прототипирования, дообучения под конкретные задачи и разработки; для сервинга указана совместимость с Transformers, vLLM, SGLang и KTransformers. Модель распространяется по лицензии Apache-2.0. Среди практических ограничений — сравнительно небольшой масштаб в 2 млрд параметров, а также возможная нехватка памяти при использовании длинного контекста; скорость и пропускная способность зависят от среды инференса.

Ektome-Qwen2.5-Coder-7B-Instruct-PristinelyUncensored — текстовая instruction-модель, разработанная Zynerji на основе Qwen/Qwen2.5-Coder-7B-Instruct. Она предназначена для генерации текста и решения задач программирования, следования инструкциям, рассуждений, арифметики и работы с общими знаниями. В README указана поддержка английского языка и размер 7B параметров; сведения о длине контекста и мультимодальности не приведены. Модель подвергнута процедуре Ektome, которая, согласно описанию, удаляет компонент, связанный с отказами, без дополнительного обучения и с сохранением общих возможностей. Для неё заявлен сертифицированный результат PASS в сравнении с исходной моделью на 2800 примерах: проверялись арифметика, следование инструкциям, знания и рассуждения, при пределе ухудшения 3%. Доступны GGUF-квантизации от 3 до 8 бит, включая варианты с imatrix. Модель является uncensored и по замыслу не отказывается от запросов, поэтому не предоставляет встроенных гарантий безопасности; ответственность за применение лежит на пользователе. Сертификат подтверждает только сохранение возможностей и не гарантирует безопасность, фактическую точность или пригодность для конкретных задач. Для модели не записаны отдельные проверки качества генерации и receipt по compliance/MMLU. Лицензия — Apache-2.0.

MuXodious выпустил статические квантизованные GGUF-сборки Gemma 4 26B A4B Instruct, дообученной с помощью Heretic 1.2.0 и Arbitrary-Rank Ablation. Это диалоговая мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts; в этой версии доступны текстовый и визуальный ввод и текстовый вывод. В репозитории есть GGUF и GGUF BF16. Шаблон чата обновлён с исправленной версией от Google. Модель предназначена для диалога, рассуждений и анализа изображений, включая извлечение информации из документов, OCR, понимание диаграмм и интерфейсов. README семейства Gemma 4 также описывает генерацию и редактирование кода, суммаризацию, поддержку длинного контекста до 256K токенов и мультиязычность; эти свойства приведены для семейства и отдельно не подтверждены для данной сборки. Ablation заметно уменьшила отказы: в приведённой проверке их стало 3 из 104 против исходных 103 из 104. Модель распространяется под лицензией Apache 2.0. Из-за ablation-процедуры она может отказывать реже, поэтому ответы на потенциально рискованные запросы требуют проверки; результаты теста отказов не гарантируют поведение в других сценариях. Для запуска GGUF требуется совместимый движок и корректный шаблон чата.

GritLM-8x7B — языковая модель Contextual AI, дообученная на базе mistralai/Mixtral-8x7B-Instruct-v0.1 методом GRIT. Она объединяет генерацию текста и получение текстовых представлений, поэтому подходит как для диалогов и ответов на запросы, так и для создания эмбеддингов и оценки релевантности текстов. В метаданных указаны архитектура Mixtral с разреженной экспертной архитектурой MoE, 7,1 млрд параметров и контекст до 32 768 токенов. Модель рассчитана на задачи поиска и представления текста, а также на генерацию ответов и продолжений. Карточка сообщает о высоких результатах на задачах генерации и представления текста, но не приводит подробных оценок или инструкций по использованию. Репозиторий распространяется по лицензии Apache-2.0. Языковая поддержка в предоставленных данных не уточнена.

Pixtral-12B-2409 — мультимодальная модель Mistral AI для работы с изображениями и текстом. Она сочетает декодер на 12 млрд параметров и визуальный энкодер на 400 млн параметров, обучена на чередующихся данных изображений и текста и поддерживает изображения разных размеров. Модель предназначена для понимания изображений и диаграмм, ответов на вопросы по визуальному содержимому и текстовых задач, включая следование инструкциям, математику и программирование. Заявленная длина последовательности — 128 тыс. токенов. В карточке приведены результаты сравнительных тестов, в том числе по MMMU, MathVista и ChartQA. Модель выпущена под лицензией Apache 2.0. В README указано, что у неё нет механизмов модерации, поэтому при использовании следует учитывать риск немодерируемых ответов.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen, разработанная командой Qwen и представленная в формате GGUF с динамической квантизацией Unsloth Dynamic 2.0. Репозиторий основан на Qwen3-VL-2B-Instruct и предназначен для запуска и инференса через совместимые инструменты, включая llama.cpp и Transformers. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, описания изображений, OCR, анализа документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены поддержка контекста 256K с возможным расширением до 1M токенов, улучшенное понимание длительных видео и OCR на 32 языках; конкретный перечень языков в README не приведён. Архитектурно модель использует плотную конфигурацию с примерно 2 млрд параметров, а среди ключевых компонентов указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Сильными сторонами являются сочетание текстового и визуального понимания, работа с длинным контекстом, документами, видео и пространственными отношениями. Ограничения включают небольшой по современным меркам размер, возможные потери качества из-за квантизации и отсутствие в README подробных количественных результатов, точного списка языков и требований к аппаратному обеспечению. Лицензия — Apache-2.0.

Trida-7B — языковая модель на 7,76 млрд параметров от Trillion Labs, построенная на архитектуре Block Diffusion Language Model. Это Transformer-декодер с RoPE, SwiGLU и RMSNorm; модель создана посредством непрерывного предобучения базовой trillionlabs/Tri-7B с последующим постобучением. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для генерации на корейском, английском и японском языках. Блочная диффузионная генерация сочетается в ней с авторегрессионными зависимостями. Механизм Step-wise Autoregressive Attention рассчитан на обучение и генерацию с более эффективным использованием вычислений; заявлена поддержка KV-кэширования внутри текущего блока. В README указана длина контекста 8192 токена, тогда как метаданные каталога задают native context в 4096 токенов. Модель оценивали на задачах рассуждения, знаний, программирования, математики и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Разработчик указывает, что качество может снижаться при работе с языками, отличными от английского, корейского и японского; сведения модели ограничены данными до февраля 2025 года.

ebircak/gemma-4-31B-it-4bit-W4A16-GPTQ — общественная 4-битная GPTQ-квантизация instruction-tuned мультимодальной модели Google Gemma-4-31B-it, подготовленная пользователем ebircak. Модель предназначена для генерации текста и обработки сценариев vision-language, включая работу с изображениями, диалоговые приложения, вызов инструментов и развертывание на NVIDIA GPU через vLLM. Модель использует архитектуру Gemma4ForConditionalGeneration с 60 декодерными слоями и скрытым размером 5376. Текстовый декодер и projector квантизированы в int4 по схеме GPTQ W4A16 с размером группы 128, асимметричным квантованием и активациями FP16/BF16; vision tower на базе SigLIP из 27 слоев сохранена в BF16. Контекстное окно составляет до 262 тысяч токенов. Формат — compressed-tensors, квантизация выполнена с помощью llm-compressor 0.10.0.1. Языки в карточке явно не указаны. Главное преимущество — существенное снижение требований к видеопамяти по сравнению с версией BF16: заявлено около 35 ГБ при полном контексте на NVIDIA RTX PRO 6000 с 96 ГБ VRAM. Модель оптимизирована для vLLM, поддерживает prefix caching, chunked prefill и специализированный парсинг Gemma4 для tool calling. Ограничения включают зависимость от совместимых версий CUDA и vLLM, сохранение vision tower в BF16 и возможное снижение качества из-за 4-битной квантизации; разработчик рекомендует оценивать модель для конкретных задач. Квантизация и базовая модель распространяются по лицензии Apache 2.0.

Lapa LLM v0.1.3 Instruct — украинская мультимодальная модель команды Lapa LLM, созданная на базе Gemma 3 12B и дообученная на украинских текстах. В проекте участвовали исследователи Украинского католического университета, AGH University of Krakow, КПИ имени Игоря Сикорского и Львовской политехники. Версия 0.1.3 содержит исправления согласования и проверку pipeline; остальная модель не изменилась. Модель принимает текст и изображения и генерирует текст для диалога, ответов на вопросы, анализа изображений, суммаризации и перевода между английским и украинским языками. В README заявлены контекст входа до 128 тысяч токенов и выход до 8192 токенов. Адаптированный токенизатор заменяет 80 тысяч из 250 тысяч токенов украинскими; разработчики сообщают о сокращении числа токенов для украинского текста примерно в 1,5 раза относительно Gemma 3. Модель предназначена для украинских NLP-сценариев, включая локальную обработку документов, чат-боты и RAG. README отмечает сильные результаты в переводе, вопросах по изображениям и суммаризации, но также сообщает, что разработчики продолжают собирать данные для улучшения обработки изображений и следования инструкциям. Лицензия в метаданных указана как gemma; README заявляет о возможности коммерческого использования.

Карточка модели leoikaichen/MyOwn_Qwen3-Embedding-0.8B на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Nemotron-Flash-3B Base — базовая языковая модель NVIDIA для генерации текста. Это плотная причинная трансформерная модель семейства Nemotron Flash с архитектурой NemotronFlashForCausalLM и 1,3 млрд параметров. Семейство спроектировано с учётом задержки на реальных сценариях: в нём используются гибридные операторы, найденные эволюционным поиском, оптимальное соотношение глубины и ширины и нормализация весов на этапе обучения. Модель предназначена для генерации продолжений текста и может применяться в задачах математических рассуждений, программирования и здравого смысла. В README заявлены результаты на уровне лучших моделей своего размера, а также низкая задержка при небольших пакетах и высокая пропускная способность при больших. Для запуска описана интеграция с Transformers и ускорение CUDA Graph; контекст составляет 29 000 токенов. Это базовая, а не Instruct-версия, поэтому карточка не заявляет, что она настроена для диалога по инструкциям. Модель распространяется под лицензией с типом «other»; конкретные условия следует проверять в файлах лицензии репозитория. Для загрузки указаны Transformers и формат safetensors.

pixtral-12b-FP8-dynamic — это квантизированная версия мультимодальной модели mgoin/pixtral-12b, разработанная Neural Magic. Модель принимает изображения и текстовые запросы, а генерирует текстовые ответы. Она предназначена для задач визуального анализа, включая ответы на вопросы по изображениям, работу с документами, графиками и диаграммами, а также мультимодальные математические задачи. Модель также может применяться для отдельных текстовых сценариев, включая оценивание знаний и генерацию кода. В модели использована динамическая FP8-квантизация весов и активаций. Квантизация выполнена для линейных слоёв с сохранением vision tower, мультимодального проектора и lm_head в исходном виде. Размер базовой модели — 12B параметров; входная модальность — vision-text, выходная — text. В README указан английский язык. Для эффективного инференса модель рассчитана на использование с vLLM версии 0.5.2 и новее, включая OpenAI-совместимый режим сервинга. Приведённый пример использует контекст до 4096 токенов, а в оценочных конфигурациях встречается значение до 25000 токенов. Сильная сторона модели — снижение требований к памяти и вычислительным ресурсам благодаря FP8-квантизации при сохранении близких к исходной модели результатов на визуальных тестах: указаны оценки на MMMU, VQAv2, DocVQA, ChartQA и MathVista. Ограничения включают зависимость от совместимой инфраструктуры vLLM, необходимость поддержки мультимодального инференса и отсутствие в предоставленных данных подробных сведений о полном наборе языков, точном размере контекстного окна и аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-0.8B-Claude-Opus-Distill-Heretic-UNCENSORED — компактная текстовая модель Ghost (ghost-actual), созданная дообучением Qwen/Qwen3.5-0.8B с дистилляцией рассуждений Claude Opus и последующим снижением частоты отказов методом abliteration с помощью Heretic. Она предназначена для диалогов, генерации структурированных ответов и кода, а также для работы на устройствах с ограниченными ресурсами. В метаданных указаны 581,4 млн параметров, архитектура Qwen3.5 для причинной генерации текста, поддержка чата и контекст до 262 144 токенов; README также заявляет нативную поддержку изображений и анализа видео, однако метаданные относят модель к текстовой генерации. Карточка приводит результаты тестов отказов 2 из 100 и KL-дивергенцию 0,0100, а также заявляет производительность на OCRBench 74,5. Эти показатели приведены автором модели и не являются независимой оценкой. Формат репозитория — safetensors; автор заявляет возможность запуска в BF16 примерно на 1,5 ГБ памяти и приводит настройки генерации. Лицензия в предоставленных данных не указана. Снижение числа отказов означает, что модель может отвечать на запросы, которые модели с более строгими ограничениями отклонили бы; ответы следует проверять, особенно при использовании в чувствительных сценариях.

Sehyo/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия модели Qwen/Qwen3.5-122B-A10B, подготовленная Sehyo с использованием схемы квантования NVFP4. Модель относится к семейству Qwen3.5 и имеет MoE-архитектуру; для загрузки и запуска используется библиотека Transformers, а для поддержки NVFP4 рекомендуется nightly-версия vLLM. Модель предназначена для запуска Qwen3.5-122B-A10B в более компактном квантизированном формате, что может быть полезно для инференса больших языковых моделей и сценариев, где важны снижение требований к памяти и эффективное выполнение. Квантование выполнено с помощью VLLM LLM Compressor с поддержкой Qwen3.5 MoE. При калибровке использовано 512 образцов из наборов ultrachat_200k и Nemotron-Post-Training-Dataset-v2, максимальная длина последовательности составляла 4096 токенов, а калибровка охватывала всех экспертов MoE. Ключевые особенности — NVFP4-квантование и наличие весов MTP (multi-token prediction), добавленных для поддержки speculative decoding в vLLM. Ограничения README не описывает: неизвестны точный размер контекста исходной модели, поддерживаемые языки, модальности, показатели качества и требования к оборудованию. Лицензия в предоставленных данных не указана.

Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.