II.4Отладка, тестирование и качество ПО

Qwen3-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, созданная командой Qwen и представленная в формате GGUF компанией Unsloth. Она предназначена для диалогов и генерации текста по текстовым и визуальным входным данным, включая изображения и видео. Модель подходит для визуального анализа, распознавания текста, пространственного рассуждения, решения STEM- и математических задач, понимания видеосцен, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Модель относится к семейству Qwen3-VL и использует плотную архитектуру с 4B параметров. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание текстового и визуального понимания, расширенный контекст, обработка длинных документов и продолжительных видео, распознавание текста в сложных визуальных условиях, а также возможности пространственного и агентного рассуждения. Ограничения, включая точные требования к памяти, скорость работы, результаты бенчмарков и перечень поддерживаемых языков, в предоставленных данных не раскрыты. Модель распространяется по лицензии Apache-2.0.

Radiantloom Llama 70B Instruct — большая языковая модель Radiantloom AI на архитектуре Llama с 68,7 млрд параметров. Это дообученная модель для генерации текста и диалогов; в карточке указаны формат safetensors и лицензия Llama 2. Модель предназначена для чата, написания и суммаризации текстов, ответов на вопросы, программирования, ролевых сценариев и работы в RAG-системах. README отмечает генерацию развернутых ответов и поддержку многоходовых диалогов. Длина контекста — 32 764 токена. Для диалогов рекомендуется шаблон ChatML, хотя пример в карточке показывает другой формат. По заявлению разработчика, модель показывает хорошие результаты в письме, коде и рассуждениях, однако оценка пока предварительная и основана на LLM-as-a-Judge. Ответы могут содержать фактические ошибки, предвзятый или оскорбительный контент, включая материалы NSFW; перед применением в пользовательских системах нужна проверка безопасности.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

WhiskyAKM подготовил конверсию Gemma 4 26B A4B IT QAT в формат GGUF с NVFP4-квантизацией для запуска через llama.cpp и другие совместимые движки. В основе — мультимодальная модель Google DeepMind с архитектурой Gemma4ForConditionalGeneration и 26 млрд параметров; для работы с изображениями и аудио в репозитории также доступен мультимодальный проектор. Модель принимает текст, изображения и аудио, а выдаёт текст; карточка заявляет контекст до 256 тысяч токенов и поддержку более 140 языков. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений и аудио, а также сценариев с вызовом инструментов. Доступны несколько уровней квантования GGUF; для мультимодального ввода требуется использовать mmproj.gguf. Репозиторий распространяется по лицензии Apache-2.0.

Gemma 4 31B IT QAT Q4_0 Unquantized Uncensored Heretic — мультимодальная диалоговая модель на архитектуре Gemma 4, опубликованная llmfan46 как доработка Google Gemma 4. Она предназначена для общения, генерации и редактирования текста, программирования, рассуждений и агентных сценариев с вызовом инструментов, а также анализа изображений. Модель принимает текст и изображения и выдаёт текст; для семейства заявлена обработка видео через последовательности кадров, но поддержка этого варианта отдельно не подтверждена. В карточке описана гибридная схема внимания с локальными скользящими окнами и глобальными слоями; базовая модель рассчитана на контекст до 256K токенов. Семейство поддерживает более 35 языков, однако конкретный перечень для этой версии не приведён. Вариант заявлен как uncensored/abliterated; файлы репозитория указаны в формате safetensors. Лицензия — Apache-2.0. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, написания кода и диалоговых приложений. Возможны фактические ошибки, смещения и трудности с тонкими языковыми нюансами и сложными открытыми задачами. В README описание возможностей относится ко всему семейству Gemma 4, поэтому аудио и видео возможности именно этой версии не подтверждены.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

GLM-4.6V-Flash-GGUF — мультимодальная модель семейства GLM-V, разработанная Z.ai (zai-org) и представленная в формате GGUF компанией Unsloth. Это облегчённая версия GLM-4.6V с 9 млрд параметров, ориентированная на локальное развёртывание и приложения с низкой задержкой. Модель поддерживает китайский и английский языки, работает с текстом и изображениями, а также предназначена для обработки скриншотов, страниц документов, таблиц, графиков и других визуальных данных. Модель рассчитана на визуальное понимание, мультимодальное рассуждение, анализ длинных и сложных документов, распознавание структуры и содержимого изображений, а также на сценарии мультимодальных агентов. Она поддерживает контекст до 128K токенов, нативный Function Calling с передачей изображений и документов инструментам, интерливинг текстового и визуального контента, генерацию HTML/CSS по скриншотам интерфейсов и визуальное редактирование по инструкциям на естественном языке. К сильным сторонам относятся сочетание визуального восприятия, рассуждения и вызова инструментов, поддержка длинного мультимодального контекста и оптимизация для локального использования. Ограничения включают меньший размер и, вероятно, более ограниченные возможности по сравнению с облачной версией GLM-4.6V на 106 млрд параметров; конкретные требования к оборудованию и характеристики квантования для данного GGUF в README не указаны. Лицензия модели — MIT.

Это конверсия модели IBM Granite 3.3 8B Instruct в формат MLX, подготовленная сообществом mlx-community. Модель с плотной архитектурой GraniteForCausalLM содержит 8,2 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Размер контекста — до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; её можно применять для ответов на вопросы, анализа длинных текстов, программирования и многоязычных задач. Репозиторий распространяется по лицензии Apache-2.0. Это конверсия исходной модели ibm-granite/granite-3.3-8b-instruct для MLX, поэтому для использования в этой экосистеме потребуется совместимая среда MLX.

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

Kanana-1.5-15.7B-A3B-Instruct — разговорная языковая модель Kakao с разреженной архитектурой Mixture-of-Experts на базе Mixtral. В модели 15,7 млрд параметров всего, при этом активируется около 3 млрд параметров; заявленный размер в метаданных — 824,7 млн параметров. Модель принимает текст и генерирует текст, поддерживает английский и корейский языки, а длина контекста составляет 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям, решение математических задач и написание кода. Kakao сообщает, что её эффективность по вычислениям на токен сопоставима с Kanana-1.5-8B при использовании 37% FLOPS, а постобучение включало дистилляцию на собственных ответах и обучение с подкреплением. Для запуска README рекомендует vLLM версии 0.8.5 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверять с карточкой модели.

MaziyarPanahi/Mistral-Small-Instruct-2409-GGUF — это набор квантованных файлов в формате GGUF для Mistral-Small-Instruct-2409, опубликованный MaziyarPanahi. Исходную модель разработала Mistral AI; она представляет собой instruct-дообученную языковую модель для диалогов, генерации и обработки текста, включая сценарии с function calling. Репозиторий предназначен для запуска через llama.cpp и совместимые локальные приложения и библиотеки. Модель имеет около 22 млрд параметров, архитектуру MistralForCausalLM и контекст до 32 768 токенов. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантования от низкой разрядности до 8-bit, что позволяет уменьшить требования к памяти и запускать модель на совместимом CPU или GPU, однако более сильное квантование может снизить качество по сравнению с исходными весами; для полной модели требуются значительные вычислительные ресурсы. Исходная Mistral-Small-Instruct-2409 распространяется по Mistral Research License (MRL). Указанные условия разрешают использование в некоммерческих исследовательских целях; для коммерческого использования модели, производных версий или их предоставления требуется отдельная коммерческая лицензия Mistral AI.

hardcoreerik выпустил декензурированную версию Llama-3.1-Nemotron-Nano-4B-v1.1, созданную с помощью Heretic v1.3.0. По карточке это плотный decoder-only Transformer семейства Llama, дообученный на базе nvidia/Llama-3.1-Minitron-4B-Width-Base; размер — 3,9 млрд параметров, контекст — до 131 072 токенов. Модель принимает и выдаёт текст, поддерживает чат, рассуждения, следование инструкциям и вызов инструментов. Она предназначена для чат-ботов, агентных систем, RAG и общих задач, включая программирование, математику и рассуждения. Основной язык — английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В сравнении с исходной моделью в README указано меньше отказов на тесте из 100 запросов, что отражает её декензурированную настройку. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как other, а README заявляет готовность исходной модели к коммерческому использованию, но условия лицензии именно этой версии следует проверять отдельно.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

RedHatAI/Mistral-Small-24B-Instruct-2501-FP8-dynamic — текстовая instruct-модель на базе Mistral-Small-24B-Instruct-2501. Модель разработана Neural Magic и распространяется в каталоге Red Hat AI. Она принимает текст и генерирует текст, поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для диалоговых приложений, генерации и преобразования текста, работы через text-generation и text-to-text интерфейсы. Это FP8-квантованная версия с квантизацией весов и активаций линейных операторов в блоках Transformer. По сравнению с представлением в FP16 такая оптимизация примерно вдвое уменьшает размер на диске и требования к памяти GPU, что делает модель более удобной для инференса. README указывает готовность к работе с vLLM; пример развертывания допускает максимальную длину контекста 32768 токенов. Средний результат на OpenLLM Leaderboard v1 составляет 78,88 против 79,45 у неквантованной версии, поэтому основное ограничение — небольшое снижение качества после квантизации. Для запуска требуется совместимая инфраструктура инференса, например vLLM, а поддержка и производительность зависят от используемого GPU и программного окружения. Модель распространяется по лицензии Apache 2.0.

Карточка модели luckyChenY/nothink_284 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

Open-Instruct ShareGPT 13B — языковая модель Allen Institute for AI, представляющая собой дообученную для следования инструкциям версию LLaMA примерно с 12,9 млрд параметров. Обучение проводилось на очищенном наборе диалогов ShareGPT, подготовленном аналогично данным Vicuna; модель относится к плотной архитектуре LLaMA для генерации текста и рассчитана на контекст до 2048 токенов. Модель подходит для ответов на запросы в формате инструкций и диалогов, а также для задач общего назначения: ответов на вопросы, рассуждений и генерации кода. В README приведены результаты оценки на MMLU, GSM, BBH, TyDiQA и Codex-Eval. Для качества генерации важно соблюдать указанный в карточке формат ввода и переводы строк. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Qwen-14B — плотная авторегрессионная языковая модель семейства Qwen, разработанная Alibaba Cloud. Она построена на архитектуре Transformer и содержит 21,8 млрд параметров по метаданным; в карточке описаны RoPE, SwiGLU, RMSNorm и словарь более чем из 150 тысяч токенов. Модель обучена на более чем 3 трлн токенов из веб-текстов, книг, кода, математических и других материалов; заявленная длина контекста — 8192 токена. Модель предназначена для генерации текста и может служить основой для диалоговых систем, а также для задач на знания, рассуждения, перевод, математику и программирование. Наиболее подробно описана поддержка китайского и английского языков; словарь также ориентирован на ряд других языков, включая русский. Репозиторий содержит исходную предварительно обученную модель, а не вариант Qwen-14B-Chat. В README заявлены конкурентные результаты на ряде китайских и англоязычных тестов, однако это оценки разработчика, а качество зависит от задачи и способа применения. Для запуска требуются PyTorch и Transformers; модель крупная и требует значительных вычислительных ресурсов. Лицензия в предоставленных данных не указана.

Это дообученная диалоговая языковая модель Qwen2.5-32B-Instruct, опубликованная пользователем qfq и обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и сообщения пользователя; поддерживает чат и интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 (Qwen2ForCausalLM), содержит 32 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекстное окно составляет 32 768 токенов. В карточке не приведены отдельные оценки качества или список поддерживаемых естественных языков; возможности и характеристики унаследованы от базовой модели Qwen2.5-32B-Instruct. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Для запуска приведён пример с Transformers и CUDA; для модели такого размера требуются значительные вычислительные ресурсы.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

lovedheart/Qwen3.8-Flash-Next-NVFP4-FP8 — квантованная версия мультимодальной модели Qwen3.8-Flash-Next, разработанной Qwen и обработанной с помощью NVIDIA Model Optimizer. Это частный кандидатный релиз для разработчиков, оценивающих запуск Qwen3.8-Flash-Next в агентных системах, чат-ботах, задачах программирования и мультимодального рассуждения. Модель использует гибридную архитектуру Transformer с сочетанием GDN и разреженного QSA-внимания, multi-hyperconnection streams и PLE n-gram injection. Это MoE-модель примерно на 180 млрд параметров с 48 декодерными слоями, 512 маршрутизируемыми экспертами на слой, выбором top-10 экспертов, общим экспертом и одним MTP-слоем. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Квантование выполнено по смешанной схеме: маршрутизируемые эксперты используют NVFP4, а отдельные проекции внимания — FP8 E4M3 с блочной схемой 128×128. Сильные стороны модели — мультимодальность, MoE-архитектура, снижение требований к памяти по сравнению с исходной BF16-версией и поддержка длинного контекста. Ограничения включают необходимость патченной версии SGLang: стандартные сборки могут выдавать некорректный текст. Модель проверена на NVIDIA Blackwell, включая RTX PRO 6000 Blackwell, GB300 и B300, и ориентирована на Linux; совместимость с другими платформами не указана. Лицензия обозначена как other, а условия использования следует уточнять по лицензии исходной модели Qwen3.8-Flash-Next.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-8bit — мультимодальная vision-language модель семейства Qwen3, разработанная командой Qwen; базовая модель — Qwen/Qwen3-VL-8B-Instruct. Вариант предназначен для генерации текста по текстовым и визуальным входным данным, включая изображения и видео, а также для задач визуального понимания, распознавания текста, анализа документов, STEM- и математического рассуждения, пространственного анализа и взаимодействия с графическими интерфейсами. Модель также заявлена для генерации Draw.io, HTML, CSS и JavaScript по изображениям или видео. Модель имеет плотную архитектуру с 8 млрд параметров и использует мультимодальные механизмы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Заявлена нативная длина контекста 256 тысяч токенов с возможностью расширения до 1 миллиона, что подходит для длинных документов и продолжительных видеоматериалов. OCR поддерживает 32 языка, однако полный перечень языков модели в README не приведён. Идентификатор указывает на 8-битную AWQ-квантизацию, но подробности её конфигурации не указаны. К сильным сторонам относятся расширенное визуальное и пространственно-временное понимание, обработка длинного контекста, распознавание текста в сложных условиях и возможности visual agent для работы с GUI и инструментами. README не содержит количественных результатов тестирования, поэтому производительность в конкретных сценариях оценить по нему нельзя. Модель распространяется по лицензии Apache-2.0.

Seed-OSS-36B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Квантизация выполнена с использованием llm-compressor от vLLM и набора данных Llama-Nemotron-Post-Training-Dataset. Модель предназначена для генерации текста, диалоговых систем, задач рассуждения, агентских сценариев с использованием инструментов и приложений, требующих обработки длинного контекста. Модель основана на архитектуре causal language model с RoPE, GQA, RMSNorm и активацией SwiGLU. Она содержит около 36 миллиардов параметров, 64 слоя, скрытый размер 5120, словарь примерно из 155 тысяч токенов и поддерживает контекст до 512K токенов. Указанные языки — английский и китайский; семейство Seed-OSS в целом ориентировано на международные сценарии. Предусмотрено гибкое управление бюджетом рассуждения, что позволяет выбирать компромисс между качеством и скоростью вывода. Основные преимущества этой версии — существенно сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение возможностей исходной инструкционной модели для общих, логических и агентских задач. Ограничения связаны с 4-битной квантизацией, которая может снижать точность по сравнению с исходными весами, а также с высокой вычислительной нагрузкой модели на 36B параметров. Для работы требуются совместимые реализации Transformers и инфраструктура, поддерживающая AWQ; в README приведён пример запуска через vLLM с tensor parallelism. Модель распространяется по лицензии Apache-2.0.

YOYO-AI разработала ZYH-LLM-Qwen2.5-14B-V4 — объединённую плотную авторегрессионную языковую модель семейства Qwen2.5 с 14 млрд параметров. По README, при слиянии увеличили долю моделей, дистиллированных из R1, сохранив ориентацию на следование инструкциям и общие языковые способности. В состав слияния входят несколько моделей на базе Qwen2.5, включая DeepSeek-R1-Distill-Qwen-14B и варианты SuperNova-Medius, Virtuoso-Small-v2 и Blossom-V6-14B. Модель предназначена для диалогов, генерации текста и структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. Заявленный контекст составляет 1 010 000 токенов. В карточке указаны английский и китайский языки. README приводит результаты Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется под лицензией Apache-2.0.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-FP8-dynamic — это квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM, принимает текстовые входные данные и генерирует текст, поэтому предназначена для задач диалога, рассуждений, ответов на вопросы и других сценариев применения каузальных языковых моделей. Поддерживаемые языки и размер контекстного окна в README не указаны. Модель содержит около 32 млрд параметров и использует FP8-квантизацию весов и активаций, что примерно вдвое снижает объём хранения и требования к GPU-памяти по сравнению с представлением FP16. Квантизации подвергаются линейные операторы внутри трансформерных блоков: веса квантизуются симметрично по каналам, а активации — симметрично по токенам. Для подготовки использован LLM Compressor, а эффективное развертывание рекомендуется через vLLM. По приведённым результатам FP8-версия сохраняет около 99% средних показателей исходной модели на тестах рассуждений и OpenLLM Leaderboard, хотя на отдельных наборах качество немного снижается. Ограничения включают возможные потери точности из-за квантизации, необходимость совместимого программного и аппаратного окружения для эффективной работы с FP8, а также отсутствие в README сведений о контекстном окне и языковом охвате. Модель распространяется по лицензии MIT.

Mungert/EXAONE-4.0-32B-GGUF — GGUF-квантизированная версия языковой модели EXAONE-4.0-32B, разработанной LG AI Research. Модель предназначена для генерации текста, диалоговых приложений, решения сложных задач и агентских сценариев с использованием инструментов. Она поддерживает обычный режим работы и режим рассуждений, а также английский, корейский и испанский языки. Модель содержит около 30,95 млрд параметров без учёта эмбеддингов, 64 слоя, архитектуру GQA с 40 attention-головами и 8 KV-головами, словарь размером 102 400 токенов и контекст до 131 072 токенов. Архитектура использует гибридное внимание: локальное и глобальное внимание в соотношении 3:1, а также QK-Reorder-Norm. Включение режима рассуждений выполняется через параметр enable_thinking. Данный вариант подготовлен с помощью llama.cpp и использует GGUF-квантизацию; автор сборки применяет дополнительное повышение точности отдельных важных слоёв, что может улучшать качество при низкой разрядности ценой увеличения размера файла. Сильными сторонами являются большой контекст, мультиязычность, сочетание обычного и reasoning-режимов, а также возможность локального запуска через экосистему llama.cpp. Ограничения конкретного варианта зависят от выбранного уровня квантизации и аппаратных ресурсов; README не содержит точных характеристик каждой квантованной сборки и результатов сравнительных тестов. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия указаны в файле LICENSE.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

AtomicChat/gemma-4-26B-A4B-it-GGUF — это GGUF-квантизированная версия инструкционной модели google/gemma-4-26B-A4B-it, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалогов, рассуждений и других сценариях, поддерживаемых базовой text-generation-моделью. Для запуска в llama.cpp требуется применять шаблон чата Gemma 4 с параметром --jinja. Модель использует архитектуру Mixture-of-Experts: 25,2 млрд параметров всего и около 3,8 млрд активных на каждый токен, 30 слоёв, 128 маршрутизируемых экспертов с выбором top-8, гибридное внимание с локальным окном 1024 токена и глобальным вниманием, 16 attention heads и 8 KV heads. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи. Базовая модель поддерживает текст и изображения, однако данный репозиторий содержит только текстовые квантизации и не включает vision projector. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, режимы рассуждения и широкий выбор квантизаций от Q2_K до Q8_0. Квантизация с importance matrix призвана сохранить качество оригинальной модели, но низкобитные варианты могут заметно терять качество; Q4_K_M обозначен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 — как варианты с минимальными потерями. Размер файлов составляет примерно от 10,6 до 26,9 ГБ, поэтому требуются значительные оперативная память или видеопамять. Модель распространяется по лицензии Apache-2.0.

RedHatAI/gemma-4-31B-it-NVFP4 — мультимодальная instruction-tuned модель, разработанная RedHatAI на основе google/gemma-4-31B-it от Google. Она принимает текст и изображения, а генерирует текст; предназначена для диалоговых приложений, генерации текста, рассуждений, следования инструкциям и вызова инструментов. Модель использует архитектуру Gemma4ForConditionalGeneration и поддерживает режим thinking, function calling и tool calling. Доступна для инференса через vLLM; в README указана максимальная длина контекста 32 768 токенов. Вариант NVFP4 применяет 4-битное квантование весов и активаций линейных слоёв трансформерных блоков с group_size=16 и локальным масштабированием по группам. Vision tower, embeddings и output head сохраняются в исходной точности, что снижает требования к дисковому пространству и памяти GPU примерно на 75% по сравнению с 16-битным представлением. К сильным сторонам относятся поддержка текстово-визуальных сценариев, вызова инструментов, режима рассуждений и эффективный инференс на совместимом оборудовании. К ограничениям относятся зависимость от NVFP4-совместимого окружения и vLLM, а также возможная небольшая потеря качества из-за квантования; в приведённых оценках результаты сопоставлялись с исходной моделью, но полный набор таблиц в представленном README обрезан. Модель распространяется по лицензии Apache-2.0.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.