I.11Классификация, ранжирование и сопоставление

Карточка модели Bobi099/Qwen3.5-27B-heretic на Hugging Face совпадает с карточкой coder3101/Qwen3.5-27B-heretic, поэтому описание составлено по ней. coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.4bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, опубликованная TheDrainFlorist на базе исходной модели Qwen/Qwen3.5-397B-A17B. Модель предназначена для генерации текста, рассуждений, работы с кодом и, при использовании совместимого mlx-vlm, обработки изображений. Она ориентирована прежде всего на запуск на компьютерах Apple Silicon с unified memory, включая одну систему с 128 ГБ памяти. Модель использует формат MLX и квантизацию с эффективностью 2,4 бита на параметр; размер артефакта составляет около 110,8 GiB. По заявлению автора, она проверена с контекстом до 30 031 токена, потребляет около 110,8 GiB резидентной памяти и достигает примерно 19–22 токенов в секунду при декодировании на M4 Max. Для текстового режима требуется mlx-lm с поддержкой model_file, а для изображений — mlx-vlm версии 0.6.16 или новее. В метаданных указан английский язык. Сильные стороны модели — возможность локального запуска очень крупной Qwen-модели на одной 128-ГБ машине, отсутствие необходимости в патчах и сравнительно низкий размер благодаря векторной квантизации. В README приведены измеренные значения perplexity: 2,7655 на указанном корпусе Wikitext и 2,6383 на смешанном корпусе кода. Ограничения включают высокие требования к памяти, зависимость от совместимых версий MLX-инструментов и необходимость выделить почти весь доступный объём памяти; приведённые метрики нельзя напрямую переносить на другие корпуса и сценарии. Модель распространяется по лицензии Apache-2.0.

TheCluster выпустил MLX-версию Qwen3.5-4B Heretic — мультимодальную диалоговую модель на 4 млрд параметров, доработанную из coder3101/Qwen3.5-4B-heretic. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и режим рассуждений, который по умолчанию отключён. Файлы представлены в формате safetensors с точностью bfloat16 и предназначены для запуска в среде MLX. Версия Heretic создана с помощью Heretic v1.2.0 методом подавления отказов: в приведённой авторами проверке модель отказала в 4 случаях из 100, тогда как исходная Qwen3.5-4B — в 94. Это делает её менее склонной отказываться от запросов, но не гарантирует точность или безопасность ответов. Карточка предлагает разные параметры генерации для общих задач, рассуждений и программирования; повышенный штраф за присутствие может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

Qwen3.8-27B-ROCmFP4-STRIX-MTP-GGUF — квантизированная GGUF-версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем kingjones777. Модель предназначена для генерации текста, рассуждений, работы с инструментами и мультимодальных сценариев с визуальным вводом, прежде всего на системах AMD Ryzen AI Max+ 395 со встроенной графикой Radeon 8060S (gfx1151, Strix Halo). README не указывает разработчика базовой модели отдельно от идентификатора Qwen/Qwen3.8-27B. Используется формат ROCmFP4 с тремя вариантами квантизации и размером файлов 13,33–13,75 GiB; эффективная точность составляет 4,25–4,39 бит на вес. В комплект включена MTP-голова для speculative decoding. Контекст проверен до 65 536 токенов. Для варианта STRIX заявлены скорость декодирования до 30,30 токена/с при настроенном MTP, perplexity 5,8877 на отложенной выборке wikitext-2, успешные тесты зрения 4/4 и tool calling 7/7, включая режим reasoning. Языки README не перечисляет. Сильные стороны модели — высокая скорость на поддерживаемом оборудовании AMD, небольшие требования к дисковому пространству, сопоставимая с Q4_K_M perplexity и опубликованная настройка глубины MTP. Ограничения включают зависимость от AMD Strix Halo и специализированной сборки llama.cpp с поддержкой ROCmFP4; стандартная сборка llama.cpp эти типы тензоров не принимает. Приведённые показатели относятся к конкретной конфигурации и могут не воспроизводиться на другом оборудовании. Модель распространяется по лицензии Apache-2.0.

Freaksterz/Qwen3.8-27B-SmoothQuant-W8A8-INT8 — это квантизированная версия Qwen/Qwen3.8-27B, подготовленная сообществом Freaksterz на базе оригинальной модели Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая обработку изображений и текста, а также для задач, где важны высокая скорость инференса и умеренное потребление памяти. В основе используется архитектура Qwen3.8-27B с 27 миллиардами параметров. Квантизация выполнена по схеме W8A8: веса представлены в симметричном INT8 с округлением GPTQ, а активации квантизуются динамически для каждого токена. В процессе применены офлайн-ротация QuaRot-подобного типа, SmoothQuant и GPTQ; отдельные компоненты, включая vision tower, embeddings, lm_head, нормы и модуль MTP для speculative decoding, сохранены в BF16. Модель распространяется в формате compressed-tensors и ориентирована на запуск через vLLM с нативным INT8 tensor-core kernel. Заявленная скорость prefilling составляет около 3500 токенов в секунду на двух RTX 3090 в режиме TP2, а средняя дивергенция относительно BF16-версии измерена на уровне KLD 0,0110. Сильными сторонами являются низкое отклонение от BF16-оригинала среди рассматриваемых INT8 W8A8-вариантов, высокая скорость prefilling и сохранение поддержки speculative decoding благодаря BF16 MTP. Ограничения включают неизбежную потерю точности из-за квантизации, зависимость производительности от совместимого оборудования и программного стека, а также отсутствие в предоставленных данных сведений о языковом охвате и размере контекстного окна. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель, созданная HauhauCS на базе Qwen/Qwen3.8-27B. Она предназначена для генерации текста, рассуждений, агентских сценариев, анализа изображений и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа на сложные запросы. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120 и FFN-размером 17408. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention, встроенный MTP/NextN для speculative decoding и дополнительный профиль HauhauCS FastMTP 32K для ускорения генерации. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки; для работы с изображениями и видео требуется отдельный vision-проектор BF16. Сильные стороны модели — сочетание текстовых, рассуждающих, агентских и мультимодальных возможностей базовой Qwen3.8-27B, большой контекст и варианты GGUF-квантизации от Q8_K_P до IQ2_M, совместимые с llama.cpp, LM Studio и другими GGUF-рантаймами. FastMTP может повысить скорость генерации, однако фактический выигрыш зависит от оборудования и программной поддержки. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-варианте, что может быть нежелательно для надёжных агентских систем, а также потерю качества при использовании более сильной квантизации. Модель распространяется по лицензии Apache-2.0.

bowmanslayer/Qwen3.8-27B-Uncensored-W4A16-vision-mtp — квантованная версия мультимодальной модели Qwen3.8-27B-Uncensored, разработанная bowmanslayer на базе Qwen/Qwen3.8-27B. Исходная модель была адаптирована JonathanColetti с помощью abliteration через Heretic, а в этом репозитории выполнены 4-битное квантование W4A16 и перепаковка vision tower. Модель предназначена для генерации текста, рассуждений и обработки изображений, а также может использовать видеовход через vLLM. Заявлены языки English и Chinese. Текстовая часть использует квантование с group size 128, формат GPTQ/AutoRound и kernels Marlin; vision tower сохранён в формате bf16. Размер модели составляет около 19 ГБ, включая MTP head объёмом 849 МБ. Поддерживается контекст до 256K токенов. Разработчик проверил запуск на двух NVIDIA RTX 3090 с tensor parallelism; для инференса рекомендован vLLM. Доступны reasoning и tool calling через соответствующие парсеры vLLM, а MTP head предназначен для экспериментов со speculative decoding. Сильными сторонами являются сочетание мультимодальности, большого контекстного окна и существенной экономии памяти благодаря W4A16-квантованию, при сохранении vision tower в bf16. Ограничения включают зависимость от совместимого окружения vLLM и необходимости корректно задавать параметры обработки изображений; квантование может влиять на качество относительно исходной модели. Оценки в README приведены при включённом режиме thinking и не должны напрямую сравниваться с результатами, полученными при отключённом reasoning. Лицензия — Apache 2.0.

Vishva007/Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen. Модель предназначена для генерации текста по текстовым и визуальным входам, включая анализ изображений и задачи оптического распознавания символов (OCR). В README она обозначена как vision-language model с поддержкой сценария image-text-to-text. Модель содержит около 27 млрд параметров и использует формат квантизации W4A16: веса представлены в 4-битном формате, а активации — в 16-битном. Квантизация выполнена с помощью Intel AutoRound с размером группы 64, симметричной схемой, 512 калибровочными образцами и 600 итерациями настройки. Визуальная башня сохранена в формате BF16, как и специальные MTP-слои, что должно помогать сохранять качество визуального рассуждения и OCR. Заявленное потребление видеопамяти составляет примерно 16–18 ГБ против около 54 ГБ у исходной BF16-модели, поэтому вариант подходит для запуска на одной видеокарте с 24 ГБ VRAM и для высокопроизводительного сервинга через vLLM. К преимуществам относятся существенно сниженные требования к памяти и потенциально более высокая скорость декодирования при сохранении визуальных компонентов в BF16. Ограничения включают возможную потерю точности из-за 4-битной квантизации, а также отсутствие в README сведений о поддерживаемых языках, точном размере контекста, результатах бенчмарков и детальных ограничениях применения. Модель распространяется по лицензии Apache-2.0.

Qwen-Qwen2-7B-Instruct-GGUF — набор GGUF-квантизаций модели Qwen2-7B-Instruct, разработанной Qwen и опубликованной в формате квантизированных файлов командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие сценарии text-generation. GGUF-формат ориентирован на локальный запуск совместимыми инструментами, а разные уровни квантизации позволяют выбирать компромисс между размером файла, требованиями к памяти и качеством работы. В набор входят варианты IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,9 до 7,7 ГБ. Из README известно, что это текстовая модель с примерно 7 миллиардами параметров; сведения об архитектуре, поддерживаемых языках, модальностях и размере контекста не указаны. Более сильная квантизация обычно уменьшает требования к ресурсам, но может снижать точность по сравнению с менее квантизированными вариантами. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в материалах исходной модели Qwen2-7B-Instruct и репозитории квантизаций.

SlimOpenOrca-Mistral-7B — языковая модель семейства Mistral, созданная Weyaxi слиянием TIES моделей Open-Orca/Mistral-7B-SlimOrca и Open-Orca/Mistral-7B-OpenOrca. Это плотная авторегрессионная модель на 7,1 млрд параметров, распространяемая в формате safetensors; нативный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и следование инструкциям. В README указаны веса слияния 0,5 для SlimOrca и 0,3 для OpenOrca, а также плотность 0,5 для каждой исходной модели. Лицензия — Apache-2.0. Карточка также сообщает о вариантах GPTQ, GGUF и AWQ, опубликованных TheBloke; это отдельные квантованные версии.

T3Q-qwen2.5-14b-v1.0-e3 — дообученная модель на основе Qwen/Qwen2.5-14B-Instruct-1M, опубликованная разработчиком JungZoona. Это плотная языковая модель с архитектурой Qwen2ForCausalLM и 14 млрд параметров, предназначенная для диалогов и генерации текста. Модель рассчитана на контекст длиной до 1,01 млн токенов и работает через библиотеку Transformers. В README указано, что модель прошла постобучение с LoRA на train_data_v1.0. Метаданные заявляют поддержку чата и интерфейса вызова инструментов; модель может применяться для длинных диалогов и анализа больших текстовых контекстов. В карточке сообщается о первом месте среди моделей до 32 млрд параметров в Global Open LLM Leaderboard, однако подробности оценки не приведены. Поддерживаемые языки по метаданным — английский и корейский. Модель распространяется по лицензии Apache-2.0. README сообщает о выпуске более новой версии T3Q-qwen2.5-14b-v1.2-e2 от 14 марта 2025 года, поэтому v1.0-e3 может быть устаревшей относительно неё.

Kaballas/TLetsgo — объединённая языковая модель, созданная разработчиком Kaballas с помощью mergekit и метода Model Stock на основе Qwen/Qwen2.5-7B. В объединение также вошли Kaballas/T36Model, Locutusque/StockQwen-2.5-7B и trollek/Qwen2.5-7B-CySecButler-v0.1. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и принимает текст для генерации текста; поддерживает диалоговый режим и интерфейс вызова инструментов. Максимальная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста общего назначения. Веса опубликованы в формате safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

Trinas_Nectar-8B-model_stock — объединённая автором DreadPoor с помощью mergekit языковая модель на архитектуре Llama 3.1. Она предназначена для диалоговой генерации текста и выполнения инструкций; в состав слияния вошли Configurable-Llama-3.1-8B-Instruct, Dolphin 2.9.4, Hermes 3, Lumimaid v0.2 и ScaduTorrent, с базовой моделью Sao10K/L3-8B-Stheno-v3.2. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекст до 8192 токенов. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 27,27, IFEval — 72,59, BBH — 31,98. Модель представлена в формате safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Behemoth-Magnum-v4-SLERP-123b — объединённая языковая модель, созданная автором репозитория методом SLERP с помощью mergekit. В объединение вошли Magnum-v4-123b от anthracite-org и Behemoth-123B-v1.2 от TheDrummer. Модель основана на архитектуре MistralForCausalLM и содержит 122,2 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

Citaman/command-r-32-layer — языковая модель семейства Cohere, созданная автором репозитория с помощью mergekit на основе Citaman/command-r-33-layer. В README описано слияние SLERP: в итоговую модель включены срезы слоёв исходной модели, а веса сохранены в формате bfloat16. По метаданным модель содержит 28,4 млрд параметров, использует архитектуру CohereForCausalLM и доступна в формате safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 8192 токена. Лицензия и конкретные языки в предоставленных данных не указаны, поэтому область применения и языковую поддержку нельзя уточнить.

Dynin-Omni — мультимодальная модель семейства Dynin-Omni, разработанная авторами проекта Dynin-Omni и дообученная на основе Gen-Verse/MMaDA-8B-MixCoT. Это плотная модель примерно на 9,2 млрд параметров с архитектурой masked diffusion: она представляет текст, изображения, видео и речь дискретными токенами в общем словаре и генерирует ответы итеративным уточнением масок. Модель предназначена для диалога и рассуждений, понимания изображений и видео, генерации и редактирования изображений, распознавания речи и синтеза речи. Единая архитектура поддерживает преобразования между модальностями, включая видео в текст, речь в текст, текст в речь и текст в изображение. В README заявлены расширенный контекст, генерация речи длительностью до 21 секунды и режимы рассуждения с управлением глубиной. Модель можно запускать и обучать локально через Transformers; поддержка в vLLM-Omni заявлена для будущего выпуска версии 0.19.0. В карточке приведены результаты на тестах рассуждений, понимания изображений и видео, генерации изображений и распознавания речи. Эти значения зависят от используемого протокола оценки. Лицензия — MIT. Карточка указывает английский язык; языки для аудио и других мультимодальных задач отдельно не перечислены.

ERNIE-4.5-21B-A3B-PT — текстовая MoE-модель Baidu для генерации и понимания языка в диалоговом режиме. Суффикс PT обозначает веса для PyTorch и Transformers; модель также можно запускать через vLLM. В README указаны 21 млрд параметров всего и около 3 млрд активных параметров на токен, а метаданные каталога содержат оценку 3,3 млрд параметров. Модель использует архитектуру ERNIE 4.5 MoE и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов и ведения диалога на китайском и английском языках. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако этот вариант в README обозначен как текстовый и не заявлен как модель для обработки изображений. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README указывает требования к версиям Transformers и vLLM для запуска; конкретные ограничения качества или известные слабые стороны этой версии не описаны.

Falcon3-MoE-2x7B-Instruct — инструктивная языковая модель с архитектурой Mixture of Experts, созданная объединением двух моделей Falcon3-7B-Instruct. В README заявлено 13,4 млрд параметров и формат BF16; метаданные указывают 7,1 млрд параметров. Модель основана на Falcon3-7B-Instruct от TII, а репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и генерации ответов по инструкциям. Базовая Falcon3-7B-Instruct рассчитана на задачи понимания языка, следования инструкциям, рассуждений, программирования и математики; контекст составляет до 32 768 токенов. В карточке для базовой модели перечислены английский, французский, испанский и португальский языки. Метаданные также отмечают интерфейс для вызова инструментов. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в репозитории. Описание не содержит отдельных оценок качества или ограничений для MoE-версии; заявленные возможности базовой модели не следует считать подтверждёнными сравнительными результатами этой сборки.

MaziyarPanahi/Falkor-7b-Mistral-7B-Instruct-v0.2-slerp-GGUF — это квантованная версия языковой модели Falkor-7b-Mistral-7B-Instruct-v0.2-slerp, разработанная и подготовленная MaziyarPanahi. Модель основана на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и выполнения инструкций в локальных и серверных сценариях. Модель поставляется в формате GGUF, совместимом с llama.cpp и рядом приложений и библиотек для локального запуска, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Это позволяет выбирать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Точное число параметров указано как 7B; поддерживаются текстовые задачи, однако сведения о языках и размере контекстного окна в README отсутствуют. Сильными сторонами являются уменьшенный размер квантованных файлов и возможность запуска на широком спектре локальных конфигураций с поддержкой CPU и GPU через совместимые инструменты. Ограничения включают потенциальное снижение качества при использовании более агрессивного квантования, а также отсутствие в README подробных результатов оценки, описания архитектуры с дополнительными деталями и характеристик мультимодальности. Модель распространяется по лицензии Apache-2.0.

ehristoforu/fq2.5-7b-it-normalize_false — объединённая инструктивная языковая модель на архитектуре Qwen2, созданная с помощью mergekit и метода Model Stock на основе Qwen/Qwen2.5-7B-Instruct. В объединение вошли модели для работы с длинным контекстом и RAG, рассуждений, математики, а также неконтролируемой генерации. Модель предназначена для диалоговой генерации текста и ответов на инструкции; заявленный контекст составляет 32 768 токенов. Размер — 7,1 млрд параметров. Репозиторий содержит веса safetensors для библиотеки Transformers и метаданные отмечают интерфейс вызова инструментов. Составное объединение может сочетать возможности исходных моделей, однако карточка не приводит количественных оценок качества или отдельных результатов тестирования. Лицензия в предоставленных источниках не указана.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

ZuzeTt/GLM-4.6V-Flash-heretic-Imatrix-GGUF — пользовательская модификация мультимодальной модели GLM-4.6V-Flash, первоначально разработанной организацией zai-org. Данная версия создана AlexH с использованием Heretic 1.1.0 и не является официальным релизом zai-org. Модель предназначена для локального развертывания и приложений с низкой задержкой. Модель относится к семейству GLM-V и имеет около 9 млрд параметров. Она работает с текстом и изображениями, включая документы, скриншоты, таблицы, графики и веб-интерфейсы. Заявлена поддержка контекста до 128 тысяч токенов, мультимодального понимания документов, native Function Calling, генерации смешанного текстово-визуального контента, восстановления HTML/CSS по скриншотам и визуального редактирования. В метаданных указаны китайский и английский языки. Ключевая особенность этой версии — decensored-модификация, направленная на снижение количества отказов и повышение отклика в сложных или нестандартных сценариях. В приведённом сравнении модель отказала в 63 из 100 тестовых случаев против 100 из 100 у исходной модели; при этом README не описывает методику тестирования. Ограничения связаны с неофициальным характером модификации, возможными отличиями в поведении и отсутствием подробных данных о качестве после изменений. В качестве лицензии указана MIT.

GLM-5.3-Quark-MXFP4 — текстовая авторегрессионная модель для генерации текста, созданная Advanced Micro Devices (AMD) на базе GLM-5.3 от zai-org. Модель предназначена для задач обработки и генерации текста, включая математическое рассуждение и другие сценарии, поддерживаемые базовой моделью. Заявленные языки — английский и китайский; входные и выходные данные представлены в текстовой форме. Архитектура модели обозначена как GlmMoeDsaForCausalLM. Для оптимизации инференса применена посттренировочная квантизация AMD Quark V0.12: router experts и shared experts используют MXFP4, а слои self-attention — FP8 с покомпонентной блочной квантизацией. Слой lm_head, эмбеддинги и некоторые дополнительные слои сохранены в исходном формате. Максимальная длина контекста в приведённой конфигурации vLLM составляет 32 768 токенов, однако размер модели и полная спецификация контекстного окна в README не указаны. Модель ориентирована на запуск через vLLM на системах Linux с ускорителями AMD MI350 или MI355 и ROCm 7.1.1; в README также указаны PyTorch 2.10.0 и Transformers 5.15.1. На тесте GSM8K она получила 91,28 против 91,89 у исходной GLM-5.3, что соответствует восстановлению 99,34% исходного результата и указывает на небольшую потерю точности после квантизации. Лицензия обозначена как glm-5.3; также указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

google_gemma-4-31B-it-GGUF — это квантизированная версия instruction-tuned модели Gemma 4 31B-it, разработанной Google. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована как google/gemma-4-31B-it. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, Ollama-подобные и другие совместимые инструменты. По указанной классификации pipeline_tag это модель для преобразования изображений и текста в текст, однако подробные сведения о поддерживаемых модальностях и языках в README не приведены. Доступны варианты с точностью от BF16 до Q3 и IQ3, включая Q4, Q5, Q6 и Q8. Размер файлов составляет примерно от 13,84 до 61,41 ГБ; варианты Q4–Q6 заявлены как обеспечивающие хороший или очень высокий уровень качества при меньшем потреблении памяти, а Q3 ориентированы на системы с ограниченными ресурсами и отличаются более низким качеством. Архитектура, максимальная длина контекста и точное число параметров, помимо обозначения 31B, в README не уточняются. Сильными сторонами являются широкий выбор уровней квантизации, совместимость с экосистемой llama.cpp и возможность локального инференса. Ограничения включают значительные требования к памяти, особенно для BF16 и высокоточных вариантов, а также возможное снижение качества у компактных Q3-вариантов. Для недавно поддерживаемых моделей может потребоваться обновление используемого программного обеспечения. Лицензия указана как Apache-2.0; при этом для Gemma также приведена отдельная ссылка на лицензионные условия Google.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

Hunyuan-7B-Pretrain — предварительно обученная плотная языковая модель Tencent из семейства Hunyuan. Она содержит 7,5 млрд параметров и предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Модель работает с Transformers и использует архитектуру HunYuanDenseV1ForCausalLM с Grouped Query Attention; метаданные также отмечают поддержку диалогового режима и интерфейса вызова инструментов. Модель рассчитана на длинные контексты до 262 144 токенов и поддерживает режимы быстрого и пошагового рассуждения. Её можно применять для генерации и продолжения текста, обработки длинных документов, а после настройки — для агентных сценариев. В README приведены результаты тестов базовых моделей семейства, но они не гарантируют аналогичное качество в каждом пользовательском сценарии. Модель выпущена Tencent в июле 2025 года. README описывает семейство как открытое, но доступный фрагмент не содержит точных условий лицензии для этой модели. Языки обучения или поддержки в предоставленных источниках не перечислены.

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

unsloth/Jan-nano-128k-GGUF — это GGUF-квантизированная версия компактной языковой модели Jan-Nano-128k, разработанной Menlo Research авторами Alan Dao, Bach Vu Dinh и Thinh Le и опубликованной в формате Unsloth Dynamic 2.0. Модель предназначена для генерации текста и исследовательских задач, включая анализ длинных документов, обработку научных статей, синтез информации из нескольких источников, сложные рассуждения и многошаговые диалоги. Она совместима с серверами Model Context Protocol (MCP) и может использоваться локально, в том числе через Jan, с сохранением конфиденциальности данных. Ключевая характеристика модели — нативное контекстное окно до 128 000 токенов, рассчитанное на эффективную работу с длинными контекстами без типичной деградации производительности при их расширении. В README не указаны точный размер модели, базовая архитектура, поддерживаемые языки, модальности и параметры GGUF-квантизации; заявлена поддержка текстовой генерации и языка English. Модель оценивалась на SimpleQA с использованием MCP-методологии, однако численные результаты в предоставленных данных отсутствуют. Сильными сторонами являются большое контекстное окно, ориентация на глубокий анализ и работа с большими объёмами информации, а также возможность локального развертывания. Ограничения включают отсутствие подробных сведений о размере, аппаратных требованиях, конкретных вариантах квантизации и фактических показателях качества. Модель распространяется по лицензии Apache 2.0.