I.11Классификация, ранжирование и сопоставление

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

AtomicChat/gemma-4-E2B-it-GGUF — это текстовая GGUF-квантизированная версия модели google/gemma-4-E2B-it, подготовленная Atomic Chat из оригинальных весов Google с использованием importance matrix. Модель предназначена для локального и полностью автономного запуска в задачах генерации текста, чат-диалогов, рассуждений, программирования и обработки длинного контекста. Для корректного применения шаблона диалога требуется поддержка Gemma 4 chat template. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв и контекст до 128K токенов. Это плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используется 8 attention heads и 1 KV head. Базовая модель поддерживает текст, изображения и аудио, однако данный репозиторий содержит только текстовые GGUF-кванты и не включает vision projector. Доступны варианты от Q2_K до Q8_0, включая рекомендуемый баланс качества и размера Q4_K_M. Сильные стороны модели — небольшой размер, возможность офлайн-развёртывания, длинный контекст и несколько уровней квантизации, позволяющих подобрать соотношение скорости, потребления памяти и качества. Уровень качества зависит от выбранного кванта: низкобитные варианты экономичнее, но сильнее теряют точность, тогда как Q6_K и Q8_0 ближе к полноточной версии. Приведённые в README результаты являются опубликованными показателями базовой модели Google, а не независимыми измерениями данного репозитория. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash — разработанная Z.ai мультимодальная модель семейства GLM-5 для диалогов, анализа изображений, программирования и агентных сценариев. Это новая модель с гибридной архитектурой, сочетающей разреженное и линейное внимание; в README указаны 320 млрд общих параметров и 18 млрд активных параметров. Репозиторий содержит веса в формате safetensors FP8, а метаданные указывают библиотеку Transformers и лицензию MIT. Модель предназначена для ответов на вопросы по тексту и изображениям, помощи с кодом и выполнения многошаговых задач с инструментами. В README описано управление бюджетом рассуждений через reasoning_effort; также заявлены улучшения эффективности и работы с длинным контекстом. Указанные в карточке результаты контекстных оценок не подтверждают максимальную длину контекста для всех способов запуска. Языковые метаданные карточки перечисляют английский и китайский; независимых сведений о качестве на других языках нет.

GRIN-MoE — языковая модель Microsoft на архитектуре decoder-only Transformer с разреженной смесью экспертов (MoE). В конфигурации указаны 16 экспертов по 3,8 млрд параметров, из которых при генерации активны два; README сообщает 6,6 млрд активных параметров, а метаданные — 4 млрд общих параметров. Модель использует словарь токенизатора из 32 064 токенов и контекст до 4096 токенов. Принимает текст, лучше всего работает с запросами в формате чата и предназначена для генерации текста. Модель ориентирована на универсальные диалоговые системы, программирование, математику и рассуждения, в том числе в сценариях с ограничениями по памяти, вычислениям или задержке. GRIN применяет SparseMixer-v2 для оценки градиента маршрутизации экспертов; в карточке также описано обучение без параллелизма экспертов и отбрасывания токенов. Карточка характеризует обучение как преимущественно англоязычное и отмечает, что на других языках качество будет ниже. Как и другие языковые модели, она может выдавать ненадёжные, предвзятые или оскорбительные ответы и требует оценки для конкретных сценариев. Модель выпущена Microsoft по лицензии MIT; карточка допускает коммерческое и исследовательское применение.

Hermes-Dolphin-out — объединённая языковая модель на архитектуре Llama, созданная автором harkov000 методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Модель содержит около 7,5 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, написания кода и сценариев с вызовом инструментов; эти возможности унаследованы от моделей, участвовавших в объединении. В метаданных основная задача — text-generation. Карточка не сообщает результаты оценки качества именно этого объединения. Языковая ориентация и отдельные ограничения модели не описаны; базовая Hermes 3 характеризуется как англоязычная. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

Hy3 preview-Base — предварительно обученная языковая модель Tencent Hy Team для генерации текста. Она построена на архитектуре Mixture-of-Experts (MoE); README описывает семейство Hy3 preview как модель с 295 млрд параметров и 21 млрд активных параметров, тогда как метаданные этого репозитория указывают 16,6 млрд параметров. Модель предназначена для задач рассуждения, следования инструкциям, работы с длинным контекстом, программирования и агентных сценариев; эта версия является базовой, предварительно обученной моделью. Метаданные указывают контекст до 262 144 токенов и возможность диалогового использования. Для запуска README рекомендует vLLM или SGLang и отмечает необходимость нескольких GPU с большим объёмом памяти. Карточка приводит результаты тестов по математике, STEM, коду и агентным задачам, но они не гарантируют качество в конкретном приложении. В репозитории указаны веса safetensors и лицензия other; условия лицензии следует уточнить в её тексте перед использованием.

Mamba2-primed-HQwen3-8B-Instruct — гибридная языковая модель, подготовленная командой Hybrid Model Factory на основе Qwen3-8B. В архитектуре 18 слоёв Attention и 18 слоёв Mamba-2; модель содержит 7,6 млрд параметров и поддерживает контекст до 131 072 токенов. Она instruction-tuned и предназначена для генерации текста и диалогов, следования инструкциям и работы с длинными контекстами. Сочетание Attention и Mamba-2 сокращает долю растущего KV-кэша, что помогает повысить пропускную способность и уменьшить расход памяти при длинных последовательностях. По данным карточки, модель может уступать базовой Qwen3-8B в качестве, особенно на длинном контексте; Mamba-2 описана как менее выразительная, чем некоторые другие SSM-слои. Модель не поддерживает вызов инструментов и не генерирует специальные токены рассуждений. Доступна под лицензией Apache 2.0.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q4_K_M — это квантизированная версия инструкционной модели Mellum2, разработанной JetBrains. Модель представлена в формате GGUF и предназначена для запуска в llama.cpp, Ollama, LM Studio и других совместимых средах, включая использование через OpenAI-совместимый API. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Заявлен контекст до 131 072 токенов, поддерживается генерация текста, а в карточке указана поддержка английского языка. Квантизация Q4_K_M использует 4-битное представление и занимает около 8,1 ГБ, обеспечивая компромисс между качеством и размером. Модель ориентирована на прямые ответы без внешнего отображения цепочки рассуждений и может применяться для диалогов, генерации текста и программного кода. Основное преимущество этой версии — заметное снижение требований к дисковому пространству и памяти по сравнению с BF16 при сохранении значительной близости к исходной модели: совпадение наиболее вероятного токена составляет 87,2%, а значение KLD относительно BF16 — около 0,106 на указанном тесте Wikitext-2. Ограничением является потеря точности из-за 4-битной квантизации; приведённые метрики не заменяют полноценную оценку качества прикладных задач. Модель распространяется по лицензии Apache 2.0.

Это объединённая плотная языковая модель семейства Qwen2, созданная с помощью mergekit методом Model Stock на основе DeepSeek-R1-Distill-Qwen-32B. В объединение вошли ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3, Sao10K/32B-Qwen2.5-Kunou-v1 и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; доступны интерфейсы чата и вызова инструментов. Контекстное окно — 131 072 токена. Модель предназначена для диалоговой генерации и решения задач на основе текста. Базовая модель DeepSeek-R1-Distill-Qwen-32B описана как модель для рассуждений, математики и программирования, однако README не приводит отдельные оценки качества этого слияния. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Phi-4-reasoning-plus-GGUF — это набор квантизированных версий языковой модели Phi-4-reasoning-plus, разработанной Microsoft и преобразованной в формат GGUF автором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и задач, требующих рассуждений. В README указана поддержка английского языка и рекомендована температура генерации 0. Доступны варианты от исходных весов BF16 размером 29,32 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K и других объёмом примерно от 8,4 до 15,6 ГБ. Разные варианты позволяют выбирать баланс между качеством, размером и требованиями к ресурсам; наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K и Q4_K_M. Модель рассчитана на локальный запуск через LM Studio, llama.cpp и совместимые проекты. Архитектура, число параметров, размер контекста и мультимодальные возможности в README не указаны; заявлена только текстовая генерация. Лицензия — MIT. Ограничения связаны с использованием квантизированных весов: качество и требования к памяти зависят от выбранного варианта, а некоторые форматы обозначены как устаревшие. Для корректной работы требуется соблюдать рекомендованный шаблон промпта Phi и использовать совместимое программное обеспечение.

MiniCPM5-2B-MLX — компактная языковая модель из серии MiniCPM5, разработанная командой OpenBMB. Это плотная Transformer-модель примерно на 2 млрд параметров, предназначенная для генерации текста и локального развертывания на устройствах с ограниченными ресурсами. В карточке указана поддержка английского и китайского языков, а также сценарии on-device и edge AI. Модель рассчитана на следование инструкциям, программирование, математические задачи, понимание длинного контекста, использование инструментов и агентские сценарии. По заявлению разработчиков, среди открытых моделей сопоставимого размера она показывает передовые результаты и в целом остается конкурентоспособной моделям класса 4B, особенно в коде, математике, работе с длинным контекстом и tool use. Точная максимальная длина контекста и подробные результаты тестов в предоставленных данных не указаны. К основным ограничениям относятся меньший размер и, вероятно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения качества, требования к оборудованию и поддерживаемые форматы MLX в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Nemotron-Cascade-2-30B-A3B-AWQ-4bit — 4-битная AWQ-версия диалоговой языковой модели семейства NVIDIA Nemotron-Cascade-2. В README исходная модель описана как модель Mixture of Experts на 30 млрд параметров с 3 млрд активируемых параметров; она дообучена на базе Nemotron-3-Nano-30B-A3B-Base и поддерживает режимы рассуждений и обычных инструкций. Метаданные указывают задачу генерации текста, библиотеку Transformers и базовую модель nvidia/Nemotron-Cascade-2-30B-A3B. Модель предназначена для диалогов, решения сложных задач и агентных сценариев; README сообщает о высоких результатах на математической олимпиаде IMO и олимпиаде по информатике IOI 2025. Она использует шаблон ChatML, а для запуска исходной версии README описывает контекст до 262 144 токенов. AWQ-квантизация снижает точность весов до 4 бит; показатели качества и требования к ресурсам именно этой сборки в предоставленных сведениях не приведены. Лицензия указана как other, конкретные условия следует сверять с карточкой модели.

Nemotron-Flash-3B-Instruct — инструктивная языковая модель семейства Nemotron-Flash, разработанного NVIDIA. Это плотная авторегрессионная модель с архитектурой NemotronFlashForCausalLM; в метаданных размер указан как 1,3 млрд параметров, а длина контекста — 29 000 токенов. Модель предназначена для диалоговой генерации текста и компактного развертывания с низкой задержкой. В карточке заявлены сильные результаты на задачах математики, программирования и рассуждений здравого смысла, а также эффективная генерация при небольшом и большом размере пакета. Для инференса описана интеграция с Transformers, CUDA Graph и TensorRT-LLM; веса доступны в формате safetensors. Для использования требуется учитывать поддержку CUDA и доверенную загрузку пользовательского кода через trust_remote_code. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели. Заявленные сравнительные результаты приведены разработчиком; независимая проверка в этих материалах не описана.

OpenHermes 2.5 Mistral 7B — языковая модель Teknium, дообученная на базе Mistral-7B-v0.1 для диалогов и следования инструкциям. Она содержит около 7,1 млрд параметров, использует плотную архитектуру Mistral и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель обучалась на наборе примерно из миллиона примеров, преимущественно сгенерированных GPT-4, включая дополнительные данные по программированию. Модель предназначена для многошагового общения, ответов на вопросы, выполнения инструкций и помощи с программированием. В карточке приводится результат HumanEval 50,7% при Pass@1, а также сообщается об улучшении ряда общих бенчмарков по сравнению с предыдущей версией; это результаты авторов, не гарантия качества в конкретных сценариях. Указанный в метаданных язык — английский. Модель принимает текстовые запросы и генерирует текст. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неверные сведения или код с ошибками; результаты следует проверять.

Ornith-1.5-35B-A3B uncensored (NVFP4) — доработанная и квантованная версия модели Ornith-1.5-35B-A3B от команды Ornith, подготовленная Robert Ressl. Модель основана на архитектуре Mixture-of-Experts: общий размер составляет 35B параметров, около 3B параметров активны при обработке токена. Это текстовая генеративная модель на английском языке, предназначенная для генерации текста, рассуждений, вызова инструментов, исследований безопасности, red-teaming и penetration testing. В README также указано, что мультимодальная оболочка и vision tower сохранены, однако подробные сведения о поддерживаемых визуальных сценариях не приведены. Модель использует abliteration в один проход и формат NVFP4 только для экспертных тензоров; attention, shared expert, router и embeddings остаются в BF16. Размер экспортированной модели составляет около 23 ГБ вместо 71,9 ГБ у BF16-версии, заявленная длина контекста — 262 144 токена. Для запуска рекомендованы SGLang и NVIDIA GPU с поддержкой Blackwell; на одной NVIDIA RTX PRO 6000 Blackwell 96 GB измерена скорость 213 токенов в секунду при коротких запросах. К сильным сторонам относятся существенно сниженная частота жёстких отказов, сохранение инструментального вызова и близкое к базовой модели качество на GPQA-Diamond: 58,6% против 61,1%. Ограничения включают остаточные отказы, возможное влияние квантования на поведение и отсутствие MTP speculative decoding, поскольку тензоры mtp.* были удалены из экспортированного контрольного пункта. Модель по умолчанию ориентирована на рассуждения; для коротких прямых ответов рекомендуется отключать режим thinking. Лицензия — MIT, унаследованная от базовой модели Ornith.

Phi-2 Orange Version 2 — разговорная языковая модель на базе Phi-2, созданная Rhys Jones. Это двухэтапное дообучение с обновлённым процессом на тех же наборах данных, что использовались для первой версии. Модель имеет плотную архитектуру PhiForCausalLM, около 3,5 млрд параметров и контекст до 2048 токенов. Модель предназначена для генерации текста в диалоговом формате ChatML: она может отвечать на вопросы, следовать системным инструкциям, помогать с рассуждениями и писать код. В README приведены результаты нескольких бенчмарков, но они не гарантируют качество на конкретных задачах. Модель использует формат safetensors и поддерживается Transformers без необходимости включать trust_remote_code. Модель выпущена под лицензией MIT. Она наследует ограничения Phi-2; подробности приведены в карточке базовой модели.

unsloth/Qwen2.5-1.5B-unsloth-bnb-4bit — 4-битно квантованная версия базовой языковой модели Qwen2.5-1.5B, подготовленная Unsloth на основе Qwen/Qwen2.5-1.5B. Модель предназначена для генерации и продолжения текста, программирования, математических задач, обработки структурированных данных и последующего дообучения. Это текстовая, авторегрессионная causal language model без заявленной поддержки изображений или других модальностей. Ключевая особенность варианта — формат Unsloth Dynamic 4-bit Quant, который избирательно применяет квантование для снижения требований к памяти при сохранении качества по сравнению со стандартными 4-битными вариантами. Семейство Qwen2.5 поддерживает контекст до 128K токенов и генерацию до 8K токенов, а также более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Точные архитектурные параметры именно версии 1.5B в представленном README не указаны; приведённый там блок с характеристиками 0.5B относится к другой конфигурации. Модель выигрывает за счёт небольшого размера и сниженного потребления памяти, что делает её подходящей для локального запуска, экспериментов и эффективного fine-tuning. Как базовая, а не instruction-tuned модель, она не оптимизирована для диалогов без дополнительного дообучения и может требовать настройки шаблонов и параметров генерации. Лицензия — Apache-2.0.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-GGUF — квантизированная версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, созданная автором ManniX-ITA. Это объединённая модель на базе Qwen3.6-27B, дополненная результатами слияния трёх дообученных вариантов. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp. Модель имеет архитектуру Qwen3.5 и около 27,78 млрд параметров. Доступны варианты от F16 до низкобитных IQ- и Q-квантизаций, включая Q2_K, Q4_K_M, Q6_K и Q8_0. Заявлены возможности рассуждений, работы с кодом и изображениями; в карточке указано поддерживаемое описание языка English. Контекстное окно и точный перечень поддерживаемых визуальных входов не указаны. Сильными сторонами заявлены улучшенные результаты в задачах программирования и научного рассуждения по сравнению с некоторыми базовыми и предыдущими версиями Omnimerge, а также специальная модификация MLP-слоёв для повышения устойчивости механизма рассуждений. Качество зависит от выбранной квантизации, а приведённые бенчмарки измерялись при разных настройках генерации и не всегда напрямую сопоставимы. Для ускоренного декодирования доступен отдельный MTP-вариант репозитория, не входящий в эту модель. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 4bit — мультимодальная конверсия модели Qwen3.6, подготовленная froggeric на базе uncensored-варианта от llmfan46. Исходная модель разработана Alibaba Cloud. Версия предназначена для локального запуска на Apple Silicon через MLX и поддерживает работу с текстом, изображениями и видео, рассуждения, диалоги и вызов инструментов. Заявлены английский, китайский и другие языки. Модель использует гибридную архитектуру с линейными блоками внимания DeltaNet-типа и традиционным softmax-вниманием в соотношении 3:1. Веса представлены в 4-битной квантизации. Для модели исправлены параметры vision tower, а также шаблон чата: добавлена совместимость с ролями developer и инструментами, переключение режима рассуждений и обработка проблемных тегов. Указано, что архитектурно-ориентированное uncensoring с помощью Heretic и MPOA снизило частоту отказов при незначительной потере возможностей, однако конкретные результаты могут зависеть от задачи и не заменяют самостоятельное тестирование. Модель подходит для локальных чат-ассистентов, программирования, анализа изображений и мультимодальных сценариев, включая приложения с вызовом инструментов. Для работы рекомендуются mlx-lm версии 0.31.2 или выше и mlx-vlm версии 0.4.4 или выше. В README не указаны размер контекста и требования к объёму памяти. Лицензия — Apache-2.0; из-за uncensored-настройки модель может слабее применять стандартные ограничения безопасности, поэтому ответственность за фильтрацию и применение результатов лежит на пользователе.

NikiKrutan/Qwen3.8-27B-MTP-GGUF — набор GGUF-квантований базовой модели Qwen/Qwen3.8-27B, подготовленный разработчиком NikiKrutan с использованием собственного инструмента niki-allocator. Метод распределяет тип квантования отдельно для каждого тензора и выбирает варианты на основе оценок и измерений KLD. Модель предназначена для локального запуска через llama.cpp и совместимых инструментов. Согласно README, модель ориентирована на диалоговые сценарии, программирование, reasoning, сложную логику и агентные задачи. Указаны поддержка английского и русского языков, а также мультиязычные сценарии для отдельных тестовых корпусов. В карточке присутствует тег image-text-to-text, однако конкретные сведения о визуальной архитектуре и фактических возможностях работы с изображениями не приведены. Размер базовой модели — 27B параметров; используется MTP, но точные варианты квантования, требования к памяти и размер контекста не указаны. К сильным сторонам относятся ориентированная на качество покомпонентная квантование, сравнение с несколькими альтернативными GGUF-сборками и оценка по KLD, RMS Δp, вероятности совпадения наиболее вероятного токена и perplexity на корпусах для кода, reasoning, агентных задач, мультиязычных текстов, научных и юридических материалов. Ограничения — отсутствие детальных численных результатов непосредственно в тексте README, неизвестные требования к ресурсам и отсутствие независимой оценки качества исходной модели. Лицензия Apache-2.0.

Qwen3.8-27B-Omnimerge-v6 — плотная мультимодальная модель семейства Qwen, созданная ManniX-ITA слиянием опубликованных чекпойнтов на базе Qwen/Qwen3.8-27B. Веса получены арифметическим слиянием трёх дообученных моделей Qwen3.6 с переносом их изменений на новую базу; модель сама не дообучалась и не дистиллировалась. Архитектура поддерживает обработку текста и изображений, диалог, программирование, рассуждения и интерфейс вызова инструментов. Модель предназначена для диалоговых сценариев, анализа изображений, задач программирования и многошаговых рассуждений. В единственном сравнительном тестировании на выборке из пяти бенчмарков заметное улучшение относительно v4 показано на LiveCodeBench; остальные результаты в основном находятся в пределах погрешности, а GPQA ниже на 2 процентных пункта. Модель склонна к длинным рассуждениям и может исчерпать лимит бюджета ответа. Оценки проводились на Q6_K; другие уровни квантования отдельно не проверялись. Модель использует Transformers и формат Safetensors. Лицензия — Apache-2.0. README характеризует её как исследовательский чекпойнт и отмечает ограничения оценки: одна выборка, один seed и один уровень квантования.

outsourc-e/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored от JonathanColetti. Репозиторий публикует сборки с динамическим распределением битности по отдельным тензорам; карта квантования заимствована из проекта Unsloth Dynamic 3.0 и применена к весам исходной uncensored-модели. Модель предназначена для генерации текста, диалогов, агентских сценариев, работы с кодом и локального запуска через совместимые движки, включая llama.cpp. Модель содержит около 27 млрд параметров и поддерживает текстовую модальность. Заявлены английский и китайский языки, контекст до 262 144 токенов; для одной из сборок подтверждено извлечение данных на длине 250 806 токенов. Динамическая квантование сохраняет больше точности в чувствительных тензорах и сильнее сжимает менее критичные, благодаря чему сборка UD-Q3_K_XL в приведённых измерениях превзошла протестированные варианты Q4 по perplexity и обеспечила скорость 112,8 токена в секунду на RTX 4090 при использовании llama.cpp и speculative decoding. Сильными сторонами являются uncensored-характер модели, большой контекст, доступность нескольких уровней квантования и эффективное соотношение качества, размера и скорости. Результаты зависят от конкретного уровня квантования, оборудования, длины генерации и настроек запуска; для коротких запросов измеренная скорость значительно ниже пиковой, а варианты низкой битности, особенно Q2, заметно теряют качество. Для некоторых квантов полный набор тестов ещё не завершён. Лицензия — Apache 2.0.

Qwen3-VL-12B-Thinking-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель в формате GGUF, созданная DavidAU на базе Qwen3-VL-8B-Thinking с адаптером Brainstorm 20x и дополнительной обработкой квантов NEO Imatrix. Модель предназначена для работы с текстом и изображениями, включая image-to-text, описание изображений, программирование, генерацию кода, чат, творческие задачи и рассуждения. В метаданных указан английский язык; заявлена поддержка видео, однако подробности о формате и ограничениях видеовхода не приведены. После применения адаптера размер модели увеличен до 12B параметров; указаны 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, размещённый вместе с основной моделью. Поддерживаются шаблоны Jinja или ChatML. Brainstorm 20x заявлен как модификация, улучшающая детализацию, связность, качество прозы, творческую генерацию и глубину рассуждений, но автор отдельно отмечает, что это не означает кратного повышения интеллектуальных способностей. Сильными сторонами модели являются сочетание обработки текста и изображений, пригодность для сложного многошагового программирования, подробных инструкций, творческих сценариев и работы с длинным контекстом. К ограничениям относятся отсутствие опубликованных в README бенчмарков и примеров, а также возможное зацикливание генерации; для его уменьшения рекомендуются повышенная температура, repetition penalty около 1.1 и presence penalty 2.0. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Thinking-1M-GGUF — это GGUF-версия мультимодальной модели Qwen3-VL-8B-Thinking, подготовленная Unsloth на базе Qwen/Qwen3-VL-8B-Thinking. Модель предназначена для задач «изображение-текст»: анализа изображений и видео, генерации текста, визуального рассуждения, OCR, пространственного понимания и мультимодальных задач в STEM и математике. Thinking-редакция ориентирована на более глубокое рассуждение и доказательные ответы. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает текст, изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с длинными документами и многочасовыми видеозаписями. Среди архитектурных улучшений указаны Interleaved-MRoPE для пространственно-временного позиционирования, DeepStack для объединения признаков разных уровней Vision Transformer и выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — визуальное восприятие, анализ пространственных отношений и видео, распознавание текста в сложных условиях, мультимодальное рассуждение, а также возможности visual agent для взаимодействия с графическими интерфейсами и инструментами. Ограничения включают высокие требования к вычислительным ресурсам при работе с длинным контекстом, изображениями и видео, а также зависимость качества и совместимости от GGUF-квантизации и используемого движка. Для llama.cpp рекомендуется включать параметр --jinja из-за исправлений chat template. Лицензия — Apache-2.0.

mradermacher/Qwopus3.8-27B-Flash-i1-GGUF — квантованная GGUF-версия модели Qwopus3.8-27B-Flash, подготовленная mradermacher на основе модели Jackrong/Qwopus3.8-27B-Flash. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, генерации текста, диалоговых сценариев, рассуждений, агентских задач, использования инструментов, function calling и генерации кода. Также заявлена поддержка обработки изображений вместе с текстом. Модель относится к мультимодальным vision-языковым моделям с архитектурой и размером семейства Qwen3 8 / 27B; точные архитектурные параметры и размер контекста в README не указаны. Заявлены английский, китайский, испанский, русский и японский языки. Репозиторий содержит набор imatrix-квантов разных уровней, примерно от 11,0 до 22,5 ГБ; варианты различаются компромиссом между размером, скоростью и качеством. В README отмечены рекомендации по отдельным вариантам, но количественные результаты оценки качества не приведены. Сильными сторонами являются мультимодальность, поддержка нескольких языков, широкий набор сценариев применения и возможность локального инференса при выборе подходящего уровня квантования. Ограничения включают потерю качества по сравнению с полноразмерной моделью из-за квантования, зависимость характеристик от выбранного варианта GGUF и отсутствие подробных данных о производительности, контексте и требованиях к оборудованию. Лицензия — Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-3x-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей EVA-Qwen2.5-32B-v0.2, Rombos-Coder-V2.5-Qwen-32b и Rombos-LLM-V2.5-Qwen-32b. Она предназначена для диалоговой генерации текста, математических рассуждений и программирования; поддерживает интерфейс вызова инструментов. Модель содержит 32 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Ring-mini-linear-2.0 — языковая модель компании inclusionAI для генерации текста и диалогов. Она построена на гибридной архитектуре, сочетающей линейное и стандартное внимание, и использует разреженную смесь экспертов (MoE). В репозитории указано 1,2 млрд параметров, а в карточке модели описана версия с 16,4 млрд параметров, из которых при генерации активируются 1,6 млрд; эти цифры расходятся, поэтому размер полной модели по доступным данным нельзя согласовать. Модель дообучена на основе inclusionAI/Ling-mini-base-2.0-20T на дополнительных 600 млрд токенов. Модель предназначена для генерации ответов в диалогах и решения сложных задач по математике, программированию и науке. Метаданные указывают поддержку интерфейса вызова инструментов. Для эффективной обработки длинного контекста заявлено окно до 512 тыс. токенов с расширением YaRN; метаданные указывают нативный контекст 131 072 токена. В карточке приведены англоязычные теги. Для запуска описана поддержка Transformers и SGLang, а также BF16 и FP8 в SGLang; инструкции по установке специальных зависимостей и сборок движков указывают на необходимость совместимой среды. Лицензия — MIT.