I.2Синтез, понимание и проверка знаний

MaziyarPanahi/Mistral-Large-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной компанией Mistral AI. Репозиторий содержит квантизированные варианты исходной модели, включая уровни 2-, 3-, 4-, 5-, 6- и 8-битной квантизации. Модель предназначена для генерации текста и выполнения задач по инструкциям, а формат GGUF ориентирован на локальный запуск и эффективное использование ресурсов. Файлы совместимы с llama.cpp и рядом связанных инструментов и приложений, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Поддерживаются сценарии локального диалога, генерации текста и интеграции через программные библиотеки или API-совместимые серверы. Ключевые характеристики исходной архитектуры, количество параметров, поддерживаемые языки, размер контекста и мультимодальные возможности в README не указаны. Сильными сторонами являются несколько вариантов квантизации и широкая совместимость с экосистемой GGUF; при этом степень потери качества и требования к памяти зависят от выбранного уровня квантизации. Лицензия в представленном описании не указана.

Mistral-Trismegistus-7B-Mistral-7B-Instruct-v0.2-slerp — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.2 и teknium/Mistral-Trismegistus-7B методом SLERP; веса опубликованы в формате safetensors. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Контекст составляет до 32 768 токенов, что подходит для многошаговых диалогов и запросов с большим объёмом входного текста. Карточка не уточняет специализацию Trismegistus, поэтому узкие области применения не заявляются. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неточные или вымышленные сведения; результаты следует проверять.

Mixtral_7Bx2_MoE — языковая модель семейства Mixtral, опубликованная cloudyu. Это объединённая модель (MoE) на основе NurtureAI/neural-chat-7b-v3-16k и mncai/mistral-7b-dpo-v6; в метаданных указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и может использоваться для диалога, ответов на вопросы и текстовых задач общего назначения. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 73,43, ARC — 71,25 и HellaSwag — 87,45. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Языки, на которых модель специально оценивалась или оптимизирована, в предоставленных данных не обозначены.

MobileLLM-Pro-base — базовая предварительно обученная языковая модель семейства MobileLLM, разработанная Meta Reality Labs для эффективного запуска на устройствах. Модель содержит 1,08 млрд параметров и предназначена для генерации текста и общих языковых задач; README сообщает о результатах на тестах рассуждений, знаний и извлечения информации. Архитектура использует 30 слоёв и чередует локальное и глобальное внимание в соотношении 3:1, что снижает затраты на обработку длинного контекста. Заявленная длина контекста — до 128 тыс. токенов. Модель принимает и выдаёт текст и рассчитана на английский язык. Веса доступны в формате safetensors; README описывает базовый чекпойнт в 16-битной точности и отдельные int4-варианты для CPU и ускорителей, размещённые в других репозиториях. Модель можно применять для генерации текста, работы с длинными документами, суммаризации и поиска информации; для диалога, ответов на вопросы и вызова инструментов разработчики отдельно предлагают инструктивно дообученную версию. Модель создана с дистилляцией знаний от Llama 4-Scout. Лицензия FAIR NC ограничивает использование некоммерческими исследовательскими целями.

Mobius-RWKV-Chat-12B-128k-v4-HF — разговорная языковая модель TimeMobius на архитектуре RWKV v5.2, представленная в формате Hugging Face. Она построена на базе Mobius-mega-12B-128k-base и содержит 13,8 млрд параметров. Модель предназначена для генерации текста, письма, ролевых диалогов и некоторых сценариев RAG; автор рекомендует использовать несколько примеров в запросе, хотя работает и формат диалога User/Assistant. В карточке заявлена многоязычная поддержка и контекст до 128 тыс. токенов. Архитектура описана как смешанная state-based RNN, CNN и Transformer; для запуска в fp16 требуется около 24 ГБ видеопамяти. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. README также упоминает запуск в int8 и nf4 с меньшими требованиями к памяти, но доступные метаданные не подтверждают наличие соответствующих квантованных файлов.

tasksource/ModernBERT-large-nli — англоязычная модель tasksource, дообученная на задачах естественного логического вывода (NLI) на основе answerdotai/ModernBERT-large. Это плотный двунаправленный энкодер ModernBERT с 394,7 млн параметров, контекстом до 2048 токенов и классификационной головой; модель доступна в формате Safetensors и работает через Transformers. Модель предназначена для zero-shot-классификации по пользовательским меткам, определения отношений между посылкой и гипотезой (следование, противоречие, нейтральность), анализа тональности и рассуждений по текстам, включая длинные документы. В карточке приведены результаты на нескольких задачах GLUE и отмечены обучающие данные MNLI, ANLI и специализированные NLI-датасеты. Её можно использовать как основу для дальнейшего дообучения под конкретную задачу. Модель лучше всего подходит для английского языка. Она не генерирует свободный текст: результатом служат оценки или классы. Лицензия — Apache-2.0.

ModernCE-base-nli — англоязычный cross-encoder на архитектуре ModernBERT-base, обученный автором dleemiller для классификации отношений между парами текстов: противоречие, нейтральность или следование. Модель дообучена на наборе AllNLI из Sentence Transformers и совместима с сопоставимыми cross-encoder-моделями Sentence Transformers. Модель предназначена для NLI, оценки смыслового сходства и проверки того, следует ли гипотеза из текста-посылки. Автор сообщает точность 90,34% на MNLI mismatched и 90,25% на SNLI. В README заявлена обработка последовательностей до 8192 токенов, тогда как метаданные указывают нативный контекст 2048 токенов. Веса содержат около 149 млн параметров и доступны в формате safetensors. Лицензия — MIT. Показатели приведены для указанных тестовых наборов; они не гарантируют качество на других данных. Модель ориентирована на английский язык.

MoNeuTrix-MoE-4x7B — текстовая генеративная модель с архитектурой Mixture of Experts на базе Mixtral, созданная CultriX с помощью LazyMergekit путём слияния четырёх моделей: CultriX/MonaTrix-v4, mlabonne/OmniTruthyBeagle-7B-v0, CultriX/MoNeuTrix-7B-v1 и paulml/OmniBeagleSquaredMBX-v3-7B. Модель предназначена для генерации текста; её размер составляет 7,1 млрд параметров, а контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель выпущена под лицензией Apache-2.0. В README не описаны специализированные области применения и языки.

Monstral — слитая языковая модель на архитектуре Mistral, созданная объединением частей MarsupialAI/Monstral-123B-v2 и MidoriUnko/Behemoth-v2.2-Magnum-v4-123B методом passthrough с помощью mergekit. Модель содержит 169,3 млрд параметров и предназначена для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors. Лицензия не указана в предоставленных данных, поэтому условия использования по ним определить нельзя.

debisoft/mpt-7b-8k-instruct-peft-compatible — версия MPT-7B-Instruct-8k, подготовленная на основе eluzhnica/mpt-7b-8k-instruct-peft-compatible. Модель разработана MosaicML и дообучена для выполнения инструкций, в частности для ответов на вопросы и суммаризации длинных документов. В обучении использовались Dolly HHRLHF и наборы данных для математики, диалогов, вопросов по документам и других задач. Это плотный decoder-only трансформер MPTForCausalLM с 6,7 млрд параметров и 32 слоями. Архитектура использует FlashAttention и ALiBi без позиционных эмбеддингов. Модель предназначена для генерации текста; заявлен контекст 8k токенов в названии и описании исходной модели. Для загрузки через Transformers требуется доверенное выполнение пользовательского кода. Лицензия — CC-BY-SA-3.0. Модель подходит для ответов на вопросы и краткого изложения длинных текстов, однако может выдавать фактически неверные, предвзятые или оскорбительные ответы. README не сообщает о специальной поддержке русского языка; основные обучающие данные описаны как англоязычные.

Mohamed-Gamil/multilingual-e5-small-JapaneseTeacher — модель Sentence Transformers, дообученная на базе intfloat/multilingual-e5-small для создания эмбеддингов предложений и абзацев. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией, выдаёт плотные векторы размерности 384 и сравнивает их с помощью косинусного сходства. Максимальная длина последовательности — 512 токенов; число параметров — 124,3 млн. Модель предназначена для семантического поиска и сопоставления текстов, включая оценку сходства, поиск перефразировок, кластеризацию и классификацию на основе эмбеддингов. В README указаны английский язык и обучающие пары anchor-positive; примеры обучающих данных содержат японский текст и грамматические пояснения, поэтому возможна специализация на сопоставлении японских учебных материалов, но её охват не подтверждён отдельным описанием. Доступна по лицензии Apache-2.0.

MVP — модель генерации естественного языка, представленная Tianyi Tang, Junyi Li, Wayne Xin Zhao и Ji-Rong Wen в работе «MVP: Multi-task Supervised Pre-training for Natural Language Generation». Она предварительно обучена с учителем на смеси размеченных наборов данных и использует стандартную архитектуру Transformer encoder-decoder. Модель предназначена для генерации текста и может адаптироваться к суммаризации, преобразованию данных в текст, диалогу, созданию историй, ответам и генерации вопросов, а также перефразированию и упрощению текста. MVP также можно адаптировать к задачам понимания языка, включая классификацию последовательностей и извлекающий вопросно-ответный поиск. Карточка указывает поддержку английского языка и контекст до 1024 токенов. Модель доступна в формате PyTorch по лицензии Apache 2.0. Указанные сценарии описывают возможности адаптации; качество для каждой конкретной задачи зависит от используемой версии или дообучения.

NeuralDaredevil-12b-32k — текстовая генеративная модель на архитектуре Mistral, представленная в репозитории mvpmaster. По карточке, она создана с помощью LazyMergekit на основе mlabonne/NeuralDaredevil-7B; метаданные классифицируют связь с этой моделью как дообучение. Модель содержит 12,3 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы в сценариях с длинным контекстом. Базовая модель описана как диалоговая и DPO-дообученная; в карточке NeuralDaredevil-12b-32k дополнительных специализаций и языков не указано. Файлы представлены в формате safetensors. Условия лицензии в предоставленных данных отсутствуют.

NeuralsirkrishnaShadow_AlloyingotneoyYam — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/AlloyingotneoyYam-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста; доступна в формате safetensors. Модель принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не описывает специализированные сценарии или языки обучения. Лицензия — Apache-2.0.

MaziyarPanahi/NeuralsirkrishnaShadow_YamNeuralsirkrishna — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/YamNeuralsirkrishna-7B. Она предназначена для генерации текста и принимает запросы на естественном языке; заявленная длина контекста — до 32 768 токенов. Модель может применяться для диалога, составления текстов и ответов на вопросы. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализации по языкам или прикладным областям, поэтому их нельзя подтвердить.

Nex-N2.5-Pro-GGUF — квантизированная мультимодальная версия модели Nex-N2.5-Pro, разработанная nex-agi и преобразованная в формат GGUF командой qtum с использованием llama.cpp. Модель предназначена для генерации и понимания текста, а также анализа изображений в сценариях локального запуска через llama.cpp. Модель содержит 397 млрд параметров и использует гибридную архитектуру: 45 слоёв линейного внимания Gated DeltaNet и 15 слоёв полного внимания с GQA. Это MoE-модель: для каждого токена выбираются 10 из 512 экспертов и общий эксперт. Контекст — до 262 144 токенов, словарь — 248 320 токенов. Поддерживаются английский и китайский языки. Для обработки изображений используется отдельный 27-слойный vision encoder с входом 768 пикселей и патчами 16 пикселей; проектор поставляется в формате BF16. Модель доступна в вариантах IQ4_XS, Q2_K и IQ2_XS, занимающих примерно 200,1, 138,9 и 113,2 ГиБ соответственно. IQ4_XS обеспечивает качество, близкое к BF16-версии, Q2_K является более сбалансированным вариантом и рекомендуется для инференса только на CPU, а IQ2_XS предназначен для систем с жёсткими ограничениями по памяти, но с заметно большей потерей точности. Для работы с изображениями рекомендуется выделять не менее 1024 image tokens. Необходима сборка llama.cpp с поддержкой Qwen3.5-MoE; все 19 шардов выбранной квантизации нужно хранить в одной директории. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-7B-SFT — языковая модель Allen Institute for AI (AI2), представляющая собой версию OLMo 2 7B с supervised fine-tuning на варианте набора Tülu 3. Плотная авторегрессионная архитектура OLMo 2 содержит 6,9 млрд параметров; модель работает с текстом, поддерживает диалоговый режим и принимает контекст длиной до 4096 токенов. Основной язык — английский. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические рассуждения, ответы на вопросы и выполнение инструкций. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор Tülu 3. Для загрузки и запуска используется библиотека Transformers; веса доступны в формате PyTorch. Лицензия — Apache 2.0. В README отмечено, что у OLMo-2 ограничено обучение безопасности: модель может выдавать проблемный контент, особенно при соответствующих запросах; автоматическая фильтрация ответов не встроена.

ArchSpace-Collection публикует экспорт модели OLMo 3 3B SiameseNorm + DepthAttention с этапа 3 обучения на длинном контексте; README указывает, что экспорт соответствует итерации 11921. Это плотная авторегрессионная языковая модель семейства OLMo 3 с архитектурой SiameseNorm и DepthAttention, предназначенная для генерации текста и работы с длинными последовательностями. Модель содержит 3,2 млрд параметров и рассчитана на контекст до 65 536 токенов. Внимание чередует три слоя с локальным скользящим окном 4 096 токенов и один слой полного внимания; для полных слоёв применяется YaRN. Веса представлены в формате safetensors, загрузка описана для Transformers с trust_remote_code=True. Карточка не сообщает о специальных предметных областях или языковой специализации, поэтому модель можно описать как языковую модель общего назначения. Лицензия в предоставленных данных не указана. Для использования требуется версия Transformers не ниже 4.57.6 и ниже 5, а также исполнение встроенного удалённого кода; качество отдельных задач в карточке не оценено.

PLaMo-13B-Instruct-NC — языковая модель Preferred Networks, дообученная следовать инструкциям на основе PLaMo-13B с контекстом 8192 токена. Это плотная авторегрессионная модель с архитектурой decoder-only и примерно 14,7 млрд параметров по метаданным. Для настройки использованы общедоступные наборы данных, в том числе японские переводы Stanford Alpaca, Dolly и части Anthropic HH-RLHF, а также OpenAssistant и материалы японских новостных текстов. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках: она может отвечать на вопросы, помогать с написанием и преобразованием текста. Выпускается в формате safetensors для Transformers. Лицензия CC-BY-NC-4.0 разрешает использование на условиях Creative Commons Attribution-NonCommercial 4.0, включая обязательное указание авторства и некоммерческое применение. Ответы могут быть неточными, предвзятыми или нежелательными. Проверки проводились на английском и японском языках и не охватывают все сценарии; перед внедрением модель следует проверить и настроить для конкретного применения.

QuestionGenerationComQ6 — модель семейства T5, дообученная автором Gayathri142214002 на основе Gayathri142214002/Question_Generation_ComQ_5. Она предназначена для генерации вопросов по входному тексту. Модель содержит 123,8 млн параметров, работает с текстом и имеет контекст до 512 токенов. В карточке приведён результат оценки: loss 0,2626. Данных о языках, обучающем наборе и конкретных ограничениях применения нет. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-72B-Instruct-GGUF — набор GGUF-квантизаций 72-миллиардной инструкционно настроенной языковой модели Qwen2.5-72B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix, а для калибровки применён файл Bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, совместимых с llama.cpp. Это текстовая autoregressive-модель без заявленной поддержки изображений или других модальностей. В README указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Представлено множество вариантов квантизации от IQ1_S до Q8_0 с размером файлов примерно от 21,6 до 78,5 ГБ; варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. В таблице README для доступных вариантов приведены значения perplexity и accuracy, причём более низкая perplexity соответствует лучшему результату. Сильной стороной набора является широкий выбор квантизаций и наличие измерений качества для их сравнения. Ограничения включают существенные требования к оперативной или видеопамяти даже у наиболее сжатых вариантов, возможную потерю качества из-за квантизации и отсутствие данных о размере контекстного окна, архитектурных деталях и производительности на конкретном оборудовании. Модель распространяется по лицензии Qwen; точные условия следует уточнять в лицензии базовой модели Qwen/Qwen2.5-72B-Instruct.

ZeroXClem/Qwen2.5-7B-CelestialHarmony-1M — языковая модель, созданная ZeroXClem слиянием нескольких дообученных вариантов Qwen2.5-7B методом Model Stock. Она построена на архитектуре Qwen2 и содержит около 7,1 млрд параметров по метаданным; README указывает 7,61 млрд. Модель принимает текст и генерирует текст, а заявленная длина контекста составляет до 1 010 000 токенов. Модель предназначена для диалогов, ролевых сценариев и сторителлинга, структурированных рассуждений, а также работы с очень длинными документами и контекстами. В метаданных отмечен интерфейс вызова инструментов; конкретные возможности зависят от используемого шаблона и среды запуска. Модель распространяется под лицензией MIT. Для практического применения на длинном контексте потребуются совместимая среда инференса и значительные вычислительные ресурсы; заявленные качества рассуждения и работы с контекстом основаны на описании автора.

Dohyeon1/Qwen3-30B-A3B-HC-SMoE-ngroups64 — языковая модель для генерации текста, опубликованная на Hugging Face в формате, совместимом с библиотекой Transformers. По метаданным она относится к семейству Qwen3 и использует архитектуру Mixture-of-Experts; название модели также указывает на разреженную MoE-конфигурацию с 64 группами экспертов. Модель предназначена для генерации продолжений текста, диалоговых ответов, черновиков и других текстовых материалов. Она поддерживает контекст длиной до 40960 токенов и имеет 2,6 млрд параметров по метаданным, что делает её пригодной для локального или серверного развёртывания при наличии соответствующих вычислительных ресурсов. В README отсутствуют сведения о разработчике, языках обучения, лицензии, обучающих данных, результатах оценки и специальных ограничениях. Поэтому перед использованием в продуктивных сценариях необходимо самостоятельно проверить качество на целевых данных, безопасность ответов и условия распространения модели.

Qwen3-30B-A3B-Thinking-2507-FP8 — текстовая авторегрессионная модель семейства Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это thinking-вариант, работающий только в режиме рассуждений: перед итоговым ответом модель формирует цепочку рассуждений, которую совместимый сервер может возвращать отдельно. Модель предназначена для генерации текста, следования инструкциям, решения задач, многоязычного общения и вызова инструментов. Архитектура — Mixture-of-Experts (MoE) на базе Qwen3: около 30,5 млрд общих параметров, из которых примерно 3,3 млрд активируются для каждого токена. Поддерживаются ввод и вывод в текстовом формате, вызов функций через parser Hermes и OpenAI-совместимый API Furiosa-LLM. Веса статически квантованы в FP8, активации используют динамическую FP8-квантизацию, а KV-кэш хранится в 16-битной точности. Ключевое преимущество модели — сочетание возможностей рассуждения, следования инструкциям, многоязычности и использования инструментов при сниженной вычислительной нагрузке на токен благодаря MoE-архитектуре и FP8-квантизации. Ограничения включают работу только в режиме рассуждений, необходимость совместимого стека Furiosa-LLM и аппаратуры FuriosaAI RNGD для описанной конфигурации, а также отсутствие в README сведений о поддерживаемых языках и размере контекста. Для запуска на RNGD требуется тензорный параллелизм на 32 PE, соответствующий четырём картам RNGD. Модель распространяется по лицензии Apache 2.0.

trohrbaugh/Qwen3.5-122B-A10B-heretic — мультимодальная разговорная модель на основе Qwen3.5, опубликованная пользователем trohrbaugh. Это вариант с abliteration: в README указано, что на тесте из 100 запросов отказов было 9 против 99 у исходной модели; приведённое значение KL divergence — 0,0916. Модель принимает текст и изображения и предназначена для диалога, визуального понимания, рассуждений и использования инструментов. Архитектура сочетает vision encoder, Gated Delta Networks и разреженный Mixture of Experts: всего 122 млрд параметров, из которых активны 10 млрд; 48 слоёв, 256 экспертов, из которых на токен активируются 8 маршрутизируемых и 1 общий. Контекст — 262 144 токена с расширением до 1 010 000. Репозиторий содержит веса в формате safetensors для Transformers и совместимых движков. README сообщает об исправлении раскладки MoE-весов 2 мая 2026 года и рекомендует заново получить репозиторий, если он был клонирован раньше. Модель поддерживает широкий набор языков; в README для семейства Qwen3.5 заявлена поддержка 201 языка и диалекта. Лицензия — Apache-2.0. Показатель отказов относится только к описанному в карточке тесту и не гарантирует поведение на других запросах; характеристика abliteration также не означает отсутствия всех ограничений или защитных механизмов.

DazzlingShadow публикует вариант Qwen3.5-122B-A10B с изменённым профилем отказов (abliteration). В приведённом сравнении частота отказов снизилась с 88 до 16 из 100 запросов при KL-дивергенции 0,0233 относительно исходной модели. Это мультимодальная модель для диалога, генерации текста и понимания изображений; карточка описывает её как причинную языковую модель с визуальным энкодером и разреженной архитектурой Mixture-of-Experts с Gated Delta Networks. Всего 122 млрд параметров, активируется 10 млрд; контекстное окно — 262 144 токена с возможностью расширения до 1 010 000. Исходная модель заявляет поддержку 201 языка и диалекта, однако карточка не уточняет, какие языки сохраняются в этом производном варианте. Модель доступна в формате Safetensors и предназначена для Transformers и совместимых серверов инференса. Лицензия — Apache-2.0. Снижение отказов не гарантирует их полного отсутствия; производительность и совместимость зависят от используемого фреймворка и ресурсов.

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-GGUF — локальная GGUF-версия модифицированной модели Qwen3.8-27B, разработанная Blackfrost. Это плотная гибридная vision-language модель для запуска через llama.cpp, предназначенная для диалогов, рассуждений, обработки текста, изображений и видео, а также сценариев с tool-calling. Модель генерирует текст и ориентирована на локальное развертывание; релиз обозначен как экспериментальный и требует проверки поведения в конкретных рабочих нагрузках. Архитектура включает 64 текстовых слоя с сочетанием Gated DeltaNet и full attention, а также vision tower из 27 слоёв. Поддерживаются текстовые, графические и видео-входы, контекст до 262 144 токенов, девять стандартных квантованных вариантов от Q2_K до Q8_0 и встроенная MTP speculative head. Для ускорения доступен отдельный BF16 DFlash2 sidecar, совместимый с экспериментальной версией llama.cpp. В качестве сбалансированного варианта рекомендуется Q4_K_M размером 16,8 ГБ; фактические требования зависят от доступной RAM/VRAM и параллелизма. Это abliterated-сборка: поведение отказов было изменено на уровне весов, без fine-tuning, merge, LoRA или pruning. В заявленном внутреннем тесте R1-HARMFUL-BENCH-450 зафиксировано 11 остаточных отказов из 450 случаев, однако результат получен на производном варианте W4A4 NVFP4 и не является полноценным тестом всех GGUF-квантов в финальной конфигурации. Ограничениями являются экспериментальный статус, возможные компромиссы качества при низких уровнях квантования и зависимость длинного контекста от ресурсов системы. Базовая модель и указанный DFlash2-компонент распространяются по лицензии Apache-2.0.

Mike0021/Qwen3.8-27B-GGUF — набор GGUF-конвертаций базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем Mike0021 с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и мультимодального анализа изображений и видео; для работы с визуальными данными требуется отдельный vision projector. Доступны варианты BF16, Q8_0 и архитектурно адаптированный Q4_K_M размером 18,97 ГБ, рекомендованный для практического использования. Модель содержит 64 слоя, поддерживает контекст до 262 144 токенов, а заявленные языки — английский и китайский. В состав также может входить опциональная од Layer MTP-модель для speculative decoding, не изменяющая итоговое распределение вероятностей целевой модели. Для визуального ввода используются отдельные файлы projector размером 0,63 или 0,93 ГБ. Сильными сторонами являются большое контекстное окно, поддержка текста и изображений, варианты с разным компромиссом между качеством и требованиями к памяти, а также сохранённые шаблоны чата и режимы reasoning. Ограничения включают значительный объём файлов и потребность в соответствующих ресурсах памяти; для полной поддержки новой архитектуры требуется llama.cpp ревизии 1692f9e или более новая, поскольку старые версии и некоторые другие GGUF-рантаймы могут быть несовместимы. Лицензия — Apache-2.0.

Qwen3.8-27B-GGUF — это квантизированная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем qtum для работы с llama.cpp. Модель предназначена для мультимодальных сценариев, включая обработку текста, изображений и видео с генерацией текста. Она может использоваться для анализа визуального содержимого, ответов на вопросы и других задач, поддерживаемых базовой vision-language моделью. Модель имеет плотную архитектуру с 27,8 млрд параметров с учётом vision tower и 64 декодерными слоями. Архитектура гибридная: 16 слоёв используют grouped-query full attention, а 48 слоёв — Gated DeltaNet linear attention. Длина контекста составляет 262 144 токена с возможностью дальнейшего расширения через YaRN. Поддерживаются английский и китайский языки. Для обработки изображений и видео требуется отдельный файл vision projector (mmproj); без него модель работает только в текстовом режиме. Доступны различные уровни квантизации от Q8_0 до IQ2_XXS, позволяющие выбирать баланс между размером файлов, требованиями к памяти и качеством. К сильным сторонам относятся мультимодальность, очень длинный контекст и сниженные требования к KV-кэшу благодаря гибридной архитектуре. Ограничения включают значительный объём памяти даже у квантизированных вариантов, необходимость совместимой версии llama.cpp и отдельного mmproj для визуального ввода; более агрессивная квантизация может снижать качество. Модель распространяется по лицензии Apache-2.0.