I.2Синтез, понимание и проверка знаний

Omega AI 100B — переименованное размещение модели inclusionAI/LLaDA2.2-flash от Omega AI. Согласно README, исходные предварительно обученные веса сохранены без дообучения; параметры модели оцениваются примерно в 103 млрд. Метаданные каталога указывают 5,5 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для генерации текста и диалогов. Она использует MoE-архитектуру семейства LLaDA2, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке указана лицензия Apache-2.0. README не описывает отдельные сценарии или оценку качества Omega-размещения.

Это GGUF-квантизация языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты квантизации MXFP4, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, размером примерно от 11,56 до 12,1 ГБ. Во всех вариантах feed-forward сети сохранены в формате MXFP4, поскольку, согласно описанию, они плохо работают при использовании других форматов. Рекомендуется файл gpt-oss-20b-MXFP4.gguf размером 12,1 ГБ; квантизация выполнена с использованием imatrix и набора данных combined_all_medium. README не содержит сведений о числе параметров архитектуры, поддерживаемых языках, модальностях и размере контекста. Также не указана лицензия этой квантизированной версии; условия использования следует уточнять по карточке исходной модели OpenAI. Шаблон чата в README не задан и может требовать проверки по оригинальной карточке модели.

OpenYourMind выпустил вариант NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на запросы: в веса внесена правка методом abliteration, а сама модель представлена в формате NVFP4. Архитектура NemotronHForCausalLM сочетает Mamba-2, Attention и Latent-MoE; в README указаны 550 млрд параметров всего и 55 млрд активных, 108 слоёв и сохранённая голова MTP для спекулятивного декодирования. Модель предназначена для генерации текста, диалогов и задач рассуждения; режим enable_thinking позволяет получать рассуждения перед ответом. Автор заявляет, что после правки сохранены рассуждения, связность и фактическая точность, но независимые оценки в карточке не приведены. Весовой набор занимает около 329 ГБ; для запуска полного контекста README рекомендует узел с 4× B200/B300 или 8× H100 и vLLM версии 0.22 или новее. Указан контекст до 262 144 токенов. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

orca_mini_7b — языковая модель, созданная Панкаджем Матуром на основе OpenLLaMA-7B. Модель дообучена на наборах инструкций WizardLM, Alpaca и Dolly-V2 с применением подходов к построению данных из исследовательской работы Orca; для генерации обучающих ответов использовался ChatGPT на базе gpt-3.5-turbo-0301. В метаданных указаны архитектура LLaMA, 6,6 млрд параметров и контекст до 2048 токенов. Модель предназначена для генерации текста по инструкциям и диалоговых запросов на английском языке. Обучение на объяснительных примерах ориентировано на выполнение разнообразных инструкций и рассуждения. Она принимает текст и выдаёт текст; опубликованные веса представлены в форматах PyTorch и Safetensors. Модель выпущена по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов. Контекст ограничен 2048 токенами; результаты приведённых в карточке оценок Open LLM Leaderboard не гарантируют точность в конкретных задачах.

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

Diamegs/PIT-4B-FT-202212 — англоязычная instruction-tuned модель семейства Point-In-Time GPT, разработанная Diamegs. Это дообученная версия PIT-4B-202212: адаптеры LoRA, обученные на инструкциях, объединены с базовыми весами. Модель представляет собой плотный decoder-only Transformer для генерации текста и выполнения инструкций; снимок знаний соответствует декабрю 2022 года. Контекстное окно — 2048 токенов. Модель предназначена для генерации ответов и анализа с учётом того, какие сведения были доступны к указанной дате. Это подходит для экспериментов с временным рассуждением и анализа прошлых состояний знаний. Весы сохранены в формате safetensors; для использования указаны Transformers и PyTorch. Лицензия — Apache-2.0. Знания ограничены веб-текстами, доступными до декабря 2022 года. Модель не проходила RLHF или дополнительную настройку безопасности, может воспроизводить смещения обучающих данных и не подходит для критически важных задач без дополнительного выравнивания.

PTT5-base-portuguese-vocab — модель семейства T5, разработанная командой Unicamp-DL и предварительно обученная на большом корпусе португалоязычных веб-страниц BrWac. Это базовая версия размера base с португальским словарём, обученным на португалоязычной Википедии; в метаданных указано 123,8 млн параметров, архитектура T5WithLMHeadModel и контекст до 512 токенов. Модель предназначена для генерации текста и может служить основой для задач на португальском языке, включая сходство предложений и определение логического следования, для которых авторы отмечают улучшение по сравнению с исходным T5. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в форматах PyTorch, Safetensors и TensorFlow. Лицензия — MIT. Карточка не описывает конкретные ограничения качества или дополнительные настройки применения.

Q3.5-9B-DS-v4-Flash-DA-GGUF — набор GGUF-квантизаций экспериментальной reasoning-ориентированной модели, разработанной prithivMLmods на базе Qwen/Qwen3.5-9B. Модель создана с использованием многоэтапной дистилляции рассуждений DeepSeek V4, анализа направлений отказа и методов абляционного обучения. Доступны варианты от Q2_K до Q8_0, а также BF16 и F16; размер файлов составляет примерно от 3,83 до 17,9 ГБ. Для мультимодального режима предоставляются отдельные mmproj-файлы, однако конкретные поддерживаемые типы изображений и ограничения контекста в README не указаны. Модель предназначена для генерации текста, подробного контекстного рассуждения и следования инструкциям, а также может использоваться для исследовательских и учебных экспериментов с локальным запуском через llama.cpp или совместимые инструменты. Заявлена поддержка английского языка. Потенциальной особенностью является уменьшение внутренних механизмов отказа, поэтому модель может генерировать чувствительный или неограниченный контент; это одновременно ограничивает её пригодность для неконтролируемых прикладных сценариев. README также предупреждает о возможных артефактах и экспериментальном характере модели. Распространение указано по лицензии Apache-2.0.

Модель stville/qwen25_1_5b_korean_unsloth — дообученная stville языковая модель семейства Qwen2.5 на 1,5 млрд параметров, основанная на unsloth/Qwen2.5-1.5B-bnb-4bit. Она предназначена для генерации текста. В README указано, что обучение проводилось с Unsloth и библиотекой TRL; метаданные задают контекстное окно до 32 768 токенов и формат safetensors. Карточка не описывает конкретную специализацию дообучения или оценку качества, поэтому сценарии применения следует выбирать с проверкой результатов. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-3B-Instruct-KAI — дообученная чат-модель на базе Qwen/Qwen2.5-3B-Instruct, разработанная KAI Lab. Она предназначена для понимания и генерации текста на вьетнамском языке, включая ответы на вопросы, извлечение информации, понимание прочитанного и суммаризацию. Модель использует плотную архитектуру Qwen2ForCausalLM и содержит 3,1 млрд параметров. Принимает текстовые запросы и генерирует текст; заявленная длина контекста — 32 768 токенов. Для загрузки указана библиотека Transformers, веса представлены в формате safetensors. Модель оптимизирована для вьетнамского языка. В README приведены результаты оценки на вьетнамских бенчмарках и указано, что модель может ошибаться в вопросах, связанных с культурной спецификой, и хуже справляться со специализированными техническими темами. Лицензия обозначена как other; конкретные условия следует сверить с карточкой модели.

Модель jikatakiri45 — дообученная версия Qwen2.5-7B-Instruct, созданная на базе unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen2ForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В карточке указано, что при обучении использовались Unsloth и библиотека TRL; контекст модели составляет до 32 768 токенов. Модель можно применять для диалоговых ответов, генерации и продолжения текста. В метаданных указан английский язык, однако README не описывает обучающие данные, качество на конкретных задачах или специализацию на индонезийском языке. Модель распространяется по лицензии Apache-2.0.

tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-gguf — GGUF-версия экспериментальной текстовой reasoning-модели, разработанной tvall43 на базе Qwen3.5 и дообученной с использованием дистилляции цепочек рассуждений, связанных с Claude-4.6 Opus. Модель предназначена для офлайн-аналитики, программирования, математики, планирования и других задач, где важны пошаговое решение и структурированный анализ. Она обучалась в формате с блоками <think> и итоговым ответом, однако README не гарантирует, что внутренние рассуждения всегда будут корректно или безопасно отображаться пользователю. В описании указана MoE-архитектура Qwen3.5 с конфигурацией 35B-A3B, тогда как идентификатор модели содержит 14B-A3B; точные характеристики GGUF-квантизации и итоговый размер файла не приведены. Указано текстовое назначение, языки Chinese, English и Korean, а также контекстное окно 8192 токена. Обучение выполнялось с SFT и LoRA при помощи Unsloth, с использованием отфильтрованных наборов данных по reasoning-дистилляции. Сильные стороны модели — структурированное пошаговое мышление и ориентация на сложные логические задачи. Ограничения включают риск галлюцинаций, экспериментальный статус, возможные проблемы совместимости и нестабильность инструментальной экосистемы; приведённые тесты также показывают неоднозначные результаты на генерации HTML-игры и сценарии с автомобилем. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-ultra-uncensored-heretic-v1 — мультимодальная модель для диалогов и анализа изображений, созданная независимым автором на основе Qwen/Qwen3.5-27B. Автор изменил поведение модели методом abliteration: по приведённой оценке, доля отказов снизилась с 95 до 3 из 100 запросов, а KL-дивергенция относительно исходной модели составила 0,0301. Это вариант для сценариев, где требуется меньше отказов на запросы, которые исходная модель могла бы отклонить. Модель использует плотную архитектуру Qwen3.5 с 27 млрд параметров и поддерживает ввод текста и изображений с генерацией текста. В README указаны контекст 262 144 токена с возможностью расширения до 1 010 000 и широкая языковая поддержка базовой модели; конкретные языки в метаданных этой версии не перечислены. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0. Снижение отказов не гарантирует точность ответов или сохранение всех свойств исходной модели. В приведённом тесте PIQA результаты версии после abliteration немного ниже исходных; оценка в README не заменяет проверку на целевых задачах. Модель предназначена для генерации ответов и понимания изображений, а не для отдельного специализированного домена.

LWWZH/Qwen3.5-4B-int4-OpenVINO — версия мультимодальной модели Qwen3.5-4B, подготовленная для OpenVINO и сжимающая веса преимущественно до int4. В карточке указано, что исходная Qwen3.5-4B разработана командой Qwen; метаданные связывают этот репозиторий с Qwen/Qwen3.5-4B. Это плотная причинная языковая модель с визуальным энкодером, рассчитанная на диалог и понимание изображений. Модель подходит для ответов на вопросы по изображениям, визуального анализа, диалоговых сценариев и задач рассуждения. Архитектура исходной модели включает 4 млрд параметров и 32 слоя; нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000. README заявляет поддержку 201 языка и диалекта. Модель по умолчанию работает в режиме рассуждений; для обслуживания в высоконагруженных сценариях карточка рекомендует специализированные движки инференса. Сжатие весов в этой версии распределено между int4 и int8, преимущественно int4 с размером группы 128. Лицензия — Apache-2.0. README относится к исходной модели и не приводит отдельных результатов оценки или ограничений именно сборки OpenVINO, поэтому её производительность и совместимость следует оценивать в целевом окружении.

Qwen3.5-9B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия модели Qwen3.5-9B-Uncensored-Genesis, подготовленная автором репозитория на основе весов LuffyTheFox/Qwen3.5-9B-Uncensored-Genesis-BF16-GGUF с помощью модифицированного квантайзера для GGUF. Это плотная мультимодальная модель семейства Qwen3.5 на 9,22 млрд параметров и 32 слоя; для обработки изображений требуется отдельно использовать неизменённый файл мультимодальной проекции из исходного репозитория. В карточке указан контекст 262 144 токена. Модель предназначена для диалогов, рассуждений, работы с инструментами и задач «изображение–текст», а вариант imatrix v6 калибровался на разговорах, включая примеры вызова инструментов. В репозитории также есть варианты без калибровки и с текстовой калибровкой v5; автор рекомендует v6 для чата, рассуждений и вызова инструментов, а v5 — для обычного продолжения текста. Модель поддерживает английский и китайский языки. Лицензия — Apache-2.0. Карточка не приводит измерений perplexity или KLD для квантованных вариантов, поэтому качество относительно исходных BF16-весов не подтверждено такими метриками; для обработки изображений нужен отдельный файл проекции, а скорость NVFP4 зависит от видеокарты и сборки llama.cpp.

GitMylo/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-safetensors — производный чекпойнт Qwen3.5-9B, представленный в формате safetensors для Transformers. Согласно карточке, это мультимодальная причинная языковая модель с визуальным энкодером на 9 млрд параметров; архитектура объединяет Gated Delta Networks и разреженный Mixture-of-Experts. Модель принимает текст и изображения и предназначена для диалогов, визуального понимания, рассуждений и вызова инструментов. Базовая модель заявляет поддержку 201 языка и диалекта, однако отдельные языковые данные именно для этого дообученного варианта не приведены. Контекст базовой модели составляет 262 144 токена и может расширяться до 1 010 000 токенов. Карточка описывает формат совместимости с Transformers и серверами vLLM, SGLang и KTransformers. В README не раскрыты конкретные изменения, внесённые вариантом HauhauCS, и нет его отдельных оценок качества; название предполагает агрессивную настройку поведения, но это нельзя подтвердить деталями обучения. Лицензия — Apache-2.0. Практическое применение требует значительных вычислительных ресурсов, особенно при большом контексте; README также предупреждает о риске нехватки видеопамяти при настройках контекста по умолчанию.

Qwen3.6-29B-REAP-Opus-Reasoning-Distill-MTP-GGUF — набор GGUF-квантизаций модели, разработанной barozp. В основе лежит MoE-модель Qwen3.6-35B-A3B, сокращённая методом REAP до 205 из 256 экспертов, объединённая с LoRA-адаптером, дистиллированным из Opus reasoning, и дополненная головкой Multi-Token Prediction (MTP), восстановленной из исходного неприженного чекпойнта. Модель предназначена для генерации текста и задач рассуждения; поддерживаемые языки и размер контекстного окна в README не указаны. Главная особенность версии — поддержка самоспекулятивного декодирования: MTP-головка предварительно предлагает токены, а базовая модель проверяет их. В тестах с llama.cpp это обеспечило ускорение генерации на 39–67% при включённом speculative decoding, без измеримого ухудшения качества по сравнению с версией без MTP. Доступны варианты от BF16 до экстремальных IQ1_M; квантизации Q и IQ различаются требованиями к памяти, совместимостью, скоростью и потерями качества. Для квантизаций до Q4_K_M использовалась importance matrix. Для использования MTP требуется современная сборка llama.cpp или совместимый интерфейс с явным включением режима draft-mtp; без этого модель работает как обычная GGUF-модель, а в некоторых конфигурациях спекулятивное декодирование может почти не ускорять генерацию или даже замедлять её. Требования к ресурсам зависят от квантизации: размер файлов составляет примерно от 7,2 до 57,9 ГБ. Лицензия — Apache-2.0.

Youssofal/Qwen3.6-35B-A3B-Abliterated-Heretic-GGUF — это GGUF-релиз модифицированной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; запуск возможен через llama.cpp с использованием совместимого мультимодального projector-файла. Релиз создан с применением Heretic для удаления исходного паттерна отказов на уровне весов. Модель использует разреженную MoE-архитектуру с 35,95 млрд общих параметров и примерно 3 млрд активных параметров на токен. В составе 40 текстовых слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен; семейство архитектуры — qwen3_5_moe. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M, различающиеся качеством и требованиями к ресурсам. Языки и точный размер контекстного окна в README не указаны. Сильной стороной релиза является сохранение мультимодальной архитектуры и общего профиля возможностей базовой модели при значительно меньшей склонности к отказам: в указанной проверке модель отказала в 1 из 25 запросов против 22 из 25 у оригинала. Это одновременно является ограничением и фактором риска: встроенное поведение отказа удалено, поэтому модель может отвечать на запросы, которые базовая версия отклоняла, и требует самостоятельного контроля безопасности. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

Это GGUF-копия модели unsloth/Qwen3.6-35B-A3B-NVFP4-Fast, преобразованная из исходного репозитория с помощью конвертера llama.cpp. Репозиторий публикует catlilface; модель предназначена для диалогов и задач с изображениями и текстом, включая агентные сценарии. В метаданных указаны архитектура Qwen, возможности чата и vision, а формат файлов — GGUF. Карточка рекомендует запускать модель на GPU с актуальной сборкой llama.cpp; также возможно выполнение с выгрузкой части вычислений на CPU. В README приведены ориентировочные показатели скорости для нескольких конфигураций оборудования, но качество предлагается оценивать по материалам базовой модели. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.6-35B-A3B, подготовленный jorge-erdb. Исходная версия создана на базе Qwen/Qwen3.6-35B-A3B с применением Heretic v1.2.0 и метода MPOA-abliteration, направленного на снижение числа отказов и ограничений в ответах. Модель предназначена для локального запуска и генерации текста; конкретные поддерживаемые языки и практические сценарии в README не указаны. В метаданных также заявлен pipeline image-text-to-text, однако подробности мультимодальных возможностей не приведены. Архитектура — Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных параметров. Нативная длина контекста составляет 262 144 токена. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_NL, полученные с помощью llama.cpp и importance matrix; IQ4_NL заявлен как наиболее подходящий для CUDA и CPU. Для Apple Silicon с Metal рекомендуется использовать линейные варианты, например Q4_K_M, поскольку IQ4_NL работает медленнее из-за отсутствия нативной поддержки нелинейной деквантизации. К сильным сторонам относятся большое контекстное окно, низкая вычислительная стоимость активной части MoE и широкий выбор уровней квантизации. По данным README, в сравнительном тесте версия показала 10 отказов из 100 против 83 у исходной модели при заявленном KL divergence 0,0015, то есть сохранила близость к исходному поведению. Ограничения включают зависимость скорости и качества от выбранной квантизации и оборудования, а также отсутствие подробных данных о языковом покрытии и результатах независимых тестов. Распространение указано по лицензии Apache-2.0.

Это GGUF-представление модели Qwen3.6-35B-A3B, подготовленное SC117 с применением метода APEX для квантования MoE-моделей. В основе лежит llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved — модифицированная версия Qwen3.6-35B-A3B со сниженным числом отказов. В репозитории представлены варианты GGUF, включая F16; README описывает уровни квантования APEX, которые распределяют точность по типам тензоров и слоям. Модель предназначена для диалогов и генерации текста по текстовым и визуальным запросам. Вариант сохраняет 20 слоёв MTP для спекулятивного декодирования; README приводит настройки запуска через llama.cpp и Ollama. Метаданные указывают возможность работы с изображениями, но подробности мультимодальных возможностей и поддерживаемые языки в доступных материалах не раскрыты. Модификация исходной модели позиционируется как uncensored: в README заявлено снижение отказов на 88% при сохранении качества, однако эти цифры приводятся авторами и не являются независимой оценкой. Модель распространяется по лицензии Apache-2.0. Для запуска необходим совместимый движок GGUF; скорость и качество зависят от выбранного варианта квантования и оборудования.

Starw1/Qwen3.8-27B-absolute-heresy-W4A16 — 4-битная версия модели MuXodious/Qwen3.8-27B-absolute-heresy, подготовленная для инференса с использованием Transformers и vLLM. Модель разработана как мультимодальная система для работы с текстом и изображениями; исходная модель относится к классу примерно 27-миллиардных параметров, а логический размер квантованной версии составляет около 28 млрд параметров. Модель использует квантизацию весов W4A16: 4-битные целочисленные веса и активации в формате 16-bit. Квантизация выполнена методом AutoRound с симметричной схемой, group_size=128 и упаковкой pack-quantized в формате compressed-tensors. Зрительная башня оставлена в формате bf16, чтобы сохранить возможности анализа изображений. Размер модели на диске составляет около 15,79 ГБ, а занимаемый объём весов в VRAM — примерно 14,71 ГиБ, что ориентирует её на запуск на одной видеокарте с 24 ГБ памяти, например RTX 3090. README также указывает поддержку MTP-весов для speculative decoding и контекст до 140 000 токенов при соответствующей конфигурации vLLM. Основные сценарии применения — генерация и анализ текста, а также обработка запросов с изображениями в локальной или серверной среде. К преимуществам относятся сниженные требования к памяти и сохранение визуального компонента в bf16; ограничения связаны с использованием квантованной версии, зависимостью от совместимой инфраструктуры vLLM и отсутствием в README подробностей об архитектуре, языках, обучении и фактическом качестве модели. Лицензия в карточке этой квантованной версии не указана; за условия использования необходимо обращаться к карточке исходной модели.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

dealignai/Qwen3.8-27B-MXFP8-CRACK — квантованная версия базовой модели Qwen/Qwen3.8-27B от Alibaba, подготовленная dealignai. Это плотная гибридная vision-language-модель на 27 млрд параметров с архитектурой из 64 слоёв, объединяющей линейное внимание GatedDeltaNet и gated full-attention. Модель предназначена для работы с текстом, изображениями и видео, поддерживает английский и китайский языки, рассуждения с уровнями xhigh, medium и low, вызов инструментов через XML-схему и нативную Multi-Token Prediction для ускорения генерации. Точный размер контекста в README не указан. Модель собрана в формате JANG 8-bit MXFP8 для MLX и Apple Silicon, занимает около 27 ГБ памяти. Поведение отказа от выполнения запросов удалено методом CRACK на уровне весов, поэтому модель ориентирована на исследовательские сценарии, где требуется следование инструкциям без встроенных отказов, включая потенциально опасные категории. При этом заявлено сохранение рассуждений, мультимодальности, инструментов, знаний и многоязычности. В MMLU модель получила 86,67%, а в HarmBench — 100% соответствия запросам; эти результаты приведены разработчиком и не гарантируют качество или безопасность в других сценариях. Для запуска рекомендуется MLX и библиотека mlx-vlm; в README указаны параметры sampling temperature=1.0, top_p=0.95 и top_k=20. Модель распространяется на базе Apache-2.0; README прямо указывает, что базовая модель принадлежит Alibaba и лицензирована по Apache-2.0. Поскольку защитные отказы удалены, ответственность за применение модели и соблюдение законодательства возлагается на пользователя.

WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.

Qwen3.8-27B-nvfp4-NInfer — мультимодальная разговорная модель для генерации текста и ответов на вопросы по изображениям. Релиз подготовлен пользователем neroued на основе Qwen3.8-27B от Qwen и unsloth/Qwen3.8-27B-NVFP4; модель предназначена для работы в инференсном движке NInfer. Модель использует архитектуру Qwen3.5 Dense и имеет 27B параметров. Артефакт объединяет NVFP4, row-scaled FP8 и BF16-веса: текстовые слои 0–55 используют NVFP4 для MLP, часть текстовых компонентов и выходная голова — FP8, управляющие веса — BF16. В комплект входят текстовые, визуальные и speculative decoding-компоненты, включая Vision, MTP и DFlash2. Поддерживаются сценарии text-generation и image-text-to-text; конкретные языки и размер контекстного окна в карточке не указаны. Сильными сторонами являются мультимодальность, существенно уменьшенное представление весов и поддержка ускоренного вывода через MTP или DFlash2. В опубликованных оценках указаны высокие результаты на AIME 2025 и 2026 — по 96,67%, GPQA-Diamond — 90,40%, IFBench — 77,00%, а также на задачах работы с изображениями RealWorldQA — 83,53% и ERQA — 66,25%. Артефакт нельзя использовать напрямую как checkpoint Transformers, Safetensors или GGUF: он предназначен только для NInfer. Для запуска требуется NInfer не ниже указанной ревизии, 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; NInfer необходимо собрать из исходного кода. Лицензия модели — Apache-2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Qwen3.8 27B Uncensored — GGUF — это набор общественно подготовленных квантованных версий языковой модели Qwen3.8 с примерно 27 млрд параметров. Репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки; конкретный разработчик исходной модели в README не указан, указано лишь семейство Qwen и формат community GGUF quantizations. Модель предназначена для локальной генерации текста, диалоговых сценариев, экспериментов с инференсом и сравнения компромиссов между качеством, скоростью и потреблением памяти. Доступны варианты от исходной точности F16 размером около 52 ГБ до Q2_K размером около 11 ГБ. Рекомендуемым универсальным вариантом назван Q4_K_M размером примерно 16 ГиБ; более высокие уровни квантования обычно требуют больше памяти, а варианты Q3 и Q2 рассчитаны на ограниченные ресурсы. Ключевое преимущество набора — широкий выбор форматов квантования, полученных непосредственно из исходной F16-версии, что позволяет подбирать конфигурацию под оборудование и рабочую нагрузку. Ограничения включают потери качества, неизбежные при квантовании, причём они становятся заметнее на низких разрядностях. Результаты также зависят от контекста, промптов, параметров сэмплирования, оборудования и движка инференса; авторитетные сравнительные бенчмарки на момент описания отсутствуют. В README указана лицензия Apache-2.0, при этом условия исходной модели, включая требования к использованию и атрибуции, сохраняются.

Qwen3.8-27B-Uncensored-INT8-W8A16-MTP — это мультимодальная квантизированная версия модели Qwen3.8-27B-Uncensored, опубликованная morikomorizz на основе исходной модели OrcaRouter и семейства Qwen. Модель предназначена для генерации текста и обработки изображений с текстом, включая диалоговые и аналитические сценарии. В README заявлена поддержка английского и китайского языков, а максимальный контекст составляет до 262 144 токенов. Модель использует формат W8A16: основные матричные вычисления выполняются с весами INT8 и активациями BF16, а vision tower, lm_head, MTP-компоненты и отдельные чувствительные элементы сохраняют BF16 или FP32. Размер весов на диске составляет около 29,4 ГБ, что позволяет запускать модель на одной RTX 4090 или A6000, а также на двух RTX 3090 с tensor parallelism. Поддерживаются vLLM, Marlin и speculative decoding через MTP; это не GGUF-модель. Ключевое преимущество — существенное снижение требований к памяти при заявленном близком к исходному качеству, однако производительность и совместимость зависят от подходящих GPU и версии vLLM. Исходная модель является abliterated, то есть с существенно удалёнными механизмами отказа, поэтому она может выполнять вредоносные или неэтичные запросы и требует осторожного применения. Лицензия — Apache 2.0, унаследованная от базовой модели.