II.1Анализ требований и архитектура ПО

elias2515/odysseus-Qwen2.5-Coder-7B-16bit — дообученная разговорная языковая модель на архитектуре Qwen2, предназначенная для генерации текста. В основе лежит unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель содержит 7,1 млрд параметров, имеет контекст длиной до 32 768 токенов и распространяется в формате safetensors. Карточка указывает английский язык. Лицензия — Apache-2.0. Данных о конкретных наборах обучения, качестве на задачах и дополнительных ограничениях в карточке нет.

Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

Omega AI 14B — диалоговая языковая модель семейства Omega AI, основанная на дообученной Qwen/Qwen3-14B. Это плотная причинная модель архитектуры Qwen3 с 14 млрд параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов, а метаданные также указывают интерфейс вызова инструментов. Контекст составляет 40 960 токенов. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. README называет её рабочим кандидатом, но не приводит результатов оценки качества или подробных рекомендаций по применению. Условия использования и атрибуции исходной модели Qwen3-14B сохраняются; отдельная лицензия Omega AI в карточке не указана.

OpenBuddy Nemotron 70B v23.2q 131K GGUF — квантизированная версия языковой модели OpenBuddy-nemotron-70b-v23.2q-131k, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, включая LM Studio, с применением формата диалоговых промптов OpenBuddy. Поддерживаются английский, китайский, французский, немецкий, японский, корейский, итальянский и финский языки. Модель содержит около 70 млрд параметров и имеет заявленный контекст до 131 072 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей. Доступны варианты GGUF с разными уровнями квантизации — от Q8_0 до Q2_K и IQ2_M; размер файлов составляет примерно от 24 до 75 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как компактные варианты рассчитаны на системы с ограниченным объёмом памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильными сторонами являются большой контекст, мультиязычность и возможность локального запуска с выбором компромисса между качеством и требованиями к памяти. Ограничения включают значительный размер модели, зависимость качества от выбранной квантизации и отсутствие в предоставленных данных результатов бенчмарков или подробного описания архитектуры. Лицензия указана как llama3.1.

Open-Instruct ShareGPT 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на очищенном наборе диалогов ShareGPT по схеме, близкой к Vicuna. Это чекпойнт для генерации текста и ответов на инструкции в диалоговом формате; для работы с ним требуется базовая модель LLaMA в формате Hugging Face, поскольку репозиторий содержит diff весов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 2048 токенов. Она принимает текст и генерирует текст; в карточке указан английский язык. В README приведены результаты на академических бенчмарках, включая MMLU, GSM и Codex-Eval. Качество генерации зависит от соблюдения указанного в карточке формата входа, включая перевод строки после маркера начала ответа. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

bunnycore/Phi-2-OmniMatrix — языковая модель, созданная объединением нескольких дообученных моделей семейства Phi-2 с помощью mergekit и метода task arithmetic. В качестве базовой модели использована microsoft/phi-2; в объединение вошли варианты для чата, ролевого общения и генерации кода. Модель содержит 3,5 млрд параметров, использует архитектуру PhiForCausalLM и формат safetensors; длина контекста — 2048 токенов. Модель предназначена для генерации текста, диалогов и кода. Работает через библиотеку Transformers. README указывает тип данных float16. Лицензия в предоставленных данных не указана.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

Это конвертированная в формат MLX версия Phi-3-mini-4k-instruct от Microsoft, подготовленная mlx-community. Модель представляет собой плотную авторегрессионную языковую модель семейства Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов; карточка указывает 4-битную версию для запуска на устройствах Apple через mlx-lm. Модель предназначена для диалоговой генерации текста и помощи с кодом. Вход и выход — текст; в метаданных указан английский язык. Репозиторий создан 23 апреля 2024 года. Модель распространяется по лицензии MIT. Подробности о качестве и ограничениях предлагается смотреть в карточке исходной модели.

Progenitor-V2.2-LLaMa-70B — объединённая автором модель генерации текста на архитектуре LLaMA, созданная с помощью mergekit методом Linear DELLA. В основу слияния легла nbeerbower/Llama-3.1-Nemotron-lorablated-70B; также в него вошли модели Anubis, EVA-LLaMA, Cirrus, Negative_LLAMA и Hanami. Автор сообщает, что изменил токенизатор и выполнял слияние в float32 с последующим переводом весов в bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия. Она содержит 69,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В метаданных указаны возможности чата и интерфейса вызова инструментов; README не приводит оценок качества и конкретных тестов.

Mungert/Qwen2.5-14B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-14B от команды Qwen, подготовленная пользователем Mungert. Модель предназначена для генерации текста и диалоговых сценариев, включая работу чат-ассистента, ответы на инструкции и локальный запуск на системах с ограниченными ресурсами. В метаданных указаны английский язык и задача text-generation; название модели указывает на поддержку контекста до 1 миллиона токенов, однако подробные характеристики контекстного окна в README не приведены. Ключевая особенность сборки — ультранизкая 1–2-битная квантизация с динамическим распределением точности IQ-DynamicGate. Для разных слоёв применяются форматы IQ1 и IQ2, а критические embedding- и output-слои защищаются квантизацией Q5_K. Такой подход снижает требования к памяти и подходит для CPU, edge-устройств и GPU с ограниченным VRAM, но может уступать моделям с более высокой точностью и требует проверки качества именно на Qwen2.5-14B, поскольку приведённые в README бенчмарки выполнены на Llama-3-8B-Instruct. Размер файлов, конкретный вариант квантизации и скорость зависят от выбранного GGUF-файла. Лицензия — Apache-2.0.

bunnycore/Qwen-2.5-3b-Evol-CoT — языковая чат-модель, созданная слиянием нескольких моделей на базе Qwen 2.5; в README указаны Replete-LLM-V2.5-Qwen-3b, Qwen-2.5-3b-RP и Qwen-2.5-3b-Mix-Data-lora. Для слияния применён метод DARE TIES через mergekit, базой названа bunnycore/Qwen-2.5-3b-RP. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и выдаёт текст. В репозитории указана лицензия не была в предоставленных данных, поэтому условия использования определить нельзя.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.1 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

huihui-ai/Qwen3-32B-abliterated — версия Qwen3-32B, созданная huihui-ai методом abliteration, который изменяет модель для уменьшения числа отказов. Автор описывает реализацию как грубую проверку концепции. Модель предназначена для диалоговой генерации текста и может использоваться через Transformers или Ollama. Это плотная многоязычная модель на 32 млрд параметров, дообученная на Qwen/Qwen3-32B; в репозитории указаны веса safetensors и библиотека Transformers. Модель ориентирована на чат и сохраняет общую область применения базовой Qwen3: рассуждения, программирование и работу с инструментами. Лицензия — Apache-2.0. Уменьшение отказов не гарантирует их полного отсутствия и может влиять на поведение и надёжность ответов.

Qwen3-4B-GGUF — квантизированная GGUF-версия языковой модели Qwen3-4B, разработанной Qwen и подготовленной квантизацией компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LlamaEdge. README указывает поддержку английского языка, текстовую модальность и контекстное окно до 128 000 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16, размером примерно от 1,67 до 8,05 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как низкобитные варианты экономят память, но могут заметно терять в качестве. Для работы используются шаблоны prompt type chatml и qwen3-no-think; поддерживаются режимы с рассуждением и без него. Модель можно запускать как сервис или командное приложение LlamaEdge при наличии совместимой версии. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen3-4B. README не содержит сведений о точной архитектуре, обучающем наборе данных, результатах тестирования или ограничениях безопасности, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

AbhishekG711 дообучил Qwen3-4B-Instruct-2507 на базе unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit. Это плотная языковая модель с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста и диалогового общения; заявлен интерфейс вызова инструментов. В карточке указано, что обучение проводилось с помощью Unsloth и библиотеки TRL. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. В метаданных указан английский язык. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-122B-A10B-REAP-20-abliterated-GGUF — это набор GGUF-квантизаций разреженной MoE-модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-99B, которая, в свою очередь, получена из Qwen/Qwen3.5-122B-A10B. Из исходной модели удалено около 20% экспертов: сохранено 205 из 256, что уменьшило общий размер примерно со 122B до 99B параметров при сохранении бюджета около 10B активных параметров. Модель предназначена для генерации текста и запуска в совместимом программном обеспечении, включая llama.cpp. Архитектура — qwen35moe, модель содержит 48 слоёв и использует стандартное предсказание одного токена без Multi-Token Prediction (MTP/NextN). Доступны варианты GGUF с квантованием от Q6_K до IQ2_XS, с размером файлов примерно от 81,3 до 29,5 ГБ; квантизация выполнена с использованием importance-matrix на общем калибровочном наборе. Языки, размер контекстного окна и поддерживаемые модальности в README не указаны. Модель сохраняет основные возможности исходной архитектуры при меньшем числе экспертов, а вариант REAP-20 должен иметь больше ёмкости и больший размер, чем REAP-30. Дополнительно выполнена abliteratation — ортогонализация весов для снижения жёстких отказов на запросы для взрослого и творческого контента; защитные ограничения против самоповреждения и содействия реальным противоправным действиям, согласно описанию, сохранены. Это не универсальная модель для всех аудиторий, а крупная по требованиям к памяти система, причём качество зависит от выбранного уровня квантования. Лицензия — Apache-2.0, унаследованная от базовой модели.

Qwen3.5-4B-SX8 — версия модели Qwen3.5-4B, подготовленная Martí Vidal Leandro из MarlaLabs и опубликованная marlalabsAI. Веса представлены в формате квантования S-X8 v4.3 с точностью 7,50 бит на вес; репозиторий также содержит контейнер GGUF. Модель предназначена для диалоговой генерации текста и работы через интерфейс вызова инструментов. В карточке базовой модели указаны мультимодальность и понимание изображений, однако сведения о поддержке этих функций именно в данной версии в метаданных и README ограничены описанием полного контейнера с визуальной частью. Автор заявляет качество, близкое к FP16: на RTX 5060 Ti приведены результаты на Wikitext-2, Winogrande и HellaSwag, а также показатели скорости и потребления видеопамяти. Для запуска доступны собственный Python runtime, требующий NVIDIA GPU и CUDA Toolkit для компиляции ядер, и вариант GGUF, требующий форка llama.cpp с поддержкой S-X8. Контейнер `.sx8v43` включает конфигурацию и неквантованные тензоры и, согласно README, не требует отдельно загружать базовую модель. Лицензия — Apache-2.0.

Qwen3.5-9B-Cold-Fusion-GAIN-v1.0-Uncensored-Heretic-NEO-MAX-Imatrix-GGUF — языковая модель семейства Qwen3.5, разработанная DavidAU. Модель представлена в формате GGUF с вариантами обычного и MTP-квантования, включая 4- и 8-битные версии, а также оптимизацию NEO Imatrix. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В карточке также указана мультимодальная классификация image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования, творческого письма, художественной прозы и ролевых сценариев. По заявлению автора, она создана с использованием многоэтапной настройки, методов Cold Fusion и GAIN, причём GAIN динамически адаптирует обучение для отдельных примеров. Среди заявленных преимуществ — более ясные и подробные ответы, улучшенная работа с контекстом, таблицами, графиками и текстовыми визуализациями, а также сохранение близкой к BF16 производительности в 4- и 8-битных вариантах. Модель содержит около 9 миллиардов параметров. В приведённых тестах она показывает результаты, сопоставимые или превосходящие базовые Qwen3.5-9B и Qwen3.5-27B на части задач ARC, BoolQ, HellaSwag, OpenBookQA, PIQA и Winogrande, однако полнота тестовых данных ограничена, а заявления о превосходстве над 27B не подтверждены независимыми измерениями. Ограничения включают возможную нецензурированность, отсутствие подробных сведений о контекстном окне и требованиях к оборудованию, а также неполные данные по некоторым бенчмаркам.

AEON-7 Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 — дообученная версия мультимодальной модели Qwen3.6-27B с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров. Разработчик применил abliteration: удалил направление отказа, чтобы модель реже отказывалась и продолжала рассуждение на темах, ограничиваемых обычным выравниванием. Карточка также сообщает о восстановлении исходной MTP-головы для спекулятивного декодирования в vLLM. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, агентных сценариев и задач с изображениями. В метаданных указана мультиязычная поддержка, включая английский и китайский; контекст описан как длинный, но его точная длина не приведена. Весы доступны в BF16 в формате safetensors, лицензия — Apache-2.0. Отключение отказов может привести к выдаче вредоносного или небезопасного контента, а заявления о сохранении возможностей и сравнительных преимуществах основаны на данных карточки и не являются независимой оценкой. Автор указывает, что модель устарела и рекомендует более новую линейку Qwen3.8.

Qwen3.6-27B-V1.1-FF711-Darker-Hero-GAIN-H2.0 — дообученная Дэвидом AU мультимодальная модель семейства Qwen3.5 с плотной архитектурой на 27 млрд параметров, основанная на Qwen/Qwen3.6-27B. Карточка описывает метод GAIN, также называемый COLD FUSION: динамическая настройка обучения на уровне отдельных примеров. Модель предназначена для диалогов, рассуждений, программирования, творческого письма и работы с изображениями; метаданные указывают поддержку vision и интерфейс вызова инструментов. Автор заявляет о сокращённых блоках рассуждений, следовании инструкциям и сохранении производительности при низкой точности, однако приведённые в README сравнения и показатели являются заявлениями автора. В примерах упоминается режим без фильтрации и контент NSFW; модель может выдавать ненормативную лексику и материалы для взрослой аудитории. Карточка также сообщает о снижении частоты отказов. Указана лицензия Apache-2.0. В метаданных перечислены английский и китайский языки; других языков карточка не подтверждает.

Qwen3.6-35B-A3B-Q5_K_M-GGUF — это квантованная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в средах с высокой нагрузкой на CPU, включая сценарии использования через llama.cpp. Вариант использует квантование Q5_K_M, обеспечивающее компромисс между качеством и размером файла. Базовая модель имеет архитектуру Mixture-of-Experts и обозначение 35B-A3B, однако в README не приведены подробности о числе экспертов, активных параметрах, размере контекста, поддерживаемых языках и точных модальностях. Метаданные указывают на сценарий image-text-to-text, но дополнительных сведений о работе с изображениями нет. Сильная сторона этой версии — баланс качества и требований к ресурсам по сравнению с менее или более сильно квантованными вариантами. Ограничения связаны с потерями качества, характерными для квантования, а также с отсутствием в README данных о производительности, совместимости и рекомендуемых ресурсах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-RAZOR-28B-A3B-E192of256 — производная диалоговая модель семейства Qwen, созданная методом RAZOR: из 256 маршрутизируемых экспертов в каждом MoE-слое оставлены 192. По README, это обучение-не-затрагивающее прореживание экспертов без градиентных обновлений и восстановительного дообучения; сохранены исходные веса оставшихся экспертов. В карточке указано 27,7 млрд параметров (27,0 млрд без модуля MTP) и около 3 млрд активных параметров на токен. Архитектура — Qwen3.5 MoE для Transformers; веса представлены в safetensors и bfloat16. Модель предназначена для генерации текста в диалогах и работы с интерфейсом вызова инструментов. Метаданные связывают её с Qwen/Qwen3.6-35B-A3B, краткое описание которого указывает на мультимодальный анализ изображений, однако README этой производной версии описывает только прореживание экспертов и не подтверждает сохранение или проверку обработки изображений. Лицензия — Apache-2.0. Прореживание уменьшает объём хранения экспертов, сохраняя примерно прежнее число активных параметров на токен, но является потерным: могут измениться разнообразие, форматирование и поведение завершения ответов; качество вне конечного калибровочного корпуса отдельно не охарактеризовано.

Qwen3.8-27B-nvfp4full-dflash2-NInfer — мультимодальная conversational-модель на базе Qwen3.8-27B, подготовленная в формате артефакта NInfer. В README разработчик базовой модели явно не указан; указаны исходные проекты Qwen/Qwen3.8-27B и unsloth/Qwen3.8-27B-NVFP4. Артефакт дополнен модулем DFlash2 для speculative decoding и предназначен прежде всего для запуска через форк gpillon/ninfer. Модель рассчитана на генерацию текста, диалоговые сценарии, обработку изображений и задачи coding-agent, особенно при большом числе параллельных запросов с общим системным промптом и схемами инструментов. Форк движка поддерживает повторное использование префиксов, двухуровневое хранение KV-кэша, защиту длительных сессий от вытеснения, streaming и разбор tool calls. Для общих префиксов заявлено повторное использование примерно 99% предварительного вычисления, однако эти показатели относятся к исходному форку движка, а не являются универсальной характеристикой модели. Размер модели — 27B параметров. Используется профиль весов NVFP4-full, включая 281 NVFP4-тензор и 9 BF16-тензоров-исключений; размер файла артефакта составляет около 18,07 GiB. Модуль DFlash2 представляет собой пятислойный sliding-window drafter с окном 2048 и скрытой размерностью 5120. Поддержка языков, точное максимальное контекстное окно базовой модели и фактические характеристики качества в README не указаны; упомянут 1M-context envelope движка NInfer. Главные ограничения — артефакт совместим только с NInfer и не является checkpoint для Transformers, Safetensors или GGUF. Для использования требуется форк gpillon/ninfer с поддержкой DFlash2. Указана лицензия Apache 2.0.

Puffyn/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, разработанная для локального запуска и исследовательских сценариев, где требуется минимизация встроенных отказов и защитных ограничений. Согласно README, модель ориентирована на генерацию текста, программного кода, ответы на сложные и потенциально ограниченные запросы, а также на использование в агентских системах, coding agent и фреймворках для тестирования безопасности. Разработчик и точное происхождение производной модели в README явно не раскрыты; указано имя базовой модели Qwen и идентификаторы вариантов OBLITERATED/OBLITERATUS. Модель относится к семейству Qwen3 и имеет размер 27B параметров. Поддерживается текстовая модальность; сведения о языках и максимальной длине контекста в предоставленных данных отсутствуют. Доступны форматы GGUF, Safetensors и MLX. В версии V3 заявлены итеративная модификация весов и метод abliteration, удаляющий направления, связанные с отказами; авторы сообщают о сохранении близкой к исходной производительности, но с потерей 2,1 процентного пункта по MMLU относительно базовой модели. README также заявляет работоспособную генерацию кода в 20 из 20 проверенных сценариев и совместимость с режимом рассуждений. Сильной стороной модели считается снижение жёстких отказов и защитных отговорок при сохранении значительной части возможностей базовой Qwen3.8-27B. Ограничения включают возможное снижение качества по сравнению с исходной моделью, склонность к зацикливанию без правильно настроенного repetition_penalty и потенциальные риски использования модели без встроенных защитных механизмов. Для запуска рекомендуются temperature 0, repetition_penalty 1.15, не менее 2048 новых токенов и пустой системный промпт; для агентских сценариев предлагаются более короткие ответы и периодическое суммирование контекста. Лицензия — Apache-2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Coder-GGUF — это многоз этапно дообученная и объединённая модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README модель представлена как разработка для потребительского оборудования с использованием Unsloth, методов COLD FUSION и Fable Fusion 711. Доступны GGUF-квантизации, включая обычные и MTP-варианты, с заявленной поддержкой режимов reasoning и thinking. Модель предназначена для широкого круга задач: программирования, решения задач, рассуждений, творческого письма, создания художественных текстов, ролевых сценариев и работы с различными жанрами. В метаданных указаны английский и китайский языки. Размер базовой модели — 27B параметров. Репозиторий также помечен как image-text-to-text, однако подробные сведения о поддерживаемых визуальных входах в README отсутствуют; максимальная длина контекста не указана. К заявленным сильным сторонам относятся сокращение объёма внутреннего рассуждения и ускорение генерации при сохранении детализации, а также высокие результаты на ARC-C и ARC-E. Автор утверждает, что модель превосходит базовые версии Qwen по ряду benchmarks, но эти показатели приведены без независимой методологии проверки. Ограничениями являются отсутствие подробных данных о контекстном окне, требованиях к памяти, совместимости MTP и качестве мультимодальной обработки. Модель описана как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля безопасности. Лицензия — Apache-2.0.

iliaosipov998/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная fine-tune и merge-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, подготовленная с использованием Unsloth и методов COLD FUSION и Fable Fusion. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая версии с 4- и 8-битным представлением. Разработчик заявляет о создании модели для потребительского оборудования и о снижении объёма рассуждений по сравнению с базовой Qwen 3.8 27B при сохранении детализации и качества ответов. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Заявлены поддержка английского и китайского языков, текстовый ввод и вывод; при этом в карточке присутствует тег image-text-to-text, но подробности о фактических мультимодальных возможностях не приведены. Архитектура, точное окно контекста и полный набор режимов работы не описаны, однако из названия и карточки следует размер базовой модели около 27B параметров и наличие MTP-режима. К заявленным сильным сторонам относятся высокая производительность на внутренних и упомянутых ARC-C и ARC-E тестах, уменьшенное количество рассуждающих токенов, ускоренная генерация, развитые способности к программированию и генерации подробных текстов. Эти результаты представлены авторами модели и не подтверждены независимыми измерениями в предоставленных данных. Ограничения включают возможную необъективность заявленных бенчмарков, отсутствие подробной информации о качестве, безопасности и поведении на других языках, а также позиционирование как uncensored/abliterated-модели, что может означать ослабленные защитные ограничения. Лицензия — Apache-2.0.