II.1Анализ требований и архитектура ПО

orca_mini_13b — языковая модель Pankaj Mathur, созданная на базе OpenLLaMA-13B дообучением на наборах инструкций WizardLM, Alpaca и Dolly-V2. При подготовке данных применялся подход из исследовательской работы Orca: примеры дополнялись системными инструкциями и пояснениями, призванными передать ход рассуждений модели-учителя GPT-3.5-turbo-0301. Модель предназначена для генерации текста по инструкциям, диалоговых ответов и выполнения общих языковых задач на английском языке. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, доступная в форматах PyTorch и Safetensors через Transformers. Контекст составляет 2048 токенов. Модель обучена на синтетических и пользовательских наборах инструкций; качество может различаться в зависимости от запроса, а ответы могут быть неточными или содержать ошибки. Лицензия CC-BY-NC-SA-4.0 требует указания авторства, распространения производных материалов на тех же условиях и не допускает коммерческого использования.

Qwen2 Orca Mini v7 7B — разговорная модель на базе архитектуры Qwen2, разработанная Pankaj Mathur и дообученная на наборах данных для supervised fine-tuning (SFT). Она предназначена для диалогов и ответов на общие вопросы в формате ChatML. Модель содержит 7,1 млрд параметров и принимает текст, выдавая текст; заявленная длина контекста составляет 32 768 токенов. Для обработки более длинных входов в README описана настройка YARN с vLLM, однако увеличение контекста может повлиять на качество коротких запросов. README приводит результаты отдельных тестов Open LLM Leaderboard, но полноценная оценка заявлена как ожидающая публикации. Языки и узкая прикладная специализация не обозначены, поэтому модель подходит для общих разговорных сценариев. Репозиторий распространяется по лицензии Apache-2.0; автор разрешает дальнейшее дообучение и слияние при указании авторства.

orca_mini_v9_6_1B-Instruct — разговорная языковая модель Pankaj Mathur, дообученная на основе meta-llama/Llama-3.2-1B. Она предназначена для генерации текста в диалоговом формате и может использоваться как компактный помощник, в том числе в средах с ограниченными вычислительными ресурсами. Архитектура — плотная LlamaForCausalLM; модель содержит 1,2 млрд параметров, принимает текст и выдаёт текст. Для запуска автор приводит примеры с Google Colab и локально через GGUF-версию с Ollama. В карточке заявлено контекстное окно 131 072 токена. Указаны английский язык и наборы данных orca_mini_v1_dataset и orca_mini_v8_sharegpt_format. Репозиторий содержит веса PyTorch и safetensors; лицензия — Llama 3.2. Как и другие небольшие языковые модели, она может выдавать неточные, предвзятые или нежелательные ответы; перед внедрением необходимы проверки и настройки безопасности под конкретное применение.

Ornith-1.5-9B-SFT-Fable5-Glint — дообученная модель на базе Ornith AI Ornith-1.5-9B, разработанная ermiaazarkhalili. Это плотная модель архитектуры Qwen3_5ForConditionalGeneration с 9,4 млрд параметров, обученная методом SFT с LoRA на наборе инструкций Fable-5-Glint-Clean. Репозиторий содержит safetensors, а метаданные указывают на применение Transformers и интерфейс чата с вызовом инструментов. Модель предназначена для генерации текста в диалоговых сценариях и следования инструкциям, представленным в обучающем наборе. Карточка сообщает о 1 554 шагах обучения и снижении training loss с 0,9980 до 0,6284; эти значения не являются оценкой качества на практических задачах. Адаптер LoRA объединён с базовыми весами, поэтому отдельно отключить дообучение нельзя. Модель унаследовала ограничения и смещения базовой модели. Её поведение вне распределения единственного набора инструкций не проверено, а бенчмарки не проводились. Лицензия — MIT.

Qwen1.5-110B — базовая плотная языковая модель из серии Qwen1.5, разработанной командой Qwen. Это бета-версия семейства Qwen2: авторегрессионная модель-декодер на архитектуре Transformer с 110 млрд параметров, предназначенная для дальнейшего дообучения и экспериментов с генерацией текста. В карточке модели указаны поддержка контекста до 32 768 токенов и формат весов Safetensors. Модель подходит для генерации и продолжения текста, а также как основа для постобучения под диалоговые сценарии с помощью SFT, RLHF или дополнительного предобучения. Семейство поддерживает несколько языков; метаданные этой карточки отмечают английский. В архитектуре семейства используются активация SwiGLU и смещение в проекциях QKV; для версии 110B также заявлен grouped-query attention. Для запуска рекомендуется Transformers версии 4.37.0 или новее, и не требуется включать trust_remote_code. Авторы не рекомендуют использовать базовую модель напрямую для генерации текста и советуют сначала провести постобучение. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

Qwen1.5-4B — базовая предобученная языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная Transformer-модель с примерно 3,6 млрд параметров, предназначенная для генерации текста и дальнейшей адаптации под прикладные задачи. Для пользовательского диалога предпочтительна отдельная чат-версия семейства: разработчики не рекомендуют использовать базовую модель для генерации без дополнительного обучения. Модель поддерживает контекст до 32 768 токенов и многоязычный токенизатор, адаптированный также к программному коду. В архитектуре семейства используются активация SwiGLU и смещение в проекциях внимания QKV; описание бета-версии уточняет, что в ней временно отсутствуют GQA (кроме модели 32B) и сочетание скользящего окна с полным вниманием. Модель принимает текст и генерирует текст. Рекомендуемые сценарии — продолжение текста, эксперименты и дообучение с помощью SFT, RLHF или продолжения предобучения. Репозиторий содержит веса в формате safetensors. Указана лицензия other, поэтому точные условия использования следует проверять в файлах лицензии репозитория.

Minami-su/Qwen1.5-7B-Chat_mistral — преобразованная версия диалоговой модели Qwen1.5-7B-Chat от Alibaba Cloud с архитектурой Mistral. Автор адаптировал модель для совместимости с Qwen1.5; репозиторий содержит веса PyTorch, а размер модели составляет 7,1 млрд параметров. В метаданных указаны контекст до 32 768 токенов и поддержка английского и китайского языков. Модель предназначена для генерации текста в диалоговом формате. Автор отмечает поддержку скользящего окна внимания и заявляет о более высокой скорости и увеличенной длине контекста по сравнению с вариантом Qwen2 Llamafy. В README приведены результаты отдельных тестов, в том числе при загрузке в 4-битном режиме. Для использования автор указывает на необходимость вручную изменить реализацию MistralAttention в библиотеке Transformers, поэтому запуск может потребовать адаптации кода. Лицензия в метаданных обозначена как other; конкретные условия использования по доступным сведениям определить нельзя.

Карточка модели prompt-agnostic-language-models/Qwen-1B_dare_ties на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B-Base, поэтому описание составлено по ней. Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Карточка модели prompt-agnostic-language-models/Qwen-1B_ties на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B-Base, поэтому описание составлено по ней. Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Модель anggapradana/qwen2-5-1-5b-grpo-id разработана anggapradana как дообученная версия anggapradana/qwen2-5-1-5b-alpaca-id на архитектуре Qwen2. Это плотная авторегрессионная языковая модель с 1,5 млрд параметров для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет до 32 768 токенов. Модель предназначена для текстовых запросов и генерации ответов в диалоговых сценариях. В карточке указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель принимает и выдаёт текст; в метаданных отмечен английский язык, а идентификатор базовой модели содержит указание на индонезийскую Alpaca-версию, поэтому её пригодность для индонезийского языка вероятна, но отдельно не подтверждена. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или конкретных ограничений; параметры и длительность контекста сами по себе не гарантируют точность ответов или надёжность вызова инструментов.

Qwen2.5-32B-Instruct-abliterated-v2-GGUF — это GGUF-версия модифицированной языковой модели Qwen2.5-32B-Instruct. Базовую модель разработала команда Qwen, а данную адаптацию опубликовал пользователь zetasepic. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в чат-интерфейсах и локальных приложениях, поддерживающих формат GGUF. Модель основана на инструкционно дообученной архитектуре Qwen2.5 с размером около 32 млрд параметров и работает в текстовой модальности. В карточке указано, что она ориентирована на английский язык; сведения о размере контекстного окна и конкретном формате квантования отсутствуют. Версия создана с применением техники abliteration и кода проекта refusal_direction, направленной на уменьшение выраженности отказов и моральных предостережений модели. Потенциальным преимуществом является более свободное следование запросам по сравнению с исходной инструкционной моделью, а также возможность локального запуска через совместимые инструменты GGUF. При этом изменение поведения отказов может снизить встроенные защитные ограничения и повысить риск небезопасных или нежелательных ответов; качество и скорость также зависят от конкретной квантованной сборки и оборудования. Модель распространяется по лицензии Apache 2.0.

MildConcussion/Qwen2.5-3B-Instruct-abliterated-16bit-GRPO — дообученная MildConcussion модель семейства Qwen2 на базе MildConcussion/Qwen2.5-3B-Instruct-abliterated. Это плотная причинно-языковая модель с 3,1 млрд параметров для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL, а в репозитории представлены веса Safetensors. Модель принимает текст и генерирует текст. Указанный родной размер контекста — 32 768 токенов; в языковых тегах карточки указан английский. Репозиторий распространяется по лицензии Apache-2.0. Данных о качестве, обучающих данных и конкретных ограничениях применения README не содержит.

Это экспериментальный чекпойнт компактной языковой модели Qwen2.5-1.5B-Instruct, подготовленный автором репозитория huggingFacing как вариант серии экспериментов по дистилляции знаний из Qwen2.5-7B-Instruct в модель на 1,5 млрд параметров. Вариант lift_v12_top_only использует gap gate и веса влияния двух верхних слоёв на уровне шагов; обучение проводилось методом on-policy GKD на английском наборе Paper100K, 1500 шагов с глобальным размером пакета 64 и генерацией до 128 токенов за пример. Модель предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов, унаследованный от базовой instruct-модели. Архитектура — плотная Qwen2 causal language model, контекст — до 32768 токенов; веса представлены в SafeTensors и доступны по лицензии Apache-2.0. Карточка описывает абляционный вариант дистилляции, поэтому его качество следует оценивать отдельно от полного метода и исходной модели.

Qwen2-7B-Instruct-Response-Exp — дообученная Alibaba PAI модель на архитектуре Qwen2 с 7,1 млрд параметров. Она предназначена для генерации ответов и автоматического расширения наборов данных и аннотаций в стиле Self-Instruct: например, для создания разнообразных примеров инструкций и ответов. Модель обучали на сбалансированной выборке из OpenHermes и LCCD; аннотации обучающих данных подготовлены с помощью Qwen-max и авторских примеров. Поддерживает чатовый режим, использует формат safetensors и имеет контекстное окно 32 768 токенов. В README приведено сравнение с Self-Instruct по разнообразию, длине, сложности и фактичности, однако подробности методики оценки не раскрыты. Модель принимает текст и генерирует текст. Базовая модель — Qwen2-7B-Instruct. Лицензия в предоставленных данных не указана.

ksyoung0215/Qwen3-1.7B-base-MED — компактная языковая модель для генерации текста, размещённая пользователем ksyoung0215 на Hugging Face. Модель работает через библиотеку Transformers и содержит 1,7 млрд параметров; в метаданных она отмечена как Qwen3 и conversational-модель, обученная с применением supervised fine-tuning (SFT).

Qwen3-1.7B Chat — диалоговая причинная языковая модель, разработанная Ayush Shah на основе ayushshah/Qwen3-1.7B-UltraChat-SFT. Это вариант Qwen3-1.7B-Base, прошедший supervised fine-tuning на UltraChat-200k, а затем Direct Preference Optimization на наборах предпочтений UltraFeedback, Capybara и Intel Orca. LoRA-адаптеры после обучения объединены с весами модели. Модель предназначена для генерации ответов в диалоге и выполнения текстовых запросов. Она содержит 1,7 млрд параметров, имеет 28 слоёв и контекстное окно 32 768 токенов. Поддерживает только текст: README указывает, что модель пока не поддерживает режим thinking, изображения и вызов инструментов. В карточке не заявлен основной язык, поэтому не следует считать её специально русскоязычной. DPO-обучение нацелено на улучшение полезности, связности, естественности диалога и соответствия предпочтениям пользователей; в приведённых оценках есть прирост относительно SFT-версии по MMLU-Pro и GSM8K. Модель всё ещё может ошибаться и галлюцинировать, испытывает трудности со сложным многошаговым рассуждением и неоднозначными инструкциями; по сравнению с SFT-вариантом отмечено небольшое снижение точности следования инструкциям. Для высокорисковых решений требуется проверка человеком. Лицензия — Apache-2.0.

Mungert/Qwen3-30B-A6B-16-Extreme-GGUF — это GGUF-квантизированная модель, опубликованная пользователем или организацией Mungert и основанная на Qwen/Qwen3-30B-A3B-Base. Модель предназначена для генерации текста и локального инференса через совместимые инструменты, включая llama.cpp, в том числе на устройствах с ограниченной памятью, CPU и системах с небольшим объёмом GPU VRAM. В метаданных заявлена поддержка контекста до 32 тысяч токенов, а также сценарии, связанные с рассуждением и режимом thinking. Из названия следует, что модель использует архитектуру с 30 миллиардами параметров, около 6 миллиардов активных параметров и 16 экспертами, однако подробности архитектуры и список поддерживаемых языков в README не приведены. Основная особенность — экстремально низкобитное динамическое квантование IQ-DynamicGate с вариантами точности 1–2 бита, распределяющее точность по слоям и защищающее критические компоненты. Приведённые результаты для Llama-3-8B показывают снижение perplexity по сравнению со стандартным квантованием при умеренном увеличении размера файлов и сопоставимой скорости, но эти результаты не являются прямым бенчмарком данной модели. Сильная сторона модели — существенная экономия памяти, что делает её привлекательной для локального запуска, edge-устройств и исследований низкобитного квантования. Ограничением могут быть потери качества, характерные для экстремально низкой точности, а также зависимость производительности от аппаратной поддержки и выбранного формата квантования. Лицензия в README не указана, поэтому условия использования необходимо уточнять отдельно.

Карточка модели localized-ft/Qwen3-32B-school-of-reward-hacks-ip-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

Карточка модели localized-ft/Qwen3-32B-target-only-no-hallucination-ip-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

ReliquaryForge/qwen3-4b-base-dapo-v4 — базовая плотная причинная языковая модель семейства Qwen3, опубликованная в формате safetensors и предназначенная для генерации текста. Карточка описывает предобученную модель Qwen3-4B-Base с 36 слоями и группированным запросным вниманием (GQA); метаданные каталога указывают 3,7 млрд параметров. Контекстное окно составляет 32 768 токенов. Модель подходит как основа для генерации текста и дальнейшей адаптации под диалоговые и другие языковые сценарии. В карточке семейства указано предобучение на многоязычном корпусе и акцент на знаниях, рассуждениях, STEM и программировании; это общесемейное описание, не отдельная оценка именно данного чекпойнта. Для работы рекомендуется актуальная версия Transformers: версии ниже 4.51.0 могут не распознавать архитектуру Qwen3. Лицензия — Apache-2.0.

Qwen3.5-40B-RoughHouse-Claude-4.6-Opus-Polar-Deckard-Uncensored-Heretic-Thinking — экспериментальная модель DavidAU на архитектуре Qwen3.5. Это плотная модель на 40 млрд параметров, собранная расширением двух дообученных моделей Qwen3.5-27B; автор описывает её как сырую версию, выпущенную до заключительного этапа обучения. В карточке указаны библиотека Transformers, формат safetensors и лицензия Apache-2.0. Модель рассчитана на диалог, рассуждения, генерацию кода и творческих текстов, включая рассказы и ролевые сценарии; поддерживает изображения и текст. Автор указывает контекст до 256 тыс. токенов и переменную длину рассуждений. Заявлены английский и китайский языки. По описанию, модель намеренно лишена защитных ограничений и может создавать откровенный или резкий контент. Автор предупреждает о нестабильности генерации: возможны циклы, повторения и сбои токенов, особенно при коротких запросах и низких уровнях квантизации. Рекомендуются содержательные запросы, системная инструкция и повторная генерация при неудовлетворительном ответе. Модель выпускается по лицензии Apache-2.0.

Qwen3.6-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS-i1-GGUF — квантизированная GGUF-версия модели KridgeDookie/Qwen3.6-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS, подготовленная mradermacher. Модель относится к семейству Qwen3.6, имеет около 27 миллиардов параметров и предназначена для генерации текста и работы с изображениями и текстом. В метаданных указана многоязычная поддержка, однако конкретный перечень языков и размер контекстного окна не приведены. Модель ориентирована на текстовую генерацию, мультимодальные сценарии image-text-to-text и задачи, где требуется сниженный уровень отказов от ответов; пометка abliterated/uncensored отражает изменение поведения исходной модели в этой области. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория. Доступны варианты квантизации i1 с разными форматами и объёмом примерно от 7,2 до 15,6 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Сильными сторонами являются мультимодальность, многоязычность и широкий выбор квантизированных вариантов, включая imatrix-квантизации. Ограничения связаны с потерей качества у наиболее компактных вариантов; README прямо отмечает низкое качество некоторых из них. Архитектурные детали, точный контекст и результаты оценивания не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. В создании участвовали DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; использовались собственные и внешние наборы данных, включая DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется в формате GGUF, включая обычные и MTP-квантизации, и рассчитана на использование на потребительском оборудовании. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, работы с художественными текстами и ролевых сценариев. Заявлена поддержка текста и изображений, а также английского и китайского языков. По данным авторов, она улучшает следование инструкциям, общий интеллект и reasoning по сравнению с базовой моделью; заявленные результаты превосходят базовый Qwen3.6-27B в шести из семи тестов. Эти показатели представлены авторами и не подтверждены независимой проверкой в README. К ограничениям относятся отсутствие сведений о размере контекстного окна, точных параметрах архитектуры, поддерживаемых форматах изображений и фактическом качестве на разных языках и задачах. Маркировка uncensored и heretic указывает на ослабление стандартных ограничений безопасности, поэтому модель может генерировать нежелательный или рискованный контент. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-uncensored-heretic-AWQ — текстовая генеративная модель, созданная на основе Qwen3.6-35B-A3B и опубликованная sahilchachra. Это AWQ-квантизированная версия модели llmfan46/Qwen3.6-35B-A3B-uncensored-heretic, представляющая собой uncensored/abliterated-вариант без стандартных направлений отказа. Модель предназначена для генерации текста и диалоговых сценариев; поддерживается английский язык. Мультимодальные возможности исходной архитектуры здесь функционально недоступны, поэтому модель следует рассматривать как текстовую. Архитектура включает гибрид GatedDeltaNet с linear attention и full attention, Mixture-of-Experts с 256 маршрутизируемыми экспертами, 8 активными экспертами и одним общим экспертом, а также 40 слоёв. Веса основных MoE-компонентов и full-attention слоёв сжаты до 4-битного симметричного формата W4A16 с group size 128, тогда как активации сохраняются в BF16. Размер на диске составляет около 21,8 ГБ вместо примерно 70 ГБ для BF16, что снижает требования к хранению и памяти. Квантование выполнено с помощью llm-compressor и compressed-tensors на калибровочных данных ultrachat_200k. Модель удобна для локального или серверного text generation при использовании vLLM и формата compressed-tensors pack-quantized. На системах без специализированных ядер GatedDeltaNet возможен корректный, но более медленный путь на чистом PyTorch. В README не указан размер контекста. Из-за uncensored-характеристик модель может выполнять запросы, которые обычная версия отклонила бы, поэтому её следует использовать ответственно и с учётом применимого законодательства. Указана лицензия Apache-2.0; также необходимо учитывать условия Qwen.

Это квантованная GGUF-версия языковой модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем ubergarm с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалоговых сценариев; запуск ориентирован на ik_llama.cpp. Указанная версия содержит MTP IQ4_KS-квантизацию размером около 15,75 ГиБ и использует 4,731 бит на вес. Для работы также предусмотрен мультимодальный проектор mmproj, однако конкретный набор поддерживаемых модальностей и языков в README не описан. Модель рассчитана на локальный инференс с экономией памяти и заявленной высокой эффективностью по показателю perplexity для своего объёма памяти. В примере запуска используется контекст до 131 072 токенов, CUDA и speculative decoding через MTP с параметром n_max=4. Для запуска требуется специальная ветка ik_llama.cpp; совместимость с основной версией llama.cpp, LM Studio и KoboldCPP зависит от конкретного варианта квантизации. README не приводит результаты прикладных тестов, перечень языков, точные архитектурные характеристики базовой модели или системные требования. Модель распространяется по лицензии Apache-2.0. Ограничения связаны с потерями точности, неизбежными при квантизации, зависимостью от специального программного обеспечения и необходимостью подбора аппаратной конфигурации для эффективной работы.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed-FP16 — это MLX-сборка модели Qwen3.8-27B, подготовленная для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локального текстового общения и генерации, включая задачи программирования, приоритетом является высокая скорость генерации в коротких диалогах и быстрых ответах. Разработчик базовой модели — Qwen, сборку и оптимизацию MTPLX выполнил Youssofal для работы на Apple Silicon. Модель имеет размер 27B параметров, использует FP16 для части плавающих тензоров и поддерживает контекст до 262 144 токенов. В MTPLX применяется speculative decoding с multi-token prediction глубиной 3, что позволяет ускорять генерацию без изменения результата относительно обычного декодирования при указанных условиях. Размер загрузки составляет 16 ГБ; для работы требуется Mac с чипом M1–M5 и не менее 32 ГБ unified memory. Эта версия оптимизирована прежде всего для M1 и M2, тогда как для M3 и новее рекомендуется родительская сборка. Сильная сторона модели — высокая скорость генерации и эффективный локальный запуск на совместимых Mac; заявлены до 65,2 токена в секунду на тесте программирования, измеренном на M5 Max, хотя показатели для M1 и M2 отдельно не опубликованы. Ограничения — более низкое качество и меньшая скорость на длительных задачах программирования по сравнению с вариантами, ориентированными на качество, а также зависимость от оборудования Apple Silicon и MTPLX. Модель распространяется по лицензии Apache-2.0.

Это текстовая GGUF-сборка Qwen3.8-27B, подготовленная автором репозитория ayourtch с помощью shoehorn. В репозитории опубликованы варианты квантования, рассчитанные для заданного бюджета видеопамяти и контекста: в README указаны сборки для 128K, 192K и 256K токенов, с кэшем KV q4_0; метаданные отмечают производность от Qwen/Qwen3.8-27B и формат GGUF. Варианты предназначены для локального запуска через llama.cpp и диалоговой генерации текста. Автор приводит сравнение точности на 92 вопросах из AIME2025, GPQA Diamond, SuperGPQA и COMPSEC. Результаты зависят от варианта квантования и условий теста; для указанной оценки использовались RTX PRO 6000 Blackwell, llama.cpp, спекулятивное декодирование и температура 0. Хотя исходная Qwen3.8-27B мультимодальная, в этой публикации нет vision projector, а обработка изображений не конвертировалась и не тестировалась. Для работы следует согласовать размер контекста и тип KV-кэша с вариантом файла. Лицензия — Apache-2.0.

Qwen3.8-27B-SX8 — это квантованный вариант Qwen3.8-27B, подготовленный MarlaLabsAI в формате S-X8 v4.3. Модель предназначена для локального диалога и генерации текста; репозиторий содержит веса в контейнерах SX8 и GGUF, а также вариант с vision-компонентом в родном контейнере. Для запуска предусмотрены Python-runtime с CUDA-ядрами и форк llama.cpp. Контейнер весит 26,1 ГБ; квантование описано как 7,50 бит на параметр, с косинусным сходством 0,999753 в среднем по тензорам. По карточке, модель прошла функциональную локальную проверку, но формальные бенчмарки именно для версии 27B ещё не опубликованы. Численные результаты, приведённые в README, относятся к варианту Qwen3.5-4B и не подтверждают качество этой сборки. Базовая модель описана как мультимодальная; однако GGUF-контейнер не включает MTP-компонент, а README не описывает полноценные сценарии работы с изображениями. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-JoyFox-Aggressive — модификация модели Qwen3.8-27B от JoyFox, ориентированная на снижение ложных отказов и избыточных предупреждений в ответах. Модель сохраняет официальные токенизатор, шаблон чата и конфигурацию базовой модели, а также поддерживает текстовые и мультимодальные сценарии с обработкой изображений. Заявлена поддержка английского, китайского и других языков в рамках мультиязычных возможностей Qwen3.8. Модель предназначена для прямых и содержательных ответов на добросовестные, аналитические, образовательные, вымышленные и иные легитимные запросы, включая чувствительно или неоднозначно сформулированные. В составе сохранены полный vision-стек и мультимодальный проектор, native Multi-Token Prediction (MTP), а также совместимость с форматами BF16 и GGUF. Доступны варианты GGUF с квантованием Q2_K–Q8_0; размер основной модели в этих вариантах составляет примерно от 10,12 до 27,05 GiB. По приведённой оценке на 1000 запросах вариант JoyFox BF16 снизил показатель отказов на добросовестные запросы с 59,2% у исходной модели до 0%, при этом capability score составил 59,0% у обеих моделей. Это поведение не добавляет новых знаний и не устраняет галлюцинации, ошибки понимания или риск генерации неподходящего контента, поэтому модель требует самостоятельной проверки и защитных мер при развёртывании. Контекстное окно и точное число параметров в README не указаны; обозначение 27B относится к базовой модели. Лицензия — Apache-2.0.

Qwen3.8-4B-Empero-AI-FullStack-GGUF — это набор GGUF-квантизаций языковой модели Qwen3.8-4B-Empero-AI-FullStack, разработанной iBotIA и опубликованной в формате GGUF пользователем tinyopsec. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama или llama-cpp-python. Доступны варианты с точностью от 2 до 16 бит и размером примерно от 1,3 до 8,7 ГБ. Рекомендуемым вариантом по умолчанию указан Q4_K_M, обеспечивающий баланс между качеством и требованиями к памяти; варианты с более высокой точностью требуют больше VRAM, а варианты с сильнее сжатой квантизацией подходят для устройств с ограниченными ресурсами. В README указана поддержка английского языка и текстовая модальность. Архитектура исходной модели, размер контекста и дополнительные модальности не описаны. Основные преимущества набора — широкий выбор уровней квантизации, возможность локального запуска и совместимость с популярными инструментами для GGUF. Ограничения связаны с неизбежной потерей качества при использовании низкобитных вариантов, а также с отсутствием подробных сведений о качестве, обучении и возможностях исходной модели. В метаданных репозитория указана лицензия Apache 2.0; README также отсылает к лицензии оригинальной модели, которую следует проверить отдельно.