II.3Рефакторинг, миграция и модернизация

Vontra/Qwen3.8-Flash-Next-MLX-oQ3-MTP — это квантованная MLX-версия Qwen3.8-Flash-Next, подготовленная разработчиком Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для запуска на Apple Silicon через совместимые среды MLX и oMLX, включая задачи генерации текста и обработки изображений благодаря архитектуре vision-language. Модель использует архитектуру qwen4_exp со sparse mixture-of-experts, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и n-граммными embeddings. Всего заявлено 125 млрд параметров языковой модели, из которых активно используется около 6 млрд, 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Контекст составляет 262 144 токена, а upstream-версия допускает расширение до 1 млн токенов. В состав включён native MTP-блок на 4 млрд параметров для speculative decoding. Квантование oQ3 использует 3-битную аффинную основу с размером группы 32 и 746 модулями повышенной точности: части весов представлены в 4-, 5-, 6- и 8-битном формате. Модель занимает около 92,5 ГБ и поставляется в формате MLX safetensors. В тесте на Apple M3 Studio включение native MTP повысило скорость генерации с 26,54 до 29,08 токена в секунду, однако фактическая производительность зависит от длины контекста, версии runtime, памяти и тепловых условий. Для работы требуется runtime с явной поддержкой qwen4_exp и native MTP; неподдерживаемые среды могут не загрузить модель. Модель распространяется по лицензии Qwen Community License 1.0. README не содержит полных сведений о результатах upstream-оценок, безопасности и ограничениях исходной модели; за ними следует обращаться к оригинальной карточке Qwen3.8-Flash-Next.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

ddark-il/Qwen3.8-Flash-Next-Uncensored-Mixed-omlx — это MLX-квантизированная версия модели orcarouter/Qwen3.8-Flash-Next-Uncensored, подготовленная для запуска через oMLX на устройствах Apple Silicon. Модель основана на архитектуре qwen4_exp с разреженными экспертами (MoE), поддерживает текстово-визуальные сценарии и имеет тег image-text-to-text. В README не указано, что ddark-il является исходным разработчиком базовой модели; он предоставляет адаптированный квантованный вариант. Модель содержит около 180 млрд параметров и использует смешанную AWQ/affine-квантизацию с эффективной точностью 4,86 бит на параметр. Размер файлов составляет около 109,24 ГБ, а заявленная длина контекста — до 262 тысяч токенов. В составе предусмотрены MTP-компонент для speculative decoding, GDN и sparse attention, а также vision-модули. Квантизация распределена по чувствительности компонентов: маршрутизируемые эксперты и некоторые таблицы имеют 4-битную точность, критичные элементы сохранены в 8-битном или BF16-виде. Модель предназначена для длинноконтекстной генерации текста, агентских сценариев с вызовами инструментов и задач, сочетающих текст и изображения. На M5 Max с 128 ГБ памяти и oMLX 0.6.4 автор README измерил около 30,7 токена в секунду при работе с длинными агентскими сессиями. Ограничения включают требование oMLX версии не ниже 0.6.3rc3, значительное потребление памяти, зависимость от корректной настройки mmap для PLE-таблицы и отсутствие дополнительного обучения или калибровки. Лицензия — Apache-2.0.

QwenQwen2.5-7B-IT-Dare — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES на основе Qwen/Qwen2.5-7B-Instruct. В карточке перечислена только эта базовая модель, поэтому объединение фактически описано как слияние её весов с коэффициентами 1 и плотностью 1. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Она подходит для диалогов и генерации текста, а интерфейс также поддерживает вызов инструментов. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Как и у базовой модели, качество ответов может зависеть от запроса; карточка не приводит результатов оценки или специальных ограничений применения.

Rombos-LLM-70b-Llama-3.3 — дообученная диалоговая языковая модель на архитектуре Llama, опубликованная пользователем rombodawg. Она предназначена для генерации текста и общения в формате инструктивного ассистента; метаданные также указывают интерфейс вызова инструментов. Модель содержит 69,5 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. В качестве основы указана meta-llama/Llama-3.3-70B-Instruct, мультиязычная инструктивная модель Meta. README не раскрывает подробности обучения или особые сценарии применения. Лицензия — llama3.3.

SlimOpenOrca-Mistral-7B — языковая модель семейства Mistral, созданная Weyaxi слиянием TIES моделей Open-Orca/Mistral-7B-SlimOrca и Open-Orca/Mistral-7B-OpenOrca. Это плотная авторегрессионная модель на 7,1 млрд параметров, распространяемая в формате safetensors; нативный контекст составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и следование инструкциям. В README указаны веса слияния 0,5 для SlimOrca и 0,3 для OpenOrca, а также плотность 0,5 для каждой исходной модели. Лицензия — Apache-2.0. Карточка также сообщает о вариантах GPTQ, GGUF и AWQ, опубликованных TheBloke; это отдельные квантованные версии.

StrangeMerges_11-7B-slerp — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Модель объединяет Gille/StrangeMerges_10-7B-slerp и mlabonne/NeuralBeagle14-7B методом SLERP; конфигурация использует слои 0–31 обеих моделей и тип данных bfloat16. Модель предназначена для генерации текста, включая диалоговые ответы, следование инструкциям, рассуждения и творческое письмо. Она содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В README приведены результаты отдельных тестов Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не указывает языковой охват или дополнительные ограничения модели.

TIGER-Lab_Qwen2.5-32B-Instruct-CFT-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct-CFT, разработанной TIGER-Lab и подготовленной в формате GGUF пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста, выполнения инструкций, решения математических задач и рассуждений; исходная модель обучалась с использованием датасета TIGER-Lab/WebInstruct-CFT. В README заявлен английский язык. Модель основана на архитектуре Qwen2.5 с 32 миллиардами параметров и поддерживает текстовый сценарий использования через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты квантизации от Q8_0 размером 34,82 ГБ до более компактных IQ3 и Q3 с размером около 14–18 ГБ. Более качественными и рекомендуемыми названы варианты Q6, Q5 и Q4, тогда как Q3 обеспечивают экономию памяти ценой снижения качества. Размер контекста, мультимодальные возможности и дополнительные языки в предоставленных данных не указаны. Преимуществами являются крупный размер модели, специализация исходной версии на инструкциях, математике и рассуждениях, а также широкий выбор квантизаций для различного объёма оперативной памяти. Ограничения связаны с потерями качества при агрессивной квантизации, значительными требованиями к памяти и отсутствием сведений о производительности, контекстном окне и поддержке языков помимо английского. Модель распространяется по лицензии Apache-2.0.

Beepo-22B — дообученная модель на базе Mistral-Small-Instruct-2409, опубликованная concedo. Это плотная языковая модель с 22 млрд параметров и контекстом до 32 768 токенов; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова функций. Автор дообучал её для более послушного выполнения инструкций и снижения ограничений, стараясь сохранить способности исходной instruct-модели. Модель подходит для диалоговых помощников, генерации текста и выполнения пользовательских инструкций. Карточка рекомендует формат инструкций Alpaca; исходный формат Mistral Instruct также поддерживается. В метаданных указан английский язык. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

Citaman/command-r-20-layer — объединённая языковая модель семейства Cohere, созданная методом SLERP с помощью mergekit на основе Citaman/command-r-21-layer. В метаданных указаны 18,5 млрд параметров, архитектура CohereForCausalLM и формат safetensors; конфигурация объединения использует срезы слоёв исходной модели и тип bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет 8192 токена. Карточка не указывает отдельные поддерживаемые языки или условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

Gemma-4-26B-A4B-it-NVFP4A16 — пользовательская NVFP4-квантизация инструкционной модели google/gemma-4-26B-A4B-it, выполненная Mario Iseli. Это мультимодальная Mixture-of-Experts-модель для генерации текста и диалоговых сценариев с поддержкой текста, изображений и видео. Всего модель содержит 25,2 млрд параметров, из которых 3,8 млрд активируются для каждого токена; архитектура включает 128 экспертов, 8 из которых выбираются на токен. Контекстное окно составляет до 256 тысяч токенов. Модель использует квантизацию W4A16: веса представлены в FP4, а активации — в FP16. Размер на диске уменьшен примерно с 49 до 16,5 ГБ, то есть примерно в три раза, при сохранении исходного числа параметров. Vision encoder оставлен в BF16. Квантизация выполнена с помощью NVIDIA Model Optimizer на данных CNN/DailyMail; это общественная, а не официальная сборка Google или NVIDIA. Основное преимущество — существенное снижение требований к памяти при сохранении мультимодальности, MoE-архитектуры и длинного контекста. Для запуска через vLLM требуется версия с transformers не ниже 5.4, backend Marlin для MoE и специальный патч gemma4_patched.py для корректной загрузки NVFP4 scale-параметров; конфигурация ориентирована, в частности, на NVIDIA DGX Spark с GB10 Blackwell. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Grafted-Hermetic-Platypus-D-2x7B — разговорная языковая модель, созданная слиянием Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она использует архитектуру Mixtral с разреженной экспертной моделью (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций. В качестве формата запросов подходят шаблоны Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты нескольких тестов языковых моделей, включая AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о поддержке конкретных естественных языков, поэтому языки не перечислены. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах.

Lazarus-2407-100B — плотная языковая модель TheDrummer на архитектуре Mistral, созданная как обрезанная версия Mistral Large 2407 123B. Веса объединены методом passthrough из диапазонов слоёв исходной модели; репозиторий содержит формат Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие, включая интерфейс вызова инструментов. Размер составляет 100,1 млрд параметров, длина контекста — 131 072 токена. Модель подходит для генерации ответов и ведения диалогов с длинным контекстом. В карточке указана лицензия other, поэтому условия использования следует сверить с лицензией и материалами исходной модели Mistral Large 2407; README не уточняет ограничения применения или качество. Русский язык отдельно не заявлен.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

Llama-3.1-Tulu-3-405B — большая плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Allen Institute for AI (Ai2). Она дообучена на основе allenai/Llama-3.1-Tulu-3-405B-DPO и предназначена для следования инструкциям и диалогов, а также для решения широкого круга задач, включая математические рассуждения и выполнение инструкций. В карточке отмечены оценки на MATH, GSM8K и IFEval. Модель содержит 403,7 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. Основной язык — английский. Для запуска доступны веса PyTorch в формате safetensors через Transformers; лицензия — Llama 3.1 Community License Agreement. В карточке указано, что безопасность дообучения ограничена: модель может выдавать проблемный контент, особенно при соответствующих запросах, и не снабжена встроенной фильтрацией ответов. Для развертывания следует учитывать высокие вычислительные требования, характерные для модели такого размера.

bartowski/Llama-3.2-3B-Instruct-GGUF — это квантованная в формате GGUF версия языковой модели Llama 3.2 3B Instruct, разработанной Meta и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, помощь в написании и обработке текста, а также локальный инференс в совместимом программном обеспечении. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель содержит около 3 миллиардов параметров и относится к текстовым моделям; сведения о точной архитектуре, размере контекста, конкретном уровне квантования и поддержке дополнительных модальностей в карточке не приведены. Формат GGUF ориентирован на эффективный запуск и снижение требований к памяти, однако квантование может уменьшать точность по сравнению с исходными весами. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

mindy-7b-v2-Mistral-7B-Instruct-v0.1 — разговорная языковая модель, созданная объединением Mistral-7B-Instruct-v0.1 и mindy-7b-v2 методом SLERP. Это плотная трансформерная архитектура MistralForCausalLM с 7,1 млрд параметров; модель рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы. Заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Репозиторий распространяет веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специальные предметные области или отдельные ограничения качества.

Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и Norquinal/Mistral-7B-claude-instruct методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате чата; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста по запросу. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Muse-Glimmer-30B-ROCmFP4-Strix-Halo-DFlash-GGUF — квантованная GGUF-сборка модели Muse-Glimmer-30B от meta-models/Muse-Glimmer, подготовленная kingjones777 для AMD Strix Halo. Модель мультимодальная: поддерживает текст и изображения, рассуждения с разделением reasoning_content и content, а также tool calling. Сборка предназначена для локального запуска на AMD Ryzen AI Max+ 395 с графикой Radeon 8060S и архитектурой gfx1151. Доступны шесть вариантов квантования ROCmFP4 и ROCmFPX с размером от 13,80 до 27,23 GiB и эффективной точностью 4,25–8,39 BPW. В комплект входят vision projector, chat parser и DFlash для speculative decoding. Проверенный контекст составляет 32768 токенов; пиковое потребление памяти — около 19,99 GiB с моделью, drafter, projector и KV-кэшем. На указанном оборудовании скорость декодирования зависит от задачи и составляет примерно 17–45 токенов в секунду, обычно около 30 токенов в секунду. Сильные стороны модели — сочетание текста, зрения, рассуждений, вызова инструментов и ускоренного декодирования в одной сборке, а также оптимизация под unified memory AMD Strix Halo. Ограничения включают узкую аппаратную совместимость: стандартный llama.cpp эту модель не загружает, требуется специальная ROCmFPX-сборка с поддержкой архитектуры muse-glimmer и типов ROCmFP4. Более быстрые варианты могут генерировать заметно более короткие ответы, поэтому для глубины ответа предпочтителен вариант STRIX. Лицензия указана как other; дополнительные условия в README не раскрыты.

Карточка модели adrianxu9778/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

88plug/Qwen3.6-27B-W8A16 — квантованная версия мультимодальной модели Qwen3.6-27B, разработанной командой Qwen и опубликованной пользователем 88plug. Модель предназначена для обработки изображений и текста с генерацией текста: анализа изображений, визуально-текстовых запросов, рассуждений и задач общего назначения. Поддерживает английский язык; заявленный контекст составляет до 262 144 токенов. Это плотная модель примерно на 27 млрд параметров без MoE, с гибридной архитектурой Gated DeltaNet и полносвязных MLP-блоков. В ней 41 чередующийся слой полной и линейной внимания. Применена посттренировочная квантование AutoRound W8A16: веса хранятся в INT8, а активации — в BF16; размер группы квантования равен 32. Модель занимает около 27 ГБ и рассчитана на запуск на GPU Ampere и новее, включая RTX 4090, A6000 и A100-40. Для развёртывания предпочтителен vLLM версии 0.21 или новее с форматом compressed-tensors. К сильным сторонам относятся существенно меньшие требования к памяти по сравнению с BF16-версией, поддержка длинного контекста и возможность работы на распространённых GPU без ограничений, характерных для FP8. Текстовые компоненты калибровались на смешанном наборе UltraChat-200k и WikiText-103, однако визуальный энкодер получил некалиброванное RTN-квантование INT8, поэтому качество обработки изображений может быть менее проверенным. Формат compressed-tensors не поддерживается TGI, а виджет Hugging Face может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B Abliterated + MTP GGUF — неофициальная производная модель Global Cybersecurity Alliance на базе Qwen/Qwen3.8-27B. Это плотная модель с 27 миллиардами параметров и нативной поддержкой понимания текста, изображений и видео. Модель распространяется в формате GGUF с квантованиями Q8_0, Q6_K, Q4_K_M и Q4_K_S; для каждого варианта предусмотрен соответствующий vision projector mmproj. Базовая модель ориентирована на мультимодальные задачи, управляемый режим рассуждений и работу с длинным контекстом, однако точный размер контекстного окна и перечень поддерживаемых языков в карточке не указаны. В производной версии применено вмешательство Abliterix, направленное на снижение поведения, связанного с отказами. Это может быть полезно для исследовательских и прикладных сценариев, где требуется более свободное следование инструкциям, но эффект не гарантирован и способен ухудшить тон, калибровку, качество рассуждений, точность или соблюдение инструкций. Приведённые в README результаты относятся к отдельной FP8-версии и не являются подтверждёнными показателями GGUF-квантований. Дополнительно доступен BF16 MTP-драфт для speculative decoding в совместимых версиях llama.cpp и других runtime: он может повысить скорость, но требует дополнительной памяти и явной настройки, а выигрыш зависит от оборудования и параметров запуска. Модель не является официальным релизом Qwen, Alibaba Cloud или авторов Abliterix. Лицензия — Apache-2.0.

lued/Qwen3.8-27B-AEON-UNCENSORED-INT8-W8A16-MTP — квантованная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. За исходную архитектуру и базовую модель отвечает Qwen, за abliteration — AEON-7, а данный репозиторий содержит числовую W8A16-квантизацию, подготовленную lued. Модель предназначена для диалоговых и мультимодальных сценариев с обработкой текста и изображений, а также для развёртывания в vLLM на видеокартах Ampere. Модель имеет размер 27B параметров, поддерживает vision tower, режимы reasoning и нативный контекст до 262 144 токенов. Веса языковой модели представлены в INT8 с FP16 или BF16-активациями по схеме W8A16; голова MTP сохранена в BF16 для speculative decoding. Конфигурация оптимизирована для тензорного параллелизма на двух RTX 3090 и поддерживает FP8 E4M3 KV-кэш. Расширение контекста до 1 млн токенов с YaRN указано как отдельная возможность исходной модели и не гарантируется данной конфигурацией. Сильные стороны модели — сниженное потребление памяти по сравнению с BF16-версией, сохранение мультимодальности, большого контекста и MTP, а также отсутствие заявленных отказов на проверенном наборе промптов у исходной uncensored-версии. Ограничения включают зависимость от совместимой конфигурации vLLM, Ampere-ориентированную оптимизацию, необходимость учитывать доступную KV-память и возможное отличие поведения от стандартной Qwen3.8-27B из-за abliteration. В README указана лицензия Apache-2.0.

Ar4ikov/Qwen3.8-27B-AWQ-W4A16-ASYM — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen/Qwen3.8-27B. Квантование выполнено разработчиком Ar4ikov с BF16-весов базовой модели с использованием llm-compressor и формата compressed-tensors/pack-quantized. Модель предназначена для генерации и понимания текста, а также работы с изображениями через image-text-to-text сценарии. Она поддерживает режимы рассуждения и обычной генерации, параметр reasoning_effort и нативный контекст до 262 144 токенов; расширение до 1 млн токенов возможно через YaRN согласно данным базовой модели. Языковой стек и полный список поддерживаемых языков в README не указаны. Модель использует схему W4A16_ASYM с asymmetric zero-point, размером группы 128 и BF16-активациями; основные линейные слои текстовой части хранятся в INT4. Эмбеддинги, lm_head, vision-башня, чувствительные компоненты Gated DeltaNet и MTP-голова оставлены в BF16, что сохраняет визуальную часть и спекулятивное декодирование. Ключевое преимущество — снижение потребления памяти и ускорение инференса в рантаймах с нативными INT4-ядрами, например vLLM или SGLang. При загрузке через transformers веса распаковываются в BF16, поэтому экономии VRAM не будет. Квант не прошёл полноценную benchmark-валидацию, проверена только связность генерации, поэтому перед промышленным использованием необходимы собственные оценки качества. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-4bit-MTP — это 4-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия выполнена из официального BF16-чекпойнта для запуска на Apple Silicon через MLX и сохраняет штатный блок MTP для speculative decoding. Модель предназначена для диалогов и генерации текста, а также для сценариев vision-language с обработкой изображений при наличии совместимого MLX-VLM и runtime. Архитектура представляет собой vision-language sparse MoE на базе Qwen4Exp с языковой частью на 125 млрд параметров, из которых активны около 6 млрд, и контекстом до 262 144 токенов. Используются Gated DeltaNet, Qwen Sparse Attention, разреженные mixture-of-experts-слои, расширенные gated residual streams, hashed bigram и trigram embeddings, а также один draft-блок MTP объёмом 4 млрд параметров. Основные языковые и MTP-модули квантизованы в 4 бита с размером группы 32; мультимодальные модули и router gates сохранены в BF16. Формат весов — MLX safetensors, общий размер — около 113,2 ГБ. К сильным сторонам относятся существенно сниженный по сравнению с BF16 объём весов, поддержка длинного контекста и потенциальное ускорение декодирования благодаря native MTP. На Apple M3 Studio в указанной конфигурации скорость генерации выросла с 27,83 до 31,44 токена в секунду, однако результаты зависят от длины контекста, версии runtime, состояния кэша, памяти и температуры. Для работы требуется runtime с явной поддержкой архитектуры qwen4_exp и native MTP; старые версии могут быть несовместимы, а поддержка изображений зависит от версий MLX-VLM и oMLX. Модель распространяется по Qwen Community License 1.0.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

ClaudioItaly/QwenTies-14B — плотная языковая модель семейства Qwen2.5, созданная автором репозитория с помощью TIES-слияния предварительно обученной Qwen2.5-14B и инструкционной Qwen2.5-14B-Instruct. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и формат safetensors; для работы указан стек Transformers. Контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая структурированные ответы и интерфейс вызова инструментов. Её можно применять для ответов на вопросы, составления и редактирования текстов, а также для сценариев, где требуется длинный контекст. Карточка не приводит результатов оценки качества. Сведения о лицензии в доступных данных отсутствуют.