II.3Рефакторинг, миграция и модернизация

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

Gemma-4-26B-A4B-JANG_2L-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-26b-a4b-it. Это вариант с ослабленными отказами и смешанной 2-битной квантизацией JANG_2L: критические компоненты хранятся в 8 битах, важные — в 6, а большая часть весов экспертных блоков — в 2 битах. По данным карточки, модель занимает 9,9 ГБ и использует архитектуру MoE с 128 экспертами, из которых активируются восемь, и гибридным скользящим и глобальным вниманием. Модель предназначена для диалогов, программирования, общих вопросов и работы с изображениями; поддерживает режим рассуждений. Автор сообщает о тестировании генерации кода и запросов по информационной безопасности, а также приводит собственные результаты MMLU и HarmBench. Эти показатели получены на тестах автора и не гарантируют качество в других сценариях. Для запуска рекомендованы vMLX или совместимый движок MLX с поддержкой Gemma 4; заявлены Apple Silicon и не менее 16 ГБ объединённой памяти. Лицензия — gemma; автор обозначает модель как исследовательскую и возлагает на пользователей ответственность за соблюдение применимых законов.

ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

Gemma 4 E4B-it QAT MXFP4 CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-e4b-it. Это плотная модель с гибридным скользящим и глобальным вниманием, дообученная с удалением отказов и квантизированная до 4-битного формата MXFP4. Она принимает текстовые запросы, изображения и аудио, а также предназначена для диалога, ответов на вопросы, многошаговых рассуждений и генерации кода; в метаданных также заявлен интерфейс вызова инструментов. В README автор сообщает о сохранении визуальных и аудиовходов, проверке генерации кода и снижении результата MMLU на 3,9 процентного пункта относительно базовой модели. Удаление отказов означает, что модель может выполнять вредоносные запросы; заявленные результаты HarmBench приведены автором и не являются независимой оценкой. Для запуска требуется Apple Silicon с достаточной объединённой памятью и vMLX с поддержкой Gemma 4. Лицензия — Gemma; автор публикует модель для исследовательских целей.

Hercules-2.0-Mistral-7B — языковая модель на архитектуре Mistral, разработанная Locutusque и дообученная на базе Mistralai/Mistral-7B-v0.1. Она предназначена для выполнения инструкций, диалогов и вызова функций в научных и технических темах, включая биологию, химию, физику, математику, медицину и информатику. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке заявлены возможности генерации кода и вызова функций. Модель подходит для специализированных чат-ботов, учебных помощников, ответов на технические вопросы и генерации кода. Она распространяется в формате safetensors по лицензии Apache-2.0. Возможны фактические ошибки и галлюцинации, в том числе в специализированных областях; обучающие данные могут содержать токсичные примеры и предубеждения.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF-v2 — квантованная GGUF-версия модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная QuantFactory с использованием llama.cpp. В основе лежит Meta Llama 3 8B Instruct, дообученная Gradient при спонсорской поддержке вычислительной инфраструктуры Crusoe Energy. Версия v2 использует обновлённые веса исходной модели и дополнительно усиливает диалоговые возможности ассистента. Модель предназначена для генерации текста и кода, диалоговых сценариев и обработки исключительно текстовых входных данных. Её ключевая особенность — расширенный контекст длиной более 1,04 млн токенов вместо стандартных 8 тысяч у базовой Llama 3. Для этого применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение на последовательно увеличивающихся длинах контекста. Архитектурно это авторегрессионная модель на основе оптимизированного Transformer с Grouped-Query Attention; размер — 8 млрд параметров. Заявлена поддержка английского языка. Сильная сторона модели — способность работать с очень большими текстовыми контекстами; в README приведены результаты тестов Needle-in-a-Haystack на длинах до 1 040 200 токенов, включая высокую точность на описанных сценариях. Ограничения включают текстовую модальность, зависимость практической производительности от используемой квантовки и аппаратного обеспечения, а также отсутствие подробных сведений о конкретном формате квантования, требованиях к памяти и скорости инференса. Модель распространяется по лицензии Llama 3.

Magic-Dolphin-7b — языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная автором репозитория методом линейного слияния Dolphin 2.6 Mistral 7B DPO Laser, Hyperion 1.5 Mistral 7B и Merlinite 7B. Модель предназначена для генерации текста и ответов на технические вопросы; README сообщает о проверке нескольких весовых соотношений и приводит результаты бенчмарков рассуждения, знаний и решения задач. Для общения используется шаблон Alpaca, контекст составляет 32 768 токенов. Модель принимает текст и выдаёт текст. В метаданных отмечена поддержка генерации кода, однако сведения о конкретных языках программирования или естественных языках не приведены. Репозиторий содержит веса Safetensors, а README указывает на отдельные GGUF-квантизации. Лицензия — Apache-2.0. Автор описывает релиз как эксперимент по объединению моделей; следующая версия, Excalibur-7b, уже выпущена.

marin-8b-instruct-i1-GGUF — это GGUF-квантизированная версия языковой модели marin-8b-instruct, разработанной сообществом marin-community и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста и выполнения инструкций на английском языке. В основе лежит модель размером 8 миллиардов параметров; точные сведения об архитектуре и размере контекстного окна в README не указаны. Обучение или дообучение проводилось с использованием наборов данных для программирования, рассуждений, математики, естественных рассуждений и диалоговых взаимодействий, включая AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, Natural Reasoning, OpenThoughts-114k-math и smoltalk. Основное преимущество — доступность множества вариантов GGUF-квантизации с разным соотношением размера, скорости и качества, что позволяет запускать модель на устройствах с ограниченными ресурсами. При этом низкобитные варианты могут заметно терять в качестве; в README отдельно отмечены ограничения некоторых конфигураций, а рекомендуемым назван вариант i1-Q4_K_M. Модель распространяется по лицензии Apache-2.0.

FriendliAI публикует вариант Meta Llama 3 70B Instruct с весами в формате FP8 для более эффективного инференса при сохранении высокой точности. В основе — авторегрессионный трансформер Llama с плотной архитектурой и Grouped-Query Attention; модель содержит 69,5 млрд параметров и принимает текст, генерируя текст и код. Контекст — до 8192 токенов. Модель предназначена для диалоговых ассистентов и генерации текста на английском языке, в том числе для коммерческих и исследовательских сценариев. FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Модель разработана Meta, а FP8-версия опубликована FriendliAI; веса представлены в safetensors. Использование регулируется специальной коммерческой лицензией Meta Llama 3.

Meta-Llama-3-8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Репозиторий содержит веса в формате Safetensors; модель насчитывает около 7,5 млрд параметров и имеет контекст до 8192 токенов. Архитектура основана на оптимизированном Transformer с Grouped-Query Attention. Модель предназначена для генерации текста и кода на английском языке. Она подходит для диалогового помощника и может служить основой для задач генерации естественного языка. Карточка описывает семейство Llama 3 с предварительно обученными и настроенными для инструкций вариантами; метаданные этого репозитория не уточняют вариант обучения, поэтому возможности конкретной версии в чате следует оценивать с учётом этого ограничения. Модель статична и обучена на офлайн-данных. Использование регулируется специальной коммерческой лицензией Meta Llama 3 и Acceptable Use Policy; перед применением необходимо соблюдать их условия. Для языков помимо английского карточка допускает дообучение при соблюдении этих правил, но исходное назначение модели ограничено английским языком.

bartowski/MiMo-V2.5-Pro-GGUF — это набор GGUF-квантизаций языковой модели MiMo-V2.5-Pro, разработанной XiaomiMiMo. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как XiaomiMiMo/MiMo-V2.5-Pro. Модель предназначена для генерации текста, работы с агентскими сценариями, задачами программирования и применений с длинным контекстом. В карточке указаны английский и китайский языки, текстовая модальность и формат GGUF для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Длина контекста, точная архитектура и число параметров не указаны. Доступно множество вариантов квантования от IQ1 до Q4, с размерами файлов примерно от 212 до 640 ГБ; Q4_K_M отмечен как рекомендуемый вариант с хорошим качеством, а более компактные варианты экономят память ценой снижения качества. К сильным сторонам относятся поддержка разных уровней компромисса между качеством и требованиями к памяти, совместимость с экосистемой llama.cpp и возможность локального запуска. Ограничения — очень большой размер файлов, зависимость от поддержки модели конкретным инструментом и ухудшение качества у низкобитных квантов, особенно IQ1 и некоторых Q2–Q3 вариантов. В карточке указана лицензия MIT.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

MiMo-V2.6-Distill-Qwen-9B-OptiQ-4bit — квантованная MLX-версия модели XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B, разработанная сообществом mlx-community. Базовая модель представляет собой дистилляцию архитектуры Qwen3.5 9B и предназначена для генерации текста, рассуждений, программирования, агентных сценариев и работы с инструментами. Модель рассчитана на локальный запуск на устройствах с Apple Silicon через MLX, без PyTorch и облачных сервисов. Используется смешанная точность: большинство слоёв имеют 4-битное представление, а чувствительные слои — 8-битное. Всего 134 слоя хранятся в 8-битном формате и 116 — в 4-битном; средняя разрядность веса составляет 6,34 бита, размер модели на диске — около 6,77 ГБ вместо примерно 18 ГБ в формате bfloat16. Архитектура включает 32 слоя, 8 слоёв с полной attention и 24 слоя с linear attention, 16 голов, 4 KV-головы, head_dim 256, hidden size 4096 и словарь из 248 320 токенов. Языки и размер контекстного окна в README не указаны. К сильным сторонам относятся существенное уменьшение размера и заявленное ускорение генерации в 2,4–7 раз относительно родительской модели bfloat16 при проверке на нескольких типах запросов. Распределение разрядности перенесено из квантования Qwen3.5-9B и не измерялось непосредственно на этой модели, поэтому опубликованные оценки качества для Qwen3.5-9B к ней не относятся; Capability Score для данной модели не рассчитывался. Модель распространяется по лицензии MIT.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

NeoHorse-1-4B-Max-Heretic-Uncensored-TURBO — разговорная текстовая модель от prithivMLmods на базе TokenRhythm/NeoHorse-1-4B, дообученной на Qwen3.5-4B. Вариант обработан инструментом Heretic для снижения числа отказов; модель рассчитана на диалоги, выполнение инструкций, использование инструментов, программирование и рассуждения. Модель имеет плотную архитектуру Qwen3.5 и около 3,4 млрд параметров, поддерживает контекст до 262 144 токенов и английский язык. В репозитории доступны веса Safetensors и сборки GGUF разных уровней квантования для запуска через Transformers или llama.cpp. Лицензия — Apache 2.0. Карточка помечает модель как экспериментальную: возможны артефакты, поэтому ответы следует проверять. Снижение числа отказов также означает, что модель может отвечать на запросы, которые обычно отклоняются.

NeoHorse-1-9B-GGUF — текстовая причинно-следственная языковая модель примерно на 9 млрд параметров, разработанная TokenRhythm и дообученная на базе Qwen3.5-9B. Модель позиционируется как прототип в направлении рекурсивного самоулучшения и ориентирована на агентные сценарии, использование инструментов, программирование, рассуждения и следование инструкциям. Репозиторий содержит веса в формате GGUF для локального запуска с llama.cpp, Ollama и LM Studio. Доступны варианты BF16, а также 8-, 5- и 4-битные квантизации, позволяющие уменьшить требования к дисковому пространству и оперативной памяти. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами заявлены улучшения по сравнению с базовой Qwen3.5-9B на наборе из десяти бенчмарков, а также специализация на агентных рабочих процессах и tool use. При этом NeoHorse описана как первоначальный прототип, поэтому заявленные возможности рекурсивного самоулучшения относятся к исследовательскому framework и не означают полностью автономное самообучение модели. Модель распространяется по лицензии Apache-2.0.

Это 4-битная версия NVIDIA Nemotron 3 Nano 30B A3B, преобразованная mlx-community из модели nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 в формат MLX с помощью mlx-lm 0.29.0. Она предназначена для генерации текста и диалогового использования на устройствах и в средах, поддерживающих MLX. Базовая модель NVIDIA — гибридная языковая модель для диалогов, рассуждений, программирования и агентных приложений. В карточке указана поддержка английского, испанского, французского, немецкого, японского и итальянского языков. Суффикс 30B A3B обозначает вариант семейства, однако README не раскрывает подробности архитектуры и контекстного окна. Репозиторий распространяется под лицензией, обозначенной как other; конкретные условия следует сверять с файлами лицензии базовой модели и репозитория. Версия предназначена для MLX и содержит 4-битное представление весов, что снижает требования к памяти по сравнению с исходной BF16-моделью, но может влиять на точность ответов.

Olmo-3-1125-32B — плотная авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это базовая модель семейства OLMo 3, обученная на 5,50 трлн токенов набора Dolma 3; в карточке также описаны этапы промежуточного обучения и обучения длинному контексту. Модель содержит 31,7 млрд параметров и поддерживает контекст до 65 536 токенов. Модель предназначена для генерации текста на английском языке и может служить основой для прикладных систем, дообучения и экспериментов с языковыми моделями. В обучающих данных представлены веб-страницы, код, математика, вопросы и ответы, инструкции и PDF-документы. Репозиторий содержит веса Safetensors для использования через Transformers версии 4.57.0 или выше. Модель выпущена по лицензии Apache 2.0. Как базовая языковая модель без фильтрации безопасности, она может генерировать вредный или предвзятый контент, а фактические ответы могут быть неточными и требуют проверки.

Это квантизированная 4-битная версия инструктивной модели Phi-3.5-mini-instruct, опубликованная пользователем tbhrc и преобразованная в формат MLX из microsoft/Phi-3.5-mini-instruct с помощью mlx-lm 0.17.0. Модель построена на плотной архитектуре Phi-3 и содержит 3,7 млрд параметров; она предназначена для диалоговой генерации текста и помощи с кодом. Метаданные указывают на многоязычную поддержку и контекст длиной 4096 токенов. Модель подходит для локальных диалоговых приложений и генерации кода. Репозиторий использует формат safetensors, а карточка указывает лицензию MIT. Сведения о конкретных ограничениях качества или языковых сценариях в карточке не приведены.

Project Norn V20 — экспериментальная текстовая генеративная модель Osakra Research, построенная на базе empero-ai/Qwen3.8-9B-Distill. В карточке описана архитектура NornV20ForCausalLM: чередование причинного внимания с окном 512 токенов и рекуррентной памяти Titans-HRR; заявлены обработка контекста до 32 768 токенов и реализация на Transformers. Репозиторий содержит веса Safetensors и GGUF F16, а метаданные указывают 3,7 млрд параметров. Модель предназначена для диалогов, рассуждений, математики, программирования и агентных сценариев. Карточка заявляет показатели внутренних бенчмарков, но приведённые описания и результаты не дают независимой проверки этих утверждений. В README упоминается работа с изображениями через Ollama и внешний mmproj, однако метаданные подтверждают только текстовую генерацию, поэтому мультимодальную поддержку нельзя считать установленной. Лицензия — Apache-2.0.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

Карточка модели claymorecrystal/Qwen3.6-27B-PRISM-PRO-DQ на Hugging Face совпадает с карточкой Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ, поэтому описание составлено по ней. Ex0bit/Qwen3.6-27B-PRISM-PRO-DQ — квантованная версия PRISM-PRO на базе Qwen3.6-27B, подготовленная проектом PRISM в формате GGUF для llama.cpp с применением динамического квантования. Она сохраняет встроенную MTP-голову для черновой генерации и полную башню обработки изображений; размер файла составляет около 13,7 ГБ вместо 55 ГБ у BF16-версии. Модель предназначена для диалоговой генерации текста и может использоваться в сценариях, где нужны возможности базовой Qwen3.6-27B, включая программирование, агентные задачи и работу с изображениями. Для ускорения вывода README описывает спекулятивное декодирование с MTP или отдельной EAGLE-3-моделью; заявлено совпадение результата с обычным жадным декодированием с оговоркой о вычислительных различиях при пакетной проверке. Базовая архитектура сочетает 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания; в карточке не приведены общее число параметров и длина контекста. Модель распространяется по лицензии Apache-2.0. Квантование уменьшает размер по сравнению с BF16, однако README не сообщает точные потери качества или требования к видеопамяти.

Qwen3.6-35B-A3B-REAM-160-ru-agent — экспериментальная сжатая версия Qwen/Qwen3.6-35B-A3B, подготовленная автором WaveCut методом REAM: основные языковые MoE-слои и блок MTP сведены к 160 экспертам. Калибровка ориентирована на код, математику, агентное использование инструментов и сохранение ответов на русском языке. Модель предназначена для диалогов, работы coding-агента и анализа изображений; метаданные указывают на интерфейс вызова инструментов и поддержку vision. Модель принимает текст и изображения и генерирует текст. README описывает проверки структуры и пробные сценарии на русском языке, отладке кода и вызове инструментов, но не приводит результаты количественной оценки качества. Формат файлов — safetensors, библиотека — Transformers. Условия лицензии в предоставленных данных не указаны.

oktayd разработал Qwen3.6-35B-v2-MoE-Ablit-Heretic-Uncensor-Hermes-MTP-Vision-FT — дообученную мультимодальную модель семейства Qwen3.5 MoE для диалога, анализа изображений, программирования и рассуждений. Архитектура Qwen3_5MoeForConditionalGeneration содержит около 35 млрд параметров, из которых примерно 3 млрд активны на токен; при генерации выбираются 8 из 256 экспертов. Модель принимает текст и изображения и предназначена для запуска через Transformers. Её можно использовать для вопросов по изображениям, объяснения научных и рабочих тем, написания и отладки кода, мозгового штурма и диалоговых сценариев. В README описан прямой, деловой и юмористический стиль общения, а также обучение на материалах по знаниям, программированию, инструментам, бизнесу и визуальным задачам. Вызов инструментов зависит от приложения, которое предоставляет и исполняет инструменты; форматирование вызовов не гарантировано. Автор сообщает о проверках текста и простых изображений, но не приводит результатов бенчмарков. Модель может ошибаться, повторяться и допускать ошибки в схемах; MTP и полноценные агентские сценарии отдельно не подтверждены. Веса BF16 занимают около 70 ГБ без учёта дополнительной памяти для выполнения. Включено обучение на взрослые темы, поэтому модель рассчитана на аудиторию 18+. Лицензия — Apache-2.0.

Это квантизированная в формате GGUF BF16 версия модели Qwen3.8-27B-Brainwaves-WFH-BF16 от nightmedia, подготовленная mradermacher. Репозиторий содержит взвешенные imatrix-кванты, включая варианты для разных требований к размеру и качеству; README также приводит вариант IQ1_S размером 7,2 ГБ и IQ1_M размером 7,7 ГБ. Модель предназначена для генерации текста в диалоговом и инструкционном режиме. Метаданные указывают на применение в программировании, математике, рассуждениях и творческом письме; заявлены английский, китайский, японский и испанский языки. Для использования требуются совместимый с GGUF движок и выбранный файл квантизации. Лицензия — Apache-2.0.

mradermacher/Qwen3.8-27B-Brainwaves-WFH-i1-GGUF — квантованная версия модели Qwen3.8-27B-Brainwaves-WFH, разработанной nightmedia и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для локального запуска в задачах генерации текста, диалогов, программирования, математики, научно-технических запросов, рассуждений, творческого и художественного письма, а также ролевых сценариев. В README также указана поддержка изображений через дополнительные mmproj-файлы, доступные в статическом репозитории. Модель относится к семейству Qwen и имеет заявленный размер 27B параметров. Доступны варианты квантования i1 с использованием imatrix, включая Q2_K, Q3_K, IQ3, IQ4, Q4, Q5 и Q6; размер файлов составляет примерно от 11 до 22,5 ГБ. Для некоторых вариантов указаны компромиссы между скоростью, размером и качеством: i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по соотношению размера, скорости и качества. Заявлены языки English, Chinese, Japanese и Spanish. В тегах упоминается контекст до 1M токенов, однако README не подтверждает фактические ограничения именно этой сборки. Сильной стороной модели является широкий набор предполагаемых сценариев применения и наличие нескольких уровней квантования для выбора под доступные ресурсы. Ограничения связаны с потерями качества, зависящими от типа квантования, отсутствием подробных результатов оценки и неполным описанием архитектуры, точной мультимодальной конфигурации и практического размера контекста. Модель распространяется по лицензии Apache-2.0.