II.4Отладка, тестирование и качество ПО

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

OpenHermes 7B — англоязычная модель для генерации текста, разработанная Teknium и дообученная на базе NousResearch/Llama-2-7b-hf. Она предназначена для выполнения инструкций, диалогов, ролевых сценариев, ответов на общие вопросы и задач по программированию. Модель содержит 6,6 млрд параметров, использует плотную архитектуру Llama и принимает контекст до 4096 токенов. При обучении использовался набор из 242 тысяч примеров, преимущественно сгенерированных GPT-4 и собранных из открытых наборов данных, включая инструкции общего назначения, ролевые диалоги и примеры по программированию. Обучение применяло упаковку примеров для ускорения процесса. Репозиторий распространяется в формате PyTorch по лицензии MIT. Карточка приводит результаты нескольких тестов, но они сами по себе не гарантируют качество ответов в конкретных сценариях.

bartowski/Phi-3.5-mini-instruct-GGUF — набор GGUF-квантизаций модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README заявлена мультиязычная поддержка и формат взаимодействия с системными и пользовательскими сообщениями. Доступны варианты от полных весов F32 размером 15,29 ГБ до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ различных размеров — примерно от 1,68 до 4,06 ГБ. Квантизации позволяют выбирать компромисс между качеством и требованиями к памяти; отдельные варианты оптимизированы для ARM-инференса. Для запуска рекомендуется использовать llama.cpp или LM Studio и соблюдать указанный формат prompt. Контекст модели, точное число параметров и перечень поддерживаемых языков в предоставленном README не указаны. Сильной стороной набора является широкий выбор уровней квантизации, включая варианты, ориентированные на высокое качество, экономию памяти и ARM-устройства. Ограничения зависят от выбранного варианта: более компактные квантизации могут заметно снижать качество, а некоторые требуют специфической аппаратной поддержки. В метаданных указана лицензия MIT; исходная модель размещена Microsoft.

Microsoft Phi-3 Small-8K-Instruct — преобразованная в ONNX версия инструктивной языковой модели семейства Phi-3 Small, оптимизированная для вывода через ONNX Runtime на графических процессорах NVIDIA. Модель содержит 8,2 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение по инструкциям и оптимизацию предпочтений. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, рассуждения, математические задачи и программирование. Репозиторий включает варианты FP16 и INT4; INT4 экономит ресурсы и может быть выгоден при небольших пакетах, а FP16 рекомендован для более крупных пакетов. В README приведены измерения производительности на A100, поэтому эти показатели не гарантируют аналогичную скорость на другом оборудовании. Для запуска требуются ONNX Runtime и совместимый NVIDIA GPU с Compute Capability не ниже 7.5. Лицензия — MIT. Указанные в README Python, C и C++ относятся к языкам программирования, а не к естественным языкам модели.

Quartz-R1-8B-Genesis-i1-GGUF — квантизированная версия текстовой модели Vaultek/Quartz-R1-8B-Genesis, подготовленная пользователем mradermacher в формате GGUF. Модель ориентирована на генерацию текста, рассуждения, диалоговые сценарии, программирование и задачи, связанные с математикой; в метаданных также указана совместимость с форматами ChatML и направлениями вроде SWE-bench. Заявлена поддержка русского и английского языков. Модель имеет около 8 миллиардов параметров в базовой версии, однако точная архитектура и размер контекстного окна в README не указаны. Репозиторий содержит набор вариантов квантизации i1, включая IQ- и Q-семейства, с размером файлов примерно от 2,1 до 6,7 ГБ; выбор варианта позволяет учитывать компромисс между качеством, скоростью и требованиями к памяти. В качестве обучающих данных перечислены наборы для образовательных текстов, программного кода, математики, диалогов, рассуждений и русскоязычной дистилляции. Сильной стороной модели является широкий выбор квантизаций, благодаря которому её можно запускать на системах с различным объёмом памяти; для баланса скорости, размера и качества автор рекомендует i1-Q4_K_M. Ограничения связаны с потерями качества у низкобитных вариантов, а также с отсутствием в README подробных результатов бенчмарков, сведений о точной архитектуре, контекстном окне и мультимодальных возможностях. Лицензия в предоставленных данных не указана.

Qwen3.5-88B-YMQ-GGUF — квантованная GGUF-сборка модели 0xSero/Qwen3.5-88B, подготовленная независимым разработчиком ZeroDigest. Это разговорная модель для генерации текста; в карточке заявлены архитектура Mixture-of-Experts с компонентами Transformer и Mamba/SSM и смешанная квантизация с разной точностью для attention, общих и фоновых экспертов. Файл варианта M занимает около 37 ГБ; README рекомендует запуск через llama.cpp и приводит конфигурацию с контекстом 131072 токена. Сборка предназначена для диалогов, разработки кода и работы через API-инструменты вроде RooCode и Aider. README описывает настройку распределения битности по значимости слоёв и экспертов для экономии памяти при сохранении качества маршрутизации, однако приведённые значения perplexity и KL-divergence ещё не заполнены, поэтому заявленное качество не подтверждено опубликованными оценками. Метаданные указывают лицензию Apache-2.0.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

RuDolph-Hermes-7B — разговорная языковая модель, созданная автором карточки как объединение двух моделей Mistral 7B: Dolphin 2.2.1 и OpenHermes 2.5. Слияние выполнено методом SLERP с кривой, вдохновлённой сигмоидой; модель имеет архитектуру MistralForCausalLM и около 7,1 млрд параметров. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для диалогов и генерации текста, в том числе для ответов на запросы и помощи с кодом. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке не указаны специальные языки или предметные области, поэтому языковая поддержка не уточняется. Автор характеризует модель как хорошую разговорную модель, но численные результаты приведены лишь для части оценочных тестов и не гарантируют качество в конкретных сценариях. Лицензия в предоставленных данных не указана.

Это 4-битная конверсия для MLX модели StarCoder2-15B-Instruct-v0.1, подготовленная сообществом mlx-community из bigcode/starcoder2-15b-instruct-v0.1 с помощью mlx-lm 0.10.0. Модель предназначена для генерации кода и диалоговой работы с инструкциями; её можно использовать для написания и дополнения программного кода. Основа семейства StarCoder2 также поддерживает заполнение пропусков внутри кода. В метаданных указаны архитектура Starcoder2ForCausalLM, 21,7 млрд параметров и контекст до 16 384 токенов. Репозиторий описывает вариант MLX с 4-битными весами; каталог связывает модель с bigcode/starcoder2-15b и набором инструкционных примеров self-oss-instruct-sc2-exec-filter-50k. Лицензия — BigCode OpenRAIL-M. Языки программирования в карточке не перечислены.

Camelidae-8x13B — языковая модель семейства Camelidae, разработанная авторами метода Parameter-Efficient Sparsity Crafting. Это модель типа Mixture-of-Experts с архитектурой на основе LLaMA и примерно 12,9 млрд параметров; для запуска в README приведён пример загрузки через Transformers с trust_remote_code. Модель предназначена для генерации текста по инструкциям и общих задач, включая программирование и математику. При обучении семейства использовались QLoRA и адаптеры для эффективного преобразования плотных моделей в разреженную MoE-структуру; в метаданных для этой версии указаны наборы SlimOrca, Magicoder и MetaMathQA. Модель принимает текст и генерирует текст. Метаданные указывают английский язык и контекст до 4096 токенов. Лицензия — Apache-2.0. README описывает серию моделей и приводит результаты для Camelidae-8x34B-pro, поэтому эти показатели нельзя считать оценкой именно версии 8x13B.

DeepSeek-R1-Distill-Qwen-32B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанной deepseek-ai. Квантизация выполнена bartowski на основе llama.cpp версии b4514 и предназначена для запуска через совместимые инструменты, включая LM Studio. Модель создана для генерации текста, прежде всего для задач, требующих рассуждений: решения сложных вопросов, анализа и пошагового построения ответа. Она дистиллирована из reasoning-модели DeepSeek-R1 и специально настроена на reasoning и chain-of-thought. Заявлена поддержка контекста длиной до 128k токенов. В README не указаны точные параметры архитектуры, языки, набор поддерживаемых модальностей и размер конкретных GGUF-файлов, поэтому модель следует считать текстовой. Сильные стороны модели — ориентация на рассуждения, большой контекст и возможность локального запуска в формате GGUF. Ограничения включают потенциально неточные, вредные или неподходящие ответы, характерные для генеративных моделей; README также не содержит сведений о результатах бенчмарков. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять по исходной модели и репозиторию квантизации.

FuseChat-Gemma-2-9B-Instruct — диалоговая модель FuseAI на архитектуре Gemma 2 с 9 млрд параметров. Это вариант FuseChat-3.0, созданный на базе Gemma-2-9B-It с помощью дообучения и неявного объединения знаний: после supervised fine-tuning модель оптимизировали методом Direct Preference Optimization на предпочтениях, собранных по ответам нескольких крупных языковых моделей. Модель предназначена для диалогов и выполнения инструкций, включая общие вопросы, математику, программирование и задачи на китайском языке. Контекст составляет 8192 токена. В README заявлены улучшения на бенчмарках для серии FuseChat-3.0, но приведённые численные результаты относятся к варианту с Llama-3.1-8B-Instruct в качестве целевой модели и не подтверждают такие же показатели для этой версии Gemma. Модель принимает текст и генерирует текст. Она распространяется в формате safetensors; лицензия в предоставленных данных не указана.

MuXodious выпустил дообученную и подвергнутую абляции отказов версию GLM-4.7-Flash-REAP-23B-A3B. Это разреженная причинная языковая модель MoE семейства GLM4-MoE-Lite: в карточке указаны 4,1 млрд параметров, а README описывает исходную конфигурацию REAP как 23 млрд параметров всего и около 3 млрд активируемых на токен. Модель принимает текст и генерирует текст; контекст составляет до 202 752 токенов. Карточка заявляет поддержку английского языка. Модель предназначена для диалогов, генерации кода и агентных сценариев, включая вызов инструментов. README сообщает, что к базовой модели применили pruning экспертов методом REAP и Heretic-abliteration; показатель отказов в описанном тесте снизился с 92/100 до 4/100. Эти результаты не подтверждают качество на широком наборе задач, а сам README отмечает условность классификации «Absolute Heresy». Для работы через Transformers требуется версия 5.0.0 или выше. Лицензия — MIT.

GPT-5.6 Sol Pro — вариант модели GPT-5.6 Sol, разработанный OpenAI и предоставляемый с режимом рассуждений `pro`. Он предназначен для получения более качественных ответов на сложные задачи. Карточка не приводит сведений об архитектуре, размере, модальностях, языках, длине контекста или лицензии, поэтому эти характеристики здесь не описываются.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

Jack-3.8-27B-V2-VL-16GB-VRAM — мультимодальная модель независимого исследователя Джонатана Майкла Лэнгфорда и проекта Jack, созданная на основе Qwen/Qwen3.8-27B и рассчитанная на локальный запуск через llama.cpp. Репозиторий содержит веса GGUF и BF16 мультимодальный проектор для работы с изображениями; заявленное назначение — диалоговая и агентная работа с длинным контекстом, включая программирование и многошаговые задачи. Модель использует протокол Jack V2: структурирование рабочего состояния в XML после основного рассуждения, отделение наблюдений и предположений, учёт актуальности сведений и проверку точных результатов детерминированными инструментами. По описанию автора, это предназначено для задач, где важно не смешивать устаревшие планы, конфигурации и результаты. Автор ориентирует релиз на GPU класса 16 ГБ; для полного режима обработки изображений требуется загрузить приложенный проектор. В README рекомендуется отключить MTP; Q4 KV cache описан как результат ранних локальных наблюдений, а не универсальная настройка. Модель имеет 27 млрд параметров; контекстное окно в предоставленных данных не указано. Лицензия — Apache-2.0. Заявленные преимущества протокола и поведение при локальном тестировании основаны на описании автора; независимые сравнительные оценки в предоставленных материалах отсутствуют.

Карточка модели AgentPublic/llama3-instruct-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Llama DEUS v3 — языковая модель семейства Llama, разработанная автором репозитория teknium и основанная на Llama 7B. Это объединённая с базовой моделью версия LoRA-дообучения: адаптер не требуется подключать отдельно. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые инструкции в формате «### Instruction: … ### Response:». Контекст — до 2048 токенов. Модель дообучена на наборах общих инструкций, программирования, ролевого общения, а также биологии, физики, химии и математики. Она предназначена для генерации ответов и выполнения инструкций в этих сценариях. В README автор характеризует датасеты и модель как uncensored, что может приводить к выдаче нежелательного или небезопасного содержания. Модель распространяется по лицензии MIT.

MiMo-V2.5-Pro-Base — базовая языковая модель Xiaomi семейства MiMo-V2.5. Это плотная модель с архитектурой Mixture-of-Experts: в README указаны 1,02 трлн параметров всего и 42 млрд активных, тогда как метаданные репозитория указывают 27,7 млрд параметров; размер следует считать противоречивым. Веса опубликованы в формате safetensors с FP8, библиотека для работы — Transformers, лицензия — MIT. Модель предназначена как базовый чекпойнт для генерации текста и дальнейшей адаптации под агентные сценарии, программирование и сложные задачи с длинным контекстом. В карточке описаны гибридное внимание, сочетание локального скользящего и глобального внимания и три модуля Multi-Token Prediction. Для варианта Base README указывает контекст до 256 тысяч токенов; заявленный для основной версии Pro контекст до 1 млн токенов не следует автоматически относить к этому варианту. В метаданных также отмечены чат, код и интерфейс вызова инструментов; поддерживаемые языки — английский и китайский. Xiaomi сообщает о предварительном обучении на 27 трлн токенов и последующем обучении с инструкциями, агентным обучением с подкреплением и дистилляцией от нескольких учителей. В README приведены результаты тестов, однако они не гарантируют качество в конкретном применении. Лицензия MIT разрешает использование на её условиях.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

AceReason-Nemotron-14B-GGUF — это квантизированная версия языковой модели AceReason-Nemotron-14B, разработанной NVIDIA. Сборка подготовлена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения математических задач, рассуждений и программирования; поддерживает английский язык и запускается через llama.cpp, LM Studio и другие совместимые проекты. Размер исходной модели составляет 14 млрд параметров. В репозитории доступны варианты от BF16 до низкобитных квантований Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5 и Q4_K_M; для устройств с ограниченной памятью доступны более компактные варианты, но с более низким качеством. Архитектура, максимальная длина контекста и другие подробные характеристики в README не указаны. Модель удобна для локального запуска и ресурсоэффективного вывода, однако качество зависит от выбранного уровня квантования, а низкобитные варианты могут заметно уступать более крупным по точности. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по NVIDIA Open Model License; конкретные условия необходимо уточнять в тексте лицензии NVIDIA.

Ornith-1.0-35B-MTPLX-Vision — мультимодальная модель для чата с текстом и изображениями, собранная Jonandrop на основе моделей Ornith-1.0-35B и упакованная для Apple Silicon. Она сочетает языковую часть Ornith с восстановленной башней зрения и поддерживает обработку изображений; README также заявляет поддержку видеовхода, хотя метаданные Hugging Face указывают задачу image-text-to-text. Архитектура относится к семейству Qwen 3.5 MoE; корпус модели и MTP-головы квантизированы до 4 бит, а башня зрения хранится в bf16. Модель использует MTPLX с многотокенным предсказанием для ускорения генерации и может работать как локальный OpenAI-совместимый сервер на Apple Silicon. Модель подходит для программирования, диалога и вопросов по изображениям в локальном окружении. README приводит измерения скорости на Apple M5 Pro с 64 ГБ памяти; это результаты конкретной конфигурации, а не универсальные гарантии производительности. Лицензия производной модели — MIT; для перенесённых MTP-тензоров также применяются условия Apache-2.0 и NOTICE проекта Qwen3.5-35B-A3B.

p-e-w/phi-4-heretic — текстовая генеративная модель на базе Microsoft Phi-4, изменённая методом abliteration для снижения частоты отказов. Это плотный декодерный Transformer с 14,1 млрд параметров и контекстом до 16 384 токенов; модель принимает текстовые запросы в формате чата и генерирует текст. В карточке указано, что доля отказов в приведённой проверке снизилась с 100 из 100 у исходной Phi-4 до 41 из 100, а KL-дивергенция составила 0,09. Модель подходит для диалоговых приложений, генерации текста, помощи с кодом и рассуждениями, преимущественно на английском языке. Метаданные указывают поддержку чата и кода; исходная Phi-4 рассчитана на сценарии с ограничениями по памяти, вычислениям и задержке. Снижение отказов не гарантирует точность или безопасность ответов, поэтому результаты следует оценивать применительно к конкретной задаче. Репозиторий распространяется под лицензией MIT.

FreedomAISVR публикует Qwable-v1 в формате GGUF с квантизацией NVFP4. Это разговорная MoE-модель семейства Qwen, созданная для генерации текста и агентного программирования: в карточке описаны поведение Claude Fable-5 для использования инструментов и дистилляция рассуждений Claude Opus 4.7. Метаданные связывают модель с Qwen/Qwable-v1 как с дообученной базой. В README указаны 40 слоёв, 256 экспертов (8 активных на токен), около 3 млрд активных параметров и контекст 262 144 токена. Модель поддерживает зрение через SigLIP ViT; для работы с изображениями в llama.cpp нужен отдельный проектор mmproj в F16. Основной сценарий применения — диалоговая генерация и помощь с кодом; агентное использование требует соответствующего системного промпта. Весовой файл квантизирован в NVFP4, а README приводит размер около 18,81 ГБ для модели и 0,88 ГБ для проектора. Лицензия — AGPL-3.0.

RobinsonLabs Qwen3.6-35B-A3B-abliterated-GGUF — набор квантованных моделей в формате GGUF, созданный Robinson Labs на базе Qwen/Qwen3.6-35B-A3B. Это разреженная Mixture-of-Experts-модель архитектуры qwen35moe с 35 млрд параметров и бюджетом около 3 млрд активных параметров на токен, предназначенная для генерации текста и запуска в совместимых локальных inference-движках. В модели сохранён Multi-Token Prediction (MTP/NextN), благодаря чему поддерживается спекулятивное декодирование в runtime, которые умеют с ним работать. Сведения о длине контекста и языках в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы о взрослом и творческом контенте. Согласно описанию, базовые защитные механизмы от реального вреда намеренно сохранены; на внутренних тестах модель получила 5/5 по набору задач на рассуждение, код, математику, фактические ответы и следование инструкциям, а также 10/10 по проверенному набору детской безопасности. При этом авторы подчёркивают, что наборы тестов невелики и не гарантируют сохранность всех защитных механизмов. Модель помечена как предназначенная не для всех аудиторий и требует ответственного использования. Основные ограничения связаны с квантованием: доступные варианты отличаются размером и потенциальным компромиссом между качеством и требованиями к памяти, однако конкретные параметры каждого варианта следует уточнять по выбранному файлу. Лицензия унаследована от базовой модели и указана как Apache-2.0.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, подготовленная независимым технологическим проектом KostkaIT (Łukasz Frąckowiak, vsnake87). Модель является MLX-конвертацией производного варианта huihui-ai/Huihui-Qwen3.8-27B-abliterated и предназначена для локального запуска на компьютерах с Apple Silicon через oMLX и совместимые MLX-рантаймы. Модель поддерживает работу с текстом и изображениями, включая vision-конфигурацию, файлы процессора и необходимые vision-тензоры. В комплект включены нативные веса MTP, предусмотрен один скрытый слой MTP, а в совместимых версиях oMLX эту функцию можно включать и отключать. Модель ориентирована на программирование, рассуждения, мультимодальные ассистенты и исследовательские задачи. Сведения о поддерживаемых языках и размере контекста в карточке не указаны. Используется качественно ориентированное 6-битное affine-квантование oQ6e с group_size 64, importance matrix и сохранением отдельных чувствительных тензоров в 8-битном виде. Веса распространяются в формате MLX safetensors, разделённых на пять файлов. К сильным сторонам относятся сохранение нативной MTP-поддержки и мультимодальных возможностей при уменьшенном размере, а ограничениями — зависимость от Apple Silicon и совместимого MLX/oMLX-окружения, а также потенциальные потери качества, связанные с квантованием; результаты бенчмарков не приведены. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MLX-mixed-4_8bit — сборка модели Qwen3.8-Flash-Next, преобразованная в формат MLX разработчиком PipeNetwork для запуска на Apple Silicon. Это текстовая модель генерации, основанная на гибридной архитектуре Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts на 125 млрд параметров, из которых около 6 млрд активируются на токен. В исходной архитектуре также используется хешированное n-граммное embedding-пространство на 51 млрд параметров. Мультитокенный prediction head на 4 млрд параметров исключён, а vision tower присутствует в файлах, но не используется данным текстовым runtime. Модель предназначена для локальной генерации текста и решения задач вроде программирования, продолжения текста и других сценариев text-generation. Она рассчитана на работу через библиотеку MLX и требует специального runtime qwen4_exp, поставляемого вместе с репозиторием; для загрузки может потребоваться trust_remote_code. Размер сборки составляет 106,2 ГБ. Маршрутизируемые эксперты и n-граммные таблицы квантизированы в 4 бита, большинство остальных весов — в 8 бит, отдельные компоненты и vision tower сохранены в bfloat16. Заявленная конфигурация заметно лучше равномерной 4-битной версии по качеству: perplexity на wikitext-2 составляет 4,5286 против 5,3914 у полной 4-битной сборки и 4,4708 у исходной bfloat16-модели. Сильная сторона сборки — существенное уменьшение размера при небольшом ухудшении качества относительно bfloat16; по приведённому тесту она является предпочтительным вариантом среди сборок такого размера. Ограничения включают большой объём файлов, зависимость от Apple Silicon и нестандартного runtime, отсутствие поддержки vision в текущем режиме, а также возможные потери качества из-за квантизации. Лицензия указана как qwen-community-1.0 с типом other; конкретные условия следует проверить в файле LICENSE.

Sonclo/Qwen3.8-sonclo — многоэтапная fine-tune-модель на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Модель создана для широкого спектра задач: решения задач и рассуждений, программирования, творческого письма, генерации художественных текстов и ролевых сценариев. В README также заявлена специализация на снижении избыточного рассуждения и расхода токенов при сохранении подробности ответов. Модель относится к семейству Qwen3.8 и имеет 27B параметров. Указаны три режима рассуждения, поддержка английского и китайского языков, а также варианты GGUF-квантизации с обычными и MTP-квантами, включая 4- и 8-битные версии. Обучение описано как multi-stage fine-tune и multi-stage merge с применением методов COLD FUSION, Fable Fusion и Unsloth. Репозиторий помечен как image-text-to-text, однако подробности о фактической поддержке изображений и максимальном размере контекста в README не приведены. К заявленным сильным сторонам относятся высокая скорость генерации, сокращение объёма рассуждений, развитые способности к программированию, решению задач и творческой генерации, а также возможность запуска на потребительском оборудовании благодаря GGUF-квантам. Ограничения включают отсутствие независимого подтверждения заявленных бенчмарков в представленном README, возможные риски и особенности uncensored/abliterated-настройки и неизвестные требования к аппаратным ресурсам для конкретных вариантов. Модель распространяется по лицензии Apache-2.0.

ConwayResearch выпустила Underdog-27B-1.0-Ternary — разговорную модель-ассистент с 27 млрд параметров, предназначенную для локального запуска. Её дообучили на основе Bonsai 2 для диалогов, письма, генерации кода и суммаризации; обучение с учётом квантования и компактные троичные веса рассчитаны на эффективный инференс. Модель принимает текст и генерирует текст. В карточке указаны английский и китайский языки. Репозиторий содержит варианты GGUF и MLX; README описывает ускоренный запуск GGUF через Splash и локальные сценарии на Apple Silicon. В тесте на Apple M5 Max для генерации кода измерена скорость до 157,9 токена в секунду, но это результат конкретной конфигурации, а не общая гарантия производительности. Модель распространяется по лицензии Apache-2.0. Для MLX-варианта README предписывает использовать комплект runtime, конфигурации, токенизатора и шаблона чата вместе с весами.