II.8Инженерия данных и аналитика

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.

GLM-4.7-Flash-MXFP4-MOE-GGUF — квантизированная версия языковой модели GLM-4.7-Flash от Zhipu AI, опубликованная в формате GGUF. Это модель Mixture-of-Experts на архитектуре DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активируются на токен; используются 64 маршрутизируемых эксперта и один общий. В README указан контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов, включая рассуждения и программирование. Она поддерживает английский и китайский языки; режим рассуждений включён по умолчанию. В квантизации MXFP4 веса экспертов представлены в 4-битном формате, а остальные тензоры — в Q8_0; файл весов занимает 15,8 ГБ. README указывает на запуск через llama.cpp на GPU или CPU. Квантизация рассчитана на более эффективный вывод при небольшом снижении качества относительно исходной модели. Репозиторий распространяется по лицензии MIT.

GPT-6.1 Sol Pro — вариант GPT-6.1 Sol, который, согласно карточке модели, использует ту же базовую модель с режимом reasoning.mode=pro для более качественных ответов на сложные задачи. Это модель для диалогового взаимодействия и решения сложных задач; подробности об архитектуре, размере, модальностях и поддерживаемых языках в предоставленных данных отсутствуют. Режим Pro расходует значительно больше ресурсов, поэтому его применение может быть дороже.

Granite-3.0-1B-A400M-Base — базовая языковая модель IBM Granite Team для генерации текста и решения задач преобразования текста. Это декодерный трансформер с разреженной архитектурой Mixture of Experts (MoE), обученный с нуля в два этапа на разнообразных данных; в метаданных указано 163,6 млн параметров, контекст — 4096 токенов. Модель поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель предназначена для суммаризации, классификации и извлечения информации из текста, ответов на вопросы и генерации продолжений. Она также может служить базой для дообучения под специализированные сценарии. Выпущена под лицензией Apache 2.0. Это базовая модель без safety alignment: возможны предвзятые или недостоверные ответы, а небольшие модели могут воспроизводить фрагменты обучающих данных.

Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

JiRack DeltaNet 180B — текстовая диалоговая модель CMSManhattan на основе Qwen3.8-Flash-Next. Она предназначена для генерации текста, работы с инструментами и агентных сценариев, включая маршрутизацию, программирование и использование в RAG-системах. Модель содержит около 180 млрд параметров общей ёмкости, из которых примерно 6 млрд активны на каждом токене; в карточке описана архитектура Mixture-of-Experts с Gated DeltaNet, разреженным вниманием Qwen и маршрутизацией между экспертами. Указаны форматы GGUF и Safetensors, а также варианты GGUF Q3_K_M и Q4_K_M. Сборка JiRack пока текстовая, хотя базовая Qwen3.8-Flash-Next поддерживает изображения и видео. README сообщает, что текущие веса численно совпадают с базовой моделью: QAT ещё не завершён, поэтому заявленные преимущества троичных весов пока не реализованы. Карточка описывает многоязычное применение, включая русский, английский, китайский, японский и другие языки. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

v2ray/Llama-3-70B-Instruct — перезагрузка модели Meta Llama 3 70B Instruct, предназначенной для диалогового использования. Это авторегрессионная плотная языковая модель на базе оптимизированного Transformer с Grouped-Query Attention; объём модели — 69,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст, включая код. Модель подходит для англоязычного диалогового помощника и задач генерации текста. В карточке описана настройка инструкционных версий с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Разработчик — Meta; версия выпущена 18 апреля 2024 года. Модель рассчитана прежде всего на английский язык. Для использования действует пользовательская коммерческая лицензия Meta Llama 3 и связанные с ней условия допустимого использования. Ответы могут требовать проверки и дополнительных мер безопасности в зависимости от приложения.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

MiMo-V2.6-Distill-Qwen-9B GGUF — набор общественных GGUF-квантизаций модели Xiaomi MiMo, основанной на 9B-чекпойнте MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и архитектуре Qwen3.5-9B. Пакет предназначен для запуска через llama.cpp и включает квантизированные файлы языковой модели, а также совместимый BF16 multimodal projector для обработки изображений. Модель ориентирована на программирование, универсальные агентные задачи, visual coding, кибербезопасность, использование инструментов и мультимодальные сценарии с изображениями. Указана гибридная архитектура Qwen3.5 и нативный контекст до 262 144 токенов, однако практическая длина контекста зависит от выбранной квантизации, настроек KV-cache, среды выполнения и доступной памяти. Поддержка видео данным релизом не заявлена; сведения о языках в карточке явно не указаны, хотя калибровочные данные включают английский, китайский, код, tool- и agent-тексты. Доступно несколько вариантов квантизации с размером примерно от 1,97 до 9,53 GB. Q8_0 обеспечивает наибольшую близость к BF16, а IQ4_XS и Q5_K_S обозначены как компромисс между требованиями к памяти и сохранением точности. Низкобитные варианты Q2, IQ2, IQ1 и Q1 имеют заметно худшую fidelity и рекомендованы только для экспериментального использования. Приведённые измерения отражают совпадение следующего токена на ограниченной выборке, а не качество решения задач, программирования, tool use или визуального понимания. Лицензия указана как other; конкретные условия upstream-лицензии не определены.

FredyRivera-dev/MiniCPM5-1B — подготовленная версия MiniCPM5-1B от команды FredyRivera-dev на основе openbmb/MiniCPM5-1B. Веса не изменялись и дообучение не проводилось: в токенизаторе переименован зарезервированный токен, а шаблон чата адаптирован для блоков текста и изображений. При этом модель не поддерживает зрение: у неё нет визуального энкодера или проектора, а добавленный токен изображения не обучен. Это компактная причинная языковая модель с плотной архитектурой LlamaForCausalLM и 837,6 млн параметров по метаданным. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и режимы быстрого ответа и пошагового рассуждения. Модель предназначена для локальных помощников, генерации кода, использования инструментов и рассуждений на устройствах с ограниченными ресурсами; карточка указывает поддержку английского и китайского языков. К заявленным преимуществам относятся длинный контекст и пригодность для локального развёртывания. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому их следует проверять, особенно в важных сценариях. Лицензия — Apache-2.0.

MiniCPM5-2B-heretic — производная версия MiniCPM5-2B, представленная в репозитории Dingdust и ориентированная на генерацию текста в диалогах. Это плотная причинная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным и контекстом до 131 072 токенов. Карточка описывает исходную MiniCPM5-2B как компактную модель для локальных ассистентов, программирования, математических рассуждений, работы с длинным контекстом, вызова инструментов и агентных сценариев на устройствах с ограниченными ресурсами. В метаданных отмечены английский и китайский языки, а также теги uncensored и abliterated; конкретный способ получения версии heretic и её отличия от исходных весов в карточке не раскрыты. Указан формат safetensors и библиотека Transformers. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; для чувствительных тем они не заменяют консультацию специалиста.

Noema 1.5 2B GGUF — локальная языковая модель с открытыми весами, разработанная NoemaAI-labs и распространяемая в формате GGUF для запуска через llama.cpp. Это вариант модели Noema 1.5 2B, ориентированный на восстановление знаний, генерацию кода, строгое следование инструкциям, многоходовые диалоги и более эффективное рассуждение. Модель имеет около 2 млрд параметров, 24 слоя и размерность скрытого состояния 2048. В основе используется гибридная архитектура Qwen3.5 с Gated DeltaNet и gated attention. Поддерживается только текстовая модальность; основной оценённый язык — английский. Архитектурный лимит контекста составляет 262 144 токена, однако разработчик независимо проверил работу только до 24 576 токенов. MTP отключён. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; последний рекомендован как компактный вариант по умолчанию. Сильными сторонами модели являются небольшой размер, возможность локального запуска, улучшенная генерация кода, строгое выполнение инструкций и повышенная надёжность многоходового взаимодействия. В режиме без рассуждений она подходит для кратких инструкций, структурированной генерации и кода, а режим рассуждений предназначен для более сложных задач, но может выдавать длинные или повторяющиеся ответы. README не содержит полной информации об обучении, бенчмарках, ограничениях применения и целевых сценариях исходной модели. Веса доступны для скачивания, но репозиторий не предоставляет открытой лицензии и не является open source.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.

Open-Instruct ShareGPT 65B — языковая модель AllenAI на архитектуре LLaMA с 65 млрд параметров, дообученная на очищенном наборе ShareGPT. Она предназначена для генерации ответов на инструкции и диалоговые запросы; карточка также приводит результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель принимает текст и выдаёт текст, рассчитана на английский язык и поддерживает контекст до 2048 токенов. Это diff-модель: для использования нужны исходные веса LLaMA в формате Hugging Face, к которым применяются изменения модели. В README указаны лицензия AI model license и исходная лицензия LLaMA; перед использованием необходимо учитывать условия обеих лицензий. Качество генерации зависит от соблюдения описанного в карточке формата входного запроса.

OpenThaiGPT 1.6 72B — плотная языковая модель команды OpenThaiGPT для диалогов и общих задач на тайском и английском языках. Она основана на архитектуре Qwen2, содержит 71,5 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для ответов на вопросы, рассуждений, решения математических задач и помощи с кодом. Команда отмечает улучшения в рассуждениях о коде на тайском и английском языках, а также понимании тайского языка и культурного контекста. Модель можно запускать локально; для облегчённых вариантов доступны отдельные GGUF-квантизации. Это объединённая модель, собранная из OpenThaiGPT 1.5 72B Instruct и вариантов OpenThaiGPT 1.6 для экзаменационных задач, общих инструкций и Lexitron. Репозиторий содержит веса Safetensors. Указана лицензия other, без конкретизации её условий в предоставленных данных. Ответы модели не гарантированы; полная точность и применимость к конкретным задачам не установлены.

Param2-17B-A2.4B-Thinking — мультиязычная языковая модель BharatGen на архитектуре Mixture-of-Experts. В README заявлено 17 млрд параметров всего и 2,4 млрд активных на токен, а в метаданных Hugging Face указано 1,7 млрд параметров; поэтому размер модели в каталоге расходится между источниками. Модель использует 64 специализированных эксперта и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов на английском, хинди и 21 индийском языке. Заявлены рассуждения, математика, генерация кода и вызов инструментов; модель можно применять для длинных многоязычных запросов, структурированных ответов и последующей тонкой настройки. В метаданных подтверждены библиотека Transformers, формат safetensors и чат-возможность. README рекомендует детерминированное декодирование для стабильных ответов и указывает требование Transformers 4.52.3. Сведения о лицензии в предоставленных данных отсутствуют.

Phi-3 Medium-4K-Instruct ONNX DirectML — версия языковой модели Phi-3 Medium, опубликованная Microsoft для ускоренного вывода через ONNX Runtime и DirectML на GPU в Windows. Это плотная авторегрессионная модель семейства Phi-3 примерно с 13,8 млрд параметров и контекстом до 4096 токенов; она настроена следовать инструкциям с помощью supervised fine-tuning и direct preference optimization и поддерживает диалоговый режим. Репозиторий содержит ONNX-вариант с квантизацией INT4 методом AWQ. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений, математических и кодовых задач. DirectML позволяет запускать её на совместимых GPU AMD, Intel и NVIDIA в Windows. В README указаны проверка на RTX 4090 и минимальная конфигурация Windows с GPU DirectX 12 и не менее 10 ГБ совокупной памяти. Квантизация помогает снизить требования к ресурсам, однако может влиять на точность; производительность зависит от оборудования и конфигурации. Лицензия — MIT. Указанные в README языки программирования относятся к примерам интеграции, а не к естественным языкам модели; конкретный перечень поддерживаемых естественных языков в предоставленных данных не установлен.

kaitchup/Phi-3-mini-4k-instruct-gptq-4bit — это 4-битная GPTQ-квантизованная версия Phi-3 Mini-4K-Instruct, опубликованная пользователем kaitchup на Hugging Face и основанная на модели Microsoft. Она предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи по работе с кодом, математикой, рассуждениями и общими знаниями, при локальном или серверном запуске с меньшими требованиями к памяти. Исходная Phi-3 Mini-4K-Instruct представляет собой плотную decoder-only Transformer-модель примерно на 3,8 млрд параметров, дообученную с применением supervised fine-tuning и Direct Preference Optimization. Модель работает с текстовыми входами и поддерживает контекст до 4K токенов; основной язык — английский, при этом в метаданных также указан французский. Вариант из указанного репозитория использует 4-битное GPTQ-представление, что уменьшает размер и требования к памяти, но может снижать точность и качество по сравнению с полной точностью. Сильные стороны — компактность, возможность запуска на более доступном оборудовании и хорошие для своего размера результаты в задачах следования инструкциям, рассуждений и программирования. Ограничения включают короткое окно контекста, преимущественно англоязычную ориентацию, возможные ошибки и галлюцинации, а также потери качества из-за квантизации. Для опубликованной версии в карточке модели условия лицензирования явно не указаны; исходная модель Microsoft распространяется по лицензии MIT.

Карточка модели Hellbound237/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

FenomAI/Qwen3.6-27B-AWQ-INT4 — квантованная до AWQ INT4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen; базовая модель предоставлена в репозитории Qwen/Qwen3.6-27B. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Это каузальная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями. Основные сценарии — агентное программирование, разработка интерфейсов, анализ репозиториев и решение задач на уровне программных проектов. Модель также поддерживает сохранение контекста рассуждений из предыдущих сообщений для итеративной разработки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; размерность скрытого представления составляет 5120. Точные поддерживаемые языки в README не указаны. Ключевое преимущество — ориентация на coding agent-сценарии и работу с длинным контекстом. Ограничения, требования к оборудованию и влияние квантования AWQ INT4 на качество отдельно не описаны. Лицензия — Apache 2.0.

Qwen3.6-27B-Jörmungandr — экспериментальный вариант Qwen, созданный nightmedia слиянием NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, а также Tess-4-27B. Это плотная модель класса Qwen3_5ForConditionalGeneration с 27 млрд параметров; репозиторий содержит веса safetensors и использует библиотеку Transformers. Метаданные указывают на поддержку визуальных входов и диалогового режима. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая создание историй и ролевые сценарии. В README приведены результаты бенчмарков и оценки для нескольких вариантов квантования, но они не заменяют независимую оценку качества. Карточка не сообщает длину контекста; поддерживаемые языки по метаданным — английский, китайский, японский и испанский. Модель распространяется по лицензии Apache-2.0.

OBLITERATUS/Qwen3.6-27B-OBLITERATED — открытая текстовая языковая модель, разработанная OBLITERATUS на основе Qwen/Qwen3.6-27B. Модель предназначена для локальной генерации текста, диалогов, программирования, следования форматам и исследовательских задач, связанных с анализом и снижением отказов. Это не промпт-обёртка и не дообучение в обычном смысле: применён метод source-tethered ASPA, изменяющий веса модели для уменьшения отказов при сохранении исходных возможностей. Модель содержит 26,9 млрд параметров и доступна в формате bfloat16 safetensors, а также в вариантах GGUF Q4_K_M, Q5_K_M, Q6_K и Q8_0. Поддерживаются Transformers, vLLM, TGI, llama.cpp, Ollama, LM Studio, Jan и другие совместимые локальные среды. Это текстовая модель без vision encoder и мультимодальных компонентов; сведения о языках и размере контекстного окна в карточке не указаны. Для работы рекомендуется использовать современные версии runtime и корректный chat template. Ключевая особенность модели — существенно сниженный уровень отказов: по данным карточки, на внутреннем наборе из 842 парных запросов показатель отсутствия отказа составил 95,84% при прохождении проверки качества в 93,94%, а на 1 920 строках прокси-теста HarmBench — 93,65%. При этом на указанных срезах MMLU-Pro результаты совпали с базовой моделью: 51/70 на валидационном и 36/70 на отложенном срезе. Эти результаты отражают заявленные авторами проверки и не гарантируют одинаковое поведение во всех сценариях; остаточные отказы сохраняются в отдельных областях, а снижение защитных ограничений может быть нежелательно для задач, требующих встроенных механизмов безопасности. Модель распространяется по лицензии Apache-2.0. Для полной версии safetensors требуется примерно 50 ГБ локального пространства, крупнейший публичный GGUF Q8_0 занимает около 28,6 ГБ.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

nvythong/Qwen3.8-35B-A3B-Distill-mlx-fp16 — конвертированная в формат MLX модель Empero на базе Qwen3.8-35B-A3B-Distill. Репозиторий создан 29 сентября 2026 года; модель предназначена для диалоговой генерации текста. Базовая модель имеет MoE-архитектуру семейства Qwen3.5 и поддерживает чат, рассуждения, математику, программирование и вызов инструментов. В README указано преобразование с помощью mlx-lm 0.31.2; метаданные указывают формат safetensors и лицензию Apache-2.0. Модель ориентирована на английский язык. Сведений о длине контекста и точном числе параметров этой версии нет.

Qwen_Qwen3-Coder-Next-GGUF — это квантизированная версия текстовой генеративной модели Qwen3-Coder-Next, разработанной Qwen. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки текста, включая задачи, связанные с программированием, и может запускаться через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые приложения. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, благодаря чему можно выбирать между качеством ответа, размером файлов и требованиями к оперативной памяти. Размеры представленных файлов составляют примерно от 31,73 до 84,81 ГБ; некоторые варианты разделены на несколько частей. Наиболее качественными считаются Q8_0 и варианты Q6, а Q4_K_M указан как типовой компромисс между качеством и размером. Поддерживаемые модальности, языки, архитектура, количество параметров и размер контекста в README не указаны. Сильной стороной модели является возможность локального запуска и широкий выбор уровней квантизации, включая варианты, оптимизированные для различных аппаратных конфигураций. Ограничения связаны с большими требованиями к дисковому пространству и памяти, а также с потенциальным снижением качества у низкобитных вариантов; для недавно поддерживаемых моделей может потребоваться обновление используемого приложения. Модель распространяется по лицензии Apache-2.0.

Swift-1.5-Qwen3.8-27B-Uncensored-BF16 — мультимодальная модель на архитектуре Qwen3.5, выпущенная d0xin как производная от дообученной UkisAI модели Swift 1.5. К ней применена ранговая абляция направления в residual stream, предназначенная для снижения частоты отказов при сохранении возможностей исходной модели. Модель принимает текст и изображения и предназначена для диалогов, рассуждений, программирования, агентных сценариев и вызова инструментов. В README указаны контекст 262 144 токена и формат BF16; веса занимают около 52 ГБ и распределены по 18 файлам Safetensors. Заявлена поддержка мультимодальной архитектуры и сохранение vision tower. Автор отмечает, что проверка поведения, сохранения возможностей и производительности этой производной модели ещё продолжается; результаты бенчмарков не опубликованы. Снижение отказов может приводить к генерации небезопасного, оскорбительного или неточного контента. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить её условия на странице модели.

ATX-Swift-Qwen3.8-27B-Uncensored-IQ4_XS-M-GGUF — это квантизированная GGUF-модель, разработанная JakeATX на основе d0xin/Swift-Qwen3.8-27B-Uncensored-BF16. Исходная модель является uncensored, abliterated-производной Swift-Qwen3.8-27B от UkisAI: из неё намеренно удалено исходное поведение отказа от ответов. Модель предназначена для генерации текста, включая программирование, агентские сценарии, работу с длинным контекстом и локальный запуск через llama.cpp. Модель содержит около 27,32 млрд параметров, 866 текстовых и MTP-тензоров и поддерживает только текстовую модальность, без vision tower. Используется смешанная квантизация ATX-IQ4_XS-M: основная часть весов представлена в IQ4_XS, отдельные важные тензоры повышены до Q5_0, Q6_K или Q8_0. Размер файла — около 14,5 GiB, эффективная точность — 4,56 бит на вес. Включена MTP speculative head, рассчитанная на спекулятивное декодирование. Рецепт ориентирован на видеокарты RTX 3090/3090 Ti с 24 ГБ памяти и позволяет работать с контекстом до 200 тыс. токенов при 8-битном key cache, однако точный лимит зависит от runtime и конфигурации. Сильными сторонами являются высокая эффективность по памяти, оптимизация под SM86 и длинный контекст, а также заявленный результат pass@1 89,25 на выбранной 100-задачной подвыборке LiveCodeBench v6. Модель не имеет встроенных ограничений на отказ и может генерировать контент, который исходная версия отклоняла, поэтому её ответы требуют проверки. В README не указаны точные языки и полный набор оценок качества. Для запуска рекомендуется llamAmpere; модель также совместима со stock TurboQuant+ и основной веткой llama.cpp, но с меньшим запасом по контексту. Лицензия указана как swift-open-license-1.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели nfsff/Gemma-4-31B-JANG_4M-CRACK на Hugging Face совпадает с карточкой ZHENDANG/Gemma-4-31B-JANG_4M-CRACK, поэтому описание составлено по ней. ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.