II.1Анализ требований и архитектура ПО

Карточка модели thetechoddbug/Hy4-preview на Hugging Face совпадает с карточкой tencent/Hy4-preview, поэтому описание составлено по ней. Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

mistral-community/mixtral-8x22B-v0.3 — текстовая генеративная модель семейства Mixtral, опубликованная сообществом mistral-community. Архитектура — MixtralForCausalLM с механизмом смеси экспертов (MoE); модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет до 65 536 токенов. Эта версия соответствует v0.1, но использует токенизатор большего размера. В репозитории представлены веса Safetensors; лицензия — Apache-2.0. Карточка предупреждает, что чекпойнт может быть неактуальным, и рекомендует использовать соответствующую версию у организации-разработчика.

duyntnet/cogito-v1-preview-qwen-14B-imatrix-GGUF — набор imatrix-квантизаций языковой модели Cogito v1-preview Qwen 14B, первоначально разработанной deepcogito. Это instruction-tuned генеративная модель формата «текст на входе — текст на выходе», предназначенная для диалогов, генерации текста, программирования, задач STEM, следования инструкциям, общего ассистирования и вызова инструментов. Репозиторий предоставляет варианты в формате GGUF для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, text-generation-webui, Ollama, Jan и LM Studio. Модель использует гибридный подход к рассуждениям: может отвечать напрямую в стандартном режиме или выполнять дополнительную саморефлексию в режиме extended thinking. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. Модель обучалась более чем на 30 языках и поддерживает контекст до 128k токенов; заявлены улучшенные многоязычные возможности, качество программирования и tool calling по сравнению с моделями сопоставимого размера. Архитектура описана как Qwen 14B, однако точные параметры GGUF-квантизаций в README не приведены. К сильным сторонам относятся сочетание стандартного и рассуждающего режимов, широкий контекст, поддержка многоязычных сценариев, программирования и инструментов, а также возможность локального инференса. Ограничения включают preview-статус исходной модели, зависимость характеристик от конкретного варианта квантизации и отсутствие в README точных данных о размерах файлов, требованиях к оборудованию и результатах бенчмарков. Указана лицензия other; при этом исходное описание сообщает, что модели Cogito выпущены по открытой лицензии с разрешением коммерческого использования, но точные условия лицензии для данного репозитория не раскрыты.

TeichAI Gemma 4 31B it Claude Opus Distill — мультимодальная модель диалогового семейства Gemma 4, созданная дообучением unsloth/gemma-4-31B-it с помощью Unsloth на наборах траекторий рассуждений Claude Opus и Sonnet. Она предназначена для диалогов и задач, требующих многошагового анализа: генерации и отладки кода, научных рассуждений, синтеза исследовательских материалов и выполнения инструкций. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями, поддерживает режим рассуждений и использует формат safetensors. В метаданных основная задача указана как image-text-to-text. README описывает вариант с высоким уровнем усилий рассуждения и рекомендует более новую версию v2, отмечая улучшения качества данных и шаблона чата в v2. Модель рассчитана на применение с Transformers и поддерживает переменное разрешение изображений. Карточка не сообщает размер контекстного окна и перечень поддерживаемых естественных языков, поэтому эти характеристики здесь не уточняются. Лицензия — Apache-2.0. Качество и стабильность текущей версии могут уступать v2; заявленные возможности в коде, науке и исследованиях в README не сопровождаются приведёнными здесь количественными результатами оценки.

GLM-4.5-Air-GGUF — это квантизированная в формате GGUF версия гибридной reasoning-модели GLM-4.5-Air, подготовленная Unsloth на базе модели Z.ai (Zhipu AI). Модель предназначена для создания интеллектуальных агентов, сложного рассуждения, программирования, использования инструментов и генерации текста. Она поддерживает два режима работы: thinking mode для задач, требующих многошагового рассуждения и tool usage, и non-thinking mode для быстрых ответов. GLM-4.5-Air использует архитектуру с 106 миллиардами общих параметров и 12 миллиардами активных параметров. Модель относится к текстовым моделям и заявлена для работы на английском и китайском языках. GGUF-версия ориентирована на локальный запуск, в том числе через llama.cpp; для него в README рекомендуется использовать параметр --jinja. Вариант Unsloth включает исправления chat template и использует подход Unsloth Dynamic 2.0, направленный на сохранение высокой точности при квантизации. Сильными сторонами модели являются сочетание рассуждения, программирования и агентных возможностей, а также более компактная и эффективная конфигурация по сравнению с GLM-4.5 при сохранении конкурентных результатов на заявленных тестах. Ограничения включают отсутствие в README подробностей о конкретном типе квантизации, поддерживаемой длине контекста, полном наборе языков, требованиях к оборудованию и результатах для всех отдельных бенчмарков. Модель и исходные версии GLM-4.5-Air выпускаются под лицензией MIT, допускающей коммерческое использование и вторичную разработку.

Nail-Qwen3.6-35B-A3B-GGUF — это 4-битная GGUF-квантизация модели Qwen3.6-35B-A3B, разработанной Qwen и опубликованной peculiar-ragdoll. Модель предназначена для локального запуска через llama.cpp, прежде всего для рассуждений, многошаговых диалогов, агентной работы и автономной разработки программного обеспечения. В поставку также входит улучшенный chat template с принудительно добавляемым системным промптом, который настраивает модель на прямые, лаконичные и ориентированные на результат ответы. Модель использует архитектуру MoE с заявленным размером 35B и активной частью около 3B параметров; доступна в формате GGUF с квантизацией UD-Q4_K_XL. Заявлен нативный контекст до 262 144 токенов, поддерживаются английский и китайский языки. По данным автора, модель особенно сильна в скорости получения ответа, агентном программировании и многоходовых сценариях, сохраняя сопоставимую с более крупными моделями точность на ряде тестов. Увеличенный объём рассуждений может быстрее расходовать контекст, поэтому для очень длинных сессий модель уступает некоторым альтернативам по выносливости. Модель рассчитана на локальное использование и может работать на совместимом оборудовании с ограниченным объёмом памяти; автор указывает, что примерно 180 тысяч токенов контекста с 8-битным KV-кэшем должны помещаться в 24 ГБ памяти. Лицензия — Apache 2.0.

Модель ghecko78/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-heretic — текстово дообученная и изменённая с помощью abliteration версия Qwen3.6-35B-A3B, опубликованная на Hugging Face; исходное дообучение выполнил @hesamation. Она предназначена для диалогов с развёрнутыми рассуждениями, программирования, планирования, математических задач и аналитических ответов. Обучение использовало дистилляцию рассуждений, преимущественно полученных от Claude Opus 4.6, а затем модель прошла abliteration, призванную снизить частоту отказов. В основе — мультимодальная MoE-архитектура Qwen3.6 с 35 млрд параметров, из которых активны около 3 млрд; базовая модель принимает изображения, но это дообучение было только текстовым. Контекст базовой модели составляет 262 144 токена с возможностью расширения до 1 010 000. Карточка приводит небольшой сравнительный тест MMLU-Pro, который автор характеризует как предварительную проверку, а не полноценный бенчмарк. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-GGUF-UltraOptimised — GGUF-квантизированная версия модели на базе Qwen3.8-27B TURBO Fable Cold Fusion GAIN. Оригинальную модель и её объединение разработал DavidAU, а квантизацию, интеграцию MTP и упаковку выполнила Solstice-AI. Модель ориентирована на генерацию текста, рассуждения, программирование, агентные задачи разработки ПО и мультимодальную работу с изображениями, интерфейсами, диаграммами и временными кадрами видео. Заявлены поддерживаемые языки English и Chinese, нативный контекст до 262K токенов и архитектура Qwen 3.8 Hybrid Linear Attention: 75% слоёв используют линейное внимание GDN, а 25% — глобальное Grouped-Query Attention. Размер основной модели — 27 млрд параметров. Ключевая особенность выпуска — поддержка ускоренного декодирования через встроенный Multi-Token Prediction и отдельные DSpark draft-модели размером 1,86 млрд параметров; README заявляет ускорение speculative decoding в 2,5–3,1 раза при использовании llama.cpp или Anvil. Для мультимодального режима поставляется vision-проектор mmproj-BF16. В README также приведены высокие результаты на ARC-C, ARC-E, SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и CoWorkBench, однако эти показатели представлены авторами модели и требуют независимой проверки. Ограничения включают зависимость производительности от выбранной GGUF-квантизации, аппаратных ресурсов и совместимого рантайма; подробные характеристики отдельных вариантов квантизации в предоставленных данных не раскрыты. Лицензия — Apache 2.0.

CerebrumHyperion-7B-DPO — объединённая модель для генерации текста, созданная с помощью LazyMergekit путём слияния Locutusque/OpenCerebrum-1.0-7b-DPO и Locutusque/Hyperion-3.0-Mistral-7B-DPO. В README указан метод слияния SLERP, а базовой моделью в конфигурации названа Hyperion-3.0-Mistral-7B-DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. По описанию базовой модели, семейство OpenCerebrum ориентировано на генерацию текста, программирование, математику, научные вопросы и рассуждения. Репозиторий содержит веса в формате safetensors. Сведений о лицензии в предоставленных данных нет.

Dagger-Qwen3.6-27B-GGUF-MTP — модель от peculiar-ragdoll, основанная на ThinkingCap-Qwen3.6-27B от bottlecapai, который, в свою очередь, является вариантом Qwen3.6-27B. Это GGUF-сборка для запуска через llama.cpp и совместимые среды, ориентированная на рассуждения, агентное программирование, генерацию кода и длительные многошаговые диалоги. В карточке также заявлена поддержка сценариев image-text-to-text и тег vision, однако подробности мультимодальной реализации не указаны. Модель имеет плотную архитектуру размером 27B параметров, заявленный нативный контекст — 262 144 токена, поддерживаемые языки — английский и китайский. Отличительная особенность этой версии — сохранённая MTP-голова nextn для speculative decoding: при поддержке со стороны runtime она может ускорять генерацию без изменения точности. Для vLLM и SGLang заявлено ускорение примерно в 1,5–2 раза, тогда как в llama.cpp требуются свежая сборка и специальный режим; актуальные релизные версии могут не поддерживать MTP. Сильные стороны модели — компактные ответы без лишнего текста, высокая эффективность рассуждений, способность сохранять связность в длинных агентных сессиях и эффективное использование контекстного окна. Главные ограничения — высокие требования к оперативной памяти из-за плотной архитектуры и дорогого KV-кэша; полный контекст 262 144 токена требует около 31,1 ГБ при 8-битном KV-кэше или 38,6 ГБ при 16-битном. Реальное ускорение MTP зависит от среды запуска. Лицензия — Apache-2.0.

DeepSeek-R1-0528-Qwen3-8B-bnb-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth. Исходная модель разработана DeepSeek и представляет собой языковую модель с акцентом на углублённое рассуждение. Квантованный вариант распространяется для использования с Transformers и предназначен для более экономичного запуска модели. Модель ориентирована на сложные задачи рассуждения, математику, программирование, общую логику, вызов функций и сценарии «vibe coding». В README отмечены улучшения по сравнению с предыдущей версией DeepSeek R1: снижение галлюцинаций, более развитые способности к рассуждению и увеличение максимальной длины генерации до 64K токенов. Для DeepSeek-R1-0528 также приведены высокие результаты в тестах по общим знаниям, программированию и математике, включая AIME 2024, LiveCodeBench и SWE Verified. Точный набор поддерживаемых языков, модальностей и архитектурные детали в карточке не указаны; из идентификатора следует размер исходной модели 8B. Квантование уменьшает требования к памяти, но может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии MIT.

Gemma-4-21B — разреженная мультимодальная модель семейства Gemma 4, подготовленная 0xSero на основе google/gemma-4-26b-a4b-it. Авторы удалили 20% экспертов Mixture-of-Experts с помощью метода REAP от Cerebras: осталось 103 эксперта на слой, из которых активируются 8 на каждом токене. Всего в модели около 21,34 млрд параметров, формат весов — BF16; активное число параметров на токен осталось около 4 млрд. Модель предназначена для диалоговой генерации текста, рассуждений, программирования, математики и работы с изображениями. В архитектуре 30 трансформерных слоёв с чередованием скользящего и полного внимания; заявленное окно контекста — 262 144 токена. Модель поддерживает режим внутреннего рассуждения с разделением каналов thought и response. Карточка приводит результаты ограниченных сравнительных оценок, в которых качество генерации в целом было близко к исходной модели, но на отдельных задачах отмечалось заметное снижение точности. Для запуска указаны Transformers и vLLM; пример настройки vLLM ограничивает контекст 16 384 токенами. Лицензия — Gemma. Поддержка изображений указана в README, хотя основной pipeline-тег модели — text-generation.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

HERETIC — модель на базе Mistral-Nemo 2407 с 12 млрд параметров, представленная в формате GGUF. Она разработана Andycurrent как reasoning-ориентированный вариант базовой архитектуры Mistral-Nemo и предназначена для локального запуска через llama.cpp и совместимые инструменты. Модель распространяется в виде квантованных сборок, оптимизированных для эффективного вывода на локальном оборудовании. Модель ориентирована на диалоговые сценарии, выполнение инструкций, пошаговое аналитическое рассуждение, подготовку развёрнутых объяснений, помощь в программировании и технических вопросах, мозговой штурм, творческое письмо, prompt engineering и эксперименты с LLM. Указан английский язык. Поддерживаются текстовые запросы и ответы; сведения о размере контекстного окна и точных параметрах квантования не приведены. Для получения лучших результатов рекомендуется использовать структурированные system/user/assistant-промпты. К сильным сторонам относятся локальная и потенциально приватная работа, гибкость применения, поддержка развёрнутых ответов и совместимость с экосистемой GGUF и llama.cpp. Ограничения включают возможные фактические ошибки, галлюцинации, предвзятость и зависимость качества от формулировки запроса; модель не предназначена для юридических или медицинских рекомендаций, критически важных решений и автоматической модерации без проверки человеком. Лицензия указана как other, при этом конкретные условия не раскрыты; пользователю необходимо учитывать лицензию базовой модели и применимое законодательство.

attashe/q-2.5-deepseek-r1-veltha-v0.4 — объединённая модель языковой модели, созданная с помощью mergekit методом Linear DELLA. В качестве базовой использована arcee-ai/SuperNova-Medius; в объединение также вошли allura-org/TQ2.5-14B-Aletheia-v1, huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2, EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2 и v000000/Qwen2.5-Lumen-14B. Модель построена на архитектуре Qwen2 с плотной 14-миллиардной языковой моделью и предназначена для диалогов и генерации текста. Она загружается через Transformers, использует формат safetensors и поддерживает контекст до 131 072 токенов; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Qwen3.5-122B-A10B-44GB-GPT5.6Sol-SFT-LynnStyle-GGUF — GGUF-сборка модели Qwen3.5-122B-A10B, опубликованная пользователем nerkyor. Модель предназначена для текстовой генерации, рассуждений, ответов на вопросы и программирования в среде llama.cpp. В репозитории также доступен опциональный мультимодальный vision projector для обработки визуального ввода; основной GGUF может использоваться отдельно для текстовых задач. Модель использует архитектуру qwen3next и содержит 807 тензоров. Это слойно-смешанная imatrix-assisted квантизация LynnStyle: наиболее важные компоненты сохранены в Q8_0, Q6_K или Q5_K, а значительная часть маршрутизируемых экспертных слоёв сжата до IQ2_XS. Основной файл занимает 44,61 ГБ, а вместе с mmproj — 45,23 ГБ. Указаны языки English и Chinese. Проверенный режим рассчитан на общий контекст 131 072 токена, Q4 K/V cache и полную выгрузку на GPU; пиковое потребление VRAM составило 45 551 МиБ. К сильным сторонам относятся сохранение высокой точности для attention, shared-expert и ключевых управляющих структур при существенном уменьшении размера, а также хорошие заявленные результаты без MTP: MMLU 91,6%, GPQA 86,4% и LiveCodeBench 82,0%. Ограничения — высокая требовательность к памяти, отсутствие MTP sidecar и необходимость использовать llama.cpp с рекомендуемыми настройками. LoRA step64 уже объединён с основным файлом и отдельно не требуется. Модель распространяется по лицензии Apache-2.0.

OnlyTextLLMs/Qwen3.5-4B-OnlyText — текстовая причинная языковая модель, подготовленная на основе Qwen/Qwen3.5-4B: из исходной модели удалены компоненты обработки изображений и аудио, а текстовая часть и выходная голова сохранены. Разработчик репозитория сообщает, что новые обучающие данные и дообучение не применялись; сохранена также MTP-голова для чернового предсказания токенов. Модель предназначена для генерации текста и диалоговых сценариев. Она использует плотную архитектуру Qwen3_5ForCausalLM; в метаданных указаны 3,4 млрд параметров и контекст до 262 144 токенов. README приводит размер 4,33 млрд параметров и точность bfloat16. Модель работает только с текстом; интерфейс вызова инструментов указан среди возможностей, но сам по себе не гарантирует выполнение инструментов. Репозиторий распространяется по лицензии Apache-2.0. Поскольку это производная версия исходной Qwen3.5-4B с удалёнными мультимодальными компонентами, она не предназначена для обработки изображений или аудио.

karlsencoin/Qwen3.6-27B-GGUF — это GGUF-сборка модели Qwen3.6-27B, основанная на базовой модели Qwen/Qwen3.6-27B. Модель разработана командой Qwen; данный репозиторий распространяет её в формате GGUF с использованием подхода Unsloth Dynamic 2.0 GGUF. Это причинная языковая модель с визуальным энкодером, предназначенная для генерации текста, программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Поддержка изображений указана в карточке как часть мультимодальной архитектуры, однако конкретные форматы и языки не перечислены. Модель содержит около 27 млрд параметров, 64 слоя и скрытое измерение 5120. Архитектура сочетает Gated DeltaNet и Gated Attention, использует multi-step training и поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов. Среди заявленных сильных сторон — улучшенная работа с агентным кодированием, сохранение контекста рассуждений между сообщениями и более надёжный разбор вложенных объектов при вызове инструментов. Для запуска упоминаются Transformers, vLLM, SGLang и KTransformers; высокая вычислительная нагрузка и требования к памяти являются ограничениями модели, особенно при использовании длинного контекста. Указанная лицензия — Apache 2.0. README не содержит подробностей о конкретном уровне квантования данной GGUF-сборки, результатах бенчмарков или точном наборе поддерживаемых языков.

Это GGUF-квантизация модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем pearsonkyle. Модель предназначена для локального запуска через llama.cpp, Ollama или LM Studio; поддерживает генерацию текста, агентские сценарии, программирование, tool use и function calling. Указана совместимость с задачами разработки и SWE-bench. Модель имеет гибридную архитектуру с linear attention и hybrid attention, поддерживает текст и изображения через дополнительный vision-проектор mmproj размером 629 МБ. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_M с размером файлов примерно от 9,7 до 18,3 GiB и точностью от 3,06 до 5,76 бит на параметр. Квантизация выполнена с использованием importance matrix на контексте 32 768 токенов. В каждый вариант встроена MTP-голова в формате Q8_0 для speculative decoding без отдельного файла. Рекомендуемым вариантом заявлен IQ4_XS, а Q5_K_M описан как наиболее близкий к FP16. К сильным сторонам относятся сниженные требования к памяти, поддержка длинного контекста, мультимодальность и встроенная MTP-голова. Ограничения связаны с потерями качества, неизбежными при низкобитной квантизации, а также с тем, что для обработки изображений требуется отдельный mmproj-файл. Лицензия — Apache-2.0; заявленный язык — английский.

mrcuddle/arcee-fusion-lumaid-12B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit и метода Arcee Fusion. В качестве базовой модели использована mistralai/Mistral-Nemo-Instruct-2407; в объединение также вошла NeverSleep/Lumimaid-v0.2-12B. Модель содержит 12,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалога и генерации текста по инструкциям. Её можно применять для ответов на вопросы, написания и редактирования текстов, а также сценариев с интерфейсом вызова инструментов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В метаданных и README не приведены результаты оценки качества или условия лицензии, поэтому пригодность для конкретных задач и правомерность использования следует проверять по исходным карточкам обеих базовых моделей и условиям публикации этой модели.

unsloth/gemma-3-27b-it-unsloth-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 27B, подготовленная Unsloth на базе google/gemma-3-27b-it. Исходная модель разработана Google DeepMind в рамках семейства Gemma, созданного с использованием исследований и технологий Gemini. Модель предназначена для генерации текста и мультимодального понимания изображений: она принимает текст и изображения, а на выходе генерирует текст. Подходит для ответов на вопросы, суммаризации документов, рассуждений, анализа содержимого изображений и диалоговых сценариев. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128K токенов, максимальный объём генерируемого ответа — 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов. Поддерживается более 140 языков, при этом в метаданных данной версии явно указан английский язык. Ключевое преимущество версии — 4-битное квантование, снижающее требования к памяти и упрощающее локальное развёртывание, однако оно может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель рассчитана на работу через Transformers и может быть полезна на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Использование регулируется лицензией Gemma и соответствующими Terms of Use.

GLM-4.7-Flash-NEO-CODE-Imatrix-MAX-GGUF — набор специализированных GGUF-квантов модели GLM-4.7-Flash, разработанный DavidAU на базе модели zai-org/GLM-4.7-Flash. Модель предназначена для генерации текста, рассуждений, программирования, диалогов и ролевых сценариев. Заявлена поддержка английского и китайского языков. Архитектура — mixture of experts (MoE) объёмом около 30B параметров, из которых при генерации активируются четыре эксперта, примерно 2B параметров. Модель может запускаться на GPU, CPU или их комбинации и поддерживает контекст до 200K токенов. В этой версии используются NEO- и Code-данные для imatrix-квантизации, а также 16-битный выходной тензор для повышения качества финальной генерации. Доступны специализированные варианты IQ4_NL, Q5_1, Q4_1 и Q8_0, а также обычные типы квантов. Сильными сторонами являются высокая эффективность MoE-архитектуры, большой контекст, ориентация на код и рассуждения, а также оптимизация квантов под актуальную версию llama.cpp. Ограничения связаны с зависимостью качества и скорости от выбранного кванта и конфигурации оборудования; для некоторых сценариев рекомендуется отключать Flash Attention из-за проблем со скоростью генерации и выгрузкой на CPU. Для длинных ответов автор рекомендует использовать контекст не менее 8–16K токенов и подбирать параметры сэмплирования. В метаданных указана лицензия MIT. Для подготовки квантов и их корректной работы требуется актуальная версия llama.cpp, указанная автором; более ранние кванты могут работать хуже.

Shining Valiant 3 — модель Valiant Labs, дообученная на базе mistralai/Ministral-3-14B-Reasoning-2512. Это плотная модель семейства Mistral 3 для генерации текста, диалога и рассуждений. Разработчики позиционируют её как помощника для научных задач, проектирования ИИ, программирования и общего решения сложных задач; обучение включало научные данные для рассуждений, созданные с помощью DeepSeek R1 0528. Модель рассчитана на диалог и следование инструкциям, а также на творческие и аналитические задачи. Карточка сообщает о поддержке английского языка. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. В README не приведены данные о числе параметров сверх идентификатора базовой модели или о длине контекста. Утверждения о высокой скорости и работе на настольных и мобильных устройствах приведены разработчиком без количественных характеристик.

Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Nail-Qwen3.6-35B-A3B-GGUF-MTP — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная peculiar-ragdoll. Модель ориентирована на reasoning, многошаговые диалоги, агентную разработку программного обеспечения и генерацию кода. В сборку включены улучшенный chat template, встроенный системный промпт и тензоры multi-token prediction (MTP), предназначенные для ускорения генерации посредством speculative decoding. Модель построена на архитектуре Mixture-of-Experts: заявленный размер — 35B параметров при 3B активных параметров. Указаны языки English и Chinese, а нативное контекстное окно составляет 262 144 токена. Формат GGUF рассчитан прежде всего на локальный запуск, включая llama.cpp и совместимые среды. При поддержке MTP возможное ускорение зависит от runtime и конфигурации; для llama.cpp требуется свежая сборка с поддержкой draft-MTP, тогда как обычные релизы могут работать без ускорения. Заявлены высокая скорость ответа, эффективность использования памяти и пригодность для длительных агентных сессий, однако приведённые результаты получены на ограниченном наборе тестов и конкретной конфигурации Mac Studio M2 Ultra. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость производительности от аппаратного обеспечения, версии runtime, квантизации и поддержки MTP. Заявления о превосходстве над другими моделями основаны на бенчмарках автора и не гарантируют аналогичных результатов во всех задачах.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 — квантизированная версия открытой модели Qwen3.6-27B, опубликованная пользователем cyankiwi на основе базовой модели Qwen/Qwen3.6-27B. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и задачи, требующие длительного контекста. Заявлены улучшения в обработке coding-agent сценариев и возможность сохранять контекст рассуждений из предыдущих сообщений. Модель поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура включает Gated DeltaNet, Gated Attention и multi-step training; размер опубликованного файла составляет 28,32 ГБ. Вариант использует квантизацию AWQ-BF16-INT4, что является его ключевой особенностью, однако README не приводит подробных результатов сравнения именно этой квантизированной версии с исходной моделью. Лицензия — Apache-2.0. Модель подходит для локального и серверного развертывания при наличии совместимого программного обеспечения и достаточных вычислительных ресурсов; конкретные требования к памяти и ограничения качества для мультимодальных задач в README не указаны.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

unsloth/Qwen3.6-35B-A3B-MLX-8bit — MLX-версия открытой мультимодальной модели Qwen3.6-35B-A3B, подготовленная Unsloth. Это авторегрессионная языковая модель с vision-энкодером, предназначенная для работы с текстом и изображениями, агентного программирования, анализа репозиториев, фронтенд-разработки и сценариев с вызовом инструментов. Модель поддерживает улучшенное сохранение контекста рассуждений между сообщениями и обработку вложенных структур при tool calling. Архитектура использует Mixture of Experts: всего 35 млрд параметров, из которых при генерации активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых выбираются 8 маршрутизируемых и 1 общий эксперт, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. В README не указано, какие языки поддерживаются. К сильным сторонам относятся высокая вычислительная эффективность разреженной MoE-архитектуры, поддержка визуального ввода, длинного контекста, агентного кодирования и локального запуска через MLX. Ограничения включают необходимость совместимой MLX-инфраструктуры и отсутствие в предоставленных данных подробных результатов бенчмарков, требований к оборудованию и описания возможных ограничений качества. Модель распространяется по лицензии Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality — квантизированная версия Qwen/Qwen3.8-27B, подготовленная разработчиком Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локальной генерации текста, программирования, задач с рассуждениями и работы в инструментах вроде OpenCode и Claude Code. Она использует архитектуру базовой модели Qwen3.8-27B, поддерживает контекст до 262 144 токенов и сохраняет multi-token prediction (MTP) для спекулятивного декодирования. Это 8-битная динамическая квантизация: матрицы весов хранятся в 8-битном формате с группами по 64 значения, а чувствительные компоненты, включая GDN-ядра, параметры рекуррентного состояния, нормализации и MTP-head, — в 16-битном. Размер загрузки составляет 29,4 ГБ, измеренное пиковое потребление unified memory — 32,7 ГБ; рекомендуется Mac минимум с 36 ГБ unified memory. Модель рассчитана на MacBook Pro, MacBook Air, Mac mini и Mac Studio на чипах M1–M5 и обеспечивает ускорение за счёт native speculative decoding, при этом заявлена близость к исходной bf16-модели: 99,3% совпадения top-1 на тестовом наборе и KL-дивергенция 0,0005. Сильная сторона модели — приоритет качества при сохранении высокой скорости локального вывода; README приводит скорость до 87,6 токена в секунду в отдельных сценариях и около 33 токенов в секунду при длинном рассуждении. Поддерживаются уровни reasoning effort low, medium и xhigh, а точность распределения вывода сохраняется при использовании спекулятивного декодирования. Ограничения — необходимость совместимого Mac с достаточным объёмом памяти, зависимость от MTPLX и отсутствие заявленной поддержки других аппаратных платформ. Модель распространяется по лицензии Apache-2.0.

Valiant Labs разработала Esper 3 на базе Qwen3-8B как модель для рассуждений в программировании, проектировании архитектуры и DevOps. Модель дообучена на данных для рассуждений о DevOps, архитектуре и коде, созданных с помощью DeepSeek R1; также заявлено улучшение общих и творческих рассуждений, решения задач и диалоговых ответов. Модель использует архитектуру Qwen3 с плотной причинной языковой моделью на 7,6 млрд параметров и контекстом до 40 960 токенов. Она предназначена для генерации текста, чата и следования инструкциям; автор рекомендует включать режим рассуждений `enable_thinking=True`. Карточка указывает поддержку английского языка и лицензии Apache-2.0. Небольшой размер рассчитан на локальный запуск и серверный инференс; заявленные специализации охватывают код, DevOps и архитектурные задачи.