II.1Анализ требований и архитектура ПО

Kaoeiri/Qwenwify2.5-32B-v3.98 — языковая модель семейства Qwen2, созданная разработчиком Kaoeiri путём объединения предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована Qwen/QwQ-32B-Preview; в объединение также вошли Sao10K/32B-Qwen2.5-Kunou-v1, Kaoeiri/Qwenwify-32B-v3 и Dans-DiscountModels/Qwen2.5-32B-ChatML. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации диалоговых ответов. Заявленная длина контекста — 32 768 токенов. Метаданные отмечают поддержку интерфейса вызова инструментов. Модель может быть полезна для математических рассуждений и программирования благодаря свойствам базовых моделей, однако отдельные результаты оценки для этого объединения не приведены. Лицензия — CC BY-NC-ND 4.0, с ограничениями на коммерческое использование и создание производных распространённых версий; тег карточки предупреждает, что модель подходит не для всех аудиторий.

Kaoeiri/Qwenwify2.5-32B-v4.5 — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen/QwQ-32B-Preview. В слияние DARE TIES также вошли Kaoeiri/Qwenwify-32B-v3, allura-org/Qwen2.5-32b-RP-Ink, Dans-DiscountModels/Qwen2.5-32B-ChatML, Saxo/Linkbricks-Horizon-AI-Japanese-Base-32B, OpenBuddy/openbuddy-qwq-32b-v24.2-200k и Sao10K/32B-Qwen2.5-Kunou-v1. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 32 млрд параметров. Она предназначена для диалоговой генерации текста; каталог также отмечает интерфейс вызова инструментов. Максимальный контекст — 32 768 токенов. Модель работает с текстом на входе и выдаёт текст. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC-ND 4.0 допускает использование с соблюдением её условий, включая ограничения на коммерческое использование и распространение производных материалов. В карточке не описаны отдельные оценки качества или подробные языковые гарантии; теги указывают на контент не для всех аудиторий.

QWQ-500M — дообученная модель prithivMLmods на базе Qwen2.5-0.5B-Instruct, предназначенная для генерации текста, диалогов и рассуждений при решении сложных задач. Она построена на плотной архитектуре Qwen2 и содержит 494 млн параметров; для работы используется библиотека Transformers, веса доступны в формате Safetensors, лицензия — Apache-2.0. Модель подходит для создания длинных ответов, пошаговых объяснений и структурированных данных, включая JSON и таблицы. В карточке заявлена поддержка более 29 языков; метаданные указывают английский. В README заявлено контекстное окно до 128 тысяч токенов и генерация до 8 тысяч токенов, тогда как метаданные указывают нативный контекст 32 768 токенов.

Raptor 0.6 — GGUF — это квантизированная версия модели Raptor 0.6, разработанная Osaurus AI на базе XHToken/Spark-X2.5-4B. Модель предназначена для генерации текста, рассуждений, агентских сценариев и использования инструментов, включая работу с файлами и вызов функций. Заявлена поддержка английского и китайского языков, а формат GGUF ориентирован на локальный запуск, в частности в Osaurus for Windows и совместимых рантаймах семейства llama.cpp. Модель содержит около 4 млрд параметров и использует архитектуру spark2_5: объединённый q_k_v_proj, sigmoid-gate на выходе attention, GELU-MLP, RMSNorm без сдвига, а также комбинацию sliding и full attention с окном 512 токенов. В репозитории доступны варианты Q6_K размером около 3,38 ГБ и Q4_K_M размером около 2,60 ГБ; оба созданы с importance matrix для снижения потерь при квантизации. Поддерживаются встроенное рассуждение с отделением reasoning_content от основного ответа и преобразование вызовов инструментов в стандартный OpenAI JSON. Сильными сторонами являются возможность локального запуска, небольшой размер, поддержка reasoning и tool use, а также калибровка imatrix; для Q6_K заявлено совпадение top-1 с исходными bf16-весами на уровне 98,27%. Ограничение — необходим runtime с поддержкой архитектуры spark2_5: стандартные версии llama.cpp, Ollama и LM Studio без такой поддержки эти файлы не загрузят. Для работы рекомендуется llama.cpp с параметром --jinja; при сложных запросах рассуждения могут потребовать более 8192 выходных токенов, которые учитываются вместе с входом в пределах контекстного окна. Лицензия — Apache-2.0.

Rombo-LLM-V3.0-Qwen-72b — плотная языковая модель семейства Qwen2 от Rombo-Org, созданная продолжительным дообучением Rombo-LLM-V2.5-Qwen-72b на наборах данных для рассуждений и обычных ответов. Она предназначена для генерации текста в диалогах и задач, где полезны пошаговые рассуждения; автор рекомендует использовать системный промпт, на котором модель обучалась для режима рассуждений, и температуру 0,4. Модель содержит 71,5 млрд параметров, рассчитана на контекст до 32 768 токенов, использует формат Safetensors и поддерживает интерфейс вызова инструментов. Автор заявляет о высокой эффективности, в том числе при 4-битном квантовании, однако в карточке нет опубликованных результатов оценки. Модель лицензирована по Apache-2.0.

RuDolph-Hermes-7B — разговорная языковая модель, созданная автором карточки как объединение двух моделей Mistral 7B: Dolphin 2.2.1 и OpenHermes 2.5. Слияние выполнено методом SLERP с кривой, вдохновлённой сигмоидой; модель имеет архитектуру MistralForCausalLM и около 7,1 млрд параметров. Репозиторий предоставляет веса в формате safetensors. Модель предназначена для диалогов и генерации текста, в том числе для ответов на запросы и помощи с кодом. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке не указаны специальные языки или предметные области, поэтому языковая поддержка не уточняется. Автор характеризует модель как хорошую разговорную модель, но численные результаты приведены лишь для части оценочных тестов и не гарантируют качество в конкретных сценариях. Лицензия в предоставленных данных не указана.

Fulcrum-AI/Ryze-Mistral-7B-Instruct-v0.3-10 — текстовая генеративная модель для диалогов и выполнения инструкций. Карточка сообщает, что модель создана с помощью mergekit методом passthrough; в слиянии участвовала mistralai/Mistral-7B-Instruct-v0.3. Метаданные классифицируют её как плотную архитектуру Mistral с классом MistralForCausalLM и указывают 16,3 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель подходит для генерации ответов и текста в диалоге, а также для сценариев с интерфейсом вызова инструментов. Базовая Mistral-7B-Instruct-v0.3 предназначена для диалогов, генерации текста и работы с инструментами. В README и метаданных лицензия не указана.

Fulcrum-AI опубликовала модель Ryze-Nemo-passthrough — объединение языковых моделей, созданное с помощью mergekit методом passthrough. В конфигурации дважды используются слои модели mistralai/Mistral-Nemo-Instruct-2407: диапазоны 0–24 и 8–32; веса представлены в формате safetensors, а конфигурация слияния указывает bfloat16. Архитектура — плотная MistralForCausalLM примерно на 14,4 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также заявлен интерфейс вызова инструментов. Указанная для неё длина контекста — 1 024 000 токенов. Базовая модель описана как многоязычная инструктивная модель для диалога, следования инструкциям и вызова инструментов. Лицензия в предоставленных данных не указана.

Guilherme34/Samantha-v6.5 — объединённая языковая модель на архитектуре Llama, созданная методом TIES с помощью mergekit. В качестве базовой модели использована Guilherme34/Samantha-v6; также в объединение включена v000000/Llama-3.1-8B-Stheno-v3.4-abliterated. Модель содержит 7,5 млрд параметров и предназначена для генерации текста и диалогового общения; заявленный контекст составляет до 131 072 токенов. Модель работает через библиотеку Transformers и распространяется в формате safetensors. Она принимает текст и генерирует текст, поддерживая интерфейс вызова инструментов. В метаданных указана лицензия не предоставлена, поэтому условия использования по лицензии определить нельзя.

sarvam-m — текстовая многоязычная модель Sarvam AI на архитектуре Mistral-Small, дообученная на базе mistralai/Mistral-Small-3.1-24B-Base-2503. Модель содержит 23,4 млрд параметров, принимает и генерирует текст и поддерживает контекст до 32 768 токенов; для работы с Transformers используются веса в формате Safetensors. Модель предназначена для диалогов на английском и индийских языках, а также для решения математических задач, программирования и логических рассуждений. В режиме think она ориентирована на сложные задачи, а режим non-think подходит для обычного общения. Поддерживаются индийские языки как в родной письменности, так и в латинской транслитерации. Разработчик сообщает об улучшениях относительно базовой модели на тестах индийских языков, математики и программирования. Модель выпущена под лицензией Apache-2.0. В карточке заявлены текстовый ввод и вывод; работа с изображениями и другими модальностями не заявлена.

TenyxChat-8x7B-v1 — диалоговая языковая модель от Tenyx, дообученная на базе Mixtral-8x7B-Instruct-v0.1 методом Direct Preference Optimization (DPO) на датасете UltraFeedback. Модель использует архитектуру Mixture of Experts Mixtral и предназначена для генерации ответов в формате чата. В метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель подходит для диалоговых помощников, написания и редактирования текстов, извлечения сведений, ответов на вопросы, а также задач по программированию и STEM. В опубликованном сравнении MT-Bench она получила средний балл 8,4; это результат конкретной оценки, а не гарантия качества в каждом сценарии. Модель принимает текст и генерирует текст. Карточка и метаданные указывают английский язык. Лицензия Apache 2.0 допускает коммерческое использование. Разработчики предупреждают, что модель не настраивали специально для соблюдения предпочтений безопасности людей; при провокационных запросах она может выдавать нежелательные ответы, испытывает трудности с рассуждениями и математикой и иногда отвечает многословно.

Ternary-Bonsai-2-27B-ConstantKV — дообученная модель tfwnotops на базе Ternary-Bonsai-2-27B-Crystal для генерации текста и диалогов с постоянным объёмом состояния внимания при длинном контексте. В основе — плотная гибридная архитектура семейства prism_hadamard_qwen35 с весами Qwen3.8-27B в троичном представлении; карточка описывает 16 слоёв полного внимания и механизм, сочетающий точное окно последних 1 024 токенов, свёрнутое состояние для дальнего контекста и хранилище точных ключей и значений размером до 8 192 токенов на KV-голову. Модель доступна в формате safetensors и использует библиотеку MLX. Модель рассчитана на локальную генерацию и ответы по длинным документам, а также на дополнение кода. По данным карточки, объём состояния внимания остаётся около 1,18 ГиБ независимо от длины контекста; заявлен запуск на Mac mini M4 с 16 ГБ памяти при контексте до 32 тыс. токенов. Карточка также указывает интерфейс вызова инструментов и повторное использование ранее вычисленных ответов через карту .mrail. Указанные измерения и возможности приведены авторами карточки; независимая проверка здесь не проводилась. Лицензия — Apache-2.0. Карточка не сообщает о специальной языковой или предметной специализации, поэтому модель следует считать общей текстовой моделью; конкретная поддержка языков отдельно не заявлена.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

Yosegi-2 — объединённая языковая модель от Local-Novel-LLM-project, созданная с помощью mergekit и метода TIES. Она предназначена для генерации текста и диалоговых сценариев; при объединении использованы Mistral-7B-v0.3, MetaMath-Mistral-7B, speechless-zephyr-code-functionary-7b и локальная LoRA-адаптация Ninja-v1-RP-expressive-v2. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

ZEUS 8B V22 — объединённая языковая модель, созданная с помощью mergekit методом DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединении также участвовали Llama-3.1-8B-Lexi-Uncensored-V2, Llama-3.1-Storm-8B, Llama-3.1-SuperNova-Lite и Llama-3.1-SauerkrautLM-8b-Instruct. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров. Модель предназначена для диалогов и генерации текста. Поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Для использования модели требуется соблюдать лицензию llama3.1. Подробности о языках и качестве на конкретных задачах в доступной карточке не приведены.

airoboros-65b-gpt4-1.4 — языковая модель на архитектуре LLaMA с 65 млрд параметров, дообученная автором jondurbin методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов и генерации текста: отвечает на вопросы, следует инструкциям, пишет тексты и код, поддерживает ролевые и многоходовые разговоры, загадки и викторины. Для ответов по заданному контексту в карточке описан специальный формат промпта, который помогает модели опираться на предоставленные источники. Модель принимает текст и выдаёт текст. Указанная длина контекста — 2048 токенов; веса опубликованы в формате PyTorch. README предупреждает, что модель ещё не тестировалась, и отмечает, что ответы по контексту могут быть выдуманы, если контекст не содержит ответа. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

mlx-community/Apertus-8B-Instruct-2509-bf16 — версия модели Apertus-8B-Instruct-2509, подготовленная сообществом mlx-community для запуска в MLX. Основа — дообученная диалоговая модель Swiss AI Initiative с плотной архитектурой ApertusForCausalLM; в метаданных указано 10,3 млрд параметров и контекст до 65 536 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и работы с длинным контекстом. Метаданные отмечают интерфейс вызова инструментов и многоязычную поддержку, но README не уточняет список языков и не содержит примеров качества. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели Anthropic-ai/Audiotoaudiotranslate на Hugging Face совпадает с карточкой Anthropic-ai/Aiaudiotranslate, поэтому описание составлено по ней. Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

Charm 15 — текстовая генеративная модель на архитектуре Mistral с 2,1 млрд параметров, опубликованная ZeppelinCorp. По карточке она предназначена для диалоговой генерации, рассуждений, решения математических задач и написания кода. Модель дообучена на mattshumer/mistral-8x7b-chat; метаданные указывают формат SafeTensors и контекст до 4096 токенов. В README заявлены мультимодальные возможности для текста и изображений, однако архитектура и назначение репозитория описывают только текстовую генерацию, поэтому обработка изображений не подтверждена. Метаданные содержат широкий набор языковых тегов, а карточка перечисляет многоязыковую поддержку; основные языки не выделены. Лицензия — MIT. README также заявляет оптимизацию для ONNX и TensorFlow Lite, но эти форматы не подтверждены метаданными репозитория.

Codetulu 2 34B — языковая модель-помощник из серии Tulu, разработанная Allen Institute for AI (AI2). Это дообученная на смеси открытых, синтетических и созданных людьми данных модель CodeLlama-34B; в обучающую смесь вошли инструкции и диалоги, в том числе набор allenai/tulu-v2-sft-mixture. Модель предназначена для генерации текста и ответов на пользовательские инструкции, прежде всего на английском языке. Модель построена на архитектуре Llama с плотной causal language model, содержит 33,5 млрд параметров и поддерживает контекст до 8192 токенов. Для корректного форматирования входа карточка рекомендует заключать сообщение пользователя в формат инструкций модели и добавлять завершающий перевод строки. Модель не проходила этап RLHF-настройки на безопасные ответы и не использует фильтрацию ответов во время работы, поэтому может выдавать проблемный контент, особенно в ответ на соответствующие запросы. Распространяется по лицензии AI2 ImpACT Low-risk; перед использованием следует проверить её условия.

Citaman/command-r-3-layer — текстовая генеративная модель, созданная автором репозитория Citaman с помощью mergekit. В README описано слияние методом SLERP двух срезов весов Citaman/command-r-4-layer; метаданные каталога классифицируют связь с этой моделью как дообучение. Архитектура — плотная причинная языковая модель CohereForCausalLM, около 4,6 млрд параметров, формат файлов — safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Поддерживаемый контекст — до 8192 токенов. Условия лицензирования в предоставленных данных не приведены.

Covenant-72B-Chat — диалоговая языковая модель с настройкой по инструкциям, созданная на основе Covenant-72B. Разработчики описывают базовую модель как крупнейшую языковую модель, обученную совместно без разрешений; вариант Chat дообучен методом supervised fine-tuning. Модель использует плотную архитектуру LLaMA (LlamaForCausalLM), содержит около 70,6 млрд параметров и принимает текст для генерации ответов в диалоге. Контекст составляет 8192 токена, поддерживаемый язык по карточке — английский. Модель предназначена для диалоговых ответов и выполнения инструкций на естественном языке. В README приведены результаты бенчмарков по рассуждениям, математике, общим знаниям и следованию инструкциям; эти оценки показывают способности на тестовых наборах, но не гарантируют точность в прикладных сценариях. Опубликована в формате safetensors под лицензией Apache 2.0.

CrystalMistral — разговорная языковая модель на архитектуре Mistral-7B, разработчик — Crystalcareai. Модель дообучена на смесях Evol-Instruct, Airoboros, OpenOrca и синтетических данных GPT-4; в репозитории указаны веса Safetensors, около 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, выполнения инструкций, генерации и объяснения кода, а также свободной генерации текста. Карточка заявляет навыки рассуждения и работы с фактами, но не приводит независимых оценок качества или подробностей о языковом покрытии. Лицензия в доступных данных не указана.

Kaballas/Cyber20 — дообученная компанией Kaballas модель семейства Llama для генерации текста и диалогов. Она основана на Kaballas/Cyber18, содержит 7,5 млрд параметров и имеет контекстное окно до 131 072 токенов. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для генерации текста и общения на английском языке; метаданные также указывают поддержку чатового интерфейса и интерфейса вызова инструментов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.

DeepSeek V4 Flash — REAM144 (163B) DS4 Q2 — это чат-модель WaveCut в формате GGUF, созданная на основе DeepSeek-V4-Flash-0731-REAM144-163B. В сборке сохранено 144 из исходных 256 экспертов на слой; модель квантизована до 2 бит для экспертов и 8 бит для attention, с использованием матрицы важности. Файл весит 49,3 ГБ, а автор указывает запуск на Mac с 64 ГБ памяти и контекстом 8 тыс. токенов. Модель предназначена для многоязычного диалога, рассуждений, ответов на вопросы по коду и сценариев с инструментами. По карточке она уверенно справляется с многоязычным чатом, рассуждениями и длинными диалогами, включая русский и переключение между английским и русским. Для запуска нужен DS4 fork с поддержкой переменного числа экспертов; обычный llama.cpp этот файл не загрузит. Квантизация 2 бит может ухудшать качество агентных задач: тесты показали непостоянные сбои при вызове инструментов, рефакторинге кода и цепочках «вызов инструмента — код». Лицензия — MIT.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.