II.3Рефакторинг, миграция и модернизация

HermesNova — языковая модель на архитектуре Llama 3.1, созданная линейным слиянием Hermes-3-Llama-3.1-8B от Nous Research и Llama-3.1-SuperNova-Lite от Arcee AI с помощью mergekit. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста в диалоговом формате, включая вызов инструментов. Модель подходит для ведения диалогов, ответов на инструкции, рассуждений и генерации кода. Заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors; лицензия — llama3.1.

J.A.R.V.I.S. Titan M4 Activated — текстовая генеративная модель семейства Jarvis Titan MoE от dhanesh-hf. Она дообучена на базе dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled и предназначена для диалогов, рассуждений, математических задач, программирования и взаимодействия с инструментами. В карточке заявлены архитектура MoE, механизм M4 Tri-Brid Neural Memory, внимание CSA3 и многотокенное предсказание; метаданные указывают 7,1 млрд параметров, контекст 32 768 токенов и поддержку Transformers. Модель принимает текст и генерирует текст. Карточка заявляет поддержку английского языка и описывает сценарии длинного контекста, однако приведённые в README характеристики 14,8 млрд параметров и контекст до 131 072 токенов расходятся с метаданными, поэтому здесь указаны значения метаданных. Лицензия обозначена как other; конкретные условия использования в предоставленных данных не раскрыты.

ModelCloud/Kimi-K2-Thinking-BF16 — версия Kimi K2 Thinking, подготовленная ModelCloud и обозначенная в карточке как BF16-модель, деквантизированная с помощью GPT-QModel. Это разговорная модель для генерации текста с архитектурой семейства Kimi K2; каталог указывает класс DeepseekV3ForCausalLM, 37,9 млрд параметров и контекст до 262 144 токенов. README описывает исходную Kimi K2 Thinking как MoE-модель с 1 трлн общих и 32 млрд активных параметров, обученную для пошаговых рассуждений и работы с инструментами. Модель предназначена для диалогов, сложных многошаговых задач, исследований в интернете, программирования и написания текстов с подключёнными инструментами. В карточке описана способность поддерживать длинные цепочки вызовов инструментов, однако это характеристика исходной модели, а независимое подтверждение для данного BF16-репозитория отсутствует. Указанное в README окно контекста составляет 256 тыс. токенов; метаданные каталога указывают 262 144 токена. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия NonCommercial-ModelCloud разрешает только некоммерческое использование; для коммерческого применения README требует разрешения @qubitium. Метаданные не подтверждают список поддерживаемых естественных языков.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

FreedomAISVR/Magistral-Small-2509-MXFP4-GGUF — квантизированная версия мультимодальной модели Magistral-Small-2509 от Mistral AI, опубликованная в формате GGUF с квантизацией MXFP4. Модель основана на Mistral-Small-3.2-24B-Instruct-2506 и содержит 24 млрд параметров; в README указана архитектура Dense Transformer с классом Mistral3ForConditionalGeneration и контекст до 131 072 токенов. Для обработки изображений используется проектор mmproj с визуальным энкодером Pixtral ViT.

unsloth/MAI-DS-R1-GGUF — GGUF-версия модели MAI-DS-R1, разработанной командой Microsoft AI на базе DeepSeek-R1 и опубликованной Unsloth. Модель дообучалась для устранения информационных пробелов, повышения отзывчивости к ранее блокировавшимся темам и улучшения профиля безопасности при сохранении возможностей рассуждения DeepSeek-R1. Для постобучения использовались 110 тысяч примеров безопасности и отказов из набора Tulu 3 SFT, а также около 350 тысяч внутренних многоязычных примеров по различным темам и случаям выявленных смещений. Модель предназначена для генерации и понимания текста, диалогов, ответов на общеобразовательные вопросы, многошагового решения математических и логических задач, генерации и объяснения кода, а также научных и академических сценариев. Она может использоваться как основа для дальнейшей адаптации в системах обучения математике, помощниках программиста и исследовательских инструментах. Формат GGUF ориентирован на запуск в совместимых локальных инструментах, однако конкретные размер, вариант квантования, длина контекста и поддерживаемые языки в представленных данных не указаны. Сильной стороной модели является сочетание возможностей рассуждения DeepSeek-R1 с постобучением, направленным на более корректное поведение в темах, которые исходная модель могла чрезмерно блокировать. При этом сохраняются ограничения исходной модели: возможны галлюцинации, уязвимость к состязательным запросам, предвзятые или небезопасные ответы, а также недостаточная осведомлённость о новых событиях. Модель не предназначена для медицинских и юридических рекомендаций, критически важных систем или самостоятельной поддержки решений с высокими рисками; необходимы проверка результатов человеком, модерация и мониторинг. Модель распространяется по лицензии MIT.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.

Это версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, преобразованная сообществом mlx-community в формат MLX для запуска с mlx-lm. Модель предназначена для генерации текста и диалогового взаимодействия. Базовая модель NVIDIA ориентирована на рассуждения, программирование и создание агентных приложений; в карточке также заявлена поддержка английского, испанского, французского, немецкого, японского и итальянского языков. В названии указана точность 5 бит. README сообщает о преобразовании исходной BF16-модели в формат MLX с помощью mlx-lm 0.29.1; метаданные указывают библиотеку MLX и формат файлов safetensors. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с лицензией базовой модели и файлами репозитория. Данных о длине контекста в предоставленных источниках нет.

Omega AI 8B — публикация модели Qwen3-8B под брендом Omega AI. Репозиторий сохраняет исходные предварительно обученные веса без дообучения и содержит только изменения брендинга и метаданных. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель подходит для диалоговых приложений, следования инструкциям, рассуждений, работы с кодом и вызова инструментов — эти возможности описаны для базовой Qwen3-8B. Карточка Omega не сообщает о дополнительном обучении или отдельных улучшениях относительно базы. Лицензия репозитория — Apache-2.0.

OpenChat-3.5-0106 — диалоговая языковая модель команды OpenChat, созданная дообучением Mistral-7B-v0.1 на смешанных данных. Она предназначена для общения и генерации текста, включая помощь с программированием, математические рассуждения и общие вопросы. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 8192 токенов; для диалога предусмотрены обычный режим и режим математических рассуждений. В карточке также описана экспериментальная возможность оценивать ответы и давать обратную связь. Модель рассчитана на текстовый ввод и выдачу текста. Карточка рекомендует развёртывание через OpenChat API-сервер с vLLM и указывает, что запуск возможен на потребительском GPU с 24 ГБ памяти. Опубликована под лицензией Apache-2.0. Заявления о превосходстве в карточке основаны на приведённых авторами тестах и зависят от набора задач и условий оценки.

Это производная MLX-версия модели Ornith 1.5 35B-A3B, разработанной ornith-ai и адаптированной пользователем Shiftedx. Модель предназначена для генерации текста и работы с изображениями в сценариях image-text-to-text, включая решение задач программирования, вызов функций и инструментов, структурированный вывод, OCR и визуальный анализ. Модель использует гибридную конфигурацию: 4-битное аффинное квантование экспертного блока, 8-битные attention, routing, embeddings, LM head и поздние проекции, а также 60 рекуррентных тензоров в BF16. В составе сохранены 333 нативных BF16-тензора vision и 785 BF16-тензоров MTP. Рекомендуемая среда запуска — MTPLX 2.9.1, MLX 0.32.1 и MLX-LM 0.31.3; рекомендованная глубина speculative decoding — D3. Поддержка vision требует совместимого MLX-VLM или MTPLX runtime. Языки и размер контекстного окна в README не указаны. По результатам локальной квалификации на M4 Max с 64 ГБ unified memory модель показала успешное выполнение 8 из 8 исполняемых Python-задач, 6 из 6 тестов native function calling и parallel tool planning, 4 из 4 визуальных семантических проверок, а также успешные OCR со строгой схемой и проверки сохранности vision- и MTP-тензоров. Utility pass rate составил 83,3%. Abliteration полностью устранила отказы на тестовом наборе, но может снижать предсказуемость безопасного поведения; README отдельно предупреждает, что она не гарантирует корректность или безопасность вывода. Скорость 112,1 токена в секунду измерена на конкретном M4 Max и не является универсальным показателем. Модель распространяется по лицензии MIT, унаследованной от родительской модели. Следует проверять сгенерированный код и вызовы инструментов перед выполнением; без заданной схемы ответа модель может оборачивать JSON в Markdown.

Ornith 1.5 35B A3B UNCENSORED JANG_4M — это квантованная MLX-версия мультимодальной модели Ornith-1.5-35B-A3B, опубликованная dealignai на базе разработки ornith-ai. Модель предназначена для запуска на устройствах Apple Silicon через vMLX или совместимый MLX-VLM runtime и ориентирована на диалоговые задачи, программирование, рассуждения, работу с изображениями и видео, а также агентные сценарии с вызовом инструментов. Модель имеет архитектуру Mixture-of-Experts с 35,9 млрд параметров, 40 слоями и 256 маршрутизируемыми экспертами. Она использует гибридную основу с gated-delta и полнослойным attention, 27-слойную vision-башню и нативную поддержку видео. Доступен контекст до 262 144 токенов, поддерживаются английский язык, изображения и видео, встроены режим рассуждений и вызов инструментов через XML или function schema. JANG_4M — это 4-битная смешанно-точная квантзация, размер сборки составляет около 20 ГБ. К сильным сторонам относятся сохранённые возможности базовой модели в области знаний, кодирования, рассуждений и компьютерного зрения, длинный контекст, мультимодальность и высокая готовность следовать инструкциям без стандартного поведения отказа. По заявленным результатам, MMLU составляет 78,4%, а соответствие тестам HarmBench — 97,1%; при этом MMLU ниже показателя базовой модели 81,1%. Удаление защитных отказов является существенным ограничением и требует ответственного применения, соблюдения законодательства и мер безопасности. В README указана лицензия Apache-2.0; модель опубликована для исследований AI-безопасности и санкционированного тестирования.

Qwen2-7B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2, разработанная командой Qwen. Это вариант Qwen2-7B-Instruct, представленный в формате GGUF для локального запуска и инференса с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, работу с инструкциями, понимание и создание текста, программирование, математику, рассуждения и многоязычные задачи. Модель содержит 7 миллиардов параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями QKV в механизме внимания и group query attention. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. В репозитории доступны версия fp16 и квантизованные варианты GGUF: q5_0, q5_k_m, q6_k и q8_0. Точная длина контекста и полный список поддерживаемых языков в README не указаны. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся инструкционная настройка, пригодность для локального развёртывания, совместимость с llama.cpp и возможность выбирать между несколькими уровнями квантизации, балансируя качество и требования к ресурсам. Ограничения включают зависимость производительности и качества от выбранного формата GGUF и аппаратной конфигурации, а также отсутствие в предоставленных данных подробных результатов по прикладным задачам и информации о безопасностных ограничениях. Лицензия — Apache-2.0.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

lovedheart/Qwen3.8-Flash-Next-NVFP4-FP8 — квантованная версия мультимодальной модели Qwen3.8-Flash-Next, разработанной Qwen и обработанной с помощью NVIDIA Model Optimizer. Это частный кандидатный релиз для разработчиков, оценивающих запуск Qwen3.8-Flash-Next в агентных системах, чат-ботах, задачах программирования и мультимодального рассуждения. Модель использует гибридную архитектуру Transformer с сочетанием GDN и разреженного QSA-внимания, multi-hyperconnection streams и PLE n-gram injection. Это MoE-модель примерно на 180 млрд параметров с 48 декодерными слоями, 512 маршрутизируемыми экспертами на слой, выбором top-10 экспертов, общим экспертом и одним MTP-слоем. Она принимает текст, изображения и видео, а генерирует текст; заявленная длина контекста — до 262 тысяч токенов. Квантование выполнено по смешанной схеме: маршрутизируемые эксперты используют NVFP4, а отдельные проекции внимания — FP8 E4M3 с блочной схемой 128×128. Сильные стороны модели — мультимодальность, MoE-архитектура, снижение требований к памяти по сравнению с исходной BF16-версией и поддержка длинного контекста. Ограничения включают необходимость патченной версии SGLang: стандартные сборки могут выдавать некорректный текст. Модель проверена на NVIDIA Blackwell, включая RTX PRO 6000 Blackwell, GB300 и B300, и ориентирована на Linux; совместимость с другими платформами не указана. Лицензия обозначена как other, а условия использования следует уточнять по лицензии исходной модели Qwen3.8-Flash-Next.

Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE, дообученная на базе Qwen/Qwen3.5-122B-A10B. В модели 122 млрд параметров, около 10 млрд активных; веса представлены в BF16 и формате safetensors. Она принимает текст и изображения, включая видеокадры, и генерирует текст. Карточка заявляет поддержку диалога, рассуждений, программирования и работы с инструментами. Модель прошла абляцию отказов, несколько этапов SFT и DPO на данных, дистиллированных из Claude Opus и Kimi K2.6; заявленные цели — сохранить рассуждения, улучшить полноту ответов и сократить повторы. Заявления о качестве и результатах бенчмарков приведены автором карточки. Vision tower и MTP head сохранены, поэтому модель совместима по архитектуре с исходной Qwen3.5-122B-A10B. Для загрузки требуются ресурсы для хранения и вычислений, соответствующие весам общим объёмом около 250 ГБ. Лицензия — MIT.

Radiantloom Llama 70B Instruct — большая языковая модель Radiantloom AI на архитектуре Llama с 68,7 млрд параметров. Это дообученная модель для генерации текста и диалогов; в карточке указаны формат safetensors и лицензия Llama 2. Модель предназначена для чата, написания и суммаризации текстов, ответов на вопросы, программирования, ролевых сценариев и работы в RAG-системах. README отмечает генерацию развернутых ответов и поддержку многоходовых диалогов. Длина контекста — 32 764 токена. Для диалогов рекомендуется шаблон ChatML, хотя пример в карточке показывает другой формат. По заявлению разработчика, модель показывает хорошие результаты в письме, коде и рассуждениях, однако оценка пока предварительная и основана на LLM-as-a-Judge. Ответы могут содержать фактические ошибки, предвзятый или оскорбительный контент, включая материалы NSFW; перед применением в пользовательских системах нужна проверка безопасности.

Ternary-Bonsai-2-27B-mlx-2bit — производная версия Qwen/Qwen3.8-27B от Prism ML, предназначенная для локального запуска диалоговой модели и агентов. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Hadamard. Размер модели — 27,36 млрд параметров, включая языковую часть и башню зрения. Репозиторий занимает около 8,60 ГБ; заявлена поддержка контекста до 262 тысяч токенов и обработка изображений. Модель рассчитана на генерацию текста, рассуждения, программирование и вызов инструментов на ноутбуках и GPU, в том числе без передачи данных в облако. README сообщает о сохранении 98,2% среднего результата FP16 на 14 бенчмарках и приводит показатели производительности для отдельных устройств; это заявления разработчика, а фактическая скорость зависит от оборудования и совместимого низкобитного runtime. Для корректной работы нужны специализированные ядра MLX или CUDA, а для версии MLX — совместимая среда MLX. Качество ниже полного FP16, особенно на сложных задачах; башня зрения в поставке не квантизирована. Лицензия — Apache-2.0.

Trinity Mini — открытая по весам разговорная языковая модель от Arcee AI, дообученная на базе arcee-ai/Trinity-Mini-Base. Это MoE-модель семейства AFMoE с 26 млрд параметров и 3 млрд активных параметров; в README указаны 128 экспертов, из которых активны 8 и один общий. Модель предназначена для диалогов и задач рассуждения, включая математику и программирование. Модель обучена на 10 трлн токенов. Длина контекста составляет 128 тыс. токенов. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для запуска заявлена совместимость с Transformers, vLLM, llama.cpp, LM Studio и API. Указанная в README лицензия — OpenMDW-1.1; метаданные классифицируют лицензию как other.

Yuan 2.0-51B-hf — плотная авторегрессионная языковая модель семейства Yuan, разработанная IEIT System. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения, решение математических задач и помощь с кодом. Модель насчитывает 46,2 млрд параметров, использует архитектуру YuanForCausalLM и принимает контекст длиной до 4096 токенов. Разработчики указывают, что Yuan 2.0 основана на Yuan 1.0 и обучалась на расширенных наборах предобучающих и инструкционных данных. В карточке приведены бенчмарки по математике, программированию и достоверности ответов, но результаты конкретно этой версии в предоставленном фрагменте не показаны. Модель может ошибаться и поддаваться вводящим в заблуждение инструкциям. Для весов и репозитория указаны лицензия other и условия Yuan 2.0; README сообщает о возможности коммерческого использования при соблюдении этих условий.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

airoboros-l2-70b-2.2 — экспериментальная языковая модель от Jon Durbin, дообученная на базе Llama 2 70B преимущественно на синтетических данных набора airoboros-2.2. Это плотная авторегрессионная модель примерно с 68,7 млрд параметров, рассчитанная на генерацию текста; нативное контекстное окно составляет 4096 токенов. Карточка описывает формат общения с метками USER и ASSISTANT, а также отдельный формат для ответов по предоставленному контексту. Модель предназначена для ответов на инструкции и вопросы, создания текстов, помощи с кодом и генерации структурированных аргументов функций в JSON или YAML. Она также может строить планы выполнения задач с инструментами, но сама по себе инструменты не вызывает. Обучение ориентировано на пары «инструкция — ответ» больше, чем на свободный чат или ролевые сценарии; карточка отмечает возможность переопределения системных инструкций и отсутствие де-алignment данных в этой версии. Модель доступна в формате PyTorch и распространяется по лицензии Llama 2. README характеризует её как экспериментальную и предупреждает, что ответы по контексту могут быть выдуманными; для снижения риска рекомендуется явно просить не придумывать неизвестное и останавливать генерацию перед продолжением от имени пользователя.

DeepSeek-V4-Flash-0731-W4A16 — это квантизированная версия языковой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Модель предназначена для генерации текста, включая диалоговые ответы, рассуждения, решение математических задач, программирование, работу с инструкциями и задачи на понимание текста. В карточке указаны английский и китайский языки. Архитектура поддерживает 283 млрд параметров; сведения о контекстном окне и мультимодальных возможностях не приведены. Модель использует смешанную точность: routed experts преобразованы из FP4 в INT4 с group_size=32 и вычислениями активаций в BF16, attention, shared experts и indexer сохранены в FP8, а остальные перечисленные компоненты — в BF16. Формат совместим с vLLM и предназначен для запуска на GPU NVIDIA без аппаратной поддержки FP4, включая H20, H100, A100, L40S, L20 и RTX 4090, при наличии подходящей конфигурации. Размер файлов модели составляет около 166 ГБ; для запуска рекомендуется vLLM версии 0.26.0 или новее и не менее двух H20 96 ГБ либо четырёх A100 80 ГБ. Сильная сторона модели — возможность инференса исходной DeepSeek-V4-Flash-0731 на Hopper и Ampere без FP4 tensor core, при сохранении заявленного качества на небольшой проверочной выборке из 50 заданий. К ограничениям относятся неизбежная ошибка INT4-квантизации, высокая потребность в видеопамяти и необходимость использовать специальный модуль кодирования prompt вместо стандартного chat template. Лицензия обозначена как DeepSeek с отдельной ссылкой на её текст; условия коммерческого и иного использования следует уточнять в лицензии.

MaziyarPanahi/dolphin-2.6-mistral-7b-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная слиянием Mistral-7B-Instruct-v0.1 и dolphin-2.6-mistral-7b методом SLERP. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров; она принимает инструкции и диалоговые запросы и генерирует текстовые ответы. Указанное в метаданных окно контекста — 32 768 токенов. Модель ориентирована на общие диалоговые задачи и ответы на инструкции; теги карточки также указывают англоязычные данные и наборы для задач программирования. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. Качество и поведение зависят от формулировки запроса и данных слияния; конкретные результаты на бенчмарках в карточке не приведены.

Eurux-8x22B-KTO — языковая модель семейства Mixtral, разработанная OpenBMB. Это дообученная версия Mixtral-8x22B: сначала выполнено SFT, затем KTO на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации текста, рассуждений, диалогов и следования инструкциям; в карточке заявлены сильные результаты в задачах программирования, математики, знаний и рассуждений. Модель использует архитектуру Mixtral MoE, распространяется в формате safetensors, содержит 22 млрд параметров и поддерживает контекст до 65 536 токенов. Для запуска в README приведён пример использования через Transformers и PyTorch. Лицензия — Apache-2.0. Оценочные результаты приведены для набора бенчмарков по коду, математике, рассуждениям, знаниям, следованию инструкциям и диалогу; они не гарантируют качество на конкретных пользовательских данных. Языки обучения или поддерживаемые языки в предоставленных сведениях не перечислены.

FuseChat-7B-Slerp — диалоговая языковая модель FuseAI, разработанная на основе исследовательской работы команды Sun Yat-sen University по объединению знаний чат-моделей. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров и контекстом до 8192 токенов. Вариант SLERP объединяет модели в пространстве параметров; в README FuseChat описана стратегия «сначала слияние знаний, затем объединение», предназначенная для интеграции сильных сторон нескольких моделей в одну. Модель рассчитана на диалог, ответы на вопросы и выполнение текстовых инструкций на английском языке, включая задачи письма, ролевого общения, рассуждений, математики, программирования, естественных наук и гуманитарных дисциплин. README сообщает среднюю оценку 8,19 на MT-Bench для FuseChat-7B-SLERP. Модель принимает текст и генерирует текст; изображения, аудио и другие модальности не заявлены. В метаданных базовой моделью указана openchat/openchat_3.5, а README описывает семейство FuseChat как результат слияния нескольких чат-моделей. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; модель может ошибаться, а заявленная поддержка языков ограничена английским.

0xSero/Gemma-4-19B — вариант Google Gemma 4 26B-A4B-it, сокращённый разработчиком 0xSero методом REAP (Router-weighted Expert Activation Pruning) при участии Cerebras. Это диалоговая модель MoE для генерации текста: из 128 экспертов в каждом слое удалено 38, осталось 90; на токен по-прежнему активируются 8 экспертов. Модель содержит около 19 млрд параметров, поставляется в BF16 и занимает примерно на 31% меньше места, чем исходная версия. Модель подходит для диалога, генерации кода и математических рассуждений. Она принимает текст и изображения, поддерживает режим рассуждений и контекст до 262 144 токенов. В опубликованной оценке после сокращения экспертов сохранились сильные результаты по элементарной математике и кодированию, но заметно снизились показатели на задачах, требующих широких знаний, включая философию и мировые религии. Указанная лицензия — Gemma; применяются её условия использования.

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit — это квантизированная MLX-модель, созданная сообществом mlx-community с использованием инструментария mlx-optiq на базе Google Gemma-4 E4B IT QAT. Она предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов. Модель поддерживает генерацию текста, а через mlx-optiq — работу с изображениями и текстом, а также ускорение генерации с помощью speculative decoding. В основе лежит quantization-aware-trained модель google/gemma-4-E4B-it-qat-q4_0-unquantized, обученная с учетом последующей низкобитной квантизации. Используется чувствительная к слоям mixed-precision схема: 221 компонент работает в 8-битном формате, 122 — в 4-битном. Достигнутая точность составляет 5,17 бит на вес, размер модели на диске — около 7 ГБ, размер группы — 64. Для vision-компонента используется отдельный bf16-файл. Калибровка проводилась на данных шести типов: обычный текст, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. По заявленным тестам модель показывает Capability Score 68,67, что на 1,19 пункта выше равномерной 4-битной квантизации той же базы; наиболее заметный прирост отмечен в HumanEval и задаче длинного контекста HashHop. Она подходит для текстовых задач, программирования, рассуждений, следования инструкциям, вызова инструментов и мультимодального анализа изображений. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и необходимость mlx-optiq для image-text режима и speculative decoding. Лицензия указана как Apache-2.0, при этом базовая Gemma распространяется по Gemma Terms of Use.

GLM-4.7-Flash-bf16 — диалоговая языковая модель семейства GLM4 MoE Lite, подготовленная сообществом mlx-community в формате MLX из zai-org/GLM-4.7-Flash. Она предназначена для генерации текста в диалоге, включая рассуждения и программирование. Модель содержит 4,1 млрд параметров и поддерживает контекст до 202 752 токенов; карточка указывает поддержку английского и китайского языков. Модель построена на архитектуре Glm4MoeLiteForCausalLM и использует библиотеку MLX. Репозиторий содержит веса Safetensors и доступен по лицензии MIT. В README приведена команда установки mlx-lm для использования модели на MLX-совместимой платформе.