II.4Отладка, тестирование и качество ПО

Dolphin 2.9.2 Mixtral 8x22B GGUF — это квантизированная версия языковой модели Dolphin 2.9.2, созданная сообществом cognitivecomputations на базе mistral-community/Mixtral-8x22B-v0.1. Репозиторий bartowski содержит варианты модели в формате GGUF, подготовленные с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста в диалогах, выполнения инструкций, программирования, математических задач, function calling и агентских сценариев. В обучении использовались наборы данных для чат-взаимодействия, кода, обратной связи по программированию, математики, системных инструкций и работы агентов. Указан английский язык, а формат запросов основан на ChatML с ролями system, user и assistant. Архитектура и максимальный размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M размером примерно от 32,73 до 149,42 ГБ. Более качественными и рекомендуемыми названы Q5_K_M, Q4_K_M и IQ4_XS; варианты с более низкой разрядностью требуют меньше памяти, но могут заметно уступать по качеству. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, однако большие размеры файлов предъявляют высокие требования к оперативной памяти и видеопамяти. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость качества от выбранной квантизации и значительные требования к ресурсам; сведения о специализированных мультимодальных возможностях и поддержке других языков отсутствуют.

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.

EXAONE-3.5-7.8B-Instruct-GGUF — языковая модель для генерации текста и выполнения инструкций. Оригинальная модель разработана LGAI-EXAONE, а данная версия представляет собой GGUF-квантизацию, подготовленную bartowski на основе llama.cpp. Модель рассчитана на работу с английским и корейским языками. Модель имеет размер 7,8 млрд параметров и поддерживает контекст до 32 000 токенов. Она предназначена для диалоговых и прикладных сценариев, требующих следования инструкциям, решения математических задач и генерации или анализа программного кода. Формат GGUF делает её подходящей для локального запуска в совместимых инструментах, включая LM Studio и llama.cpp. К сильным сторонам относятся заявленные высокие результаты среди моделей с сопоставимой длиной контекста, хорошее следование инструкциям, математические и программные способности. Ограничения включают зависимость качества и скорости работы от выбранного уровня квантизации и оборудования, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов. Модель распространяется по лицензии EXAONE; README не содержит подробных условий лицензии, поэтому перед использованием следует ознакомиться с файлом LICENSE.

Gemma 2 9B Instruct — языковая instruction-tuned модель Google из семейства Gemma, распространяемая в формате GGUF для локального запуска. Квантизация выполнена bartowski на основе llama.cpp; исходная модель — google/gemma-2-9b-it. Модель предназначена для диалогов, генерации и анализа текста, работы с кодом, математическими задачами и сценариев общего назначения. Модель содержит около 9 миллиардов параметров и обучалась на 8 триллионах токенов, включая преимущественно англоязычные веб-документы, код и математические материалы. Большой словарный запас способствует работе с многоязычным текстом и программированием, однако README не указывает точный набор поддерживаемых языков и размер контекстного окна. Формат GGUF и относительно небольшой размер делают модель подходящей для систем с ограниченными ресурсами, но качество и скорость зависят от выбранного уровня квантизации и оборудования. Для корректной работы в LM Studio 0.2.27 или новее рекомендуется выбрать шаблон «Google Gemma Instruct». Системные сообщения не поддерживаются. Модель может создавать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face необходимо принять условия этой лицензии.

GLM-4.7-Flash-REAP-23B-A3B — сжатая версия диалоговой модели GLM-4.7-Flash, созданная командой Cerebras методом REAP (Router-weighted Expert Activation Pruning). Это причинная языковая модель со sparse Mixture-of-Experts: в README указаны 23 млрд параметров, из которых активируются около 3 млрд на токен, 48 экспертов и выбор четырёх экспертов на токен. Метаданные указывают архитектуру GLM4 MoE Lite и формат safetensors. Модель предназначена для генерации текста и диалога, включая программирование, агентные сценарии, понимание больших репозиториев и вызов функций. Контекст составляет 202 752 токена. В карточке заявлено, что однократное удаление избыточных экспертов без последующего дообучения сокращает размер примерно на 25% при близкой к исходной производительности. Для развёртывания README рекомендует актуальную версию vLLM с поддержкой GLM-4.7-Flash. Лицензия — MIT. Описанные результаты производительности являются заявлениями карточки модели; независимая проверка и подробности оценочных таблиц в предоставленных данных отсутствуют. Метаданные карточки указывают английский язык.

cyankiwi/Laguna-S-2.1-AWQ-INT4 — квантизированная версия Laguna S 2.1 от poolside, подготовленная cyankiwi в формате AWQ INT4. Это текстовая модель text-to-text для агентного программирования, работы с инструментами и долгих многошаговых задач. Модель поддерживает интерleaved reasoning между вызовами инструментов и рассчитана на использование в vLLM, SGLang, Transformers, TRT-LLM и llama.cpp. Базовая модель содержит 118 млрд параметров, из которых около 8 млрд активируются на каждом токене, и использует Mixture-of-Experts с 256 маршрутизируемыми экспертами и одним общим экспертом. Архитектура включает 48 слоёв, grouped-query attention, 12 слоёв глобального внимания и 36 слоёв sliding-window attention с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, словарь — 100 352 токена. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки; модальность — текстовая. Ключевые преимущества — большое контекстное окно, эффективная MoE-архитектура, поддержка рассуждений и сценариев с инструментами, а также снижение требований к хранению и инференсу благодаря INT4-квантизации; размер файла указан как 76,83 ГБ. Ограничения включают высокие требования к вычислительным ресурсам даже в квантизированном виде и возможные потери качества из-за квантизации по сравнению с исходной точностью. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и изменение для коммерческих и некоммерческих целей.

li-14b-v0.4 — языковая модель на 14 млрд параметров от wanlige, объединённая с помощью mergekit методом Model Stock. В качестве основы использована Qwen/Qwen2.5-14B-Instruct; в слияние также вошли Qwen2.5-Coder-14B, DeepSeek-R1-Distill-Qwen-14B и другие модели семейства Qwen. Модель имеет плотную архитектуру Qwen2 и доступна в формате safetensors. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, выполнение инструкций, рассуждения и задачи, связанные с кодом. Поддерживает контекст до 32 768 токенов; в карточке указаны китайский, английский, французский и немецкий языки. Для инференса используется библиотека Transformers. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая оценку IFEval 81,33 и MATH Level 5 55,74; они характеризуют тестирование автора и не гарантируют качество на пользовательских задачах. Модель объединяет несколько чекпойнтов, поэтому её поведение и качество могут различаться между типами задач; независимые подробные оценки в карточке не представлены.

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

Это квантованная в NVFP4 сборка NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная в формате GGUF для запуска через llama.cpp. Модель разработана NVIDIA и имеет гибридную архитектуру MoE с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. В репозитории также есть черновая модель DFlash для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, рассуждений, ответов на вопросы и задач программирования. В README заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Для коммерческого использования указана лицензия OpenMDW-1.1. Квантованная сборка может отличаться по качеству от исходной BF16-версии; показатели README приведены лишь для отдельных бенчмарков.

Nemotron 3 Nano 30B-A3B GGUF — квантованный вариант NVIDIA Nemotron 3 Nano 30B-A3B, подготовленный BatiAI для локального запуска на компьютерах Mac. Это гибридная языковая модель NemotronH с архитектурой Mamba и attention и смесью экспертов: в README указаны 30 млрд параметров, 128 экспертов и 8 активных на токен. Для выполнения используется llama.cpp; доступны варианты IQ3_XXS, IQ4_XS и Q5_K_M с разными требованиями к памяти. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев, включая работу с инструментами и структурированными ответами. README описывает её как рассчитанную на длинный контекст с линейным масштабированием гибридной архитектуры и приводит тесты на Mac с Apple Silicon. В метаданных указана поддержка английского, корейского, японского и китайского языков; сведения базовой модели каталога также упоминают шесть языков. Репозиторий содержит квантованные GGUF-веса, хотя метаданные форматов обозначают их как «GGUF BF16». Лицензия — NVIDIA Open Model License, названная в README коммерчески ориентированной; перед использованием следует проверить её условия для конкретного применения. Производительность и качество зависят от выбранной квантизации и доступной памяти.

Olmo-3.1-32B-Instruct-DPO — авторегрессионная трансформерная языковая модель Allen Institute for AI (Ai2), дообученная методом DPO на основе allenai/Olmo-3.1-32B-Instruct-SFT. Модель содержит 31,7 млрд параметров, работает с текстом и предназначена для диалогов и выполнения инструкций. Разработчики отмечают задачи математики, программирования, общих знаний и чата; контекстная длина составляет 65 536 токенов. Модель обучалась на английском языке и распространяется в формате Safetensors для использования с Transformers. Ai2 публикует семейство Olmo для исследований языковых моделей; лицензия Apache 2.0. В README приведены результаты оценивания, но они не гарантируют точность ответов в конкретных сценариях.

OpenHermes 2.5 Mistral 7B — языковая модель Teknium, дообученная на базе Mistral-7B-v0.1 для диалогов и следования инструкциям. Она содержит около 7,1 млрд параметров, использует плотную архитектуру Mistral и формат диалога ChatML; заявленная длина контекста — 32 768 токенов. Модель обучалась на наборе примерно из миллиона примеров, преимущественно сгенерированных GPT-4, включая дополнительные данные по программированию. Модель предназначена для многошагового общения, ответов на вопросы, выполнения инструкций и помощи с программированием. В карточке приводится результат HumanEval 50,7% при Pass@1, а также сообщается об улучшении ряда общих бенчмарков по сравнению с предыдущей версией; это результаты авторов, не гарантия качества в конкретных сценариях. Указанный в метаданных язык — английский. Модель принимает текстовые запросы и генерирует текст. Веса доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0. Как и другие генеративные языковые модели, она может выдавать неверные сведения или код с ошибками; результаты следует проверять.

Phi-2 Orange Version 2 — разговорная языковая модель на базе Phi-2, созданная Rhys Jones. Это двухэтапное дообучение с обновлённым процессом на тех же наборах данных, что использовались для первой версии. Модель имеет плотную архитектуру PhiForCausalLM, около 3,5 млрд параметров и контекст до 2048 токенов. Модель предназначена для генерации текста в диалоговом формате ChatML: она может отвечать на вопросы, следовать системным инструкциям, помогать с рассуждениями и писать код. В README приведены результаты нескольких бенчмарков, но они не гарантируют качество на конкретных задачах. Модель использует формат safetensors и поддерживается Transformers без необходимости включать trust_remote_code. Модель выпущена под лицензией MIT. Она наследует ограничения Phi-2; подробности приведены в карточке базовой модели.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

unsloth/phi-4-bnb-4bit — это 4-битная версия модели Phi-4, разработанной Microsoft Research и преобразованной Unsloth в архитектуру, совместимую с Llama, для более удобного использования и дообучения. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и работы с программным кодом. Она принимает текстовые входы, предпочтительно в формате чата, и генерирует текстовые ответы. Исходная Phi-4 представляет собой плотную decoder-only Transformer-модель с 14 млрд параметров и контекстным окном до 16 000 токенов. В карточке указано, что модель ориентирована на английский язык. Для обучения использовались синтетические данные, отфильтрованные общедоступные веб-источники, академические книги и наборы вопросов и ответов; модель прошла supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактность относительно более крупных моделей, акцент на качестве данных и рассуждениях, а также сниженные требования к памяти благодаря 4-битному представлению. Ограничения включают текстовую модальность, англоязычную специализацию, статичность модели и отсечение публичных данных на июнь 2024 года; актуальные сведения она самостоятельно не получает. Лицензия — MIT.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

Qwen3.6-35B-A3B-NVFP4-MTP-GGUF — производная сборка модели Qwen3.6-35B-A3B, подготовленная Nilay Parikh для запуска через llama.cpp на NVIDIA DGX Spark. Это мультимодальная модель с архитектурой MoE: всего 35 млрд параметров, из которых около 3,5 млрд активны на токен. Основные веса квантизованы в NVFP4, голова MTP сохранена в BF16 для спекулятивного декодирования, а мультимодальный проектор для изображений поставляется отдельным файлом BF16 GGUF. Модель предназначена для генерации кода и текста, анализа длинных репозиториев и документов, а также рассуждений по скриншотам интерфейсов и диаграммам. В README заявлен контекст до 256 тысяч токенов с масштабированием YaRN от базовых 128 тысяч; для обработки изображений требуется подключить отдельный mmproj. Карточка ориентирована на английский язык. Лицензия — Apache-2.0. В README указана скорость около 30 токенов/с при коротком контексте и настроенной спекулятивной генерации на DGX Spark; эти показатели зависят от оборудования и конфигурации.

Solstice-AI Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-mlx-oQ8e-1M — это релиз модели для Apple Silicon в формате MLX, созданный Solstice-AI на базе дообученной модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. Архитектурная основа принадлежит Qwen/Alibaba, дообучение выполнил DavidAU, а смешанную oQ8e-квантизацию подготовила Solstice-AI. В карточке указаны английский и китайский языки, лицензия Apache 2.0 и контекстное окно до 1 048 576 токенов. Модель предназначена для запуска на компьютерах Apple с unified memory и ориентирована на рассуждения, программирование, научные и многодисциплинарные задачи. Заявлены переменная глубина рассуждений через 10-уровневую систему управления thinking, нативная аппаратная Multi-Token Prediction и скорость 58–74 токена в секунду на потребительских и профессиональных чипах Apple Silicon. Формат oQ8e использует смешанную точность и повышенную разрядность для чувствительных компонентов, включая проекции внимания, матрицы MLP и нормализационные тензоры. К сильным сторонам относятся большой контекст, оптимизация под Metal и Apple Silicon, поддержка аппаратного MTP, гибкое управление глубиной рассуждений и ориентация на кодирование и reasoning. Ограничениями являются требование не менее 64 ГБ unified memory для конфигурации oQ8e, зависимость от MLX/mlx-lm и отсутствие в README подробностей о фактической мультимодальности, несмотря на заявленный pipeline image-text-to-text. Модель обозначена как uncensored и abliterated, поэтому её поведение в части отказов от потенциально вредных запросов может отличаться от стандартных версий.

Qwen3-Next-80B-A3B-Thinking-FP8 — языковая модель семейства Qwen3-Next, разработанная командой Qwen. Это FP8-квантованный checkpoint модели Qwen3-Next-80B-A3B-Thinking для генерации текста, сложных рассуждений, программирования, агентских сценариев и задач с длинным контекстом. Модель поддерживает только режим thinking и ориентирована прежде всего на высокосложные задачи рассуждения. Модель имеет архитектуру causal language model с гибридным вниманием, сочетающим Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Общее число параметров составляет 80 млрд, из них 3 млрд активируются при обработке токена; модель содержит 48 слоёв и 512 экспертов, из которых активируются 10, плюс один общий эксперт. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Используется fine-grained FP8-квантизация с размером блока 128. Модель обучалась на 15 трлн токенов и дополнительно проходила post-training. Сильные стороны модели — высокая параметрическая эффективность, сниженные вычислительные затраты на токен, потенциально высокая скорость инференса на длинных контекстах и хорошие результаты в задачах знаний, математики, программирования, следования инструкциям и использования инструментов. Ограничение заключается в поддержке только thinking-режима; модель может генерировать очень длинные рассуждения, поэтому она особенно предназначена для сложных задач, а не для минимально задерживаемых ответов. Приведённые в README результаты получены для исходной модели в формате bfloat16 до FP8-квантизации. Лицензия — Apache-2.0.

Qwen3-VL-235B-A22B-Instruct-MXFP4 — вариант весов модели Qwen3-VL от команды Qwen. Это мультимодальная модель с архитектурой MoE, предназначенная для диалога и совместного понимания текста и изображений; карточка также описывает возможности работы с видео и пространственными данными. Модель может анализировать визуальные сцены, отвечать на вопросы, распознавать текст в изображениях и документах, выполнять визуальное рассуждение и взаимодействовать с интерфейсами через инструменты. В README заявлен контекст 256K токенов с возможностью расширения до 1M, а также OCR на 32 языках. Среди описанных возможностей — понимание длительного видео с привязкой событий ко времени, генерация кода и диаграмм по визуальным примерам, пространственное рассуждение и задачи STEM. Репозиторий содержит веса safetensors; метаданные указывают библиотеку Transformers и лицензию Apache-2.0. Размер MXFP4 в имени указывает на квантизованный вариант весов, однако формат MXFP4 отдельно в метаданных форматов не подтверждён.

QwQ-SkyT1-32B-Preview — объединённая языковая модель на 32 млрд параметров, созданная методом линейного слияния Qwen/QwQ-32B-Preview и NovaSky-AI/Sky-T1-32B-Preview с помощью mergekit. Она использует плотную архитектуру Qwen2 и предназначена для диалоговой генерации текста; базовые модели рассчитаны в том числе на математические рассуждения и программирование. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Весовая точность при слиянии — float16. Подходит для диалоговых помощников, решения математических задач и помощи с программированием. Карточка не сообщает отдельной лицензии, поэтому условия использования следует проверять у авторов базовых моделей и в метаданных репозитория. Это предварительная версия, а её практическое качество для конкретных задач требует оценки.

Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Карточка модели jamiefutch/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF на Hugging Face совпадает с карточкой FreedomAISVR/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Spark-X2.5-4B-OptiQ-4bit — это локально запускаемая MLX-квантизированная версия модели XHToken/Spark-X2.5-4B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для диалогов, программирования, вызова инструментов и агентских сценариев, особенно на компьютерах Apple Silicon без PyTorch и облачных сервисов. Она поддерживает текстовую генерацию и заявляет поддержку более 200 языков. Модель использует плотную архитектуру Spark-X2.5 с 4 млрд параметров и нативным контекстом до 1 млн токенов. Квантизация смешанной точности преимущественно 4-битная: чувствительные слои хранятся в 8-битном формате, остальные — в 4-битном; размер весов на диске составляет около 2,8 ГБ. Для KV-кэша предусмотрена отдельная смешанная точность. Архитектура включает полное внимание только в девяти слоях, а остальные используют скользящее окно размером 512 токенов, что снижает рост потребления памяти при длинных запросах. Сильные стороны модели — компактный размер, эффективный локальный запуск, длинный контекст и сохранение качества за счёт чувствительной к слоям квантизации. В приведённых тестах смешанная квантизация превзошла равномерную 4-битную по среднему Capability Score, а также показала улучшения в MMLU, GSM8K, BFCL, HumanEval и HashHop; в IFEval результат немного снизился. Модель требует установки mlx-optiq и импорта optiq перед загрузкой, поскольку стандартный mlx-lm не распознаёт тип spark2_5. Лицензия — Apache 2.0, унаследованная от базовой модели.

Step-3.5-Flash-REAP-121B-A11B — сжатая версия Step-3.5-Flash от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это разреженная причинно-языковая MoE-модель: из исходных 288 экспертов оставлено 173, а на каждом токене активируются 8; в README указано 121 млрд параметров и 11 млрд активных на токен. Каталог Hugging Face указывает 9,8 млрд параметров, поэтому размер модели по источникам расходится. Модель предназначена для диалогов, генерации кода, математических задач, рассуждений и агентных сценариев с вызовом инструментов. Заявлена длина контекста 262 144 токена. В README говорится о близкой к полной модели производительности и снижении потребления памяти примерно на 40%; для запуска автор рекомендует vLLM с поддержкой Step-3.5-Flash. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. README сообщает лицензию Apache 2.0, тогда как метаданные Hugging Face обозначают её как other, поэтому условия лицензии следует сверить с файлами репозитория перед использованием.

Salience-27B-R5-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R5, разработанной vectionlabs и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 28 млрд параметров и поддерживает обработку текста и изображений; для работы с изображениями требуется файл mmproj. Заявлена поддержка speculative decoding через MTP. Модель предназначена для задач рассуждения, эффективного пошагового анализа, программирования и software engineering, а также для агентских сценариев с использованием терминала и инструментов. В карточке указана поддержка английского языка и большой длины контекста, однако точный размер контекстного окна и подробности архитектуры не приведены. Основное преимущество — широкий выбор вариантов квантизации с разным балансом между качеством, размером и требованиями к памяти. Рекомендуемым универсальным вариантом назван Q4_K_M размером около 17,77 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. Более сильная квантизация экономит память, но может снижать качество ответов; точные результаты тестирования и измерения perplexity или KLD не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели bh890/ARX на Hugging Face совпадает с карточкой bh890/LongCat-2.0, поэтому описание составлено по ней. LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

DeepSeek-R1-0528-Qwen3-8B — плотная языковая модель семейства Qwen3, разработанная DeepSeek. Это версия Qwen3 8B, дообученная на цепочках рассуждений DeepSeek-R1-0528; число параметров составляет 7,6 млрд. Модель предназначена для диалогов и генерации текста с акцентом на многошаговые рассуждения, математику, программирование и логические задачи. В метаданных указаны интерфейс для вызова инструментов и контекст до 131 072 токенов. По описанию разработчика, модель улучшает результаты Qwen3 8B на AIME 2024 и сопоставима с Qwen3-235B-thinking в этой оценке. README также отмечает пригодность для академических исследований рассуждающих моделей и разработки компактных моделей. Модель принимает и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Лицензия — MIT, допускающая широкое использование в соответствии с её условиями.