II.4Отладка, тестирование и качество ПО

gpt-oss-120b — открытая по весам языковая модель OpenAI для генерации текста, задач, требующих сложного рассуждения, и агентских сценариев. Она ориентирована на универсальное применение в продуктивных системах и разработке, включая вызов функций, веб-браузинг, выполнение Python-кода и Structured Outputs. Модель доступна через Transformers, vLLM, PyTorch/Triton, Ollama и LM Studio. Модель использует архитектуру Mixture-of-Experts: содержит 117 млрд параметров, из которых 5,1 млрд активируются при обработке запроса. Она оптимизирована с помощью MXFP4-квантизации весов MoE и рассчитана на запуск на одной GPU с 80 ГБ памяти, например NVIDIA H100 или AMD MI300X. Доступен настраиваемый уровень рассуждения — низкий, средний или высокий; заявлена возможность fine-tuning. Модель обучена с использованием формата ответов harmony и, согласно README, корректно работает только при его применении. К сильным сторонам относятся высокая вычислительная мощность для рассуждений, поддержка агентских инструментов, открытая настройка и возможность коммерческого использования. Ограничение — значительные требования к аппаратным ресурсам и обязательное соблюдение формата harmony. README не указывает поддерживаемые языки, длину контекста и результаты конкретных оценок. Распространение осуществляется по лицензии Apache 2.0.

Hermes 4 14B FP8 — языковая модель, разработанная Nous Research на базе Qwen3-14B и представленная в формате FP8. Она предназначена для диалоговых ассистентов, решения задач рассуждения, математики, программирования, STEM и логики, творческого письма, ролевого взаимодействия, а также для сценариев с function calling, использованием инструментов, JSON и структурированными ответами. В карточке указана поддержка английского языка. Модель использует гибридный режим рассуждения: при необходимости она может формировать сегменты <think>…</think>, а также работать в более быстром режиме без явного рассуждения. Hermes 4 обучалась на расширенном посттренировочном корпусе примерно из 5 миллионов образцов и 60 миллиардов токенов. Среди заявленных характеристик — улучшенное следование схемам и способность исправлять некорректные JSON-объекты, высокая управляемость, снижение необоснованных отказов и поддержка формата ChatML. Архитектурные подробности и размер контекстного окна в README не указаны. Сильные стороны модели — универсальность, качество рассуждений, работа с кодом и структурированными форматами, а также поддержка вызовов функций и инструментов. Ограничения включают отсутствие в предоставленных данных подробных сравнительных результатов, сведений о мультимодальности и подтверждённой поддержке языков, кроме английского. Модель распространяется по лицензии Apache-2.0.

Hunyuan-4B-Instruct — языковая модель Tencent на архитектуре HunYuan Dense V1 с 3,9 млрд параметров, дообученная для выполнения инструкций и диалогов на основе tencent/Hunyuan-4B-Pretrain. Она предназначена для генерации ответов, решения математических и научных задач, программирования, рассуждений и сценариев с использованием инструментов. Модель поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; для инференса использует Transformers, также в карточке описано развертывание через TensorRT-LLM, vLLM и SGLang. Среди заявленных сильных сторон — работа с длинными текстами и агентными задачами, а также эффективный инференс благодаря Grouped Query Attention. В README приведены результаты бенчмарков для задач математики, науки, программирования, рассуждений, следования инструкциям, работы с агентами и длинным контекстом; таблица отдельно предупреждает, что часть результатов получена для базовых моделей семейства. Данных о лицензии в предоставленной карточке нет.

NVIDIA Kimi-K2.6-NVFP4 — квантизированная версия авторегрессионной языковой модели Kimi-K2.6 от Moonshot AI. NVIDIA подготовила эту сборку с помощью Model Optimizer; сама модель не принадлежит NVIDIA и не была ею разработана. Она предназначена для разработчиков и провайдеров инференса, которым нужны готовые к развертыванию предварительно квантизированные генеративные модели для инференса на GPU NVIDIA. Модель использует оптимизированную архитектуру Transformer с сетевой архитектурой DeepSeek V3. Общий размер составляет около 1 трлн параметров, из которых активируется 32 млрд. Поддерживаются текст, изображения и видео на входе, а результатом является текст, включая естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты в зависимости от конфигурации сервинга. Заявлена длина контекста 256 тысяч токенов. В README языки явно не указаны. Сильные стороны модели — мультимодальность, большой контекст, поддержка задач рассуждения, программирования и агентного использования инструментов, а также готовая FP4-квантизация для ускоренного инференса. Сборка ориентирована на NVIDIA Blackwell, Linux и runtime vLLM; для эффективной работы требуются GPU-ускоренные системы NVIDIA. Данные о полном обучающем наборе, тестировании и некоторых характеристиках модели не раскрыты, поэтому перед промышленным применением необходимы дополнительные проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License. README также содержит ссылку на Modified MIT License базовой модели Kimi-K2.6; применимые условия следует проверять по обеим лицензиям и связанным материалам.

unsloth/meta-Llama-3.1-8B-unsloth-bnb-4bit — 4-битная версия модели Meta Llama 3.1 8B Instruct, подготовленная Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer, дообученная с применением supervised fine-tuning и reinforcement learning from human feedback для более полезного и безопасного поведения. Модель предназначена для многоязычного диалога, генерации текста и кода, а также локального запуска и последующей тонкой настройки, включая обучение reasoning-моделей. Она работает только с текстом на входе и выдаёт текст или код на выходе, поддерживает контекст до 128 тысяч токенов и использует Grouped-Query Attention. Заявленный объём модели — 8 миллиардов параметров; данные обучения — новый набор общедоступных онлайн-данных, срез знаний — декабрь 2023 года. Ключевое преимущество этой редакции — 4-битное квантование, снижающее требования к памяти и делающее модель более подходящей для эффективного локального использования и дообучения. Ограничения включают текстовую модальность, устаревание знаний после декабря 2023 года и потенциальные потери качества, связанные с квантованием. В README указана лицензия llama3.1; разработчик базовой модели — Meta, формат и оптимизацию предоставляет Unsloth.

Neuron-46x4B-Instruct — инструкция бойынша жауап беруге бапталған, Neura Tech AI әзірлеген сирек сарапшылар қоспасы (MoE) бар тілдік модель. Ол мәтін генерациясы мен диалогқа арналған. README 46 сарапшы, токенге шаққанда шамамен 8 млрд белсенді параметр және жалпы шамамен 125 млрд параметр барын мәлімдейді; метадеректерде модель көлемі 3,7 млрд параметр деп көрсетілген. Архитектурасы Qwen3 MoE, файлдары Safetensors форматында, ал контекст терезесі 262 144 токенге дейін. Модель код жазу мен түсіндіру, математикалық және көп қадамды пайымдау, көптілді әңгімелесу, аудару, құжаттарды талдау және құралдарды қолданатын агенттерге негіз болу сценарийлеріне арналған. Карточкада ағылшын, қытай, хинди, араб, жапон, корей, еуропалық тілдер, орыс және басқа тілдер аталған. Деректерде Neura-Tech-AI/Neuron-4B-Instruct және Qwen3-4B-Instruct-2507, Qwen3-4B-Thinking-2507 базалық модельдерімен merge байланысы көрсетілген; лицензиясы — Apache-2.0. Модель қате, толық емес немесе ойдан шығарылған жауап беруі мүмкін. Нәтижелерді, әсіресе қауіпсіздікке, құқыққа, қаржыға немесе медицинаға қатысты қолданар алдында тексеру керек; өнімділігі инференс ортасына, жабдыққа, квантизацияға және сұрау пішіміне тәуелді.

Это GGUF-модель NVIDIA Nemotron-3-Nano-30B-A3B в формате BF16, подготовленная автором репозитория с помощью llama.cpp. Исходная модель NVIDIA обучена с нуля как универсальная языковая модель для рассуждений и обычного диалога; этот вариант использует гибридную архитектуру MoE с 23 слоями Mamba-2 и MoE и 6 слоями внимания. Всего модель содержит 30 млрд параметров, из которых на каждом токене активны около 3,5 млрд; в каждом MoE-слое есть 128 экспертов и один общий эксперт, активируются шесть экспертов. Модель предназначена для ответов на вопросы, следования инструкциям, программирования, многоязычного диалога, а также создания чат-ботов, RAG-систем и агентных приложений. Режим рассуждений можно включать и отключать через шаблон чата; карточка указывает контекст до 1 млн токенов, при этом конфигурация по умолчанию рассчитана на 256 тыс. токенов. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Вариант использует BF16, поэтому это не низкобитная квантизация, хотя веса представлены в GGUF и подготовлены для llama.cpp. Для запуска также перечислены Transformers, vLLM, TRT-LLM и SGLang; максимальный контекст и требования к памяти зависят от конфигурации. Модель заявлена как пригодная для коммерческого использования; метаданные репозитория указывают лицензию «other», поэтому перед применением следует проверить условия лицензии исходной модели NVIDIA.

Qwen3-4B-Thinking-2507-FP8 — компактная каузальная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-4B-Thinking-2507 с 4,0 млрд параметров, из которых 3,6 млрд приходятся на непараметрическую часть без эмбеддингов. Модель предназначена для генерации текста и работает исключительно в режиме рассуждений с увеличенной длиной цепочки размышлений. Модель ориентирована на сложные задачи, включая логическое рассуждение, математику, естественные науки, программирование, академические вопросы, следование инструкциям, использование инструментов и агентские сценарии. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Архитектура включает 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Доступен формат FP8, рассчитанный на более эффективное размещение и выполнение модели. Сильными сторонами являются улучшенные рассуждения, обработка длинного контекста, генерация текста, кодирование и выполнение инструкций. Ограничения включают работу только в режиме рассуждений, потенциально высокие требования к памяти и вычислительным ресурсам при использовании максимального контекста, а также необходимость корректно обрабатывать специальную разметку размышлений в выходе. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-35B-A3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen. Репозиторий подготовлен ugreen-ai с использованием материалов и методов Unsloth. Модель предназначена для локального запуска и совместима с инструментами экосистемы GGUF; исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder и поддерживает работу с текстом и изображениями. Архитектура сочетает Gated Delta Networks и разреженный Mixture-of-Experts. Всего модель содержит 35 млрд параметров, из которых активируется около 3 млрд; указаны 40 слоёв, hidden dimension 2048 и словарь размером 248 320 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентские сценарии, вызов инструментов и задачи с длинным контекстом, однако точный максимальный размер контекста для этой версии в README не указан. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разреженной MoE-архитектуры, улучшенные возможности coding и tool calling, а также обновлённые данные и алгоритм квантования Unsloth Dynamic 2.0. GGUF-квантизация упрощает локальный запуск и снижает требования к ресурсам, но конкретные характеристики зависят от выбранного варианта квантизации и могут сопровождаться потерей точности по сравнению с исходными весами. Для управления режимом рассуждений предусмотрена настройка enable_thinking. Модель распространяется по лицензии Apache-2.0.

WizardLM-2 8x22B — большая языковая модель семейства Mixtral, разработанная командой WizardLM в Microsoft AI. Это диалоговая модель с архитектурой Mixture of Experts (MoE), дообученная на базе mistral-community/Mixtral-8x22B-v0.1 с использованием синтетической обучающей системы. README указывает 141 млрд параметров; метаданные Hugging Face — 22B параметров. Указанный в метаданных контекст составляет 65 536 токенов. Модель предназначена для сложных диалогов, многоязычных запросов, рассуждений, написания текстов и кода, математических задач и сценариев с агентами. Для общения в README приведён шаблон системного промпта. Заявления о качестве основаны на оценках авторов, включая MT-Bench и сравнения предпочтений людей; они не гарантируют аналогичных результатов во всех задачах. Модель принимает текст и генерирует текст. README описывает поддержку нескольких языков, но не перечисляет их по отдельности. Лицензия — Apache 2.0.

Yi-1.5-34B-Chat — диалоговая языковая модель от 01.AI, основанная на архитектуре Llama и содержащая 33,9 млрд параметров. Это чат-версия Yi-1.5: семейство непрерывно предобучали на высококачественном корпусе объёмом 500 млрд токенов, затем дообучили на 3 млн разнообразных примеров. Модель предназначена для диалога и следования инструкциям. Она подходит для генерации ответов, помощи с программированием и математикой, рассуждений, понимания языка и чтения текстов. Разработчики отмечают улучшения в коде, математике, рассуждениях и выполнении инструкций по сравнению с Yi. Для этой версии в метаданных указан контекст 4096 токенов; доступны веса в формате safetensors. Модель принимает и выдаёт текст. Карточка не приводит конкретного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Blossom-V7.1-27B — открытая мультимодальная модель общего назначения от разработчиков семейства Blossom. Это плотная модель архитектуры Qwen3.5 с 27 млрд параметров, дообученная для работы в роли ассистента. Она принимает текст и изображения и генерирует текст; поддерживает диалог, рассуждения, вызов инструментов и агентные сценарии. В README указаны режимы рассуждения medium и max, контекст до 262 144 токенов и рекомендуемый контекст 131 072 токена. Модель предназначена для повседневных вопросов и ответов, знаний общего характера, математики, программирования, веб-разработки, визуализации данных и анализа изображений. Доступны запуски через Transformers, vLLM и llama.cpp; для мультимодального общения и сохранения вызовов инструментов требуется использовать встроенный шаблон чата и сохранять полные сообщения ассистента в истории диалога. Модель распространяется под лицензией Apache-2.0. Для запуска версии 27B требуется достаточно памяти, чтобы разместить веса на GPU; фактическая скорость и доступная длина контекста зависят от оборудования. В README также отмечено, что качество последующих ходов диалога может снизиться, если при повторной передаче истории опускать поля рассуждений или вызовы инструментов.

duyntnet/cogito-v1-preview-qwen-14B-imatrix-GGUF — набор imatrix-квантизаций языковой модели Cogito v1-preview Qwen 14B, первоначально разработанной deepcogito. Это instruction-tuned генеративная модель формата «текст на входе — текст на выходе», предназначенная для диалогов, генерации текста, программирования, задач STEM, следования инструкциям, общего ассистирования и вызова инструментов. Репозиторий предоставляет варианты в формате GGUF для локального запуска через llama.cpp и совместимые приложения, включая KoboldCPP, text-generation-webui, Ollama, Jan и LM Studio. Модель использует гибридный подход к рассуждениям: может отвечать напрямую в стандартном режиме или выполнять дополнительную саморефлексию в режиме extended thinking. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. Модель обучалась более чем на 30 языках и поддерживает контекст до 128k токенов; заявлены улучшенные многоязычные возможности, качество программирования и tool calling по сравнению с моделями сопоставимого размера. Архитектура описана как Qwen 14B, однако точные параметры GGUF-квантизаций в README не приведены. К сильным сторонам относятся сочетание стандартного и рассуждающего режимов, широкий контекст, поддержка многоязычных сценариев, программирования и инструментов, а также возможность локального инференса. Ограничения включают preview-статус исходной модели, зависимость характеристик от конкретного варианта квантизации и отсутствие в README точных данных о размерах файлов, требованиях к оборудованию и результатах бенчмарков. Указана лицензия other; при этом исходное описание сообщает, что модели Cogito выпущены по открытой лицензии с разрешением коммерческого использования, но точные условия лицензии для данного репозитория не раскрыты.

cyberneurova-Qwen3.8-27B — диалоговая модель CyberNeurova, дообученная на Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с поддержкой текста и изображений; автор заявляет контекст до 262 тыс. токенов, многоязычность, рассуждения и интерфейс вызова инструментов. Модель рассчитана на диалоги, ответы на вопросы, анализ изображений и программирование, а стиль ответов можно задавать системным промптом. По заявлению автора, модель сохраняет общие знания и навыки рассуждения и набрала 11 из 12 в небольшом исполняемом тесте на программирование. Она публикуется в BF16 и формате safetensors, работает с Transformers и vLLM. Лицензия — Apache-2.0. Автор отмечает, что встроенные отказы ослаблены; качество и безопасность ответов зависят от конкретного применения и заданного промпта.

Это версия DeepSeek-R1-Distill-Llama-70B, преобразованная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Llama-70B в формат MLX с помощью mlx-lm 0.20.2. Модель построена на плотной архитектуре Llama и содержит 69,5 млрд параметров. Она предназначена для диалогов и генерации текста, включая математические рассуждения, программирование и ответы на сложные вопросы. Контекстное окно составляет 131 072 токена; метаданные также отмечают интерфейс вызова инструментов. Версия ориентирована на запуск с mlx-lm. В карточке указана конверсия в MLX, но лицензия не приведена в доступных данных. Качество ответов и совместимость зависят от среды запуска и конкретного сценария.

AtomicChat/gemma-4-31B-it-assistant-GGUF — квантизированная в формат GGUF версия модели google/gemma-4-31B-it-assistant, подготовленная Atomic Chat на основе оригинальных весов Google. Модель предназначена для локальной и полностью офлайн-генерации текста, работы в чат-сценариях, решения задач рассуждения, программирования, анализа документов и других задач, поддерживаемых базовой моделью. Для запуска доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; рекомендуется Q4_K_M как компромисс между размером, скоростью и качеством. Модель содержит 30,7 млрд параметров и 60 слоёв. Это плотный decoder-only трансформер с гибридным вниманием: sliding-window с окном 1024 токена и глобальным вниманием; используется 32 attention heads и 16 KV heads. Заявленная длина контекста — до 256 тысяч токенов, словарь содержит 262 тысячи токенов. Базовая модель поддерживает текст и изображения, однако представленный репозиторий содержит только текстовые GGUF-кванты без vision projector. Семейство Gemma 4 ориентировано на развитое рассуждение и поддерживает настраиваемые режимы размышления. Сильными сторонами являются большой контекст, высокая заявленная производительность базовой модели в задачах общего тестирования, математики, программирования и мультимодального анализа, а также возможность эффективного локального запуска благодаря квантизации и калибровке importance matrix. Ограничения связаны с потерями качества по сравнению с полной точностью, зависимостью требований к памяти от выбранного варианта квантизации и отсутствием обработки изображений в файлах этого репозитория. Приведённые результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям этих квантизированных файлов. Для корректного применения чат-шаблона Gemma 4 при запуске в llama.cpp требуется параметр --jinja. Модель распространяется по лицензии Apache 2.0.

Карточка модели OsGo/gemma-4-E2B-it-qat-q4_0-unquantized на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

Карточка модели ckcegg/gemma-4-E2B-it-qat-q4_0-unquantized-assistant на Hugging Face совпадает с карточкой google/gemma-4-E2B-it-qat-q4_0-unquantized, поэтому описание составлено по ней. google/gemma-4-E2B-it-qat-q4_0-unquantized — мультимодальная инструктивная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E2B IT и подготовленная с использованием Quantization-Aware Training. Репозиторий содержит извлечённые из QAT-процесса веса половинной точности в формате safetensors, предназначенные для собственной компиляции и исследовательских экспериментов; это не готовый к запуску сжатый GGUF-чекпойнт. Модель принимает текст и изображения, а вариант E2B также поддерживает аудио; генерирует текст. Она предназначена для диалогов, рассуждений, программирования, понимания изображений и документов, распознавания речи и многоязычной работы. Для семейства Gemma 4 заявлены контекст до 128 тысяч токенов для малых моделей, включая E2B, гибридное локальное и глобальное внимание, вызов инструментов и поддержка более 140 языков при предобучении. К сильным сторонам относятся компактный размер семейства E2B, мультимодальный ввод и QAT-обучение, направленное на сохранение качества bf16 при снижении требований к памяти в соответствующих QAT-вариантах. Данный репозиторий содержит unquantized QAT-веса, поэтому описанное преимущество снижения памяти нельзя автоматически считать характеристикой этих файлов. Лицензия — Apache 2.0.

coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic — производная диалоговая мультимодальная модель на основе Google Gemma 4 E4B-it, опубликованная пользователем coder3101. Это плотная модель семейства Gemma 4 для обработки текста и изображений; карточка также описывает для семейства поддержку видео и аудио в вариантах E4B, хотя возможности именно этой сборки отдельно не подтверждены. Архитектура Gemma4ForConditionalGeneration использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Для E4B в карточке семейства указан контекст до 128 тысяч токенов. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, OCR, а также агентных сценариев с вызовом инструментов. Карточка семейства заявляет поддержку более 35 языков, но не перечисляет языки именно этой сборки. Метаданные указывают на дообучение от Google Gemma 4 E4B-it QAT и формат safetensors; название и теги описывают сборку как uncensored/abliterated. Лицензия — Apache-2.0. Ответы могут содержать фактические ошибки, а качество зависит от формулировки запроса, сложности задачи и охвата обучающих данных; возможны трудности с языковыми нюансами и предвзятостью. Возможности аудио и видео приведены для семейства в целом и не подтверждены отдельно для данного репозитория.

unsloth/gpt-oss-120b — открытая модель с весами, основанная на openai/gpt-oss-120b и разработанная OpenAI; карточка опубликована в формате, совместимом с Transformers. Модель предназначена для универсальной генерации текста, сложных рассуждений, агентских сценариев и задач разработчиков, включая вызов функций, веб-навигацию, выполнение Python-кода и Structured Outputs. Модель содержит около 117 млрд параметров, из которых при обработке активны примерно 5,1 млрд, и использует архитектуру Mixture of Experts с нативной MXFP4-квантизацией для MoE-слоёв. Она рассчитана на запуск в пределах одной GPU H100. Доступны настраиваемые уровни рассуждений — low, medium и high, что позволяет выбирать компромисс между качеством и задержкой. Модель обучена с использованием формата ответов harmony и должна применяться именно в этом формате. В README не указаны поддерживаемые языки и размер контекстного окна. Сильными сторонами являются открытые веса, высокая эффективность активных параметров, возможность тонкой настройки и поддержка инструментального и агентского использования. Полная цепочка рассуждений доступна для отладки и анализа, но не предназначена для показа конечным пользователям. Ограничения включают требование формата harmony и существенные аппаратные ресурсы для запуска полной модели; конкретные показатели качества и дополнительные ограничения в карточке не приведены. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование, модификацию и распространение.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6 от Xiaomi, обученная с помощью масштабного обучения с подкреплением и последующей дистилляции на основе траекторий учителей и самой модели. Это разреженная MoE-модель с 1,02 трлн параметров, из которых активируются 42 млрд; в метаданных репозитория указано 27,7 млрд параметров. Модель принимает текст, изображения, видео и аудио, а контекстное окно составляет до 1 млн токенов. Модель предназначена для генерации текста в диалоге, агентных сценариев с вызовом инструментов, программирования и анализа мультимодальных данных. В обучении смешивались задачи кодирования, работы агентов, визуальные задачи и кибербезопасность; групповая оценка траекторий направляет модель к более качественным решениям. Архитектура включает MiMo ViT для изображений, аудиокодировщик и пятислойный спекулятивный декодер. Карточка приводит результаты на отдельных бенчмарках, но не гарантирует качество для конкретных задач. Для работы с длинным контекстом и мультимодальными входами требуются ресурсы для крупной модели; опубликованный репозиторий содержит веса в формате safetensors FP8. Лицензия — MIT.

Nexa-AI-4x4B-Instruct — мультиязычная инструктивная языковая модель, совместно разработанная Neura Tech AI и Lumina AI на архитектурной основе Qwen3. Это модель семейства Qwen3 с разреженной архитектурой Mixture of Experts; в README описаны четыре эксперта примерно по 4 млрд параметров и около 4 млрд активных параметров на токен, тогда как метаданные указывают 3,7 млрд параметров в репозитории. Контекст составляет до 262 144 токенов. Модель предназначена для диалогов и следования инструкциям, рассуждений, математики, помощи в программировании, работы с длинными документами и вызова инструментов во внешних агентных сценариях. В карточке заявлена поддержка английского, хинди, китайского, урду и других языков; метаданные также содержат теги санскрита, каннада и маратхи. Доступна под лицензией Apache-2.0. Заявления о производительности приведены в README; независимые результаты здесь не подтверждены.

NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4 — большая языковая модель, разработанная NVIDIA Corporation и представленная в квантованном формате NVFP4. Она предназначена для генерации текста, решения задач с рассуждением и без него, программирования, математических и научных задач, а также создания специализированных AI-агентов. Модель может сначала формировать рассуждение, а затем итоговый ответ; этот режим настраивается через флаг в chat template. Отключение промежуточных рассуждений уменьшает задержку, но может немного снизить точность на сложных запросах. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, 6 attention-слоёв, по 128 экспертов и одному общему эксперту в каждом MoE-слое, при этом на каждый токен активируются 6 экспертов. Всего модель содержит 30 млрд параметров, из которых активно около 3,5 млрд, что повышает эффективность инференса. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. Сильными сторонами модели являются сочетание reasoning и обычной генерации, высокая вычислительная эффективность за счёт разреженной активации экспертов и пригодность для коммерческих сценариев. NVFP4-квантизация может снизить требования к памяти по сравнению с полноформатными вариантами, однако в приведённых оценках она уступает BF16-версии на ряде задач. Модель обучалась на данных с отсечками июня 2025 года для предобучения и ноября 2025 года для post-training, поэтому её знания могут быть неполными или устаревшими. Использование регулируется NVIDIA Nemotron Open Model License.

q3mds-8b — объединённая текстовая языковая модель, созданная bloomsirenix с помощью mergekit методом DARE TIES. В объединение вошли Qwen/Qwen3-8B, DeepSeek-R1-0528-Qwen3-8B, Qwen3-8B-ABC и OpenCodeEdit-Qwen3-8B; базой указан Qwen3-8B. Модель построена на плотной архитектуре Qwen3ForCausalLM, содержит 7,6 млрд параметров и имеет контекстное окно до 40 960 токенов. Модель предназначена для диалоговой генерации текста, ответов на инструкции, рассуждений и помощи с кодом. Она принимает текст и выдаёт текст. Поддерживает многоязычное использование; конкретный перечень языков для этой сборки не установлен в предоставленных данных. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0. Качество и поведение могут отличаться от отдельных моделей, вошедших в слияние; README не приводит сравнительных оценок или результатов тестирования.

unsloth/Qwen2.5-7B-unsloth-bnb-4bit — четырёхбитная версия базовой языковой модели Qwen2.5-7B, подготовленная Unsloth с использованием динамического 4-bit-квантования. Разработчик исходной модели — команда Qwen; Unsloth предоставляет оптимизированный формат для запуска и дообучения с меньшими требованиями к памяти. Модель предназначена для генерации и понимания текста, программирования, математических задач, следования инструкциям, работы со структурированными данными и формирования структурированных ответов, включая JSON. Она поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский, арабский и другие языки. Для серии Qwen2.5 заявлена поддержка контекста до 128 тысяч токенов и генерация до 8 тысяч токенов. Ключевые преимущества — размер около 7 миллиардов параметров, экономичное 4-bit-представление и заявленное Unsloth улучшение точности по сравнению со стандартным 4-bit-квантованием. Модель является текстовой causal language model и не предназначена для работы с изображениями или другими модальностями. Как базовая, а не instruction-tuned модель, она не рекомендуется для диалогового использования без дополнительного дообучения или подходящего шаблона запросов. Лицензия — Apache 2.0.

Это версия Qwen3-30B-A3B-Thinking-2507, опубликованная Unsloth на базе Qwen/Qwen3-30B-A3B-Thinking-2507. Модель представляет собой причинную языковую модель с архитектурой MoE и предназначена для генерации текста в диалоговом режиме. Она работает только в режиме рассуждения и рассчитана на сложные задачи: логические выводы, математику, науку, программирование, следование инструкциям и использование инструментов. В модели около 30,5 млрд параметров, из которых активируются 3,3 млрд; указанный в метаданных размер составляет 2,6 млрд параметров. Она поддерживает контекст до 262 144 токенов. Карточка сообщает об улучшениях в рассуждении, работе с длинным контекстом и общих диалоговых возможностях. Лицензия — Apache-2.0.

Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

cyankiwi/Qwen3.6-35B-A3B-AWQ-4bit — квантованная 4-битная версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. В карточке указано, что квантование выполнено с калибровкой на данных для STEM-задач и агентных сценариев. Это каузальная языковая модель с визуальным энкодером, предназначенная для работы с текстом и изображениями, включая программирование, фронтенд-разработку, рассуждения на уровне репозиториев и агентные рабочие процессы. Она поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Заявлена длина контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта; в архитектуре используются Gated DeltaNet и Gated Attention. Размер файлов модели составляет около 24,97 ГБ. Потенциальные сильные стороны — высокая эффективность за счёт разреженной активации экспертов, большой контекст, мультимодальность и ориентация на кодинг и агентные задачи. Ограничения и точные требования к аппаратному обеспечению в README не указаны; результаты приведённых бенчмарков также представлены неполностью. Лицензия — Apache-2.0.

Tooony133/Qwen-3.8-27B-DinkyDoo — модель семейства Qwen3.8, представленная как дообученный вариант Qwen3.8-27B с объединёнными с базовыми весами LoRA-адаптерами. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, предназначенная для диалогов, анализа изображений и видео, программирования, профессиональных задач, исследований и многошаговых агентных сценариев. Модель принимает текст и изображения, а также поддерживает понимание видео. В README указана длина контекста 262 144 токена с возможностью расширения до 1 000 000. Режим рассуждения включён по умолчанию; его можно отключать и настраивать глубину. Модель распространяется в формате Transformers и совместима с рядом средств инференса. Сильные стороны, заявленные в карточке: мультимодальное понимание, работа с длинным контекстом, кодирование и выполнение многошаговых задач. Карточка не приводит отдельных измерений качества именно этой производной модели. Лицензия — Apache-2.0; README также просит соблюдать требования об указании авторства и изменениях из файлов LICENSE и NOTICE.