II.4Отладка, тестирование и качество ПО

Nail-Qwen3.6-35B-A3B-GGUF-MTP — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная peculiar-ragdoll. Модель ориентирована на reasoning, многошаговые диалоги, агентную разработку программного обеспечения и генерацию кода. В сборку включены улучшенный chat template, встроенный системный промпт и тензоры multi-token prediction (MTP), предназначенные для ускорения генерации посредством speculative decoding. Модель построена на архитектуре Mixture-of-Experts: заявленный размер — 35B параметров при 3B активных параметров. Указаны языки English и Chinese, а нативное контекстное окно составляет 262 144 токена. Формат GGUF рассчитан прежде всего на локальный запуск, включая llama.cpp и совместимые среды. При поддержке MTP возможное ускорение зависит от runtime и конфигурации; для llama.cpp требуется свежая сборка с поддержкой draft-MTP, тогда как обычные релизы могут работать без ускорения. Заявлены высокая скорость ответа, эффективность использования памяти и пригодность для длительных агентных сессий, однако приведённые результаты получены на ограниченном наборе тестов и конкретной конфигурации Mac Studio M2 Ultra. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость производительности от аппаратного обеспечения, версии runtime, квантизации и поддержки MTP. Заявления о превосходстве над другими моделями основаны на бенчмарках автора и не гарантируют аналогичных результатов во всех задачах.

Nanbeige4.1-3B — компактная языковая модель компании Nanbeige, созданная на базе Nanbeige4-3B-Base. Это дообученная плотная модель семейства Llama с 3,5 млрд параметров, предназначенная для генерации текста, диалогов, рассуждений и работы в агентных сценариях. По карточке модели, обучение включало supervised fine-tuning и reinforcement learning. Модель рассчитана на решение многошаговых задач по математике, программированию и естественным наукам, а также на использование инструментов и глубокий поиск в связке с агентной системой. Она поддерживает английский и китайский языки. Метаданные указывают контекст до 262 144 токенов; формат весов — safetensors, библиотека — Transformers. В карточке заявлена способность поддерживать длительные цепочки вызовов инструментов, однако фактические результаты зависят от реализации агента и доступных инструментов. Модель распространяется по лицензии Apache-2.0. Разработчик предупреждает, что возможны неожиданные ответы, включая предвзятость и дискриминационное содержание; выходы требуют проверки.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.

Карточка модели zendxx/NeoHorse-1-4B на Hugging Face совпадает с карточкой TokenRhythm/NeoHorse-1-4B, поэтому описание составлено по ней. NeoHorse-1-4B — плотная причинно-языковая модель примерно на 3,4 млрд параметров, разработанная TokenRhythm дообучением Qwen/Qwen3.5-4B. Это прототип для текстовых агентных сценариев: диалогов, вызова инструментов, программирования, рассуждений и следования инструкциям. Модель распространяется в формате Safetensors; карточка указывает контекст до 262 144 токенов и совместимость с Transformers, а README описывает локальный запуск через SGLang и vLLM с OpenAI-совместимым API. В README заявлен прирост среднего результата на десяти бенчмарках относительно исходной Qwen3.5-4B. Выпуск содержит только языковые веса: визуальные веса отсутствуют, поэтому этот репозиторий предназначен для текстового вывода, даже несмотря на мультимодальные возможности базовой модели. Фактическая длина контекста при обслуживании зависит от памяти GPU и настроек сервера. Лицензия — Apache-2.0.

NeoHorse-1-9B-GGUF — текстовая causal language model на 9 млрд параметров, разработанная TokenRhythm и представленная в формате GGUF сообществом prithivMLmods. Модель создана на основе Qwen3.5-9B и дообучена для text-based agent harnesses, использования инструментов, программирования, рассуждений и следования инструкциям. Релиз содержит только языковые веса без vision-компонентов и предназначен для text-only inference. Модель поддерживает английский язык, имеет нативное контекстное окно 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявленная особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает результаты взаимодействия с инструментами и использует эти сигналы для формирования обучающих данных и последующего дообучения. Доступны варианты квантования от BF16 до Q3_K_S, что позволяет выбирать между качеством и требованиями к памяти. По данным README, NeoHorse-1-9B показала лучший общий macro average среди сравниваемых моделей, с заметными улучшениями на агентных тестах VitaBench, PinchBench и QwenClawBench, а также высокими результатами на tau2-Bench и BFCL v4. При этом улучшения в следовании инструкциям были неоднородными, а заявленные результаты зависят от условий тестирования. Модель можно обслуживать через SGLang или vLLM с Qwen3-совместимыми механизмами рассуждений и парсерами tool calls. Распространяется по лицензии Apache License 2.0.

NimbusMind — причинно-языковая модель семейства NimbusT, представленная как обновлённый чат-ассистент. По данным карточки, обновление улучшает рассуждения и выводы за счёт дополнительных вычислений и алгоритмических изменений на этапе постобучения; авторы сообщают о результатах в математике, программировании и логике, а также о снижении частоты галлюцинаций и поддержке вызова функций. Модель предназначена для диалогов, решения сложных задач и генерации текста; в README также описаны сценарии работы с загруженными файлами и результатами веб-поиска. Репозиторий содержит веса PyTorch для Transformers и распространяется по лицензии Apache-2.0. В README приведён результат 89,1% на AIME 2026 и среднее расходование 27 тысяч токенов на вопрос этого набора; длина контекста и число параметров в доступных сведениях не приведены. Заявления о бенчмарках и качестве принадлежат авторам модели и не сопровождаются полным протоколом оценки в предоставленном README.

NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметной области, исследований и подготовки производных вариантов для развёртывания. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно используются около 3 млрд, а также предусмотрены слои Multi-Token Prediction. В метаданных указано 1,9 млрд параметров и контекст 262 144 токена; README сообщает о поддержке контекста до 1 млн токенов. Модель подходит для создания чат-ботов и агентных систем, генерации и анализа кода, решения задач на рассуждение, работы с длинными текстами и использования интерфейса вызова инструментов. Основной язык — английский; также заявлена поддержка испанского, французского, немецкого, итальянского и японского. README описывает модель как пригодную для коммерческого использования, но метаданные указывают лицензию «other», поэтому конкретные условия следует сверить с лицензией репозитория. Для оптимизированного инференса автор рекомендует отдельный NVFP4-выпуск.

unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-вариант языковой модели NVIDIA Nemotron 3.5 Lightning, разработанной NVIDIA Corporation. Модель предназначена для генерации текста и кода, создания специализированных AI-агентов, а также для постобучения, адаптации под предметные области, дистилляции и подготовки собственных квантованных вариантов. README указывает, что исходная модель является полноточной версией BF16, а данный репозиторий предоставляет вариант GGUF. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Всего предусмотрено 30 млрд параметров, из которых активно используется 3 млрд. Контекст может достигать 1 млн токенов; для развёртывания на одной H100 рекомендуется 256 тыс. токенов. Поддерживаются английский и языки программирования, испанский, французский, немецкий, итальянский и японский. Режим рассуждений можно включать или отключать через параметр chat template. К сильным сторонам относятся высокая вычислительная эффективность благодаря MoE-подходу, большой контекст, поддержка нескольких языков и возможность настройки под конкретные задачи. Ограничения и практические требования зависят от конкретной GGUF-квантизации и аппаратной конфигурации; README не приводит сведения о размере файлов, уровнях квантизации или точных требованиях к запуску именно этого варианта. Модель распространяется по лицензии OpenMDW-1.1, которая, согласно README, допускает коммерческое использование.

Это 4-битная версия NVIDIA-Nemotron-3-Nano-30B-A3B-BF16, подготовленная командой LM Studio Community с помощью mlx_lm для запуска на компьютерах Apple с Apple Silicon. Базовая модель разработана NVIDIA; это гибридная языковая модель с архитектурой Mixture-of-Experts, общим размером 30 млрд параметров и примерно 3 млрд активных параметров на токен. Модель предназначена для диалогов, рассуждений, программирования и агентных сценариев с вызовом инструментов. Её можно использовать для генерации ответов, помощи при написании кода и создания приложений на базе языковой модели. Карточка базовой модели указывает поддержку английского, испанского, французского, немецкого, японского и итальянского языков, а также длинного контекста; точная длина контекста для этой версии не приведена. Квантизация снижает требования к памяти, но может повлиять на точность по сравнению с исходной версией BF16. Модель может выдавать неточные или неподходящие ответы. В карточке этой версии указана лицензия other; условия исходной модели следует учитывать отдельно перед использованием.

Olmo-3-7B-Think — авторегрессионная плотная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Это вариант семейства Olmo 3 с упором на пошаговое рассуждение; карточка указывает обучение на данных Dolma 3 и последующее дообучение на наборах Dolci. В метаданных базовой моделью названа allenai/Olmo-3-7B-Think-DPO, а связь указана как finetune. Модель предназначена для диалогов и задач, где полезны развёрнутые рассуждения, в частности математики, программирования, ответов на общие вопросы и следования инструкциям. Она содержит 6,9 млрд параметров, поддерживает контекст до 65 536 токенов и рассчитана прежде всего на английский язык. Для запуска используется библиотека Transformers; веса опубликованы в формате safetensors. Модель может давать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент. Результаты следует проверять, а при практическом использовании учитывать возможную предвзятость. Лицензия — Apache 2.0; карточка также ссылается на рекомендации Ai2 по ответственному использованию.

OpenCerebrum-1.0-7B-SFT — языковая модель Locutusque, дообученная на базе alpindale/Mistral-7B-v0.2-hf. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; веса опубликованы в формате Safetensors. Модель предназначена для генерации текста и ответов на вопросы, включая задачи программирования, математики, естественных наук, рассуждений и общего следования инструкциям. Для дообучения использована смесь примерно из 1,2 млн примеров из 14 открытых наборов данных; заявленный основной язык — английский. Модель задумана как открытая реплика возможностей Cerebrum, но её качество может уступать оригиналу. Ответы могут наследовать предвзятость и ограничения обучающих данных, а размер 7B требует учитывать доступные вычислительные ресурсы. Лицензия — Apache 2.0.

Карточка модели biennequants/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Phi-3.1 Mini 4K Instruct — компактная языковая модель Microsoft, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3460. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста и кода, математических задач, рассуждений, понимания языка и работы с общими знаниями. Модель построена как плотный decoder-only Transformer и содержит 3,8 млрд параметров. Она обучалась на 3,3 трлн токенов, включая отфильтрованные общедоступные документы, образовательные материалы, код, синтетические «учебниковые» данные и высококачественные диалоги. Для выравнивания использовались Supervised Fine-Tuning и Direct Preference Optimization. Доступна поддержка английского языка, контекст ограничен 4096 токенами, предусмотрена работа с тегом <|system|> и многошаговыми диалогами. К сильным сторонам относятся улучшенное следование инструкциям, структурирование ответов, математическое и логическое рассуждение, генерация кода и качество многоходового общения при небольшом размере модели. Ограничениями являются компактный контекст в 4K токенов, заявленная языковая поддержка только английского и возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии MIT; конкретный файл GGUF предназначен для использования с совместимыми инструментами, включая LM Studio.

mlx-community/Qwen2.5-Coder-7B-bf16 — версия модели Qwen2.5-Coder-7B, преобразованная сообществом mlx-community в формат MLX с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2, рассчитанная на генерацию текста и кода; объём модели — 7,1 млрд параметров, максимальный контекст — 32 768 токенов. Карточка указывает поддержку диалогового режима и интерфейса вызова инструментов, а среди языковых тегов — английский. Модель подходит для генерации и продолжения кода, помощи в программировании и диалоговых сценариев с текстовым вводом. Репозиторий содержит веса safetensors; README описывает преобразование в MLX и использование через mlx-lm. Лицензия — Apache 2.0. Метаданные связывают модель с Qwen/Qwen2.5-7B как с базовой моделью, однако README указывает исходную Qwen/Qwen2.5-Coder-7B; это означает, что репозиторий представляет преобразованную версию кодовой модели, а классификацию происхождения и базовую модель следует трактовать с учётом этих различающихся сведений.

Shining Valiant 3 — дообученная Valiant Labs модель для научных задач, проектирования систем ИИ и рассуждений общего назначения, созданная на базе Qwen3-4B. Это плотная причинная языковая модель с 3,7 млрд параметров, рассчитанная на генерацию текста, диалоги, следование инструкциям, написание кода и пошаговое решение сложных задач. Для диалогов разработчик рекомендует включать режим рассуждений; модель использует формат запросов Qwen 3 и поддерживает контекст длиной до 40 960 токенов. Модель обучали на данных научных рассуждений, сгенерированных DeepSeek R1 0528, а также на сложных примерах рассуждений об ИИ. Она предназначена для локального запуска на настольных компьютерах и мобильных устройствах, а также для быстрой серверной инференции. Доступна в формате Safetensors и распространяется по лицензии Apache 2.0. Карточка описывает специализацию на рассуждениях и решение задач, но не приводит результатов сравнительных оценок качества.

P4tchFake/Qwen3.5-9B-Gemini-3.1-Pro-Reasoning-Distill — текстовая генеративная модель, дообученная на базе Qwen3.5-9B с использованием supervised fine-tuning, LoRA и дистилляции рассуждений из Gemini 3.1, Gemini 3.0 Pro и Qwen3.5-27B. Модель ориентирована на структурированное аналитическое поведение и более организованный Chain-of-Thought. В README указаны английский, китайский и корейский языки; архитектура описана как Dense, размер базовой модели — 9B параметров, однако размер контекста не указан. Модель предназначена для сложных многошаговых задач, требующих декомпозиции, планирования, абстрагирования, отслеживания ограничений и анализа компромиссов. Заявлены широкие области применения, включая математику и логику, программирование и системный анализ, безопасность и adversarial reasoning, физику, инженерию, право, философию, медицину, финансы, химию и прикладные социальные системы. Среди сильных сторон отмечаются структурированное рассуждение, более плотные и последовательные аналитические ответы, междисциплинарный охват и компактный размер. Из-за дистилляции и специализированного дообучения поведение модели может отличаться от исходной Qwen3.5-9B: возможны изменения в обобщающей способности и частичное забывание отдельных сведений предварительного обучения. Поэтому модель рекомендуется оценивать на собственных задачах перед применением в продуктивных сценариях. Лицензия — Apache-2.0.

QuantTrio/Qwen3.6-27B-AWQ — это квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen и опубликованной в формате, совместимом с Transformers. Вариант AWQ создан с помощью квантования без калибровочного датасета; размер файла модели составляет около 21 GiB. Лицензия — Apache 2.0. Модель предназначена прежде всего для агентного программирования, работы с фронтенд-разработкой, анализа репозиториев и сценариев с вызовом инструментов. Она относится к классу causal language model with vision encoder, поэтому поддерживает текстовые и визуальные входные данные. Заявлены возможности сохранения контекста рассуждений между сообщениями, автоматического выбора инструментов и интеграции с vLLM. Архитектура включает 27 миллиардов параметров, 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также многошаговое обучение для multi-token prediction. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Данные о полном наборе поддерживаемых языков и подробных результатах независимого тестирования в README не приведены. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на программирование и возможность эффективного запуска в квантизированном виде. Ограничения связаны с тем, что AWQ-квантование без калибровочного набора может приводить к потере качества по сравнению с исходной моделью; для запуска указаны vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0. При использовании tensor parallelism на восьми GPU требуется включить expert parallelism.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 — квантизированная версия открытой модели Qwen3.6-27B, опубликованная пользователем cyankiwi на основе базовой модели Qwen/Qwen3.6-27B. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и задачи, требующие длительного контекста. Заявлены улучшения в обработке coding-agent сценариев и возможность сохранять контекст рассуждений из предыдущих сообщений. Модель поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура включает Gated DeltaNet, Gated Attention и multi-step training; размер опубликованного файла составляет 28,32 ГБ. Вариант использует квантизацию AWQ-BF16-INT4, что является его ключевой особенностью, однако README не приводит подробных результатов сравнения именно этой квантизированной версии с исходной моделью. Лицензия — Apache-2.0. Модель подходит для локального и серверного развертывания при наличии совместимого программного обеспечения и достаточных вычислительных ресурсов; конкретные требования к памяти и ограничения качества для мультимодальных задач в README не указаны.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT8 — квантизированный вариант Qwen3.6-27B, разработанный сообществом cyankiwi на основе модели Qwen/Qwen3.6-27B от команды Qwen. Модель предназначена для работы с текстом и изображениями, включая агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку и задачи, требующие сохранения контекста рассуждений. Это каузальная языковая модель с vision encoder и 27 миллиардами параметров. Архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-step training с MTP. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели указан как 36,85 ГБ. Сильными сторонами являются мультимодальность, большой контекст, ориентация на coding agent-сценарии и совместимость с Transformers, vLLM, SGLang и KTransformers. README не содержит подробных сведений о типичных ограничениях качества, требованиях к оборудованию или влиянии квантизации на результаты, поэтому эти характеристики нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-27B-NVFP4 — это квантованный checkpoint модели Qwen3.6-27B, разработанный Unsloth на основе модели Qwen от команды Qwen. Модель представляет собой каузальную языковую модель с vision-энкодером и предназначена для генерации текста, мультимодального понимания изображений, агентного программирования, работы с frontend-задачами и рассуждений на уровне репозиториев. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; в checkpoint включён модуль Multi-Token Prediction (MTP), который может использоваться для ускорения декодирования. Точные языки в README не указаны. Формат NVFP4 рассчитан на эффективный запуск, в том числе на GPU с 24 ГБ VRAM. По заявлению Unsloth, checkpoint обеспечивает до 2,5 раза большую пропускную способность по сравнению с другими NVFP4-квантованиями, а результаты на MMLU-Pro, GPQA и AIME 2025 близки к FP8 и BF16. Основные ограничения — потери, присущие квантованию, зависимость производительности от аппаратного обеспечения и backend, а также необходимость корректной настройки vLLM или совместимого движка; README не рекомендует Marlin из-за более низкой скорости. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

Jakeatx подготовил GGUF-квантизацию Qwen3.8-27B для запуска через llama.cpp на одной видеокарте RTX 3090 или 3090 Ti с 24 ГБ памяти. Это диалоговая модель для генерации текста; репозиторий содержит один файл размером 13,9 ГиБ с форматом IQ4_XS и смешанным повышением точности отдельных тензоров до Q5_0, Q6_K и Q8_0. В README указано, что квантизация создана на основе BF16 GGUF Qwen3.8-27B с использованием матрицы важности Unsloth. Сборка ориентирована на скорость и длинный контекст: автор измерил окно до 245 760 токенов на RTX 3090 Ti, а для 200 000 токенов рекомендует выделить около 20,9 ГиБ под веса и контекст. По приведённым замерам скорость декодирования составляет примерно 93–108 токенов/с на контексте 16K и 44–72 токена/с на 100K, в зависимости от нагрузки. Автор ожидает качество между Q3_K_XL и Q4_K_M; сопоставительная оценка на Terminal-Bench, SciCode и GDPval ещё не завершена. Модель подходит для диалогов, программирования, поиска по длинному контексту и многошаговых задач. README отмечает, что этот репозиторий является базовой квантизированной моделью-сравнением и не включает более поздние изменения проекта Perian. Модель распространяется по лицензии Apache-2.0. Языки и мультимодальные возможности исходной модели в данных этой карточки конкретно не описаны.

Qwen3-Coder-30B-A3B-Instruct-W8A8 — это 8-битная версия модели Qwen3-Coder-30B-A3B-Instruct, опубликованная ramblingpolymath и основанная на исходной модели Qwen. Квантизация весов и активаций по схеме W8A8 выполнена с использованием LLM-Compressor. Модель предназначена для генерации текста и прежде всего для программирования, агентного написания кода, работы с браузером и понимания репозиториев большого размера. Модель является каузальной языковой моделью с архитектурой mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд; используется 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также GQA с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов с помощью YaRN. Поддерживается только режим без рассуждений, без блоков <think></think>. Ключевые преимущества версии W8A8 — примерно вдвое меньшее потребление памяти по сравнению с FP16 и потенциально более высокая скорость инференса на совместимом оборудовании. Ограничения включают зависимость производительности от аппаратной поддержки 8-битного инференса, рекомендуемую архитектуру Ampere и более старые поколения, а также отсутствие в README подробностей о поддерживаемых языках и количественной оценке потери качества после квантизации. Лицензия — Apache-2.0.

GadflyII/Qwen3-Coder-Next-NVFP4 — квантованная версия модели Qwen3-Coder-Next, разработанной командой Qwen. Модель предназначена прежде всего для генерации текста и задач программирования, а также для сценариев инференса, где важны уменьшенное потребление памяти и поддержка длинного контекста. Она распространяется в формате compressed-tensors и рассчитана на использование с vLLM. Модель построена на архитектуре Qwen3NextForCausalLM, объединяющей Hybrid DeltaNet, attention и Mixture-of-Experts (MoE). Она содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене, использует 512 экспертов, 10 активных экспертов и одного общего эксперта, а также 48 слоёв. Заявленная длина контекста составляет 262 144 токена. Квантование NVFP4 применяется к весам и активациям; размер модели уменьшен примерно со 149 ГБ в BF16 до 45 ГБ. В тестах достигнута работа с контекстом до 128K токенов при FP8 KV cache. К сильным сторонам относятся значительное снижение требований к памяти, MoE-архитектура с малым числом активных параметров и поддержка длинного контекста. На MMLU-Pro квантованная версия показала точность 51,27% против 52,90% у BF16, то есть снижение составило 1,63 процентного пункта. Для работы требуется vLLM с поддержкой NVFP4, версия 0.16.0 или новее, и Transformers 5.0.0 или новее; для многографических систем на Blackwell могут потребоваться специальные исправления vLLM. Модель распространяется по лицензии Apache 2.0, как и базовая модель.

rubra-11b-h — диалоговая языковая модель на архитектуре Mistral, дообученная Sanjay920 на коде и разговорных данных. Она создана на основе mistralai/Mistral-7B-Instruct-v0.2 с целью улучшить рассуждения, сохранив способности исходной модели следовать инструкциям и вести диалог. Модель содержит 10,6 млрд параметров, использует формат весов safetensors и поддерживает контекст до 32 768 токенов; для чата применяются маркеры [INST] и [/INST]. Модель подходит для многошагового диалога, ответов на инструкции, рассуждений и генерации кода, а также для поиска сведений в длинном текстовом контексте. В README приведён пример успешного извлечения факта из документа длиной 14 334 токена, но это не гарантирует точность на других задачах. Модель всё ещё разрабатывается и не прошла выравнивание по безопасности, поэтому может выдавать предвзятые ответы. Лицензия — Apache-2.0.

MaziyarPanahi/speechless-code-mistral-7b-v2.0-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из Mistral-7B-Instruct-v0.2 и speechless-code-mistral-7b-v2.0. Она предназначена для генерации текста и ответов на инструкции, с акцентом на задачи программирования благодаря одной из исходных моделей. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; метаданные отмечают поддержку чата. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка не описывает специальные языковые ограничения или результаты оценки качества, поэтому пригодность для конкретного языка и точность ответов о коде могут различаться.

Salience-27B-R6-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R6, разработанной vectionlabs и опубликованной в формате GGUF пользователем bartowski. Модель содержит около 28 млрд параметров и предназначена для запуска через llama.cpp. Она поддерживает текстовый и визуальный ввод; для работы с изображениями требуется дополнительный файл mmproj. Модель ориентирована на рассуждения, эффективное пошаговое мышление, следование инструкциям, программирование и задачи software engineering. Заявлена поддержка агентных сценариев, терминального взаимодействия, tool use и function calling. Также доступны speculative decoding с использованием MTP и квантизация с imatrix. Указан английский язык, однако точные сведения о размере контекстного окна и внутренней архитектуре в предоставленных данных отсутствуют. Репозиторий предлагает варианты от BF16 и Q8_0 до компактных IQ3 и Q3, что позволяет выбирать между качеством, скоростью и требованиями к памяти. В качестве универсального варианта рекомендован Q4_K_M размером около 17,44 ГБ; более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти. Ограничениями являются необходимость совместимого рантайма llama.cpp, отдельного mmproj для изображений и отсутствие в предоставленной карточке подробных результатов оценки. Лицензия модели — Apache-2.0.

Code-290k-6.7B-Instruct — языковая модель для генерации кода и пояснений, созданная ajibawa-2023 полным дообучением DeepSeek-Coder-6.7B-Instruct. Модель основана на плотной архитектуре Llama и содержит около 6,6 млрд параметров; репозиторий предоставляет веса в формате safetensors. Для общения используется шаблон Alpaca. Модель обучалась на наборе Code-290k-ShareGPT примерно из 290 тысяч примеров кода с подробными объяснениями. Она предназначена для генерации и объяснения кода на Python, Java, JavaScript, Go, C++, Rust, Ruby, SQL, MySQL, R, Julia, Haskell и других языках программирования. Контекст составляет до 16 384 токенов. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и у базовой модели. Оценки в карточке охватывают лишь часть общих бенчмарков и не гарантируют корректность сгенерированного кода; результаты следует проверять, особенно перед запуском или использованием в критичных системах.

TheBloke публикует веса CodeLlama-34B-Python в формате Transformers/Hugging Face FP16; исходную модель разработала Meta. Это авт autoregressive трансформер семейства Llama с 33,5 млрд параметров, специализированный на генерации и понимании кода на Python. Модель принимает и выдаёт текст, а её контекст составляет 16 384 токена. Модель подходит для написания и дополнения кода на Python, объяснения фрагментов кода и помощи в решении задач программирования. Карточка указывает на обучение с последовательностью до 16 тысяч токенов и возможность инференса до 100 тысяч, однако метаданные каталога подтверждают нативный контекст 16 384 токена. Репозиторий содержит конвертированные веса в формате safetensors; для корректной загрузки README требует `trust_remote_code=True`. Модель ориентирована на английский язык и языки программирования; применение на других естественных языках выходит за рамки заявленного назначения. Генерация может быть неточной или содержать нежелательный результат, поэтому перед внедрением требуется проверка для конкретного сценария. Указана лицензия Llama 2 с отдельными условиями использования Code Llama.

TheBloke/CodeLlama-7B-Instruct-fp16 — версия Code Llama 7B Instruct от Meta AI, опубликованная TheBloke в формате Transformers/Hugging Face с весами fp16. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с 6,6 млрд параметров и контекстом 16 384 токена; она принимает и генерирует текст. Вариант Instruct предназначен для следования инструкциям и создания помощников для программирования. Модель подходит для генерации и объяснения кода, ответов на вопросы по программированию и помощи при разработке. В README заявлена ориентация на английский язык и языки программирования; инструкции по загрузке требуют trust_remote_code=True для корректной работы с изменённым значением RoPE Theta. Модель является конвертацией исходных весов CodeLlama 7B Instruct в формат Hugging Face, а не отдельным дообучением TheBloke. Лицензия указана как Llama 2; README описывает пользовательское коммерческое лицензионное соглашение Code Llama. Перед применением следует учитывать, что ответы могут быть неточными или нежелательными.

Codestral-22B-v0.1-abliterated-v3 — производная модель failspy, созданная на основе mistralai/Codestral-22B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 22 млрд параметров, представленная в формате bfloat16 Safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена прежде всего для генерации и дополнения кода: она может отвечать на вопросы о фрагментах кода, объяснять и документировать их, выполнять рефакторинг, генерировать код по описанию и продолжать код между заданными префиксом и суффиксом в режиме Fill in the Middle. Обучающие данные исходной Codestral охватывают более 80 языков программирования, включая Python, Java, C, C++, JavaScript и Bash. Автор применил ортогонализацию весов, чтобы ослабить склонность исходной модели отказывать в ответах; это не гарантирует отсутствия отказов. README также предупреждает о возможных побочных эффектах и необычном поведении новой методики. Для запуска автор исходной модели рекомендует mistral-inference. Лицензия в метаданных указана как other; конкретные условия следует проверять в карточке модели.