II.4Отладка, тестирование и качество ПО

Bagel-20B-v04 — дообученная модель jondurbin на базе InternLM2-20B, созданная для диалогов и широкого круга инструктивных задач. Это плотная языковая архитектура InternLM2 с 19,3 млрд параметров, контекстом до 32 768 токенов и форматом весов safetensors. Хотя в метаданных Hugging Face указана задача feature-extraction, каталог и описание модели подтверждают её применение для генерации текста; основная задача здесь — text-generation. Модель обучалась на наборах данных для диалогов, вопросов и ответов, суммаризации, математики, естественных наук, программирования, ролевого общения и вызова функций. README указывает четыре варианта форматирования запросов: Vicuna, Llama 2, Alpaca и ChatML; шаблон по умолчанию использует формат Llama 2. Она принимает текст и генерирует текст. Поддержка русского языка отдельно не заявлена; в данных есть многоязычное чтение и задачи на нескольких языках. Лицензия в метаданных обозначена как other, без уточнения конкретных условий. Модель унаследовала ограничения базовой языковой модели и обучающих данных; README также отмечает, что часть обучающих данных содержит токсичный контент. Результаты могут различаться в зависимости от формата запроса.

mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX. Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.

Edmon02/gemma-4-12B-it-GGUF — это общественное GGUF-зеркало инструкционно дообученной мультимодальной модели Gemma 4 12B IT от Google DeepMind, основанное на google/gemma-4-12B-it. Репозиторий поддерживается Edmon02 и содержит наборы квантованных весов, синхронизированные из bartowski/gemma-4-12B-it-GGUF, для локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста, создания локальных агентов, программирования, а также мультимодальных сценариев с анализом изображений и аудио. Она имеет около 12 млрд плотных параметров, поддерживает текст, vision и audio, использует encoder-free архитектуру без отдельных визуального и аудиокодировщиков. Для обработки изображений в llama.cpp требуется дополнительный файл mmproj-*.gguf. Точное значение контекстного окна в README не указано. Заявлена поддержка английского языка; отдельно упоминаются сценарии исследований на армянском и английском, но полноценный перечень языков не приведён. К сильным сторонам относятся широкий выбор квантований, возможность запуска на устройствах с примерно 8–24 ГБ видеопамяти и интеграция с llama.cpp, LiteRT-LM, LM Studio, Ollama и MLX. Рекомендуемый вариант Q4_K_M рассчитан примерно на 16 ГБ памяти. Ограничения включают необходимость проверять качество общественных квантований относительно официальной версии BF16, возможную потребность в самых свежих сборках llama.cpp или LM Studio для аудио, а также требование принять лицензию и получить доступ к исходному gated-репозиторию Google. Указана лицензия Apache 2.0.

Ghost 7B Alpha — языковая модель на 7,1 млрд параметров, разработанная Ghost X (Hieu Lam) и дообученная на основе Mistral 7B. Она предназначена для генерации текста, диалоговых помощников и задач, включая рассуждения, ответы на вопросы, написание документов, перевод и программирование. Модель поддерживает взаимодействие с инструментами через описанный в карточке формат ролей и имеет контекст до 32 768 токенов по метаданным; README указывает 8 192 токена. Основные языки модели — английский и вьетнамский. Репозиторий содержит веса в формате safetensors; в карточке также описаны варианты распространения BF16, GGUF и AWQ. Указана лицензия Ghost 7B License Agreement, а метаданные классифицируют лицензию как other. README отмечает склонность модели занимать эмоционально окрашенную позицию, в том числе в задачах рассуждения; перед использованием следует оценить качество ответов и условия лицензии.

harkov000/hermes-dolphin-8B — объединённая модель на архитектуре Llama, созданная методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Репозиторий содержит веса в формате safetensors; размер модели — 7,5 млрд параметров, заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговой генерации текста и следования инструкциям; метаданные также отмечают интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений, помощи с кодом и сценариев с использованием инструментов. Базовая модель Hermes 3 ориентирована на английский язык; карточка этой объединённой модели не уточняет языковой охват. Модель опубликована 23 октября 2024 года. Условия лицензии в предоставленных данных не приведены.

I-DLM-32B — плотная диффузионная языковая модель на 29,7 млрд параметров, созданная командой yifanyu на основе Qwen/Qwen3-32B. Она предназначена для диалоговой генерации текста, ответов на вопросы, математических рассуждений, программирования и следования инструкциям. Метод Introspective Strided Decoding позволяет генерировать и проверять группы токенов параллельно; для воспроизведения результатов авторы рекомендуют конвейер ISD на базе SGLang. Модель заявлена как сопоставимая по качеству с авторегрессионной Qwen3-32B на 15 тестах, охватывающих знания, математику, код и следование инструкциям. Модель использует архитектуру SDAR и принимает текст, выдавая текст. Нативная длина контекста — 40 960 токенов. Карточка указывает английский язык; базовая Qwen3-32B описана как многоязычная. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. Прямая загрузка через Transformers пока не поддерживает воспроизведение результатов из статьи; для вывода рекомендуется SGLang с реализацией ISD.

LongCat-Flash-Chat — разговорная языковая модель Meituan для генерации ответов и выполнения агентных задач. Она основана на архитектуре Mixture-of-Experts (MoE) и поддерживает интерфейс вызова инструментов. В README указано 560 млрд параметров всего и в среднем около 27 млрд активируемых на токен; метаданные Hugging Face указывают 17,7 млрд параметров, поэтому размер модели в источниках расходится. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов, задач с инструментами, многошагового взаимодействия, а также задач рассуждения и программирования. В README модель описана как non-thinking; авторы сообщают о высокой пропускной способности инференса и конкурентных результатах на своих оценках. Доступны веса в формате safetensors. Лицензия — MIT. Авторы предупреждают, что модель не была специально разработана и всесторонне проверена для всех возможных прикладных сценариев.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

Карточка модели lucyknada/microsoft_WizardLM-2-7B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-7B, поэтому описание составлено по ней. WizardLM-2 7B — плотная авторегрессионная языковая модель семейства Mistral, разработанная командой WizardLM в Microsoft AI и дообученная на базе mistralai/Mistral-7B-v0.1 с использованием синтетической обучающей системы. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; нативная длина контекста — 32 768 токенов. Модель предназначена для диалогов и выполнения сложных инструкций, включая рассуждения, написание текстов, программирование, математические задачи и многоязычные запросы. Авторы позиционируют версию 7B как быструю модель, показывающую сильные результаты для своего размера; заявленные оценки основаны на MT-Bench и сравнении предпочтений людей. Модель распространяется под лицензией Apache 2.0. Карточка не приводит конкретный перечень поддерживаемых языков и не описывает отдельные механизмы вызова инструментов; качество ответов и результаты бенчмарков следует оценивать для целевых задач самостоятельно.

Ornith-1.5-9B-OptiQ-4bit — квантованная версия языковой reasoning-модели Ornith-1.5-9B-MLX, разработанной ornith-ai и адаптированной сообществом mlx-community для MLX. Модель предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, работы с длинным контекстом, function calling, tool use и агентских сценариев. Указан английский язык. Модель основана на архитектуре Qwen3.5 с 9 млрд параметров и 32 слоями. Используется смешанная покомпонентная квантизация OptiQ: 116 компонентов представлены в 4-битном формате, 134 — в 8-битном, размер группы — 64. На диске модель занимает около 7 ГБ; обозначение 4bit относится к семейству квантов, а не к среднему числу бит на параметр. Для запуска используются mlx-lm и mlx-optiq, доступен совместимый с OpenAI и Anthropic серверный интерфейс с поддержкой смешанной точности KV-кэша. Сильными сторонами являются уменьшенный размер, локальная работа на Apple Silicon и сохранение более высокой точности в чувствительных слоях за счёт смешанной квантизации. Ограничения включают специализацию на экосистеме MLX и Apple Silicon, а также необходимость выделять модели достаточный бюджет токенов для reasoning-сценариев. Модель распространяется по лицензии Apache-2.0.

FastFlowLM/Qwen3-0.6B-NPU2 — языковая модель семейства Qwen3, разработанная командой Qwen; в README она указана как производная от базовой модели Qwen/Qwen3-0.6B. Это причинная языковая модель для генерации и продолжения текста, диалогов, следования инструкциям, решения математических и логических задач, генерации кода, творческого письма, перевода и сценариев с использованием внешних инструментов. Модель поддерживает переключение между режимами рассуждения и обычного ответа в рамках одного запроса. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention с 16 головами для Q и 8 для KV. Максимальная длина контекста составляет 32 768 токенов. В README заявлена поддержка более 100 языков и диалектов, однако для данной карточки явно указан язык English. Модель относится к текстовой модальности; сведения о поддержке изображений, аудио или видео отсутствуют. Сильными сторонами являются компактный размер, возможность выбора между более глубоким рассуждением и эффективной генерацией, а также ориентация на диалоги, инструкции, мультиязычные задачи и работу в агентных сценариях. Ограничения включают небольшой объём параметров по сравнению с крупными моделями и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и специфических характеристик варианта NPU2. Для использования рекомендуется актуальная версия библиотеки Transformers; также указана совместимость с vLLM и SGLang. Лицензия — Apache-2.0.

Qwen3-4B-GGUF — это квантизированная версия языковой модели Qwen3-4B, разработанной командой Qwen. Квантизацию в формате GGUF выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для локального запуска и генерации текста. Модель поддерживает режимы рассуждения и обычной генерации, а также параметр /no_think для отключения рассуждений. Она ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, математику, программирование, задачи на здравый смысл и агентские сценарии. Заявлена поддержка более 100 языков и диалектов. Максимальная длина контекста составляет до 131 072 токенов при использовании YaRN, при этом значение по умолчанию указано как 32 000 токенов. Сильными сторонами являются улучшенные способности к рассуждению, широкий языковой охват и возможность выбора между режимами с рассуждением и без него. Ограничения включают типичные для языковых моделей риски неточных, вредных или неподходящих ответов; кроме того, README не содержит сведений о конкретном варианте квантизации, требованиях к ресурсам и лицензии.

Карточка модели Content-AI/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Карточка модели LinkRur/Qwen3.5-4B на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Qwen3.6-27B-OBLITERATED — текстовая модель на базе Qwen/Qwen3.6-27B, изменённая разработчиком с помощью метода OBLITERATUS source-tethered ASPA. В карточке указано 26,9 млрд параметров; метаданные каталога сообщают 22,3 млрд. Доступны веса BF16 в safetensors и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на локальную генерацию текста и диалог, включая программирование, выполнение инструкций и работу с заданными форматами; основное изменение направлено на снижение отказов при сохранении полезных возможностей исходной модели. Контекстное окно составляет 262 144 токена. Модель принимает текст и выдаёт текст; визуального энкодера нет. Разработчик сообщает о проверках отказов и сохранения возможностей, однако это результаты локальных оценок, а не официальные результаты бенчмарков. Для запуска подходят Transformers и современные локальные среды, включая llama.cpp; для GGUF рекомендуется начинать с Q4_K_M. Лицензия — Apache-2.0.

Arcee-SuperNova-Medius — языковая модель на 14 млрд параметров, разработанная Arcee.ai на архитектуре Qwen2.5-14B-Instruct. Она создана методом дистилляции знаний моделей Qwen2.5-72B-Instruct и Llama-3.1-405B-Instruct с последующим объединением и дообучением на специализированном наборе инструкций EvolKit. Модель предназначена для диалогов и генерации текста: она следует инструкциям и справляется со сложными рассуждениями в компактном формате. Модель подходит для поддержки клиентов, создания контента и технических консультаций, включая помощь с программированием и документацией. Архитектура — плотная авторегрессионная Qwen2, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; в метаданных также заявлен интерфейс вызова инструментов. Размер 14 млрд параметров рассчитан на более доступное развёртывание по сравнению с крупными моделями, хотя требуются значительные вычислительные ресурсы. Заявленные результаты бенчмарков указывают на сильное следование инструкциям и рассуждения, но не гарантируют качество в конкретном сценарии. Лицензия — Apache-2.0.

fearlessdots/WizardLM-2-7B-abliterated — это версия диалоговой модели WizardLM-2 7B, опубликованная fearlessdots. Веса в формате bfloat16 Safetensors ортогонализированы по методике, основанной на реализации @failspy; базовая модель — mistralai/Mistral-7B-v0.1, дообученная WizardLM@Microsoft AI. Модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для многоходового диалога и генерации ответов на инструкции, включая задачи письма, программирования, математики, рассуждений и многоязычного общения. В README заявлена поддержка нескольких языков, но конкретные языки не перечислены. Контекст составляет до 32 768 токенов; используется шаблон диалога Vicuna. Лицензия — Apache-2.0. Заявленные возможности унаследованы от WizardLM-2 7B, однако карточка не приводит отдельной оценки именно этой ортогонализированной версии. Ортогонализация весов описана как abliterated-вариант, но README не уточняет, какие ограничения или побочные эффекты она создаёт.

AliceAI-Foundation-80B-A3B-Base — базовая авторегрессионная языковая модель, разработанная Yandex и обученная с нуля на этапе предобучения. Она использует гибридную архитектуру с MoE-слоями: всего 80 млрд параметров, из которых для каждого токена активируются около 3 млрд. В модели 48 слоёв, 512 экспертов и контекст до 262 144 токенов. Модель предназначена для генерации текста и служит основой для дальнейшей адаптации под диалоговые, агентские и другие сценарии. В README отмечены сильные результаты в математике, программировании и задачах на рассуждение, а также особая сила в фактических знаниях на русском языке. В репозитории приведены бенчмарки для русскоязычного контекста и примеры запуска через Transformers и vLLM. Поддерживаются русский и английский языки; опубликованные веса доступны в формате safetensors. Лицензия — Apache-2.0. Это базовая модель без единого формата диалога, автоматически применяемого при инференсе; для дообучения README рекомендует рендерить данные в формате OpenAI Messages с шаблоном репозитория. Для запуска KDA-слоёв на GPU нужны совместимые реализации, а практическое использование модели такого размера требует значительных вычислительных ресурсов.

Bagel-DPO-20B-v04 — это дообученная с помощью Direct Preference Optimization (DPO) модель InternLM2-20B, опубликованная jondurbin. Она предназначена для диалогов и генерации текста: может отвечать на вопросы, следовать инструкциям, помогать с программированием и математикой, писать и пересказывать текст, а также работать с контекстом. В обучении использованы разнообразные наборы инструкций, диалогов и предпочтений, включая данные для вызова функций; карточка описывает форматирование запросов в стилях Vicuna, Llama 2, Alpaca и ChatML. Модель имеет плотную архитектуру InternLM2 с 19,3 млрд параметров и контекст до 32 768 токенов. Это текстовая модель; наборы обучения включают многоязычное понимание текста, но конкретный полный перечень поддерживаемых языков не заявлен. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели. Среди ограничений — результаты зависят от формата запроса, а README предупреждает, что недо-DPO версия может быть предпочтительнее для ролевых сценариев; в обучающие данные также входили токсичные и потенциально незаконные примеры.

DeepSeek-R1-Distill-Qwen-7B — текстовая генеративная модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная DeepSeek и размещённая ljsysfurry как зеркало полных весов. Она предназначена для диалогов, генерации текста и рассуждений, а также может служить локальной базой для агентных приложений. Модель принимает текст и выдаёт текст; README указывает исходный репозиторий deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и описывает интеграцию с AgentFrame. В метаданных заявлен контекст длиной 131 072 токена. README отдельно упоминает до 1,38 млн токенов при использовании AgentFrame и сжатия KV-кэша; это характеристика связки с фреймворком, а не подтверждённый нативный контекст модели. Модель имеет формат safetensors и поддерживает чатовый интерфейс и интерфейс вызова инструментов. Карточка называет репозиторий резервной копией исходных весов, поэтому это зеркало, а не отдельное дообучение. Лицензия — MIT. Данные не подтверждают отдельные результаты оценки качества; для длинного контекста сверх 131 072 токенов требуется описанная в README инфраструктура AgentFrame.

DeepSeek-V3.1-Base — базовая языковая модель, разработанная DeepSeek AI. Она предназначена как основа для последующего дообучения и создания прикладных версий, включая варианты с режимами рассуждения и без рассуждения, поддержкой вызова инструментов и агентскими сценариями. Модель ориентирована на обработку длинного контекста и сложных текстовых запросов. Модель построена на архитектуре Mixture-of-Experts: общий размер составляет 671 млрд параметров, из которых для одного токена активируется 37 млрд. Максимальная длина контекста — 128K токенов. В README не указаны точный набор поддерживаемых языков и мультимодальные возможности, поэтому подтверждённо описать её можно только как текстовую языковую модель. Для обучения использовалось расширение длинного контекста в два этапа, а веса и активации представлены в формате UE8M0 FP8. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость при меньшем числе активируемых параметров и пригодность в качестве базы для специализированного дообучения. Ограничения включают очень высокие требования к ресурсам для развёртывания и отсутствие в предоставленных данных подробных результатов оценки, перечня языков и описания мультимодальности. Модель распространяется по лицензии MIT.

FINAL-Bench_Darwin-28B-Opus-GGUF — GGUF-квантизации модели Darwin-28B-Opus, разработанной FINAL-Bench и подготовленной квантизатором bartowski. Модель создана как эволюционное объединение Qwen/Qwen3.6-27B и варианта Qwen3.6-27B с дистиллированным стилем рассуждений Claude Opus. Она предназначена для генерации текста, решения сложных задач и углублённого рассуждения, включая сценарии, требующие пошагового анализа и режима thinking. В основе лежит плотная архитектура поколения Qwen3.6 с гибридным сочетанием линейного и полноформатного внимания: 64 слоя, соотношение три линейных слоя к одному слою полного внимания, размер скрытого состояния 5120 и 27,6 млрд параметров в исходной BF16-версии. Заявлены поддержка английского, китайского, корейского и японского языков, а также многоязычных сценариев. Точная длина контекста в карточке не указана и унаследована от базовой модели. Для GPQA Diamond заявлена точность 88,89% по протоколу адаптивной оценки из трёх этапов, однако результат помечен как непроверенный. Сильные стороны модели — крупный объём параметров, ориентация на продвинутое рассуждение и сочетание возможностей Qwen3.6 с дистиллированным стилем Claude Opus. Ограничения включают высокие требования к ресурсам по сравнению с небольшими моделями, отсутствие точных сведений о длине контекста в данной карточке и то, что доступные GGUF-квантизации являются статическими, без imatrix. Модель распространяется по лицензии Apache 2.0.

GDN-primed-HQwen3-32B-Instruct — гибридная языковая модель, разработанная командой Hybrid Model Factory на основе Qwen3-32B с помощью конвейера Priming. Это инструкционно настроенная причинная языковая модель с 64 слоями: 32 слоя Attention и 32 слоя Gated DeltaNet (GDN), разновидности модели пространства состояний. Веса представлены в формате safetensors, заявленный размер — 29,7 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; карточка указывает поддержку диалога и выполнения инструкций. Модель предназначена для диалога, ответов на вопросы, следования инструкциям, задач по математике, знаниям, программированию и рассуждению, в том числе при работе с длинным контекстом. По данным разработчика, гибридная архитектура сокращает нагрузку на KV-кэш и может ускорять генерацию на длинных контекстах, сохраняя близкое к базовой модели качество; в опубликованных оценках отставание от Transformer-базовой модели составляет около 2,5–3 пунктов на длинных контекстных задачах и около 1–1,5 пункта в среднем на коротких задачах. Эти результаты зависят от сценария и условий запуска. Модель не является reasoning-чекпойнтом и не поддерживает вызов инструментов. Доступна по лицензии Apache 2.0.

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

unsloth/GLM-4-9B-0414-GGUF — GGUF-квантизированная версия языковой модели GLM-4-9B-0414, подготовленная Unsloth на базе модели THUDM. Модель предназначена для локального текстового общения и генерации текста, включая выполнение инструкций, программирование, математическое и общее рассуждение, создание отчётов и работу в ресурсно-ограниченных средах. Она поддерживает китайский и английский языки и относится к классу text-generation. Модель содержит 9 миллиардов параметров; точная архитектура, длина контекста, доступные варианты квантования и поддерживаемые дополнительные модальности в представленном README не указаны. Формат GGUF ориентирован на локальный запуск, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Заявленные сильные стороны исходной GLM-Z1-9B-0414 включают математическое рассуждение, выполнение общих задач и баланс между эффективностью и качеством при небольших требованиях к ресурсам. Ограничения, результаты конкретных бенчмарков и требования к оборудованию не приведены. Лицензия — MIT.

Lion-Lamarck-v.1.0.9 — диалоговая языковая модель на 14 млрд параметров, созданная nlpguy слиянием предварительно обученных моделей с помощью mergekit и метода SCE. В качестве базовой использована sometimesanotion/Lamarck-14B-v0.7; в слияние также вошли DeepSeek-R1-Distill-Qwen-14B, Qwenvergence-14B-v10 и SuperNova-Medius. Модель построена на архитектуре Qwen2 и распространяется в формате Safetensors. Модель предназначена для генерации текста и диалогов, а интерфейс поддерживает вызов инструментов. Контекстное окно составляет до 131 072 токенов. Базовая модель DeepSeek-R1-Distill-Qwen ориентирована на рассуждения, включая математические задачи и программирование; эти сценарии могут быть полезны и для Lion-Lamarck, однако карточка не приводит отдельных оценок качества этой сборки. Модель принимает текст и генерирует текст. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверять на странице репозитория Hugging Face.

Llama-3.1-Minitron-4B-Depth-Base — базовая языковая модель NVIDIA для генерации текста. Она построена на архитектуре Llama 3.1 с авторегрессионным трансформером, механизмом Grouped-Query Attention и позиционными эмбеддингами RoPE; размер модели составляет 4 млрд параметров, а длина контекста — до 131 072 токенов. Модель принимает и выдаёт текст. Модель создана прореживанием слоёв Llama-3.1-8B, после чего её продолжили обучать с дистилляцией на 94 млрд токенов. Она предназначена для адаптации к задачам генерации естественного языка, включая продолжение текста, ответы на вопросы и генерацию кода. Обучающий корпус включал английские и многоязычные тексты, код, диалоги и документы из разных областей; основным языком карточки указан английский. Модель заявлена как готовая к коммерческому использованию. Метаданные указывают лицензию other, поэтому перед применением следует проверить условия NVIDIA. Возможные ограничения — токсичные ответы и усиление предвзятости из обучающих данных, а также неточные, неполные или избыточные ответы; данные предобучения имеют срез до июня 2023 года.

MiniMax-M3-FP8-dynamic — это динамически квантизированная в формате FP8 версия мультимодальной модели MiniMax-M3, разработанной MiniMaxAI. Модель является производным checkpoint от MiniMaxAI/MiniMax-M3 и распространяется в форматах safetensors и compressed-tensors. Она предназначена для диалоговых и мультимодальных задач, включая работу с текстом и изображениями, рассуждения, математику, ответы на вопросы, следование инструкциям и генерацию кода. Базовая MiniMax-M3 описывается как нативная мультимодальная MoE-модель примерно на 428 млрд параметров, из которых около 23 млрд активируются при обработке запроса. Заявлена поддержка контекста до 1 млн токенов. FP8 dynamic quantization уменьшает требования к памяти и дисковому пространству; согласно приведённой оценке, качество в большинстве тестов близко к BF16-версии, хотя на отдельных задачах наблюдается снижение результатов. Модель проверялась в vLLM через OpenAI-compatible server и на оборудовании AMD MI350 с tensor parallel size 8. Основные ограничения связаны с высокими аппаратными требованиями, обусловленными размером исходной MoE-модели и мультимодальной архитектурой. В README не указаны точный набор поддерживаемых языков, подробности входных и выходных модальностей, минимальная конфигурация для запуска и дополнительные ограничения применения. Квантизированный checkpoint следует условиям лицензии базовой MiniMax-M3; конкретный текст лицензии в карточке не приведён, а в метаданных указано license: other.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

SII-Enigma/Qwen2.5-7B-Ins-SFT-32k — плотная причинно-языковая модель семейства Qwen2.5 с 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B-Instruct. В README описан подход AMPO: он использует решения нескольких моделей-учителей, вмешиваясь, когда модель не справляется самостоятельно, и выбирая понятные ей варианты решений. Авторы заявляют, что подход улучшает результативность и эффективность по сравнению с одним RL или SFT. Модель предназначена для генерации текста и диалогов, в том числе для задач рассуждения. Контекст составляет 32 768 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. Метаданные указывают интерфейс вызова инструментов, но README не приводит подробных примеров или результатов оценки именно этого чекпойнта. Указана лицензия Apache-2.0.