II.1Анализ требований и архитектура ПО

dolphinllamaseekv1 — объединённая модель генерации текста на архитектуре Llama, созданная сообществом mergekit-community методом SLERP из cognitivecomputations/Dolphin3.0-Llama3.1-8B и deepseek-ai/DeepSeek-R1-Distill-Llama-8B. В репозитории указаны 7,5 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors, модель рассчитана на запуск через Transformers. Модель предназначена для диалоговой генерации текста и задач, в которых полезны возможности исходных моделей Dolphin и DeepSeek R1 Distill, включая рассуждения и программирование. Метаданные также отмечают интерфейс вызова инструментов. Объединение может сочетать свойства двух моделей, но README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

QuantFactory/Fireball-3.1-8B-ORPO-GGUF — квантизированная версия EpistemeAI/Fireball-3.1-8B-ORPO, созданная с помощью llama.cpp. В основе лежит Meta Llama 3.1 8B от Meta, дообученная методом ORPO, который объединяет supervised fine-tuning и выравнивание по предпочтениям в едином процессе. Разработчик и автор исходной версии — EpistemeAI; квантизацию также выполнила EpistemeAI. Модель предназначена для генерации текста, диалоговых ассистентов и других задач обработки естественного языка, включая работу с кодом. Это текстовая autoregressive Transformer-модель примерно на 8 млрд параметров с поддержкой Grouped-Query Attention. Заявлены мультиязычные текстовые входы и выходы, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Максимальная длина контекста составляет 128 тысяч токенов, дата отсечения знаний — декабрь 2023 года. Квантизированный формат GGUF ориентирован на запуск через llama.cpp и может снизить требования к памяти и вычислительным ресурсам по сравнению с полноразмерными весами. Ограничения включают статичность знаний, возможные ошибки и ограничения качества после дообучения и квантизации, а также отсутствие поддержки изображений и других немультимодальных входов. В README указана лицензия Llama 3.1 Community License; при этом в разделе сведений о загруженной модели также упомянута Apache-2.0, поэтому условия распространения следует уточнить по актуальным файлам лицензии репозитория.

Gemini 3.5 Flash — мультимодальная модель Google для работы с текстом и изображениями. В карточке она описана как высокопроизводительная модель уровня Flash, ориентированная на скорость и низкую стоимость при решении задач рассуждения и программирования. Модель подходит для анализа изображений и текста, помощи с кодом и сценариев с параллельным выполнением агентных задач. Подробности об архитектуре, размере, поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

gaunernst/gemma-3-4b-it-int4-awq — это 4-миллиардная instruction-tuned модель семейства Gemma 3, разработанная Google DeepMind. Модель мультимодальная: принимает текст и изображения, а генерирует текст. Данный репозиторий содержит QAT INT4-чекпойнт из Flax, преобразованный в формат Hugging Face и AWQ для удобства использования; при этом квантование методом AWQ для исходного чекпойнта не применялось. Модель предназначена для диалоговых и прикладных задач: ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Она поддерживает более 140 языков, обрабатывает изображения, нормализованные до разрешения 896 × 896 и представленные 256 токенами на изображение. Для размеров 4B, 12B и 27B заявлено контекстное окно до 128 000 токенов, а максимальный объём генерируемого вывода составляет 8192 токена. Ключевые преимущества — сравнительно компактный размер, instruction-tuned поведение, мультимодальность и INT4-представление, потенциально упрощающее запуск на ограниченных ресурсах, включая локальные компьютеры и собственную облачную инфраструктуру. Ограничения включают зависимость качества от языка, задачи и входных изображений, а также необходимость учитывать особенности конвертированного формата и совместимость с поддерживаемыми инструментами. Использование регулируется лицензией Gemma; доступ к исходной модели на Hugging Face требует принятия условий использования Google.

mlx-community/gemma-4-31B-it-qat-OptiQ-4bit — квантизированная модель семейства Gemma-4, разработанная сообществом mlx-community с использованием инструментария mlx-optiq и построенная на базе Google Gemma-4 31B IT QAT. Это плотная модель примерно на 31 млрд параметров для генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и задач с длинным контекстом. Поддерживает сценарии image-text-to-text: зрительный модуль поставляется отдельно в формате bf16. Языки и максимальный размер контекста в README не указаны. Модель использует смешанную квантизацию: преимущественно 4-битную, с 186 чувствительными компонентами в 8-битном формате и 224 компонентами в 4-битном; достигнутая точность составляет 5,20 бит на вес, размер группы — 64. По заявленным тестам она особенно выигрывает у равномерной 4-битной квантизации в извлечении информации из длинного контекста, а также показывает высокие результаты в MMLU, GSM8K, IFEval, BFCL и HumanEval. Ограничения включают больший размер по сравнению с обычной 4-битной версией — около 20,8 ГБ на диске — и необходимость использования Apple Silicon, актуальной версии mlx-lm из репозитория и mlx-optiq; стандартного выпуска mlx-lm 0.31.3 недостаточно. Доступна по лицензии Apache 2.0.

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

Карточка модели manaladan6/GLM-4.5-Air на Hugging Face совпадает с карточкой zai-org/GLM-4.5-Air, поэтому описание составлено по ней. GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

GLM-5 — диалоговая языковая модель семейства GLM, разработанная Z.ai. Она предназначена для решения сложных задач программирования и системной инженерии, многошаговых рассуждений и длительных агентных сценариев с использованием инструментов. В карточке описана модель на 744 млрд параметров с 40 млрд активных параметров; применяются архитектура MoE и механизм DeepSeek Sparse Attention (DSA), рассчитанный на эффективную работу с длинным контекстом. Метаданные этого репозитория указывают 30,4 млрд параметров и контекст до 202 752 токенов. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского и китайского языков. Для локального развёртывания README упоминает vLLM, SGLang и xLLM. Репозиторий распространяется по лицензии MIT. Размер модели и расхождение между описанием архитектуры в README и параметрами репозитория требуют внимания при выборе конкретного чекпойнта и конфигурации развёртывания.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — Apple Silicon-версия мультимодальной модели GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса предоставлены dealignai, а смешанную квантизацию oQ8e подготовила Solstice-AI. Модель распространяется в формате MLX и предназначена для локального запуска на чипах Apple Silicon M2, M3, M4 и M5. Это разреженная MoE-модель общим объёмом 320 млрд параметров, из которых около 18 млрд активируются для каждого токена; используется 288 маршрутизируемых экспертов. Модель поддерживает текст, изображения и видео, заявлены языки English и Chinese, а также нативное контекстное окно до 1 048 576 токенов. В релиз включён DFlash2 speculative drafter, который, по данным README, может обеспечивать прирост пропускной способности генерации до 3 раз. Ключевая особенность — смешанная точность около 8,6 bpw: критичные для маршрутизации и вывода компоненты защищены 8-битным или полным представлением, а vision tower и мультимодальный aligner сохранены в BF16. Модель ориентирована на рассуждения, программирование, математические задачи, анализ изображений и видео, а также работу с длинным контекстом. README заявляет высокие результаты на MMLU, SWE-bench Pro, LiveCodeBench, MATH-500, MMMU и VideoQA, но эти показатели не подтверждены независимыми источниками. Пометка UNCENSORED указывает на отсутствие обычного поведения отказа, что расширяет спектр допустимых сценариев, но может повышать риски небезопасных ответов. Лицензия — MIT.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-NVFP4 — мультимодальная версия GLM-5.3-Flash с архитектурой от Zhipu AI / ZAI, некорректированными в сторону отказов весами от dealignai и упаковкой NVFP4 от Solstice-AI. Модель предназначена для диалогов, рассуждений, программирования, математических задач, анализа изображений и понимания видео. Заявлена поддержка контекста до 1 048 576 токенов. Это foundation-модель общим размером 320 млрд параметров на основе MoE с 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Используется смешанная точность W4A16: веса маршрутизируемых экспертов представлены в 4-битном формате NVFP4, а attention-слои, общие эксперты и активации сохраняются в BF16/FP16. Мультимодальный модуль включает 24-слойный ViT и проектор с размерностью 10 240; заявлена обработка изображений высокого разрешения и временных последовательностей видео. В комплект также входит DFlash 2 для speculative decoding. К сильным сторонам относятся большой контекст, нативные возможности работы с изображениями и видео, сниженные требования к памяти благодаря квантизации и потенциальное ускорение генерации с DFlash 2. Модель позиционируется для NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere, включая B200, H100/H200, RTX 4090/L40S и A100. Ограничениями являются высокая общая размерность модели, зависимость производительности от совместимого ПО и GPU, а также отсутствие встроенного отказного поведения: это может быть полезно для исследовательских и специализированных сценариев, но повышает риски небезопасного применения. Приведённые в карточке результаты бенчмарков следует считать заявленными авторами модели. В карточке указана лицензия MIT; отдельно отмечены атрибуция базовой архитектуры Zhipu AI / ZAI, калибровка dealignai и упаковка Solstice-AI.

Calandracas/gpt-oss-120b-Derestricted-GGUF — это GGUF-квантизированная версия модели gpt-oss-120b-Derestricted, созданная Arli AI на базе открытой весовой модели openai/gpt-oss-120b от OpenAI. Модель предназначена для генерации текста, задач общего назначения, сложного рассуждения и агентских сценариев, включая вызов функций, веб-браузинг, выполнение Python-кода и структурированный вывод. Архитектура исходной модели основана на Mixture-of-Experts: заявлено около 117 млрд параметров, из которых примерно 5,1 млрд активируются при обработке запроса. Модель поддерживает настраиваемый уровень рассуждения — low, medium и high — и обучена работать в формате ответов Harmony, без которого, согласно карточке, она функционирует некорректно. В README не указаны поддерживаемые языки и точный размер контекста. GGUF-формат ориентирован на локальный запуск совместимыми средствами. Ключевая особенность версии Derestricted — удаление значительной части отказов и ограничивающего поведения при сохранении возможностей рассуждения исходной модели. Для этого Arli AI применила метод Norm-Preserving Biprojected Abliteration, направленный на сохранение норм весов и снижение деградации логики по сравнению с обычной abliteration. При этом модель может иногда сохранять склонность к отказам, а снижение встроенных ограничений повышает риски небезопасного или нежелательного использования. Для производственного запуска также требуются значительные вычислительные ресурсы; исходная модель рассчитана на размещение в одной GPU с 80 ГБ памяти. Лицензия — Apache 2.0.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

Hy3 preview — диалоговая модель Tencent Hy Team на архитектуре Mixture-of-Experts с поддержкой вызова инструментов. Она предназначена для сложных рассуждений, следования инструкциям, анализа длинного контекста, программирования и агентных сценариев, включая поиск и работу в среде разработки. В README указано 295 млрд параметров, из которых активны 21 млрд, а также дополнительные 3,8 млрд параметров MTP-слоя. Модель работает с текстом; заявленная длина контекста в метаданных — 262 144 токена. Для развёртывания README рекомендует vLLM или SGLang и серверное оборудование с большим объёмом памяти. Репозиторий содержит веса Safetensors, библиотека — Transformers. Tencent сообщает о результатах на тестах STEM и математики, следования инструкциям, кодирования и агентного поиска. Это предварительная версия, поэтому результаты бенчмарков не гарантируют качество в конкретных задачах. Лицензия обозначена как other; условия использования следует сверить с лицензией в репозитории модели.

HyperNova 60B 2605 — открытая по весам instruction-tuned модель, разработанная Multiverse Computing и представленная как решение на базе CompactifAI. Она предназначена для общего рассуждения, генерации кода и разработческих сценариев, включая RAG, агентские приложения и задачи с инструментами. Модель построена на decoder-only Transformer и содержит 60B общих параметров, из которых 4,8B являются активными. Она поддерживает native tool calling с OpenAI-style схемами, function calling, структурированный вывод и агентские рабочие процессы. Основной язык — английский; другие языки формально не оценивались. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся оптимизация эффективного вывода, уменьшенный объём памяти, улучшения по сравнению с HyperNova 60B 2602 в задачах кодирования и общих бенчмарках, а также поддержка настраиваемого уровня reasoning effort. Ограничения включают отсутствие формальной оценки других языков и отсутствие гарантии полной совместимости поведения tool calling с базовой или другими моделями. Модель распространяется по лицензии Apache 2.0.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

Карточка модели ckoh04/Kimi-K2.6-pruned-8experts на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Laguna XS.2-NVFP4 — текстовая Mixture-of-Experts-модель компании Poolside, предназначенная для агентного программирования и длительных рабочих процессов на локальном компьютере. Модель является вариантом Laguna XS.2 с квантованием NVFP4 и FP8-кэшем ключей и значений (KV cache). Она поддерживает генерацию текста, использование инструментов и встроенное рассуждение между вызовами инструментов с возможностью включать и отключать режим рассуждения для отдельных запросов. Модель содержит 33 млрд параметров, из которых 3 млрд активируются на каждом токене, 40 слоёв и 256 экспертов с одним общим экспертом. В 30 слоях используется Sliding Window Attention с окном 512 токенов и покомпонентным управлением на уровне голов внимания, а в 10 слоях — глобальное внимание. Контекстное окно составляет 262 144 токена. Модель работает в режиме text-to-text, использует FP8-кэш KV для снижения требований к памяти и рассчитана на локальный запуск, включая компьютеры Mac с 36 ГБ оперативной памяти. Поддерживаются vLLM, Transformers, SGLang и TRT-LLM. Сильные стороны модели — сочетание большого контекстного окна, низкого числа активируемых параметров, уменьшенных требований к KV-кэшу и ориентации на задачи разработки ПО, включая работу с терминалом и многошаговые агентные сценарии. В README не указаны поддерживаемые естественные языки и подробные ограничения качества; приведённые результаты бенчмарков относятся к Laguna XS.2 в варианте BF16 и не являются прямой оценкой NVFP4. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

Llama-3_1-Nemotron-51B-Instruct — разработанная NVIDIA языковая модель для диалогов и генерации текста. Это производная Llama-3.1-70B-Instruct: NVIDIA применила поиск архитектуры NAS и дистилляцию, чтобы повысить эффективность инференса и сократить требования к памяти при небольшом снижении качества. По метаданным, модель содержит 87 млрд параметров и поддерживает контекст до 131 072 токенов; в описании дистилляции указана длина последовательности 8 192 токена. Модель предназначена для англоязычных одно- и многоходовых диалогов общего назначения, а также задач, связанных с кодом; README отмечает поддержку других языков, но не перечисляет их. Она принимает и выдаёт текст, поддерживает чат и интерфейс вызова инструментов. Архитектура — авторегрессионный трансформер-декодер с неодинаковыми блоками: переменным числом KV-голов, пропуском или упрощением внимания и переменным коэффициентом расширения FFN. NVIDIA указывает, что модель оптимизирована для высокопроизводительного запуска на одной H100 80 ГБ; для BF16 README приводит требования в две H100 80 ГБ или две A100 80 ГБ. Модель подходит для коммерческого применения согласно README. Метаданные указывают лицензию other, поэтому перед использованием следует ознакомиться с условиями NVIDIA. Модель может выдавать неточные, нерелевантные или токсичные ответы, отражать смещения обучающих данных и быть уязвимой к атакам на выравнивание; разработчик рекомендует применять защитные механизмы.

duyntnet/Llama-3.1-Nemotron-Nano-4B-v1.1-imatrix-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Nemotron-Nano-4B-v1.1, разработанной NVIDIA. Исходная модель создана на основе NVIDIA Llama-3.1-Minitron-4B-Width-Base, которая, в свою очередь, получена из Llama 3.1 8B с применением методов сжатия модели. Модель предназначена для генерации текста, диалогов, решения математических и программных задач, рассуждений, Retrieval-Augmented Generation (RAG) и вызова инструментов. Она поддерживает режимы рассуждения и обычного ответа, а также контекст длиной до 128K токенов. Благодаря размеру около 4 млрд параметров и квантизированному формату подходит для локального запуска, в том числе на одной RTX GPU, через llama.cpp, KoboldCPP, text-generation-webui, Ollama, Jan и совместимые интерфейсы. К сильным сторонам относятся сочетание компактности, эффективности, поддержки рассуждений и tool calling, а также многоэтапное дообучение на задачах математики, программирования, рассуждений, диалогов и следования инструкциям. Ограничениями являются текстовая специализация, заявленный язык English и возможные потери качества, связанные с квантизацией; конкретные характеристики зависят от выбранного GGUF-файла. В карточке указана лицензия other; исходное описание сообщает о готовности модели к коммерческому использованию, но точные условия лицензии для данной сборки не раскрыты.

Это объединённая плотная языковая модель семейства Qwen2, созданная с помощью mergekit методом Model Stock на основе DeepSeek-R1-Distill-Qwen-32B. В объединение вошли ArliAI/Qwen2.5-32B-ArliAI-RPMax-v1.3, Sao10K/32B-Qwen2.5-Kunou-v1 и EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2. Модель содержит 32 млрд параметров, использует архитектуру Qwen2ForCausalLM и принимает текст для генерации текста; доступны интерфейсы чата и вызова инструментов. Контекстное окно — 131 072 токена. Модель предназначена для диалоговой генерации и решения задач на основе текста. Базовая модель DeepSeek-R1-Distill-Qwen-32B описана как модель для рассуждений, математики и программирования, однако README не приводит отдельные оценки качества этого слияния. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

maldv/Meta-Llama-3-8B-Instruct-hf — чат-модель семейства Llama 3, разработанного Meta. Это авторегрессионный плотный трансформер LlamaForCausalLM с 7,5 млрд параметров и Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает текст и генерирует текст, включая код, а версия Instruct настроена для диалогов и помощнических сценариев. Модель подходит для ответов на вопросы, ведения диалога и генерации текста или кода на английском языке. Метаданные указывают контекст до 8192 токенов. README описывает настройку инструкционной версии с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи людей. Для языков помимо английского может потребоваться дополнительное дообучение. Условия использования определяются лицензией Meta Llama 3 с коммерческими условиями и политикой допустимого использования. Модель статична и обучена на офлайн-данных; для конкретного приложения разработчикам следует самостоятельно настраивать меры безопасности.

Карточка модели Arsh9210/MiniMax-M3-NVFP4 на Hugging Face совпадает с карточкой nvidia/MiniMax-M3-NVFP4, поэтому описание составлено по ней. NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.

SanctumAI/Mistral-7B-Instruct-v0.3-GGUF — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и подготовленной в формате GGUF командой SanctumAI. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая использование через локальные приложения, поддерживающие GGUF. Она также поддерживает function calling. Модель основана на Mistral-7B-v0.3 и использует расширенный словарь размером 32 768 токенов и tokenizer v3. В репозитории доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 2,72 до 14,50 ГБ. Для полного контекста до 32 000 токенов заявленные требования к памяти варьируются от 6,78 до 17,74 ГБ в зависимости от варианта. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует считать текстовой. Ключевое преимущество — возможность запускать модель локально с выбором компромисса между размером, требованиями к памяти и сохранением качества. Ограничения связаны с потерями качества при низкой степени квантизации и с тем, что это сравнительно компактная 7-миллиардная модель, поэтому её возможности уступают более крупным моделям в сложных задачах. Модель распространяется по лицензии Apache-2.0.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным каузальным трансформером и отдельным энкодером восприятия, дистиллированная из Muse Spark. В README указано около 29,6 млрд параметров; модель работает с текстом и изображениями и распространяется в формате safetensors под лицензией Apache 2.0. Модель предназначена для локальных агентных сценариев: планирования последовательности действий, вызова инструментов, восстановления после ошибок и выполнения многошаговых задач. Её также предлагают использовать для написания и отладки кода, анализа скриншотов, диаграмм, документов и изображений, генерации синтетических данных и оценки ответов других моделей. В карточке заявлена оптимизация для работы на потребительском оборудовании без облачной инфраструктуры. Ограничения включают возможные ошибки, предвзятые или нежелательные ответы и сбои в многошаговом рассуждении, особенно в новых сценариях. Модель не оптимизирована для видео, аудио на входе и выходе не поддерживается; качество может снижаться на языках, которые недостаточно оценивались. Для агентных развёртываний разработчикам рекомендуется проводить собственные проверки безопасности и учитывать подтверждение необратимых действий.

Nemotron-Cascade-14B-Thinking — универсальная языковая модель NVIDIA на 14 млрд параметров, построенная на архитектуре Qwen3 и дообученная от Qwen3-14B Base. Модель проходит многоэтапное SFT и последовательное обучение с подкреплением по отдельным областям; она предназначена исключительно для режима рассуждений и поддерживает диалоговый шаблон Qwen3 ChatML. Модель подходит для рассуждений на общие темы, математики, программирования, разработки ПО, следования инструкциям и использования инструментов. В метаданных указан контекст 32 768 токенов; README рекомендует YaRN для поддержки более длинного контекста и приводит параметры генерации temperature 0,6 и top_p 0,95. По данным карточки, доступны веса Safetensors и библиотека Transformers. Карточка сообщает о высоких результатах на широком наборе бенчмарков, но эти заявления относятся к оценкам авторов. Модель текстовая и ориентирована на английский язык; README не описывает поддержку других языков. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.