I.11Классификация, ранжирование и сопоставление

Bagel 7B v0.5 — разговорная языковая модель, созданная Jon Durbin на основе дообучения Mistral-7B-v0.2 на наборе данных Bagel v0.5. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалога и широкого круга инструктивных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования и работы с контекстом. Обучающие данные охватывают математику, естественные науки, код, чтение с пониманием, ролевые диалоги, SQL, вызов функций и другие сценарии. Карточка указывает четыре варианта форматирования запросов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию использует формат Llama 2. Модель работает с текстом и генерирует текст. Лицензия — Apache-2.0. Качество ответов зависит от задачи и формата запроса; модель может ошибаться в фактах и коде, а состав обучающих данных включает токсичный и потенциально незаконный контент. Для безопасного применения следует проверять результаты и учитывать особенности данных и ограничений исходной Mistral-7B-v0.2.

koreallmdev/deepseek70b-7816-merged-bf16 — самостоятельная версия DeepSeek-R1-Distill-Llama-70B, выпущенная koreallmdev. Модель получена слиянием LoRA-адаптера, обученного на 7 816 строках, с базовой моделью; после загрузки адаптер отдельно не требуется. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, работающая через Transformers и сохранённая в safetensors в формате BF16. Модель предназначена для диалоговой генерации текста, математических рассуждений, программирования и ответов на сложные вопросы — эти возможности указаны для базовой DeepSeek-R1-Distill-Llama-70B. Выпуск обозначен как Conditional Stable; README также сообщает о 200 отложенных оценочных примерах и наличии smoke-тестовых материалов, но не заявляет бездефектное качество. Модель распространяется по лицензии MIT.

dolphin-2.9.1-mixtral-1x22b-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9.1 Mixtral 1x22B, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1, а исходная модель размещена cognitivecomputations. Квантизация выполнена с использованием imatrix и llama.cpp; доступны варианты от Q8_0 до Q2_K и IQ-квантизации с размером файлов примерно от 6,64 до 23,63 ГБ. Модель предназначена для диалоговой генерации текста, следования инструкциям, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, SystemChat, Locutusque function calling и Agent-FLAN. Заявленный язык — английский. Формат взаимодействия использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются большое базовое семейство Mixtral, широкий набор instruction- и code-oriented данных, а также выбор вариантов квантизации для компромисса между качеством и требованиями к памяти. Более высокие варианты, включая Q6_K и Q5_K_M, заявлены как обеспечивающие высокое качество, тогда как низкобитные варианты экономят память, но заметнее снижают качество. Модель работает только с текстом; сведения о размере контекста и мультимодальности в README не указаны. Распространение разрешено по лицензии Apache-2.0.

Dolphin 2.9 Llama 3 8B 1M — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и командой Cognitive Computations на базе Meta Llama 3 8B. Это полнос-параметрическое дообучение плотной архитектуры Llama с шаблоном запросов ChatML; метаданные указывают 7,5 млрд параметров и контекст до 1 048 576 токенов. Модель предназначена для ответов на инструкции, диалогов, задач по коду, математики и начальных сценариев использования инструментов и function calling. В README отмечено, что в обучающем наборе есть ошибка, из-за которой модель может излишне упоминать «SYSTEM MESSAGE»; автор рекомендует явно попросить её не обсуждать системное сообщение. Модель описана как uncensored и может с готовностью выполнять вредоносные запросы, поэтому перед предоставлением пользователям автор рекомендует добавить собственный слой выравнивания. Условия использования определяются лицензией Meta Llama 3 Community License; коммерческое применение допускается в соответствии с её условиями.

Dolphy-1.0 — диалоговая языковая модель от Dolphy AI, дообученная методом LoRA на базе Qwen/Qwen3-4B-Instruct-2507. Это плотная причинная модель семейства Qwen3 с 3,7 млрд параметров и контекстом до 262 144 токенов. В обучающем конвейере использовано 1,5 млн примеров из 20 наборов данных; среди перечисленных источников — материалы для диалогов, следования инструкциям, математики, программирования, письма и ответов на вопросы. Модель предназначена для генерации ответов в чате, выполнения инструкций, решения задач и работы с инструментами через совместимый с Qwen3 интерфейс вызова функций. Она поддерживает многоязычные возможности базовой модели; точный перечень языков в карточке не приведён. Репозиторий содержит веса safetensors, а README также рекомендует GGUF для локального запуска. Лицензия — Apache-2.0. Заявление автора о превосходстве над более крупными моделями не сопровождается результатами сравнительной оценки в предоставленной карточке. Качество может различаться в зависимости от задачи; подробные результаты тестирования и конкретный перечень поддерживаемых языков не приведены.

Gemini 2.5 Flash — мультимодальная модель Google, предназначенная для рассуждений, программирования, математики и научных задач. Карточка описывает её как универсальную рабочую модель со встроенным режимом «thinking» для более сложных ответов. Модель предназначена для диалоговых сценариев и решения сложных задач, в том числе связанных с кодом и наукой. В предоставленных данных не указаны размер, архитектура, поддерживаемые языки, длина контекста или условия лицензии.

FreedomAISVR/Gemma-4-12B-it-NVFP4-GGUF — квантованная в формате NVFP4 версия инструкционной модели Google Gemma 4 12B-it. Это плотный трансформер-декодер Gemma4ForCausalLM с 12,08 млрд параметров, предназначенный для диалога, следования инструкциям, рассуждений, программирования и мультимодального понимания. Модель рассчитана на запуск на видеокартах NVIDIA Blackwell, включая RTX 50 серии; репозиторий содержит GGUF-веса с заявленным размером файла 6,5 ГБ. Карточка приводит результаты на RTX 5060 Ti и рекомендует контекст до 256 тыс. токенов с соответствующими настройками KV-кэша. NVFP4 использует 4-битное представление весов с масштабированием по группам; автор отмечает, что на потребительских GPU скорость декодирования ограничена ядрами, а тензорные ядра FP4 в первую очередь ускоряют обработку входного контекста. Метаданные указывают диалоговую возможность, английский язык и задачу text-generation; описание базовой модели сообщает о понимании изображений, видео и аудио, но карточка этой квантованной версии не описывает точный мультимодальный интерфейс. Лицензия — Apache-2.0.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

GKA-primed-HQwen3-8B-Reasoner — гибридная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Hybrid Model Factory Priming. В ней 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, который выполняет онлайн-регрессию с постоянным объёмом памяти и линейной стоимостью по длине последовательности. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста, многошаговых рассуждений на длинном контексте, решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Поддерживает режимы рассуждения с пошаговой внутренней генерацией и без него. По данным авторов, гибридная архитектура снижает нагрузку на KV-кэш и ускоряет инференс на длинных контекстах, сохраняя качество, близкое к Qwen3-8B; результаты различаются в зависимости от задачи. Карточка приводит слабый результат на SciCode относительно базовой модели. Модель доступна в формате Safetensors, точность в карточке указана как bfloat16. Лицензия — Apache 2.0. Для длинных генераций авторы рекомендуют vLLM; точность генерации на длинном контексте зависит от настроек кэша.

noctrex/GLM-4.5-Air-Derestricted-MXFP4_MOE-GGUF — это GGUF-квантизация MXFP4_MOE модели GLM-4.5-Air-Derestricted, созданной Arli AI на основе GLM-4.5-Air. Вариант Derestricted модифицирован методом Norm-Preserving Biprojected Abliteration для уменьшения отказов при сохранении рассуждений исходной модели; заявления о качестве в карточке основаны на бенчмарках автора. Модель предназначена для генерации текста в диалогах, решения задач с рассуждениями, программирования и сценариев интеллектуальных агентов. Базовая GLM-4.5-Air — гибридная MoE-модель с 106 млрд параметров, из которых активны 12 млрд, и режимами рассуждения и быстрого ответа. README описывает семейство GLM-4.5-Air, но не приводит отдельных параметров контекста или списка языков для этого GGUF-репозитория. Исходная карточка указывает лицензию MIT для моделей GLM-4.5 и GLM-4.5-Air; отдельные условия распространения производного варианта и GGUF-квантизации в предоставленных данных не описаны.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

unsloth/GLM-4.7-Flash-NVFP4 — это версия модели GLM-4.7-Flash, подготовленная Unsloth в формате квантования NVFP4. Исходную модель разработала команда GLM компании Z.ai. Она предназначена для генерации текста, диалоговых приложений, программирования, решения задач рассуждения и агентских сценариев, где важны сочетание производительности и эффективности локального развертывания. Модель имеет MoE-архитектуру с заявленным размером 30B-A3B: 30 миллиардов параметров при активации примерно 3 миллиардов на отдельный запрос. В карточке указаны английский и китайский языки, поддержка библиотеки Transformers и запуск через vLLM или SGLang. Длина контекста и другие архитектурные характеристики не указаны. Мультимодальные возможности для этой версии не заявлены; в карточке она описана как text-generation модель. К сильным сторонам относятся компактная вычислительная нагрузка для класса 30B, возможность эффективного инференса на совместимом оборудовании и высокие результаты, заявленные для ряда тестов, включая AIME 25, GPQA, SWE-bench Verified и τ²-Bench. Ограничения связаны с использованием NVFP4-квантизации, требованиями к актуальным версиям программного обеспечения и поддержке соответствующих ядер; для запуска рекомендуются современные версии vLLM и специализированные компоненты NVIDIA. Карточка также предупреждает, что backend Marlin работает примерно вдвое медленнее. Лицензия модели указана как MIT. В карточке не приведены данные о длине контекста, требованиях к видеопамяти, качестве на русском языке и влиянии NVFP4-квантизации на точность, поэтому эти характеристики нельзя оценить по имеющейся информации.

mlx-community/GLM-5 — версия GLM-5, преобразованная сообществом mlx-community для запуска с MLX на устройствах Apple. Это диалоговая языковая модель семейства GLM с архитектурой GlmMoeDsaForCausalLM и 30,4 млрд параметров; она предназначена для генерации текста и общения. В карточке базовая GLM-5 описана как модель для рассуждений, программирования и длительных агентных задач. Модель поддерживает английский и китайский языки и имеет контекстное окно 202 752 токена. Репозиторий содержит веса в формате Safetensors и рассчитан на использование с библиотекой MLX; README указывает преобразование из zai-org/GLM-5 с помощью mlx-lm версии 0.30.7. Лицензия — MIT. Метаданные указывают связь с базовой моделью как finetune, хотя README описывает именно преобразование в формат MLX; поэтому происхождение классифицировано как конверсия формата.

Карточка модели Langitzt/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели Ishowbackup/Hy3 на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

JoyAI-LLM Flash — инструктивная языковая модель среднего размера от jdopensource для диалогов, рассуждений, программирования и работы с инструментами. В карточке описаны предварительное обучение на 20 триллионах текстовых токенов, supervised fine-tuning, DPO и обучение с подкреплением в разных средах. Модель использует архитектуру Mixture-of-Experts: в README указаны 48 млрд параметров всего и 3 млрд активируемых параметров; метаданные Hugging Face сообщают 2,7 млрд параметров и класс DeepseekV3ForCausalLM. Эти сведения о размере расходятся. Модель рассчитана на генерацию текста в формате чата, решение задач на рассуждение и код, а также агентные сценарии с вызовом инструментов. README заявляет поддержку контекста до 131 072 токенов согласно метаданным. Указаны китайский и английский языки. Репозиторий содержит веса Safetensors для Transformers. README описывает доступ через API и совместимые с OpenAI и Anthropic интерфейсы; конкретные условия лицензии в предоставленных данных отсутствуют.

WhiskyAKM публикует GGUF-версию K2-Horizon-MoVA-36B-A4B, производной от IFM/K2-Horizon-MoVA-36B-A4B. Это разрежённая языковая модель архитектуры MoE с механизмом внимания Mixture-of-Values: всего 36 млрд параметров, из которых активны 4 млрд на токен. Модель предназначена для генерации текста и диалогов, рассуждений, программирования и агентных задач с использованием инструментов. Репозиторий содержит квантизованные в NVFP4 веса в формате GGUF для запуска через llama.cpp и совместимые движки. Заявленное контекстное окно — 524 288 токенов. Карточка отмечает английский язык. Лицензия — Apache-2.0. Для NVFP4 автор указывает оптимизацию под NVIDIA Blackwell и совместимое оборудование; фактическая производительность и доступность поддержки зависят от движка и аппаратуры.

LFM2-24B-A2B — универсальная инструктивная языковая модель компании Liquid AI из семейства LFM2, предназначенная для локального развёртывания на устройствах и компьютерах. Это гибридная архитектура MoE с 24 млрд параметров, из которых активны около 2,3 млрд на токен; в метаданных указано 3,4 млрд параметров. Модель имеет 40 слоёв: 30 сверточных и 10 attention-слоёв, поддерживает контекст до 128 000 токенов и работает через Transformers. Для хранения весов используется safetensors. Модель подходит для диалогов, вызова инструментов, локальных RAG-систем, суммаризации документов и ответов на вопросы. Её можно использовать для приватных сценариев на собственном оборудовании, включая поддержку клиентов и многошаговые агентные процессы. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Разработчик не рекомендует модель для программирования; она не использует цепочки рассуждений в ответах. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой репозитория.

Maestro1-9B — плотная мультимодальная модель с 9 млрд параметров от Vection Labs, построенная на архитектуре Qwen3-VL. Она принимает текст и изображения, а также предназначена для анализа видео, и генерирует текстовые ответы. Модель ориентирована на пошаговые рассуждения, математику, программирование и визуальный анализ; заявленное контекстное окно — до 1 млн токенов. Модель подходит для решения математических задач, генерации и отладки кода, ответов на вопросы по изображениям, документам, диаграммам и коротким видеороликам, а также анализа длинных документов и кодовых баз. Карточка указывает поддержку английского языка. Для запуска рекомендуются Transformers и GPU с 24–80 ГБ памяти при использовании bf16; веса доступны в формате safetensors. Модель может уверенно выдавать неверные ответы, а сгенерированный код требует проверки. Длинные контексты и видео увеличивают задержку и потребление памяти; аудио не поддерживается. Не предназначена для принятия важных медицинских, юридических или финансовых решений без проверки человеком. Лицензия — Apache-2.0.

JetBrains/Mellum2-12B-A2.5B-Instruct-GGUF-Q8_0 — это квантованная в формате GGUF версия инструкционной модели Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций, включая задачи программирования и ассистирования, и может запускаться локально через llama.cpp, Ollama, LM Studio и другие совместимые среды. Модель использует архитектуру Mixture-of-Experts с 64 экспертами, из которых для каждого токена активируются 8. Контекстное окно составляет 131 072 токена. Представленная версия применяет 8-битное квантование Q8_0, занимает около 12,9 ГБ и сохраняет близкое к BF16 качество: KL-дивергенция составляет примерно 0,016, а наиболее вероятный токен совпадает с BF16 в 95,2% случаев. В README явно указан английский язык; сведения о других языках и дополнительных модальностях отсутствуют. Модель формирует ответы напрямую, без внешнего отображения цепочки рассуждений. Сильные стороны версии — существенно меньший размер по сравнению с BF16 при небольших потерях качества, длинный контекст и широкая совместимость с локальными GGUF-рантаймами. Ограничения включают повышенные требования к памяти по сравнению с более агрессивными вариантами квантования и отсутствие в данном README подробных результатов оценки, описания полного набора языков и характеристик базовой модели. Модель распространяется по лицензии Apache 2.0.

AI-Engine/Meta-Llama-3-8B-Instruct-GGUF — это GGUF-квантизированная версия инструкционно дообученной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и кода, прежде всего для диалоговых ассистентов, обработки инструкций и других задач генерации на английском языке. Репозиторий содержит варианты квантования для llama.cpp, включая версии с imatrix. Модель имеет авторегрессионную архитектуру на основе оптимизированного Transformer, около 8 млрд параметров и поддерживает только текстовые входы и выходы. Она использует Grouped-Query Attention (GQA), контекстное окно до 8 тысяч токенов, а инструкционная версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Данные обучения включали новый набор общедоступных онлайн-данных; дата отсечения знаний указана как март 2023 года. К сильным сторонам относятся ориентация на диалог, генерацию текста и кода, относительно компактный размер 8B и возможность локального запуска через совместимые инструменты GGUF и llama.cpp. Ограничения включают англоязычную специализацию, статичность модели и устаревание знаний после даты отсечения; качество и требования к ресурсам зависят от выбранного уровня квантования. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей Acceptable Use Policy; в README указано, что доступна коммерческая лицензия с особыми условиями.

unsloth/MiniMax-M3 — производная версия MiniMax-M3 от MiniMax, представленная в формате safetensors. Это мультимодальная модель архитектуры MoE со Sparse Attention: около 428 млрд параметров, из которых активируются около 23 млрд. Она принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Модель предназначена для диалогов с визуальным содержимым, анализа изображений и видео, программирования и агентных сценариев с вызовом инструментов. В README заявлены ускорение обработки длинного контекста и сильные результаты в длительных агентных задачах, однако конкретные бенчмарки для этой копии не приведены. Для запуска README рекомендует SGLang, vLLM или Transformers. В метаданных указана лицензия other; дополнительные условия следует сверять с лицензией базовой модели. Карточка описывает модель как дообучение MiniMaxAI/MiniMax-M3, но не сообщает о собственном обучающем наборе или отдельных изменениях относительно базы.

Motif 3 — мультиязычная авторегрессионная языковая модель Motif Technologies с архитектурой Mixture-of-Experts (MoE), представленная как диалоговая версия базовой Motif-3-Base. По метаданным, модель содержит 11 млрд параметров; README описывает конфигурацию на 314 млрд параметров всего, из которых 13,2 млрд активируются на токен, поэтому сведения о размере в источниках расходятся. Модель принимает текст и генерирует текст, поддерживает контекст до 262 144 токенов и рассчитана на английский и корейский языки, а также на код и математические задачи. Модель предназначена для диалога, генерации и продолжения текста, программирования, рассуждений и агентных сценариев с использованием инструментов, включая решение задач через терминал. В архитектуре заявлены Grouped Differential Latent Attention, 384 маршрутизируемых эксперта, Multi-Token Prediction для ускорения генерации и другие собственные компоненты. README сообщает о сильных результатах на агентных и инструментальных тестах, но не предоставляет полную таблицу оценок в доступном тексте. Веса доступны для скачивания; лицензия по метаданным — MIT.

Nex-N2.5-mini-GGUF — это квантизированное представление модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в формат GGUF с использованием llama.cpp. Модель предназначена для генерации текста, программирования, агентских сценариев, вызова инструментов, работы с компьютером и мультимодальных задач. Поддерживаются английский и китайский языки. Исходная модель заявлена с контекстным окном до 262 144 токенов и может использоваться в текстовом режиме или с дополнительным vision-проектором mmproj-Nex-N2.5-mini-F16.gguf для мультимодальной обработки. Репозиторий содержит варианты квантизации от Q8_0 до IQ1_S и TQ1_0, поэтому можно выбирать между качеством, размером файлов и требованиями к памяти. Размеры файлов составляют примерно от 7,48 до 36,90 ГБ, а проектор занимает 899 МБ. Сильными сторонами являются поддержка длинного контекста, инструментов и мультимодальных сценариев, а также возможность локального запуска через llama.cpp и OpenAI-совместимый сервер. Ограничения связаны с необходимостью значительного объёма памяти, возможной потерей качества при агрессивной квантизации и зависимостью корректной работы вызова инструментов от возможностей конкретного runtime и его интеграции. Приведённые в README результаты тестов относятся к исходному семейству Nex-N2.5, а не непосредственно к этой GGUF-конверсии. Модель распространяется по лицензии Apache-2.0.

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

Это GGUF-представление NVIDIA Nemotron 3.5 Lightning — гибридной языковой модели NVIDIA с архитектурой Mixture-of-Experts, слоями Mamba-2 и выборочными слоями Attention. Модель содержит 30 млрд параметров, из которых при генерации активны около 3 млрд; контекст достигает 1 млн токенов, а на одной H100 — 256 тыс. токенов. В карточке представлены варианты F16, Q4_K_M и Q5_K_M; метаданные также указывают GGUF BF16. Модель предназначена для диалога и генерации текста, включая задачи с кодом, математикой, наукой, вызовом инструментов и структурированными ответами. Она поддерживает настраиваемый режим рассуждений и английский, испанский, французский, немецкий, итальянский и японский языки. Контрольные результаты в README показывают конкурентный уровень, но уступание более крупным моделям NVIDIA в большинстве приведённых агентных задач программирования и рассуждений. Этот чекпойнт описан как полноточечная основа для дальнейшей настройки, адаптации и выпуска квантованных вариантов; для непосредственного развёртывания NVIDIA рекомендует сопутствующий NVFP4-вариант. Репозиторий заявлен под лицензией OpenMDW-1.1.

Это 6-битная квантизированная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на устройствах Apple Silicon. Модель основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; архитектура исходной модели сочетает гибридный подход и MoE с 30 млрд параметров, из которых около 3 млрд активируются на токен. Исходная модель рассчитана на диалоги, рассуждения, программирование и создание агентных приложений, поддерживает длинный контекст и шесть языков: английский, испанский, французский, немецкий, японский и итальянский. Эту сборку можно использовать для генерации текста, диалогов и вызова инструментов в приложениях на Apple Silicon. Квантизация уменьшает требования к памяти по сравнению с BF16, но может влиять на точность ответов. В README не приведены длина контекста и условия лицензии именно для этой сборки; лицензия в метаданных обозначена как other. Модель может выдавать неточные или нежелательные ответы.

CallComply/openchat-3.5-0106-11b — дообученная компанией OpenChat чат-модель на архитектуре Mistral, представленная в формате Safetensors. Метаданные указывают 10,6 млрд параметров, контекст до 32 769 токенов и лицензию Apache 2.0. В README приведены сведения о варианте OpenChat-3.5-0106 на 7 млрд параметров с контекстом 8192 токена; поэтому заявленные там размеры и контекст расходятся с метаданными именно этого репозитория. Модель предназначена для диалогов, генерации текста, программирования и математических рассуждений. В README описаны общий режим и отдельный режим математических задач, а также экспериментальные возможности оценки ответов и предоставления обратной связи. Карточка рекомендует запускать её через OpenChat API-сервер с vLLM и указывает поддержку шаблона чата. README приводит результаты тестов на задачах кодирования, математики и общего рассуждения, но эти цифры не гарантируют качество в конкретных сценариях. Это текстовая модель: данные не подтверждают работу с изображениями или аудио. Лицензия репозитория — Apache 2.0.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.