I.11Классификация, ранжирование и сопоставление

Salience-27B-R5-GGUF — это квантизированная версия мультимодальной модели Salience-27B-R5, разработанной vectionlabs и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель содержит около 28 млрд параметров и поддерживает обработку текста и изображений; для работы с изображениями требуется файл mmproj. Заявлена поддержка speculative decoding через MTP. Модель предназначена для задач рассуждения, эффективного пошагового анализа, программирования и software engineering, а также для агентских сценариев с использованием терминала и инструментов. В карточке указана поддержка английского языка и большой длины контекста, однако точный размер контекстного окна и подробности архитектуры не приведены. Основное преимущество — широкий выбор вариантов квантизации с разным балансом между качеством, размером и требованиями к памяти. Рекомендуемым универсальным вариантом назван Q4_K_M размером около 17,77 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. Более сильная квантизация экономит память, но может снижать качество ответов; точные результаты тестирования и измерения perplexity или KLD не указаны. Модель распространяется по лицензии Apache-2.0.

Virtuoso-Lite — языковая модель для генерации текста, представленная командой arcee-ai. В метаданных указаны архитектура Llama и базовая модель Falcon3-10B-Base; карточка описывает модель как 10-миллиардную и сообщает о дистилляции знаний DeepSeek-V3. Репозиторий содержит веса safetensors для библиотеки Transformers, а контекст модели составляет 32 768 токенов. Модель предназначена для диалоговых помощников, генерации и отладки кода, математических и технических ответов, а также прототипов анализа данных и STEM-обучения. Карточка заявляет о логитной дистилляции примерно на 1,1 млрд токенов и последующем DPO-выравнивании. Модель поддерживает текстовый ввод и генерацию текста; заявлены возможности чата и интерфейс вызова инструментов. В README указана лицензия falcon-llm-license. Среди ограничений карточка отмечает возможную предвзятость и вредоносную генерацию, а также срез знаний примерно до июня 2024 года. Показатели бенчмарков приведены без подробностей о методике, поэтому их следует считать заявлениями авторов карточки.

jondurbin/airoboros-110b-3.3 — экспериментальная чат-модель Джона Дурбина, дообученная на базе Qwen1.5-110B преимущественно на синтетических данных Airoboros. Это плотная авторегрессионная языковая модель с архитектурой Qwen2ForCausalLM; она использует шаблон диалога ChatML и принимает текстовые запросы. По метаданным, размер модели — 110 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, следования инструкциям и выдачи аргументов для вызова функций в JSON или YAML. Карточка описывает настройку для контекстных ответов, призванную ограничивать ответы сведениями из источника, а также планирование многошагового выполнения задач; для контекстных запросов рекомендуется низкая температура. Автор отмечает, что иногда в конце ответов появляются лишние токены. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Автор характеризует модель как экспериментальную; карточка не приводит количественных оценок качества.

jondurbin/bagel-jamba-v05 — экспериментальная дообученная модель автора jondurbin на базе AI21 Jamba-v0.1. Это языковая модель с гибридной архитектурой Mamba-Transformer и смесью экспертов (MoE), содержащая 7,2 млрд параметров и предназначенная для генерации текста в диалоговом формате. Модель обучалась на наборе BAGEL, включающем инструкции, диалоги, вопросы и ответы, задачи по математике, естественным наукам, программированию, суммаризации, ролевому письму и вызову функций. README указывает, что эта версия прошла этап SFT; улучшение гиперпараметров ещё рассматривается, а DPO-версия для неё могла быть выпущена позднее. Поддерживаются несколько шаблонов промптов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. Модель принимает и генерирует текст. Данные включают многоязычные задания, но конкретный список поддерживаемых языков не установлен. Карточка обозначает модель как экспериментальную. Лицензия — Apache-2.0. README предупреждает, что в обучающих источниках есть токсичный и потенциально незаконный контент; это не означает, что модель предназначена для сексуального контента.

BigBang-Aquila-35B-Merged — мультимодальная модель на базе Qwen/Qwen3.6-35B-A3B, созданная объединением DARE-TIES двух специализированных моделей: BigBang-v1 для формальных рассуждений, математики, программирования и исследований, и XYZ-Aquila-mini для веб-поиска, сбора данных и вызова инструментов. Веса объединены с коэффициентами 0,55 и 0,45 соответственно; доступны файлы BF16 Safetensors и GGUF. Модель предназначена для диалогов с изображениями и агентных сценариев, сочетающих рассуждения, код, веб-поиск и инструменты. Карточка сообщает об успешном прохождении 3 из 3 сложных тестов по математике и коду, 1 из 3 по веб-сценариям и 2 из 3 в смешанных задачах; это небольшая оценка и она не гарантирует качество в других условиях. Для запуска требуются Transformers версии не ниже 5.12, а также flash-linear-attention и causal_conv1d. В чекпойнт не включена исходная MTP-голова. Лицензия — Apache-2.0.

Charm 15 — текстовая генеративная модель на архитектуре Mistral с 2,1 млрд параметров, опубликованная ZeppelinCorp. По карточке она предназначена для диалоговой генерации, рассуждений, решения математических задач и написания кода. Модель дообучена на mattshumer/mistral-8x7b-chat; метаданные указывают формат SafeTensors и контекст до 4096 токенов. В README заявлены мультимодальные возможности для текста и изображений, однако архитектура и назначение репозитория описывают только текстовую генерацию, поэтому обработка изображений не подтверждена. Метаданные содержат широкий набор языковых тегов, а карточка перечисляет многоязыковую поддержку; основные языки не выделены. Лицензия — MIT. README также заявляет оптимизацию для ONNX и TensorFlow Lite, но эти форматы не подтверждены метаданными репозитория.

unsloth/GLM-Z1-32B-0414-GGUF — GGUF-версия 32-миллиардной reasoning-модели GLM-Z1-32B-0414, разработанной командой THUDM на основе GLM-4-32B-0414 и подготовленной в формате GGUF проектом Unsloth. Модель предназначена для локального текстового диалога и генерации текста, особенно для задач, требующих глубокого рассуждения: математики, программирования, логики и решения сложных многоэтапных задач. Модель поддерживает китайский и английский языки и относится к задачам text-generation. Заявлены улучшенные математические способности и общее качество решения сложных задач по сравнению с базовой моделью. В README указано 32 миллиарда параметров; архитектура подробно не описана. Для работы с длинным контекстом предусмотрен YaRN: при длине входа свыше 8192 токенов рекомендуется включать масштабирование RoPE, исходный максимальный размер позиционных эмбеддингов составляет 32768 токенов. Модель подходит для локального развертывания через совместимые инструменты, включая llama.cpp; для корректной обработки системного промпта в llama.cpp рекомендуется параметр --jinja. Для генерации рекомендованы temperature 0.6, top_p 0.95, top_k 40 и max_new_tokens 30000. Ограничения включают значительные требования к вычислительным ресурсам из-за размера 32B и возможное небольшое ухудшение качества на коротких текстах при постоянном включении YaRN. Лицензия — MIT.

JiRackTernaryGemma4_26b — текстовая диалоговая модель CMSManhattan, созданная на основе Google Gemma 4 26B-A4B-it и адаптированная под тернарную архитектуру JiRack. Она предназначена для генерации текста, общения, программирования и работы с инструментами; в карточке также описаны сценарии маршрутизации и робототехники. Модель имеет архитектуру MoE: около 26 млрд параметров всего, примерно 4 млрд активны на токен, 128 экспертов с выбором top-8. Заявлен путь обучения с квантованием-aware training для тернарных весов; доступны GGUF-варианты от Q3_K_M до Q8_0 и F16, а также safetensors. Модель принимает текст и выдаёт текст. Зрительный модуль исходной Gemma 4 удалён, поэтому обработка изображений не поддерживается. Карточка указывает поддержку 14 языков: английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского. Контекстный размер не приведён. Для тегов робототехники и маршрутизации рекомендуется расширенный токенизатор CMSManhattan/GemmaRoboticsTokenizer; дополнительные 107 токенов требуют расширения эмбеддингов и обучения новых строк перед генерацией соответствующих ID. Карточка ориентирует модель на локальный запуск через CPU, GGUF, llama.cpp и Ollama и приводит оценку требований к памяти для разных квантований. Автор предупреждает, что модель не проверялась на больших контекстах, и просит не переносить на неё результаты исходной Gemma 4. Лицензия — MIT.

Карточка модели babyfacez/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

NikiKrutan/Kiwen1.2-27B-MTP-GGUF — это набор квантованных моделей в формате GGUF, созданный пользователем NikiKrutan на основе beyoru/Kiwen1.2-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на диалоговые и агентские сценарии, программирование, рассуждения, математику и задачи, требующие сложной логики. В описании также заявлена многоязычность, включая английский, русский и вьетнамский языки. Ключевая особенность проекта — экспериментальная стратегия квантования niki-allocator: тип квантования выбирается отдельно для каждого тензора с учётом оценок и проверок на основе KLD-метрик. Доступно 15 вариантов размера примерно от 8500 до 23000 МиБ; автор рекомендует выбирать самый большой вариант, который помещается в доступную память, поскольку больший размер обычно обеспечивает лучшее качество. Это позволяет адаптировать модель под разные аппаратные конфигурации, но скорость работы зависит от оборудования и параметров llama.cpp и отдельно не измерялась. README не сообщает точные архитектурные характеристики исходной модели, размер контекста или подтверждённую поддержку мультимодального ввода, поэтому эти свойства нельзя надёжно определить по представленным данным. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется использовать рекомендованный авторами chat template; шаблон froggeric и его производные объявлены неподходящими.

LLaDA2.0-mini — диффузионная языковая модель с архитектурой Mixture-of-Experts (MoE), разработанная InclusionAI и дообученная для следования инструкциям. Она предназначена для диалогов, генерации кода, математических рассуждений и сценариев с вызовом инструментов. По карточке модели, в ней 16 млрд параметров, из которых около 1,4 млрд активируются при инференсе; архитектура включает 20 слоёв, использует RoPE и словарь из 157 184 токенов. Контекст составляет 32 768 токенов. Модель поставляется в формате Safetensors и поддерживается библиотекой Transformers. В README заявлены сильные результаты в генерации кода и сложных рассуждениях; автор рекомендует температуру 0,0, длину блока 32 и 32 шага, отмечая, что повышенная температура может вызывать смешение языков и снижать качество. Лицензия — Apache-2.0.

OrionNet — текстовая генеративная модель от Stellar Labs, опубликованная как чекпойнт PyTorch для Transformers. В README она описана как ассистент для многошаговых рассуждений, математики, программирования, ответов на общие вопросы и вызова инструментов. В метаданных указаны архитектура GemmaForCausalLM и лицензия Apache-2.0; заявление README о переработанной MoE-архитектуре расходится с указанным в метаданных плотным типом архитектуры, поэтому устройство маршрутизации экспертов подтвердить нельзя. Карточка заявляет улучшения в длинном контексте, математических задачах и снижении галлюцинаций, но не приводит размер модели или численную длину контекста, а результаты представлены без описания методики оценки. Модель принимает текст и генерирует текст; README также упоминает интерфейс для вызова инструментов. Лицензия Apache-2.0.

unsloth/Phi-4-reasoning-GGUF — GGUF-версия модели Phi-4-reasoning, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая модель с весами, дообученная на базе Phi-4 с использованием supervised fine-tuning на наборах трасс рассуждений и reinforcement learning. Обучающие данные были ориентированы на математику, естественные науки, программирование, безопасность и Responsible AI. Модель представляет собой плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы, предпочтительно в формате чата. Длина контекста составляет 32k токенов, заявленный язык — английский. Модель генерирует ответы, включающие блок рассуждений и последующее резюме, поэтому подходит для задач, требующих пошагового анализа, решения математических и научных задач, а также написания и анализа кода. К сильным сторонам относятся специализация на reasoning-задачах и сочетание сравнительно компактного размера с возможностями Phi-4. Ограничения включают поддержку только текстовой модальности, ориентацию на английский язык и необходимость корректного шаблона запуска: для включения рассуждений в llama.cpp требуется параметр --jinja. README не содержит полной информации о характеристиках конкретного квантования GGUF, включая его вариант и требования к памяти. Модель распространяется по лицензии MIT.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизированных версий модели, разработанный rico03 на базе Qwen3.6-27B от команды Qwen. Модель дообучена примерно на 14 тысячах трасс рассуждений Claude 4.6 Opus и предназначена для генерации текста с акцентом на структурированное рассуждение. Модель ориентирована на сложные задачи, программирование и математику. Заявлены более компактный стиль рассуждений на простых запросах и глубокая пошаговая декомпозиция на трудных задачах, при сохранении возможностей базовой модели в кодинге и математике. Поддерживаются английский и мультиязычные сценарии. Архитектура основана на Qwen3.6-27B; точный размер контекста в README не указан, а пример запуска использует контекст 8192 токена. Модель доступна в вариантах квантизации от Q2_K до Q8_0 размером примерно от 10 до 28,6 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Формат совместим с llama.cpp, Ollama, LM Studio и другими GGUF-совместимыми средами. Ограничения включают возможную потерю качества при сильной квантизации, а также отсутствие в README независимой оценки именно этих GGUF-вариантов; приведённые бенчмарки относятся к базовой Qwen3.6-27B. Указана лицензия Apache 2.0, при этом релиз также обозначен как предназначенный для исследований и личного использования.

Qwen3.6-27B-unsloth-code-reasoning-deepseek-v4-pro-destilled-Mlx — созданная сообществом 4-битная MLX-конверсия плотной vision-language модели семейства Qwen с примерно 27 млрд параметров. В основе указаны Qwen/Qwen3.5-27B и unsloth/Qwen3.6-27B; модель дообучена с использованием Unsloth и дистиллирована на примерах рассуждений DeepSeek v4 Pro. Она предназначена прежде всего для локального запуска на Apple Silicon через MLX и ориентирована на англоязычные сценарии. Модель поддерживает генерацию, дополнение и объяснение кода, задачи, требующие пошагового рассуждения, математику, логику, отладку, агентные рабочие процессы и вызов инструментов. Архитектура использует чередующиеся слои linear attention и full attention в соотношении 3:1, скрытый размер 5120, размер головы 256 и один MTP-слой; все параметры активны для каждого токена. Поддерживаются текст, изображения и видео, а также встроенный вызов функций через шаблон чата. Квантование выполнено в формате 4-bit affine с размером группы 64; для комфортной работы рекомендуется не менее 24 ГБ unified memory, предпочтительно 32 ГБ или больше. Сильные стороны модели — специализация на программировании и рассуждениях, предсказуемая задержка плотной архитектуры, мультимодальность, tool-calling и возможность приватного локального использования. Ограничения включают отсутствие официальных результатов бенчмарков, возможные галлюцинации и ошибки в коде, снижение качества из-за 4-битного квантования и преимущественную ориентацию на английский язык. Модель распространяется по лицензии Apache-2.0.

Это квантованная GGUF-сборка Qwen3.6-35B-A3B от автора xero0000, подготовленная для запуска целиком в видеопамяти. Вариант vram13 занимает 12,98 ГБ; README также описывает вариант с дополнительной MTP-головой размером 13,53 ГБ. Базовая модель — MoE с 35 млрд параметров, а базовый файл поддерживает контекст до 256 тыс. токенов; вариант MTP — до 128 тыс. токенов. Сборка предназначена для генерации текста и диалогов, в том числе для работы с кодом, на системах с ограниченной видеопамятью. Веса экспертов преимущественно квантованы в 2 бита с использованием imatrix и выборочной защиты чувствительных слоёв; внимание, SSM-проекции и некоторые общие тензоры имеют более высокую точность. Автор приводит замеры скорости и перплексии на двух видеокартах, однако результаты зависят от оборудования и программной среды. Ожидается некоторое снижение качества на сложных и редких случаях по сравнению с квантованиями Q4-класса. Вариант MTP использует голову, перенесённую из дообученной модели, поэтому выигрыш скорости зависит от содержания текста; совместимость этой сборки и MTP-файла зависит от загрузчика. Лицензия — Apache-2.0.

Jakeatx подготовил GGUF-квантизацию Qwen3.8-27B для запуска через llama.cpp на одной видеокарте RTX 3090 или 3090 Ti с 24 ГБ памяти. Это диалоговая модель для генерации текста; репозиторий содержит один файл размером 13,9 ГиБ с форматом IQ4_XS и смешанным повышением точности отдельных тензоров до Q5_0, Q6_K и Q8_0. В README указано, что квантизация создана на основе BF16 GGUF Qwen3.8-27B с использованием матрицы важности Unsloth. Сборка ориентирована на скорость и длинный контекст: автор измерил окно до 245 760 токенов на RTX 3090 Ti, а для 200 000 токенов рекомендует выделить около 20,9 ГиБ под веса и контекст. По приведённым замерам скорость декодирования составляет примерно 93–108 токенов/с на контексте 16K и 44–72 токена/с на 100K, в зависимости от нагрузки. Автор ожидает качество между Q3_K_XL и Q4_K_M; сопоставительная оценка на Terminal-Bench, SciCode и GDPval ещё не завершена. Модель подходит для диалогов, программирования, поиска по длинному контексту и многошаговых задач. README отмечает, что этот репозиторий является базовой квантизированной моделью-сравнением и не включает более поздние изменения проекта Perian. Модель распространяется по лицензии Apache-2.0. Языки и мультимодальные возможности исходной модели в данных этой карточки конкретно не описаны.

Qwen3.8-27B-Uncensored-Aggressive-i1-IQ4_XS-Smaller-GGUF — это предназначенная для llama.cpp смешанно-квантованная версия модели philbert440/Qwen3.8-27B-Uncensored-Aggressive, опубликованная пользователем aldenw. Модель ориентирована на генерацию текста, включая диалоги, объяснение технических концепций и написание кода. Исходное семейство является мультимодальным, однако в этом репозитории доступен только текстовый вариант без совместимого vision mmproj. Модель содержит 27 млрд параметров, 64 трансформерных блока и поддерживает нативный контекст до 262 144 токенов. Основной GGUF-файл размером 13,34 ГБ использует гибридную схему квантования: FFN-проекции сжаты до IQ3_S, основной набор весов представлен в IQ4_XS, отдельные тензоры внимания — в Q5_K, а output.weight — в Q6_K. Для ускорения методом speculative decoding доступна отдельная MTP-модель Q4_0 размером 1,68 ГБ. К сильным сторонам относятся экономия памяти по сравнению с полноразмерной моделью, сохранение повышенной точности для отдельных важных тензоров и возможность самостоятельного использования основной модели без MTP-компонента. Ограничения связаны с требованиями к памяти: оба файла занимают около 15,02 ГБ без учёта runtime-буферов и KV-кэша, поэтому на видеокартах класса 16 ГБ может потребоваться частичный offload, уменьшение контекста или отказ от MTP. Прирост скорости speculative decoding не гарантирован и зависит от оборудования, контекста и acceptance rate. Модель распространяется по лицензии Apache-2.0.

Qwopus3.8-27B-Flash-V2-bf16 — конверсия модели Jackrong/Qwopus3.8-27B-Flash-V2 в формат MLX BF16, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon. Это мультимодальная модель семейства Qwen3.5 с архитектурой условной генерации; она принимает текст, изображения и видеоматериалы и поддерживает чат, работу с инструментами и генерацию кода. В конверсии сохранены шаблон чата и настройки мультимодального процессора исходной модели. Модель подходит для диалогов и задач с кодом, а также для вопросов по изображениям и видео. Для мультимодального запуска README рекомендует библиотеку mlx-vlm. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной модели; подробности о назначении и ограничениях приведены в её исходной карточке.

Sinythos 5.5 — это готовый к запуску вариант Qwen3-30B-A3B-Thinking-2507, подготовленный HTPQoo и распространяемый в формате GGUF для LM Studio, Jan, Atomic Chat и llama.cpp. Это модель MoE с 30 млрд параметров, из которых активны 3,3 млрд на токен; README сообщает, что все 579 тензоров побайтно совпадают с квантованной сборкой UD-Q4_K_XL базовой модели. Изменены встроенный шаблон чата и системная директива с шестью правилами поведения, поэтому модель не является обученной с нуля или дообученной версией. Модель предназначена для диалогов и генерации текста, включая рассуждения, помощь с программированием и агентские сценарии с внешними инструментами, выполнением кода и повторной проверкой ответа. Встроенная директива ориентирует ответы на язык пользователя; в метаданных отмечены итальянский, английский и многоязычность. Для применения в llama.cpp требуется включить обработку шаблона через `--jinja`; без неё пользовательские инструкции из шаблона не применяются. README указывает файл размером 17,7 ГБ и возможность запуска на CPU при достаточном объёме RAM. Веса распространяются по лицензии Apache 2.0, унаследованной от Qwen; для кода runtime указана MIT. Для полной реализации агентского сценария требуются runtime и инструменты, которые предоставляет приложение, а не только файл модели.

airoboros-dpo-110b-3.3 — экспериментальная чат-модель, дообученная Jon Durbin на базе Qwen 1.5 110B с дополнительным этапом DPO. Она предназначена для диалога, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода и структурированных ответов, включая вывод аргументов для вызова функций. Модель использует архитектуру Qwen2 с плотной сетью из 110 млрд параметров, формат диалога ChatML и контекст до 32 768 токенов. Карточка описывает настройку ответов по контексту, генерацию длинных ответов и планов выполнения, а также примеры задач на кодирование и ролевой диалог. Для ответов по заданному контексту рекомендуется низкая температура; качество следования таким инструкциям зависит от явного форматирования входных данных. Автор отмечает, что иногда в конце ответов появляются случайные лишние токены. Репозиторий содержит веса safetensors; лицензия в метаданных указана как other, без уточнения условий.

DeepSeek V4 Flash REAP K128 — это экспериментальная структурно прореженная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi. Метод REAP от Cerebras Research удаляет 50% маршрутизируемых экспертов в слоях Mixture-of-Experts, сохраняя внимание, эмбеддинги, общих экспертов, маршрутизатор и компоненты MTP. Это GGUF-модель смешанной точности: в слоях 37–42 используются эксперты Q4_K, в остальных — IQ2_XXS/Q2_K. Для запуска требуется среда ds4, поддерживающая выбор типа квантования по слоям. Модель предназначена для генерации текста и диалогов, в том числе для задач программирования, вызова инструментов и поиска знаний. Для калибровки использованы 8 000 промптов на 5 млн токенов; автор сообщает о прореживании без дообучения и без изменения весов сохранённых экспертов. Модель распространяется по лицензии MIT. Для запуска требуется совместимый runtime; README предупреждает о несовместимости с некоторыми средами, ожидающими тензоры экспертов IQ2_XXS.

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

Это мультимодальная инструкционная модель Gemma 4 на 12 млрд параметров, созданная tepirale с помощью слияния моделей методом DARE TIES. В качестве основы использована google/gemma-4-12B-it; в слияние также вошли модели tepirale для агентных сценариев и генерации кода. Репозиторий содержит веса в формате Safetensors и предназначен для использования с библиотекой Transformers. Модель принимает текст и изображения и генерирует текст. Её можно применять для диалога по изображениям, анализа визуального содержимого и задач с кодом или агентным поведением. Базовая Gemma 4 поддерживает также видео и аудио, однако карточка этой объединённой модели подтверждает только обработку изображений. Лицензия в предоставленных данных не указана.

DevQuasar публикует версию IBM Granite-4.1-8B в формате GGUF F16. Модель основана на ibm-granite/granite-4.1-8b и предназначена для генерации текста в диалоговом формате; карточка базовой модели описывает её как многоязычную инструктивную модель IBM для диалоговых помощников, работы с текстом и кодом, а также вызова инструментов. Репозиторий указывает на GGUF F16; конкретные параметры запуска и длина контекста в предоставленных данных не приведены. Лицензия в данных не указана.

bartowski/MiMo-V2.5-Pro-GGUF — это набор GGUF-квантизаций языковой модели MiMo-V2.5-Pro, разработанной XiaomiMiMo. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как XiaomiMiMo/MiMo-V2.5-Pro. Модель предназначена для генерации текста, работы с агентскими сценариями, задачами программирования и применений с длинным контекстом. В карточке указаны английский и китайский языки, текстовая модальность и формат GGUF для запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Длина контекста, точная архитектура и число параметров не указаны. Доступно множество вариантов квантования от IQ1 до Q4, с размерами файлов примерно от 212 до 640 ГБ; Q4_K_M отмечен как рекомендуемый вариант с хорошим качеством, а более компактные варианты экономят память ценой снижения качества. К сильным сторонам относятся поддержка разных уровней компромисса между качеством и требованиями к памяти, совместимость с экосистемой llama.cpp и возможность локального запуска. Ограничения — очень большой размер файлов, зависимость от поддержки модели конкретным инструментом и ухудшение качества у низкобитных квантов, особенно IQ1 и некоторых Q2–Q3 вариантов. В карточке указана лицензия MIT.

IntervitensInc/Mistral-Nemo-Base-2407-chatml — вариант базовой языковой модели Mistral Nemo с добавленными токенами ChatML для дообучения. Исходную модель Mistral Nemo 12B совместно разработали Mistral AI и NVIDIA. Это плотный трансформер MistralForCausalLM на 12,1 млрд параметров; в исходной карточке указано окно контекста 128 тыс. токенов. Метаданные этой копии сообщают native context в 1 024 000 токенов, однако README не подтверждает такое увеличение контекста. Модель предназначена для генерации текста и дальнейшей настройки под диалоговые сценарии. Она обучалась на многоязычных данных и данных программирования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Базовая модель не имеет механизмов модерации, поэтому ответы могут требовать дополнительной проверки и фильтрации. Файлы представлены в формате safetensors, лицензия — Apache 2.0.

Nanbeige4.1-3B — компактная языковая модель компании Nanbeige, созданная на базе Nanbeige4-3B-Base. Это дообученная плотная модель семейства Llama с 3,5 млрд параметров, предназначенная для генерации текста, диалогов, рассуждений и работы в агентных сценариях. По карточке модели, обучение включало supervised fine-tuning и reinforcement learning. Модель рассчитана на решение многошаговых задач по математике, программированию и естественным наукам, а также на использование инструментов и глубокий поиск в связке с агентной системой. Она поддерживает английский и китайский языки. Метаданные указывают контекст до 262 144 токенов; формат весов — safetensors, библиотека — Transformers. В карточке заявлена способность поддерживать длительные цепочки вызовов инструментов, однако фактические результаты зависят от реализации агента и доступных инструментов. Модель распространяется по лицензии Apache-2.0. Разработчик предупреждает, что возможны неожиданные ответы, включая предвзятость и дискриминационное содержание; выходы требуют проверки.