II.4Отладка, тестирование и качество ПО

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

MagiSeek-Pro-V1 — текстовая генеративная модель, опубликованная groxaxo. Это плотная модель архитектуры Mistral с 23,4 млрд параметров, представленная в формате Transformers как объединённые веса bf16 на основе WarlordHermes/Magidonia-24B-v4.3-creative-ORPO. Контекстное окно составляет до 131 072 токенов; модель принимает текст и генерирует текст, а чат-шаблон поддерживает диалоговый формат и вызовы инструментов. Модель предназначена для следования инструкциям, творческого письма, рассуждений с длинным контекстом и агентных сценариев с инструментами. По README, её обучали в несколько этапов с использованием QLoRA и затем объединили адаптеры с базовыми весами; финальный этап продолжал обучение на примерах рассуждений в стиле DeepSeek. Репозиторий позиционируется как чекпойнт для оценки, экспериментов и инференса в совместимых средах. Лицензия — Apache 2.0. Заявленные в карточке результаты MMLU составляют 0,7433 в целом, 0,7172 для STEM и 0,6486 для гуманитарных дисциплин. Это генеративная модель, поэтому ответы могут быть неточными; качество вызова инструментов и длинноконтекстных сценариев следует проверять на конкретных задачах. Полные веса bf16 требуют значительных ресурсов, особенно при использовании длинного контекста.

StanFurrer/merlinite-7B-slerp — объединённая языковая модель, созданная Stan Furrer с помощью LazyMergekit. Она сочетает веса ibm/merlinite-7b и mistralai/Mistral-7B-Instruct-v0.2 методом slerp и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов, распространяется в формате safetensors; в конфигурации слияния указан тип данных bfloat16. README не сообщает о специализированной предметной области или дополнительных модальностях. Лицензия в предоставленных данных не указана.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

Карточка модели context-labs/Meta-Llama-3.1-8B-Instruct-FP16 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

Mistral-Large-Extra — языковая модель для генерации текста, созданная автором softwareweaver с помощью mergekit на основе mistralai/Mistral-Large-Instruct-2407. В README описано объединение модели с самой собой методом passthrough: в конфигурации используются слои 0–70 и 17–87, а веса представлены в bfloat16. Модель предназначена для творческого письма, диалога и других задач генерации текста; метаданные также указывают интерфейс для вызова инструментов. Архитектура — плотная MistralForCausalLM, размер — 194,2 млрд параметров, заявленный контекст — до 131 072 токенов. Базовая модель Mistral Large Instruct поддерживает диалог, рассуждения и программирование. Лицензия в предоставленных данных не указана.

Mistral-NeMo-Minitron-8B-Instruct — языковая модель NVIDIA для генерации ответов и ведения диалога. Это дообученная версия nvidia/Mistral-NeMo-Minitron-8B-Base, которая была сжата из Mistral-NeMo 12B с помощью pruning и distillation. Модель обучали в несколько этапов с supervised fine-tuning и выравниванием предпочтений. Она построена на авторегрессионном трансформере Mistral-NeMo с 40 слоями, Grouped-Query Attention и RoPE; содержит 7,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель подходит для ролевого диалога, генерации текста, ответов с опорой на найденные документы в RAG-сценариях и вызова функций. Для диалога рекомендуется использовать формат System/User/Assistant, на котором проводилось дообучение. README не перечисляет конкретные поддерживаемые естественные языки, поэтому языковая специализация не заявлена. Оценки в карточке включают MMLU, MT Bench и GSM8K. Модель может воспроизводить токсичность и предвзятость обучающих данных, давать неточные, неполные или избыточные ответы; в агентных сценариях следует проверять безопасность используемых пакетов. Лицензия указана как other; перед использованием необходимо свериться с условиями NVIDIA.

Карточка модели ckoozzzu/new1 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

mnsims1024/Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen2.5-VL, основанная на Qwen/Qwen2.5-VL-7B-Instruct. Разработчик базовой модели — команда Qwen. Модель предназначена для обработки изображений, текста и видео в задачах image-text-to-text, визуального анализа, распознавания текста, документов, таблиц, графиков и макетов, а также для визуального рассуждения и формирования структурированных ответов. Модель содержит 7 миллиардов параметров и использует языковую модель Qwen2.5 вместе с оптимизированным vision encoder на базе ViT. Архитектура поддерживает динамическое разрешение изображений и динамическую частоту кадров видео, включая анализ видео длительностью более часа и локализацию релевантных моментов. Модель умеет выдавать bounding boxes и точки для объектов, JSON-координаты и атрибуты, а также работать со сценариями компьютерного и мобильного управления. В метаданных README указан язык en; другие языки явно не заявлены. Сильные стороны модели — анализ документов и визуального текста, OCR, понимание графиков и таблиц, обработка длинных видео, визуальная локализация и структурированный вывод. Ограничения включают необходимость совместимых версий transformers и accelerate, а также дополнительные зависимости для эффективной загрузки видео; фактические требования к памяти и параметры GGUF-квантизации в README не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели Bobi099/Qwen3.5-27B-heretic на Hugging Face совпадает с карточкой coder3101/Qwen3.5-27B-heretic, поэтому описание составлено по ней. coder3101/Qwen3.5-27B-heretic — производная мультимодальная модель на основе Qwen/Qwen3.5-27B, опубликованная в формате Transformers. В карточке представлены параметры abliteration и сравнение с исходной моделью: доля отказов в приведённом тесте снизилась с 94 до 14 из 100, а KL-дивергенция составила 0,0653. Модель сохраняет архитектуру Qwen3.5 с языковой моделью и энкодером изображений; заявленный размер — 27 млрд параметров. Модель предназначена для диалогов, рассуждений, анализа изображений и сценариев с вызовом инструментов. Базовая Qwen3.5 поддерживает 201 язык и диалект, имеет контекст 262 144 токена с возможностью расширения до 1 010 000 токенов; карточка не приводит отдельных измерений этих характеристик для данной производной модели. Уменьшение числа отказов может быть полезно там, где нужна менее ограниченная генерация, но приведённая оценка не описывает полноту качества или безопасность ответов. Лицензия — Apache-2.0.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

Qwen3.5-9B-NVFP4 — это квантованная версия мультимодальной vision-language модели Qwen3.5-9B, опубликованная sanskar003 на базе модели команды Qwen из Alibaba Group. Она принимает изображения, текст и видео в чередующемся формате и генерирует текст, включая режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Базовая модель поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена с возможностью расширения посредством RoPE scaling. Квантование выполнено в формате NVFP4 с использованием compressed-tensors: линейные слои языковой модели переведены в 4-битный формат, тогда как vision tower, router gates и lm_head сохранены в более высокой точности. Основное преимущество версии NVFP4 — снижение требований к вычислениям и потенциально высокая производительность на GPU NVIDIA Blackwell с FP4 tensor cores, например RTX 5090 с архитектурой sm_120, при сохранении возможностей работы с изображениями. Для запуска рекомендуется современная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration. Ограничение модели заключается в том, что ожидаемая производительность NVFP4 ориентирована на совместимое оборудование NVIDIA Blackwell; характеристики качества и подробные результаты тестирования в карточке этой версии не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

RukaRat/Qwen3.8-27B-INT8-W8A8-imatrix-MTP — квантизированная версия мультимодальной модели Qwen3.8-27B, разработанной командой Qwen и подготовленной пользователем RukaRat. Модель предназначена для генерации и анализа текста, работы с изображениями, вызова инструментов и запуска локальных inference-сервисов на видеокартах Ampere, включая конфигурации с двумя RTX 3090 по 24 ГБ. Указана интеграция с Transformers, SGLang и vLLM, а также поддержка tool calls в формате qwen3_coder и reasoning-парсера qwen3. Весовая часть представлена в формате compressed-tensors с квантизацией INT8 W8A8; общий размер составляет около 29,1 GiB, при этом часть параметров сохранена в BF16. Архитектура включает 64 слоя, из которых 48 используют Gated DeltaNet linear attention и 16 — full attention. Сохранены vision tower и MTP-модуль, благодаря чему поддерживаются мультимодальный ввод и speculative decoding. Нативное окно контекста заявлено до 262 144 токенов, а в описанной конфигурации на двух RTX 3090 протестирован контекст до 245 760 токенов. Языки модели в README не указаны. К сильным сторонам относятся сохранённая обработка изображений, MTP для ускорения декодирования, совместимость с видеокартами Ampere и сравнительно экономичное INT8-представление. Ограничения связаны с высокой потребностью в памяти: каждая параллельная последовательность требует значительный фиксированный recurrent state, поэтому число одновременных запросов приходится ограничивать. Производительность и доступный контекст зависят от настроек SGLang или vLLM, а сведения о работе vLLM отмечены как устаревшие. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это GGUF-квантизация базовой модели Qwen/Qwen3.8-27B, выпущенная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Вариант Aggressive ориентирован на прямые ответы, минимальное вступление и отсутствие отказного поведения, поэтому подходит для задач, где требуется максимально свободная генерация. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь из 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный механизм MTP/NextN, дополненный профилем ускорения HauhauCS FastMTP 32K. Заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Поддерживаются английский, китайский и другие языки. Для изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются большой контекст, поддержка текста, рассуждений, агентских задач и мультимодального ввода, а также варианты квантизации от Q2 до Q8 для разного соотношения качества и требований к памяти. Aggressive-профиль может быть менее безопасным и менее подходящим для надёжных длинноконтекстных агентских сценариев, где рекомендуется более сбалансированная версия. Квантизация также может влиять на качество, а FastMTP и vision projector распространяются отдельными файлами. Модель и указанные компоненты распространяются по лицензии Apache-2.0.

RedHatAI/Qwen3-Next-80B-A3B-Instruct-NVFP4 — квантизированная языковая модель для генерации текста и диалогового взаимодействия. Модель разработана Red Hat на основе Qwen/Qwen3-Next-80B-A3B-Instruct и использует архитектуру Qwen3NextForCausalLM. На вход принимает текст и возвращает текст; сведения о поддерживаемых языках и максимальной длине контекста в README не указаны. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP4 по схеме NVFP4, при этом отдельные компоненты, включая lm_head, некоторые gate- и attention-слои, не квантизируются. По данным README, это уменьшает число бит на параметр с 16 до 4, а также приблизительно на 75% снижает размер модели на диске и требования к памяти GPU. Модель предназначена для инференса и может запускаться через vLLM; в приведённом примере используется tensor parallelism на двух GPU. Основное преимущество — существенное сокращение потребления памяти при сохранении назначения исходной instruct-модели. Ограничения связаны с использованием низкоразрядной квантизации, которая может влиять на качество генерации, а также с требованиями к совместимому программному и аппаратному окружению; количественная оценка влияния квантизации и подробные результаты бенчмарков в доступном фрагменте README отсутствуют. Модель распространяется по лицензии Apache-2.0.

OpenYourMind/Qwopus3.5-122B-A10B-Kimi-K2.6-destill-healed-abliterated-MTPLX-4bit — это 4-битная сборка модели OpenYourMind Qwopus3.5 на базе архитектуры Qwen3.5 MoE с компонентами Qwen3-VL. Модель разработана OpenYourMind и предназначена для запуска на Apple Silicon через MLX и MTPLX. Она поддерживает обработку текста и содержит vision tower для работы с изображениями, однако данная сборка ориентирована на текстовый путь; для мультимодального ввода рекомендуется использовать связанную сборку MLX-4bit с mlx-vlm. Модель имеет около 122 млрд параметров в общей сложности, из которых примерно 10 млрд активируются при обработке токена. Языковые веса квантизованы в 4 бита с размером группы 64, а маршрутизирующие компоненты сохранены в более высокой точности. В комплект включена BF16 MTP-голова на базе MoE с 256 экспертами, из которых активны 8, и общим экспертом. Она предназначена для ускоренного speculative decoding: на M5 Max зафиксировано около 52 токенов в секунду и примерно 70% принятия черновых токенов в указанном тесте. К сильным сторонам относятся существенно уменьшенный объём по сравнению с полной моделью, поддержка мультимодальной архитектуры базовой модели и ускорение генерации при использовании совместимой версии MTPLX. Для запуска требуется около 80 ГБ объединённой памяти, а комфортная работа заявлена на компьютерах Mac с 96 ГБ и более. MTPLX должен поддерживать MoE MTP-голову; старые версии могут быть несовместимы. Из-за особенностей маршрутизации MoE при температуре 0 возможны редкие отличия отдельных токенов по сравнению с обычной авторегрессионной генерацией, поэтому строгая побитовая идентичность не гарантируется. Лицензия указана как Other; README сообщает, что применяются условия лицензии базовой модели Qwen3.5.

samantha-1.2-mistral-7b-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная MaziyarPanahi методом слияния mistralai/Mistral-7B-Instruct-v0.2 и cognitivecomputations/samantha-1.2-mistral-7b. Она предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текст и выдаёт текст; контекст — до 32 768 токенов. Слияние выполнено методом SLERP с настройками для слоёв self-attention и MLP. Репозиторий содержит веса safetensors, а README указывает тип данных bfloat16. Модель распространяется по лицензии Apache-2.0. Источники не описывают специальные предметные области или конкретные ограничения качества.

TriFusionNexus-7b — объединённая языковая модель, созданная EryriLabs с помощью mergekit и метода TIES на основе CultriX/NeuralTrix-7B-dpo; в объединение также вошли bardsai/jaskier-7b-dpo-v5.6 и mlabonne/AlphaMonarch-7B. Модель построена на архитектуре Mistral с плотной причинно-языковой сетью, содержит 7,1 млрд параметров и принимает контекст до 32 768 токенов. Модель предназначена для генерации текста, диалогов, следования инструкциям и рассуждений. В README приведены результаты Open LLM Leaderboard, включая средний балл 76,32, 72,78 в AI2 Reasoning Challenge и 89,17 в HellaSwag; это результаты указанных оценок, а не гарантия качества в пользовательских задачах. Репозиторий содержит веса в формате safetensors. Лицензия CC-BY-NC-2.0 ограничивает коммерческое использование.

Xwen-72B-Chat — диалоговая языковая модель команды Xwen, дообученная на базе Qwen2.5-72B. Модель имеет плотную архитектуру Qwen2 и 71,5 млрд параметров; она предназначена для генерации текста и ведения диалогов, включая сценарии с интерфейсом вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель ориентирована на ответы на вопросы, диалоговое взаимодействие и другие задачи генерации текста. В README приведены результаты сравнительных оценок Arena-Hard-Auto, AlignBench и MT-Bench, однако авторы предупреждают, что некоторые сравнения используют заменённые модели-судьи, а результаты других бенчмарков ещё планировалось добавить. Карточка также отмечает, что ответы о личности модели и её разработчиках могут быть случайными, поскольку её идентичность специально не настраивали. Модель опубликована в формате Safetensors и доступна по лицензии Apache-2.0. Отдельные репозитории команды содержат варианты Xwen-72B-Chat в GGUF с различными видами квантования; они не являются форматом данного репозитория.

Citaman/command-r-24-layer — текстовая генеративная модель на архитектуре Cohere, созданная сообществом Citaman с помощью mergekit. Веса получены слиянием SLERP двух диапазонов слоёв модели Citaman/command-r-25-layer; в метаданных указано 21,8 млрд параметров и формат safetensors. Модель поддерживает контекст до 8192 токенов и интерфейсы диалога и вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая взаимодействие с инструментами. Метаданные не указывают поддерживаемые естественные языки или специализированную предметную область. Лицензия в предоставленных данных не указана.

Gemma 3 27B IT GGUF — квантизированная версия инструкционной модели Gemma 3 27B IT, разработанной Google. Модель подготовлена сообществом LM Studio, а GGUF-квантизацию выполнил bartowski на основе llama.cpp. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, суммаризацию и задачи рассуждения. Модель поддерживает мультимодальный ввод с изображениями, нормализованными до разрешения 896 × 896, а также текстовые сценарии. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8 192 токена. В README не указаны полный перечень поддерживаемых языков, конкретный метод и уровень квантизации, а также требования к аппаратным ресурсам. К сильным сторонам относятся большой контекст, поддержка понимания изображений и пригодность для локального использования через формат GGUF. Ограничения связаны с зависимостью от совместимого llama.cpp runtime версии 1.19.0 или новее, причём актуальная версия runtime на момент публикации обозначена как beta. Как квантизированная сборка, модель может отличаться по качеству и потреблению ресурсов от оригинальной версии. Доступ и использование регулируются лицензией Gemma от Google.

nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.

canada-quant/glm-5.3-w4a16-mtp — это мультимодальная квантованная версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель предназначена для задач image-text-to-text, включая обработку текста и изображений, а также для сценариев, где важны длинный контекст и высокая эффективность инференса. Заявлена поддержка английского и китайского языков и контекста до 1 048 576 токенов. Используется INT4-квантизация весов по схеме W4A16 с GPTQ и group size 128; общий объём весов составляет около 177,7 GiB. BF16-компоненты, включая vision tower и MTP draft head, сохранены, что позволяет применять speculative decoding через MTP. Квантизация ориентирована на снижение требований к памяти и запуск на конфигурациях из 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark; максимальный контекст зависит от оборудования и настроек. Репозиторий сообщает о высокой производительности на длинных контекстах и конкурентном качестве на математических и общих тестах, однако результаты зависят от аппаратной конфигурации и serving stack. Это не новая базовая модель, поэтому её возможности определяются GLM-5.3-Flash, а INT4-квантизация может влиять на точность и совместимость. Лицензия — MIT.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Luminea-Dare — объединённая диалоговая языковая модель от Arkhiveus, созданная методом DARE TIES с помощью mergekit. В качестве основы использована Arkhiveus/L3.1-70B-Luminea; при объединении также использованы NeverSleep/Lumimaid-v0.2-70B и nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Модель предназначена для генерации текста в диалоге и ответов на инструкции. По описанию автора, она сохраняет формат ответов Nemotron и стиль письма Lumimaid. Это плотная Llama-архитектура класса LlamaForCausalLM с 69,5 млрд параметров, контекстом до 131 072 токенов и весами в формате safetensors для Transformers. В метаданных лицензия не приведена.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.