I.14Автоматизация процессов и AI-агенты

ArchiveStudio/gemma-4-E4B-it-assistant — ассистент на базе Gemma 4 E4B от Google DeepMind. Карточка описывает его как черновую модель Multi-Token Prediction (MTP): в спекулятивном декодировании она предлагает несколько следующих токенов, которые основная модель проверяет параллельно, ускоряя генерацию без изменения её качества. Модель предназначена для низколатентного диалогового и локального использования. Семейство Gemma 4 поддерживает текст и изображения, а модели E2B и E4B также работают с аудио; семейство умеет генерировать текст и, по карточке, обрабатывать видеокадры. Указаны задачи рассуждения, программирования, распознавания речи, перевода речи в текст, OCR и разбора документов. Для E4B заявлено контекстное окно 128K токенов; семейство поддерживает более 140 языков при предобучении и более 35 языков в штатном режиме. Репозиторий содержит веса safetensors и распространяется по лицензии Apache 2.0. Карточка описывает возможности всего семейства Gemma 4, поэтому отдельные функции, включая видео, нельзя уверенно приписать именно этому чекпойнту. Точный размер этой модели и список поддерживаемых языков отдельно не приведены. Механизм MTP требует совместимого целевого чекпойнта и конвейера спекулятивного декодирования.

Gemma4-E4B-MLX — подготовленная MAVIS AI сборка инструкционной мультимодальной модели Google Gemma 4 E4B для локального запуска на компьютерах Mac с Apple Silicon через MLX. По карточке это та же модель, что google/gemma-4-E4B-it: обучение и архитектура не менялись; веса упакованы в формат MLX, с точностью BF16 там, где это предусмотрено исходным способом конверсии. Модель поддерживает диалог и анализ изображений. Сборка предназначена для локальных сценариев с мультимодальным чатом, анализа изображений, помощи в RAG, извлечения и проверки информации из документов, а также задач, требующих структурированных ответов и многошаговых рассуждений. README особо выделяет использование в экосистеме R.E.V.I.S. и локальных MLX-проектах на Apple Silicon. Лицензия репозитория — Apache License 2.0; также применяются условия Google Gemma.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

Klear-46B-A2.5B-Instruct — инструктивная версия разреженной языковой модели семейства Klear, разработанная командой Kwai-Klear компании Kuaishou и дообученная с помощью DPO на базе Kwai-Klear/Klear-46B-A2.5B-Base. Архитектура MoE содержит 46 млрд параметров, из которых при генерации активны около 2,5 млрд; в каждом слое задействуются 8 экспертов и один общий эксперт. Модель принимает текст и генерирует текст в диалоговом формате, поддерживает китайский и английский языки и контекст до 65 536 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста, включая задачи общего характера, программирование и рассуждения. Разреженная активация экспертов рассчитана на повышение эффективности инференса по сравнению с плотной моделью сопоставимого общего размера. Для запуска README указывает Transformers версии 4.56.0 или новее с trust_remote_code=True, а для vLLM — форк разработчиков. Модель распространяется по лицензии Apache-2.0.

DuoNeural/LFM2.5-8B-A1B-Abliterated-GGUF — набор GGUF-квантизированных версий модели DuoNeural LFM2.5-8B-A1B-Abliterated, созданной на основе Liquid AI LFM 2.5-8B-A1B. Модель предназначена для генерации текста, рассуждений, программирования, математических задач и формирования структурированных данных, включая JSON. Указан английский язык. Модель распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio; используется шаблон ChatML. Архитектура описана как гибридная, сочетающая MoE и hybrid attention, с 8B общих параметров и обозначением A1B; в ней присутствуют шесть полносвязных GQA-слоёв. Доступны варианты Q4_K_M размером 4,9 ГБ с рекомендуемым объёмом RAM около 6 ГБ и Q5_K_M размером 5,7 ГБ с требованием около 8 ГБ. Для Q4_K_M заявлена работа с контекстом до 128k, для Q5_K_M подтверждён контекст 64k. Q5_K_M рекомендован как баланс качества и размера. Это локальная и вычислительно эффективная модель, способная работать даже на видеокартах потребительского уровня; заявлено сохранение возможностей исходной модели после аблерации и минимальное изменение распределения ответов на доброкачественных запросах. При этом README сообщает об удалении большей части исходного отказного поведения, поэтому модель может быть менее безопасной для неконтролируемого применения. Подробные ограничения, результаты независимой оценки и полный набор поддерживаемых языков не указаны. Лицензия — Apache 2.0.

QuantFactory/Meta-Llama-3-8B-GGUF — это GGUF-квантизированная версия Meta Llama 3 8B, разработанная Meta и опубликованная QuantFactory. Модель предназначена для генерации текста и кода, включая текстовые приложения и диалоговые сценарии. Она принимает только текстовые входные данные и генерирует текст или программный код. Модель представляет собой авторегрессионную языковую модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Она содержит 8 млрд параметров, имеет контекстное окно 8 тысяч токенов и обучалась на новом сочетании общедоступных онлайн-данных объёмом более 15 трлн токенов. В README указан английский язык. Квантизация в формате GGUF может повысить эффективность локального вывода, однако конкретные параметры квантизации и требования к ресурсам не указаны. Сильными сторонами модели являются компактный для семейства Llama 3 размер, поддержка генерации текста и кода, а также оптимизация GQA для масштабируемости инференса. Ограничения включают текстовую модальность, статичность обученной версии и дату отсечения знаний — март 2023 года. Для instruction-tuned вариантов Llama 3 заявлены оптимизация диалогового взаимодействия, полезности и безопасности, но README не уточняет, является ли данный GGUF-файл предварительно обученной или instruction-tuned версией. Использование регулируется специальной коммерческой лицензией Llama 3 от Meta.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

RedHatAI/Mistral-Small-24B-Instruct-2501-quantized.w4a16 — квантизированная версия Mistral-Small-24B-Instruct-2501. Базовую модель разработала Mistral AI, а представленную оптимизированную сборку подготовила Neural Magic. Модель принимает текст и генерирует текст, предназначена для диалоговых приложений, ответов на вопросы и других задач text-to-text и text-generation. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Архитектура основана на Mistral-Small-24B-Instruct-2501 и содержит около 24 миллиардов параметров. Выполнена квантизация весов линейных операторов в трансформерных блоках до INT4; активации не квантизированы. По данным README, это снижает число бит на параметр с 16 до 4, а требования к дисковому пространству и памяти GPU — примерно на 75%. Модель оптимизирована для инференса через vLLM; в конфигурации развертывания указан максимальный контекст 32768 токенов. Ключевое преимущество сборки — уменьшенные требования к памяти при сохранении назначения исходной instruct-модели, что упрощает запуск на GPU. Ограничение заключается в том, что квантизация может влиять на качество генерации по сравнению с полной точностью, однако конкретные результаты бенчмарков в README не приведены. Модель проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Лицензия — Apache-2.0.

Qwen2-1.5B-Instruct — инструктивно дообученная языковая модель из серии Qwen2, разработанной командой Qwen. Она предназначена для диалогов и генерации текста по пользовательским инструкциям, включая задачи понимания языка, программирования, математики и рассуждений. Модель содержит 1,5 млрд параметров, использует плотную архитектуру Transformer с декодером Qwen2 и поддерживает контекст до 32 768 токенов. В карточке отмечены улучшенный токенизатор для нескольких естественных языков и кода, а также конкурентные результаты на тестах понимания, генерации, программирования и математики. Репозиторий содержит веса safetensors; для работы с библиотекой Transformers рекомендуется версия 4.37.0 или новее. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-14B-GGUF — это квантизированная версия базовой языковой модели Qwen2.5-14B, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста, продолжения текста и последующего дообучения, включая supervised fine-tuning, RLHF и continued pretraining. Разработчики не рекомендуют использовать базовую версию непосредственно для диалогов без дополнительного обучения. Модель относится к каузальным языковым моделям и содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding-слою. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm и смещения в attention QKV; предусмотрены 48 слоёв и Grouped-Query Attention с 40 головами Q и 8 головами KV. Контекстное окно составляет до 131 072 токенов, поддерживается генерация длинных текстов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, работа со структурированными данными и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. К ограничениям относятся базовый, а не instruction-tuned характер модели и необходимость использования совместимого программного окружения; для работы рекомендуется актуальная версия transformers, поскольку версии ниже 4.37.0 могут вызывать ошибку совместимости. Модель распространяется по лицензии Apache-2.0.

Карточка модели SpectreFestival/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

DreamFast/Qwen2.5-7B-Instruct-heretic-1.3.0 — производная версия Qwen2.5-7B-Instruct, созданная сообществом с помощью Heretic v1.3.0. Это плотная причинная языковая модель на архитектуре Qwen2 с 7,1 млрд параметров в формате bfloat16 и safetensors; квантизация не применялась. В README описано удаление поведения отказа от ответа ортогональной проекцией направления отказа в слоях внимания 9–27. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, код, математику и структурированные данные. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 32 768 токенов; README поясняет, что для более длинных входов можно включить YaRN, а исходная серия Qwen2.5 поддерживает множество языков, включая русский. В README приведены результаты сравнений на стандартных бенчмарках и тест HarmBench, где авторы сообщают о высокой готовности отвечать на запросы без отказов. Это означает, что встроенные механизмы безопасного отказа намеренно ослаблены. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-128k-30B-A3B-NEO-MAX-Imatrix-gguf — набор GGUF-квантизаций модели Qwen3-30B-A3B, разработанной командой Qwen. Это разреженная Mixture-of-Experts-модель с 30 млрд общих параметров и 128 экспертами, из которых обычно активируются 8 в зависимости от содержания запроса; эффективный объём активных параметров составляет около 3 млрд. Автор сборки применил собственный NEO Imatrix-процесс и модификации, ориентированные на работу с различными уровнями квантования. Модель предназначена для генерации текста, творческого письма, ролевых сценариев, рассуждений, решения задач и использования инструментов. Заявлена поддержка контекста до 131072 токенов, расширенного с 32768 с применением YaRN. В README указана поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского, персидского и ряда других языков. Ключевое преимущество сборки — возможность запуска всех вариантов на GPU, CPU или в режиме CPU с оперативной памятью благодаря MoE-архитектуре и активации только части параметров. NEO Imatrix-квантизация призвана сохранить пригодное качество даже у компактных вариантов, однако более низкие уровни квантования уступают старшим по качеству и могут требовать более подробных промптов. Скорость и качество зависят от конкретного варианта квантизации и оборудования; приведённые в README оценки производительности ограничены описанной конфигурацией. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-4bit-MLX-TextOnly — текстовая 4-битная квантованная версия модели Qwen3.8-27B, разработанной командой Qwen. Модель преобразована в формат MLX с использованием mlx-lm 0.31.2 и предназначена для запуска в экосистеме MLX и mlx-lm. Она поддерживает генерацию текста, диалоговые сценарии, рассуждения, использование инструментов и работу с длинным контекстом; заявлена как многоязычная. Модель содержит около 27 миллиардов параметров в исходной версии и использует weight-only-квантование до 4 бит с group size 64, affine- и RTN-подходами. Это текстовая модель без vision tower: возможности обработки изображений удалены, поэтому она работает только с текстом. К сильным сторонам относятся уменьшенный объём весов и пригодность для локального запуска в MLX, а ограничением — отсутствие мультимодальных возможностей и потенциальная потеря точности по сравнению с полной моделью из-за квантования. Точная длина контекста в README не указана. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Brainwaves-1M-qx86-hi-mlx — экспериментальная объединённая модель, разработанная независимой AI-лабораторией NightmediaAI (Монтана, США). Она создана на основе нескольких моделей семейств Qwen3.6 и Qwen3.8, включая Wichtel-Qwen3.6-27B, Qwen3.8-27B-heretic-ara и варианты Cold Fusion и GAIN. Модель содержит около 27 миллиардов параметров и распространяется в формате MLX с квантизацией qx86-hi. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, исследовательских и математических задач, а также творческого письма, сюжетной генерации и ролевых сценариев. В метаданных указаны английский, китайский, японский и испанский языки. Заявлена поддержка контекстных окон до 1 миллиона токенов; конфигурацию RoPE можно изменить на 512 тысяч, 1 миллион или вернуть к стандартным 256 тысячам токенов. Вариант qx64-hi также предоставлен для экспериментальной работы с контекстом до 2 миллионов токенов. По приведённым тестам модель показывает лучшие результаты по ряду бенчмарков и меньшую perplexity по сравнению с базовой Qwen3.8-27B. Для конфигурации qx86-hi указаны пиковое потребление памяти около 33 ГБ и скорость около 171 токена в секунду, однако фактические показатели зависят от оборудования и настроек. Это экспериментальный merge, поэтому поведение различных квантизаций может отличаться, а заявленные сверхдлинные контексты требуют дополнительной проверки. Лицензия — Apache-2.0.

Chungulus/Qwen3.8-27B-GPTQ-INT4-G128 — это квантизированный вариант базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит deployment-вариант, а не дообученную модель. Квантизация выполнена с помощью GPTQModel в формате GPTQ с 4-битными весами и размером группы 128; размер артефакта составляет около 18,2 ГиБ. Модель предназначена для генерации текста и сценариев image-text-to-text, включая работу с изображениями, кодом, отладкой, математикой, научными задачами, структурированными ответами, инструментами, многоязычными запросами и контекстами большой длины. В сборке сохранены поддержка vision и schema-valid XML tool calls. Точная длина контекста, перечень поддерживаемых языков и требования к производительности в README не указаны. К сильным сторонам относятся существенное снижение размера модели за счёт INT4-квантизации, сохранение визуальных и инструментальных возможностей, а также близость к исходной модели по численным метрикам: top-1 agreement составляет 0,9355, а logit cosine similarity — 0,9950. Ограничения включают возможное снижение качества после квантизации, зависимость совместимости от точной версии GPTQModel и родительской ревизии, а также низкую скорость на протестированной конфигурации с CPU offload: RTX 4070 12 ГБ показала медианную скорость декодирования 0,075 токена в секунду. Поддержка speculative decoding не заявлена. Модель распространяется по лицензии Apache-2.0. Тестирование проводилось с GPTQModel 7.3.4+ на NVIDIA GeForce RTX 4070 12 ГБ в WSL2 Ubuntu 24.04; приведённые показатели производительности не являются гарантией чисто GPU-режима.

vmarcelo/Qwen3.8-27B-MIX_GGUF — набор пользовательских смешанных GGUF-квантизаций модели Qwen/Qwen3.8-27B-FP8, подготовленный vmarcelo с использованием llama.cpp, importance matrix и переопределений типов квантизации для отдельных тензоров. Базовая модель представляет собой плотную мультимодальную модель на 27 млрд параметров с гибридной архитектурой GatedDeltaNet и Gated Attention, а также головой Multi-Token Prediction. Поддерживается работа с текстом и изображениями; заявлена многоязычность, включая английский, французский, немецкий и японский языки. Доступны две версии: IQ4-MIX размером 14,10 ГБ и IQ3-MIX размером 12,58 ГБ. IQ4-MIX ориентирована на более высокое качество, программирование, рассуждения и работу с изображениями, тогда как IQ3-MIX обеспечивает примерно на 14% большую скорость генерации, сниженное потребление памяти и больший запас для длинного контекста, но с небольшим снижением качества, особенно из-за более сильного квантования линейного внимания. На видеокарте AMD Radeon RX 9070 XT с 16 ГБ VRAM средняя скорость генерации составляет около 33 токенов в секунду для IQ4-MIX и 37,5 токена в секунду для IQ3-MIX. В зависимости от версии, конфигурации KV-кэша и среды выполнения доступны контексты от 16–64K до 64–128K токенов; измерения зависят от backend, размера пакета и других параметров. Модель предназначена для локального запуска через совместимые GGUF-рантаймы, включая LM Studio и llama.cpp с Vulkan. Для обработки изображений требуется отдельный файл vision encoder mmproj-F16.gguf. Лицензия указана как other с названием qwen-research; применимые условия следует уточнять по лицензии базовой модели Qwen/Qwen3.8-27B-FP8.

Tess-v2.5.2-Qwen2-72B — языковая модель для диалоговой генерации текста, созданная Мигелем Тиссерой (Migel Tissera) в серии Tess. Это плотная модель Qwen2 с 71,5 млрд параметров и контекстом до 131 072 токенов; она принимает текст и обучена следовать формату диалога ChatML. Модель дообучена на Qwen2-72B с использованием набора Tess-v2.5 из 300 тысяч синтетических примеров по широкому кругу тем, включая программирование, математику, STEM, бизнес, историю, общественные науки и искусство. Автор указывает на улучшения в рассуждениях, программировании и математике. Модель может поддерживать беседу и задавать уточняющие вопросы; чтобы отключить их, в системной инструкции можно попросить не задавать дополнительных вопросов. Обучение проводилось без RLHF и DPO. Модель подходит для диалоговых помощников, объяснений, рассуждений и помощи с кодом. Она может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы; результаты следует проверять. Автор характеризует модель как uncensored. Лицензия в метаданных обозначена как other, конкретные условия использования следует проверять в репозитории.

Wizard-Zephyr-Orpo-8x22B — объединённая диалоговая языковая модель, созданная разработчиком tlphams с помощью mergekit на основе alpindale/WizardLM-2-8x22B и HuggingFaceH4/zephyr-orpo-141b-A35b-v0.1. Она предназначена для генерации текста в диалоге и ответов на запросы; базовая модель WizardLM рассчитана на сложные запросы, рассуждения, многоязычное общение, программирование и математику. Модель использует архитектуру Mixtral MoE и класс MixtralForCausalLM, содержит 22B параметров и имеет контекст длиной до 65 536 токенов. Доступна в формате safetensors для Transformers. Автор сообщает, что результат MT-Bench был немного ниже, чем у alpindale/WizardLM-2-8x22B, но выше GPT-4-0314; это оценка из README, а не гарантия качества. Лицензия CC-BY-NC-SA-4.0 разрешает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но ограничивает коммерческое использование.

Zrald выпускает GGUF-квантование модели Qwen3.8-27B в профиле zraldv1-ba, ориентированном на баланс размера и качества. Репозиторий содержит файл весов объёмом 14,46 GiB; в README заявлено сохранение 99,12% точности относительно исходной модели. Модель рассчитана на диалоги, генерацию текста, программирование и задачи рассуждения; метаданные указывают поддержку чата. Базовая модель Qwen описана в каталоге как мультимодальная, однако для этой сборки явно заявлены только текстовые сценарии. README сообщает о тестировании на AMD Instinct MI300X, скорости обработки промптов 1 103,4 токена/с и генерации 64,7 токена/с, а также рекомендует не менее 16 ГБ VRAM. Эти показатели приведены разработчиком и могут зависеть от оборудования и конфигурации. Модель распространяется под лицензией Apache-2.0.

DBRX Instruct — большая языковая модель для генерации текста, разработанная Databricks. Представленная карточка содержит GGUF-квантизации модели dbrx-instruct с использованием importance matrix (imatrix), предназначенные для запуска через llama.cpp и совместимых инструментов. Модель основана на decoder-only Transformer и архитектуре fine-grained Mixture-of-Experts (MoE): всего 132 млрд параметров, из которых около 36 млрд активируются для каждого входа. Она использует 16 экспертов по 12 млрд параметров, выбирая 4 эксперта на токен, а также RoPE, GLU и grouped query attention (GQA). Модель обучена предсказывать следующий токен на 12 трлн токенов текста и кода; заявленная длина контекста — 32 768 токенов, число слоёв — 40. Токенизатор основан на GPT-4 tokenizer из репозитория tiktoken. Предусмотрен диалоговый шаблон с ролями system, user и assistant. Модель предназначена для генерации текста, диалоговых сценариев, написания материалов и работы с кодом. Квантизации позволяют уменьшить требования к памяти; например, вариант IQ4_XS имеет размер около 65,29 ГиБ, а в README приведены результаты perplexity на wiki.test. Ограничения включают значительные аппаратные требования из-за общего размера модели, зависимость от совместимой версии llama.cpp и чувствительность некоторых вариантов квантизации IQ3. Для запуска указан commit llama.cpp 4bd0f93e, а для работы на Metal может потребоваться дополнительное исправление. Лицензия указана как Databricks Open Model License; тип лицензии в карточке обозначен как other. Файлы квантизации опубликованы пользователем phymbert и предназначены также для тестирования imatrix-квантизации.

DataSoul/DwQ-R1-32B-v0.1 — слитая модель генерации текста, созданная с помощью mergekit методом Linear из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated и huihui-ai/QwQ-32B-Coder-Fusion-9010. В конфигурации слияния веса моделей составляют 0,9 и 0,1 соответственно; архитектура — плотная Qwen2ForCausalLM, размер — 32 млрд параметров, формат весов — safetensors, библиотека — Transformers. Модель предназначена для диалоговой генерации текста и может применяться для рассуждений и помощи с задачами программирования благодаря объединению двух исходных моделей. Она принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Карточка не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

OnlyTextLLMs выпустила текстовую версию Gemma 4 31B IT, полученную из google/gemma-4-31B-it удалением компонентов обработки изображений и аудио, а также связанных мультимодальных токенов. Текстовая часть модели и языковая голова сохранены; это плотная авторегрессионная модель Gemma4ForCausalLM с 27,4 млрд параметров по метаданным и весами bfloat16. Модель предназначена для диалогов и генерации текста. Она поддерживает контекст длиной до 262 144 токенов и работает через библиотеку Transformers. Обучение не проводилось: репозиторий содержит производную версию весов Google, из которой удалены мультимодальные компоненты. Модель распространяется по лицензии Apache 2.0. После удаления аудио- и визуальных компонентов она принимает текст и выдаёт текст; возможности исходной мультимодальной модели для анализа изображений и аудио здесь недоступны.

AtomicChat/gemma-4-E2B-it-assistant-GGUF — это квантизированная в формат GGUF версия модели google/gemma-4-E2B-it-assistant, подготовленная командой Atomic Chat на основе оригинальных весов Google. Модель предназначена для локального и полностью автономного запуска, прежде всего для текстовой генерации, диалоговых ассистентов, рассуждений, программирования и обработки длинного контекста. Для работы в llama.cpp необходимо применять шаблон чата Gemma 4 через параметр --jinja. Модель имеет плотную decoder-архитектуру Gemma4AssistantForCausalLM с 35 слоями, гибридным вниманием — скользящее окно 512 токенов и глобальное внимание — четырьмя attention heads на одну KV head, словарём из 262 тысяч токенов и заявленным контекстом до 128K токенов. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом embedding-параметров. Базовая модель поддерживает текст, изображения и аудио, однако представленные GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что помогает сохранять качество исходной модели при меньшем размере. Сильными сторонами являются компактность, возможность офлайн-развёртывания, поддержка длинного контекста и несколько уровней компромисса между качеством, скоростью и требованиями к памяти. Ограничения этой версии — отсутствие мультимодальных возможностей базовой модели и потенциальная потеря качества при низкобитной квантизации; приведённые в README результаты относятся к исходной модели Google, а не к самостоятельным измерениям этой сборки. Модель распространяется по лицензии Apache-2.0.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — Apple Silicon-версия мультимодальной модели GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса предоставлены dealignai, а смешанную квантизацию oQ8e подготовила Solstice-AI. Модель распространяется в формате MLX и предназначена для локального запуска на чипах Apple Silicon M2, M3, M4 и M5. Это разреженная MoE-модель общим объёмом 320 млрд параметров, из которых около 18 млрд активируются для каждого токена; используется 288 маршрутизируемых экспертов. Модель поддерживает текст, изображения и видео, заявлены языки English и Chinese, а также нативное контекстное окно до 1 048 576 токенов. В релиз включён DFlash2 speculative drafter, который, по данным README, может обеспечивать прирост пропускной способности генерации до 3 раз. Ключевая особенность — смешанная точность около 8,6 bpw: критичные для маршрутизации и вывода компоненты защищены 8-битным или полным представлением, а vision tower и мультимодальный aligner сохранены в BF16. Модель ориентирована на рассуждения, программирование, математические задачи, анализ изображений и видео, а также работу с длинным контекстом. README заявляет высокие результаты на MMLU, SWE-bench Pro, LiveCodeBench, MATH-500, MMMU и VideoQA, но эти показатели не подтверждены независимыми источниками. Пометка UNCENSORED указывает на отсутствие обычного поведения отказа, что расширяет спектр допустимых сценариев, но может повышать риски небезопасных ответов. Лицензия — MIT.

bunnycore/HyperLexi-8B-breadcrumbs — плотная языковая модель семейства Llama 3.1, созданная автором репозитория с помощью mergekit методом breadcrumbs. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для генерации текста без цензурных ограничений, программирования, диалогов и рефлексивных ответов. Базовой моделью при слиянии была unsloth/Meta-Llama-3.1-8B. Модель предназначена для генерации текста и диалогов; её можно применять для ответов на вопросы, помощи с кодом и создания развернутых текстовых ответов. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают библиотеку Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w4a16 — это квантизированная инструкционно настроенная языковая модель на базе Meta Llama-3.3-70B-Instruct, разработанная Red Hat совместно с Neural Magic. Модель принимает текст и генерирует текст, поэтому предназначена для диалоговых ассистентов, задач генерации естественного языка, а также для создания синтетических данных и дистилляции других моделей. Модель содержит 70 миллиардов параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ, реализованный в библиотеке llm-compressor. Переход с 16 на 4 бита уменьшает размер модели на диске и требования к памяти GPU примерно на 75%. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для эффективного развертывания рекомендуется vLLM; модель также валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. В README приведён пример запуска с максимальной длиной контекста 32768 токенов, однако этот параметр указан для конфигурации развертывания. К сильным сторонам относятся существенно сниженные требования к дисковой и GPU-памяти при сохранении назначения исходной instruct-модели и поддержка многоязычных диалоговых сценариев. Ограничения включают работу только с текстом, возможное влияние квантизации на качество по сравнению с исходной моделью и запрет использования для языков, не перечисленных в документации. Модель распространяется по Llama 3.3 Community License; также необходимо соблюдать применимое законодательство и Acceptable Use Policy.

QuantFactory/Llama-3-8B-ProLong-64k-Instruct-GGUF — квантизированная версия модели Princeton NLP Llama-3-8B-ProLong-64k-Instruct, созданная с использованием llama.cpp. Модель основана на Meta-Llama-3-8B-Instruct и разработана исследователями Tianyu Gao, Alexander Wettig, Howard Yen и Danqi Chen. Это текстовая instruction-tuned модель для генерации ответов и работы с длинным контекстом объёмом до 64 000 токенов. Она предназначена для диалогов, вопросов и ответов по большим наборам документов, retrieval-augmented generation, извлечения информации, классификации в контексте, переранжирования результатов поиска, анализа и суммаризации длинных документов. Для восстановления диалоговых возможностей модель дообучалась на UltraChat. Модель имеет около 8 миллиардов параметров и поддерживает только текстовую модальность. При обучении использовалась смесь коротких и длинных данных общим объёмом 20B токенов; заявлено стабильное функционирование с контекстом до 64K токенов и высокая производительность на задачах длинного контекста среди моделей сопоставимого размера. Ограничения включают возможное влияние квантизации на качество, однако конкретный формат и уровень квантизации в представленном README не указаны. Языки, точные аппаратные требования и детальные показатели benchmark также не приведены. Лицензия указана как llama3. Условия её применения следует проверять по лицензии семейства Llama 3 и исходной карточке модели.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.