II.7DevOps, облако и эксплуатация IT-систем

azampatti/Qwen3.8-Flash-Next-125B-A5B-INT4-AutoRound — гибридная квантованная версия Qwen3.8-Flash-Next, подготовленная автором azampatti на основе чекпойнтов Qwen и Intel. Модель предназначена для генерации текста, программного кода, математических ответов, работы с инструментами и длинным контекстом. Она поддерживает OpenAI-совместимую подачу через специализированную сборку vLLM и рассчитана прежде всего на запуск на одной системе DGX Spark с GB10 и 128 ГБ памяти. Модель использует архитектуру mixture-of-experts: всего 125 млрд параметров, из которых около 4,8 млрд активируются для каждого токена. Число выбираемых маршрутизатором экспертов сокращено с 10 до 5, после чего общий эксперт был дообучен методом self-distillation для восстановления качества. Основные компоненты распределены между форматами int4, fp8 и bf16; применяются GPTQ-Marlin с размером группы 128 и AutoRound. В репозитории также содержится FP8-таблица n-грамм объёмом около 49 ГБ, отображаемая из памяти при работе. Сильными сторонами являются высокая скорость генерации — примерно 64–70 токенов в секунду на DGX Spark, сохранение возможностей инструментального использования и уменьшенные активные вычисления по сравнению с исходной моделью. Ограничение — некоторое снижение общей способности: заявленный показатель составляет около 47–49 против 51,8 у исходной версии, а результаты измерялись собственным тестовым стендом и не являются универсальным лидербордом. Для запуска требуется специализированная сборка vLLM, поскольку стандартная vLLM не поддерживает используемую комбинацию int4 и fp8. Лицензия указана как qwen с типом other; применяются условия лицензии Qwen, ссылка на которую приведена в карточке.

airoboros-33b-3.1.2 — экспериментальная разговорная модель jondurbin на архитектуре Llama, дообученная на наборе airoboros-3.1, в основном состоящем из синтетических данных. Она предназначена для следования инструкциям и многошаговым запросам, ответов на вопросы по предоставленному контексту, суммаризации, извлечения сведений из журналов и генерации кода. Модель использует шаблон диалога Llama 2 и поддерживает контекст до 2048 токенов по метаданным; в README автор указывает, что при дообучении применял rope scaling для увеличения контекста до 4096 токенов. В репозитории указаны 32,3 млрд параметров и формат safetensors. Среди заявленных сценариев также генерация аргументов для вызова функций и построение текстовых планов выполнения. Это только генерация текста: для реального вызова инструментов требуется внешняя система, которая разбирает и исполняет такой план. Модель ориентирована на инструкции, а не на непринуждённый чат или ролевую игру; автор рекомендует низкую температуру генерации. Базовая модель — llama-30b-hf. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Dolphin 2.9.1 Llama 3 70B — диалоговая языковая модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations на основе Meta-Llama-3-70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом 8192 токена; веса опубликованы в формате Safetensors. Полное дообучение проводилось с длиной последовательности 4K, модель использует шаблон ChatML. Модель предназначена для генерации ответов по инструкциям, диалогов, задач программирования и математики, а также сценариев с вызовом функций и начальными агентными возможностями. В обучении использованы наборы инструкций, диалогов, кода и математики. Основной язык — английский; карточка не заявляет отдельную языковую специализацию. Разработчики описывают Dolphin как модель без встроенных ограничений на содержание, поэтому перед предоставлением её пользователям рекомендуется добавить собственный слой модерации. Использование, включая коммерческое, разрешено в рамках лицензии Meta Llama 3 Community License Agreement.

Модель ryugyosoft/granite-4.2-8b-onw — адаптация IBM Granite 4.2 8B для запуска через движок onw на Intel NPU. Это плотная авторегрессионная Transformer-модель с 8,4 млрд параметров и контекстом до 131 072 токенов. Весовые файлы преобразованы в статические графы и повторно квантованы: основная часть использует знаковую INT4-квантизацию, а проекции q/k/v внимания и выходной слой — INT8. Обучение не проводилось. Модель предназначена для диалогов, рассуждений и вызова инструментов через OpenAI-совместимый API, включая агентские сценарии с поиском в интернете, работой в терминале и исправлением кода. Она принимает текст и генерирует текст; README описывает поддержку японского и английского языков. Для запуска требуется совместимый компьютер с Intel Core Ultra NPU; автор приводит скорость около 3,6 токена/с на NPU 3720 и рекомендует не менее 32 ГБ памяти. Лицензия — Apache 2.0, как у базовой модели.

Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.

kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

RedHatAI/Ministral-3-14B-Instruct-2512-FP8-dynamic — текстовая генеративная языковая модель на архитектуре MistralForCausalLM, разработанная Red Hat совместно с Neural Magic. Она основана на mistralai/Ministral-3-14B-Instruct-2512-BF16 и предназначена для генерации текста по инструкциям. Модель ориентирована на рассуждения, вызов функций, многоязычное следование инструкциям, перевод и создание предметно-ориентированных решений посредством дообучения. Она принимает текст и генерирует текст. В README указано использование контекстного окна до 262144 токенов в конфигурации оценки. Поддержка конкретного набора языков не уточняется. Ключевая особенность — динамическое FP8-квантизование весов и активаций линейных операторов внутри transformer-блоков. По сравнению с BF16 это уменьшает число бит на параметр с 16 до 8, размер на диске и требования к GPU-памяти примерно на 50%, что делает модель удобнее для инференса. Рекомендуемый backend развертывания — vLLM, включая OpenAI-совместимый сервер. Ограничения включают возможное снижение точности из-за квантизации и отсутствие в представленном README итоговых числовых результатов бенчмарков. Модель предназначена для законного использования и распространяется по лицензии Apache 2.0.

Карточка модели SAIFIINDUSTRIES/Nex-N2.5-mini на Hugging Face совпадает с карточкой nex-agi/Nex-N2.5-mini, поэтому описание составлено по ней. Nex-N2.5-mini — разговорная модель семейства агентных моделей Nex-N2.5 от Nex-AGI, основанная на архитектуре Qwen3.5 MoE. Она предназначена для длительных многошаговых задач: работы с компьютером и браузером, выполнения и проверки программ, а также научной и офисной работы. Модель использует визуальную обратную связь для восприятия интерфейсов, проверки результатов и продолжения действий; поддерживает режимы рассуждения и вызов функций. Для запуска автор приводит конфигурацию на двух ускорителях H100 и рекомендует параметры генерации temperature 0.7, top_p 0.95 и top_k 40. В метаданных указаны Transformers и формат safetensors; лицензия — Apache-2.0. README описывает мультимодальные возможности семейства и отдельно позиционирует Nex-N2.5-Max как текстовую модель, поэтому точные размер, контекст и перечень входов и выходов именно mini по этим данным установить нельзя.

DreamFast/Qwen-2.5-7b-apostate — разговорная языковая модель на базе Qwen2.5-7B-Instruct, изменённая сообществом с помощью Apostate. Веса представлены в формате safetensors с точностью bfloat16; модель содержит около 7,1 млрд параметров и использует плотную архитектуру Qwen2. Контекстная длина этой версии — 32 768 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции, кода и структурированных данных. Её ключевое отличие — ослабленное поведение отказа: по описанию авторов, направление отказа удалено ортогональной проекцией в большинстве слоёв. README сообщает о высокой доле выполнения запросов из HarmBench и сохранении результатов на ряде тестов базовой модели; эти показатели получены в оценке авторов и не гарантируют такое же поведение в других сценариях. Поддерживаются английский и, согласно описанию семейства Qwen2.5, многоязычные сценарии, включая русский. Модель распространяется по лицензии Apache-2.0. Она может выдавать ответы на вредоносные запросы, поэтому требует контроля применения и выходных данных.

Qwen3.6-35B-A3B-GGUF — набор квантизированных моделей в формате GGUF для llama.cpp, подготовленный BatiAI на основе Qwen/Qwen3.6-35B-A3B от Alibaba. Модель предназначена для локального запуска на устройствах Mac, включая сценарии on-device AI, генерацию текста и кода, многошаговое агентное программирование, работу с репозиториями и вызов инструментов. Указана поддержка английского, корейского, японского и китайского языков. Это текстовая MoE-модель с заявленным общим размером 35B параметров и конфигурацией A3B; доступны варианты квантизации от IQ3 и IQ4 до Q6, Q8 и других K-квантов. Размер файлов составляет примерно от 13 до 35 ГБ, а рекомендуемый объём RAM — от 16 до 48 ГБ в зависимости от варианта. Основной набор является text-only, однако репозиторий также содержит vision projector, позволяющий использовать мультимодальный режим при соответствующей настройке. Поддерживаются ChatML, thinking и tool calling. Сильные стороны модели — ориентация на агентное программирование, рассуждение на уровне репозитория, длительные итеративные задачи, генерацию кода и интеграцию с локальными инструментами. Квантизация и imatrix-калибровка делают возможным запуск на потребительских Mac без облака и API-ключей, но более компактные варианты могут уступать по качеству оригинальной BF16-модели, а запуск требует значительного объёма оперативной памяти. Модель распространяется по лицензии Apache-2.0.

Verkiki/Qwen3.8-27b-Fable5-Distill-Abliterated-GGUF — производная модель, созданная на основе Blackfrost-AI Qwen3.8-27B-ABLITERATED-BF16 с применением нативного LoRA-адаптера TeichAI Qwen3.8-27B-Fable-Distill-LoRA. Модель относится к архитектуре qwen3_5, имеет класс размера 27B и распространяется в формате GGUF с квантизацией IQ4_XS и importance matrix, рассчитанной после объединения компонентов. Она предназначена для локального использования в задачах планирования, программирования, многошагового рассуждения, технического анализа и агентских рабочих процессов, включая работу с инструментами и многофайловыми проектами. Fable5-Distill ориентирован на декомпозицию задач, удержание инструкций, последовательное планирование и более агентное поведение. Для родительской Fable-модели TeichAI заявлены улучшения на ARC Challenge, ARC Challenge Easy и BoolQ, однако эти результаты не являются измерениями именно финальной квантизированной сборки. Поддерживаются режимы thinking с параметрами reasoning_effort low, medium и xhigh; шаблон по умолчанию использует xhigh. Сочетание с аблитерированной базой должно снижать склонность к отказам, но итоговые поведение и качество следует оценивать отдельно. К ограничениям относятся отсутствие в предоставленных данных точного размера контекстного окна, перечня поддерживаемых языков и подтверждения мультимодальных возможностей, несмотря на соответствующие метки. IQ4_XS уменьшает требования к памяти по сравнению с BF16 и Q8, но может снижать точность относительно исходных весов. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная версия модели Replete-AI/Llama3-8B-Instruct-Replete-Adapted, созданная с использованием llama.cpp. В её основе лежит Meta-Llama-3-8B-Instruct с адаптером Replete-AI/Replete-Coder-Llama3-8B. Модель дообучена Rombodawg и распространяется в формате GGUF для запуска средствами, совместимыми с llama.cpp. Модель предназначена прежде всего для генерации и анализа кода, перевода между языками программирования, задач, связанных с безопасностью и поиском уязвимостей, математических рассуждений и function calling. Согласно README, она также рассчитана на общее текстовое использование и поддерживает более 100 языков программирования. Обучающие данные включали примерно 25% общих инструкций и 75% инструкций по программированию; общий объём заявлен как около 3,9 млн строк, 1 млрд токенов или 7,27 ГБ данных. К сильным сторонам относятся специализация на программировании, широкий охват языков, возможности перевода кода, математические и общие инструкционные сценарии, а также возможность запуска на относительно ограниченных аппаратных ресурсах благодаря размеру базовой модели и квантизации. При этом README не указывает точный вариант квантизации, размер контекста, поддерживаемые естественные языки, конкретные требования к памяти и результаты большинства заявленных тестов; известный показатель HumanEval pass@1 составляет 0,6468. Модель описана как uncensored. Указана лицензия llama-3 с дополнительным типом license: other; применимые условия следует уточнять по лицензии Meta Llama 3.

QuantFactory/Meta-Llama-3-8B-GGUF — это GGUF-квантизированная версия Meta Llama 3 8B, разработанная Meta и опубликованная QuantFactory. Модель предназначена для генерации текста и кода, включая текстовые приложения и диалоговые сценарии. Она принимает только текстовые входные данные и генерирует текст или программный код. Модель представляет собой авторегрессионную языковую модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention (GQA). Она содержит 8 млрд параметров, имеет контекстное окно 8 тысяч токенов и обучалась на новом сочетании общедоступных онлайн-данных объёмом более 15 трлн токенов. В README указан английский язык. Квантизация в формате GGUF может повысить эффективность локального вывода, однако конкретные параметры квантизации и требования к ресурсам не указаны. Сильными сторонами модели являются компактный для семейства Llama 3 размер, поддержка генерации текста и кода, а также оптимизация GQA для масштабируемости инференса. Ограничения включают текстовую модальность, статичность обученной версии и дату отсечения знаний — март 2023 года. Для instruction-tuned вариантов Llama 3 заявлены оптимизация диалогового взаимодействия, полезности и безопасности, но README не уточняет, является ли данный GGUF-файл предварительно обученной или instruction-tuned версией. Использование регулируется специальной коммерческой лицензией Llama 3 от Meta.

MiniCPM5-2B-SFT — версия модели MiniCPM5 от OpenBMB для локальных ассистентов, программных агентов и запуска на устройствах с ограниченными ресурсами. Это плотная авторегрессионная языковая модель на архитектуре LlamaForCausalLM с 2,2 млрд параметров по метаданным, 42 слоями и контекстом до 131 072 токенов. Модель предназначена для диалогов, генерации кода, математических рассуждений, работы с длинным контекстом и сценариев использования инструментов. Карточка сообщает о поддержке английского и китайского языков и описывает сильные результаты модели относительно других моделей сопоставимого размера; эти сравнительные оценки получены разработчиком. Модель принимает и генерирует текст. Весы опубликованы в формате safetensors, для запуска описана поддержка Transformers и локального развёртывания на CPU и GPU, а также серверных движков. Лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными; выводы по медицине, финансам, праву и политике не являются экспертной рекомендацией.

bartowski/nvidia_Nemotron-Cascade-14B-Thinking-GGUF — это набор GGUF-квантизаций языковой модели Nemotron-Cascade-14B-Thinking, разработанной NVIDIA. Квантизации подготовлены bartowski с использованием llama.cpp release b7423 и метода imatrix; исходная модель построена на базе Qwen3-14B Base и дообучена NVIDIA с помощью многоэтапного SFT и последовательного доменного reinforcement learning. Модель предназначена для текстовой генерации общего назначения, сложного рассуждения, математических задач, программирования, software engineering, следования инструкциям и tool use. Она рассчитана исключительно на thinking mode и использует шаблон Qwen3-style ChatML с добавлением тега /think. Поддерживается английский язык. Модель имеет около 14B параметров; репозиторий GGUF предлагает варианты от IQ2_XS до BF16 размером примерно от 4,69 до 29,54 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти для llama.cpp, LM Studio и совместимых приложений. Исходная конфигурация рассчитана на 32K токенов; с RoPE scaling по методу YaRN заявлена поддержка 64K токенов, а для SWE Verified — до 90K. Сильные стороны — специализация на глубоком рассуждении и высокие результаты NVIDIA на широком наборе тестов, включая математику и программирование. Ограничения связаны с режимом только thinking, англоязычной специализацией и неизбежной потерей качества у низкобитных квантизаций. Модель и производные квантизации распространяются по NVIDIA Open Model License.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-NVFP4-GGUF — квантованная версия в формате GGUF модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, разработанной Empero AI на базе Qwen3.5-9B. Модель предназначена для рассуждений, диалогов, работы с изображениями и вызова инструментов. Она принимает контекст до 1 048 576 токенов с масштабированием YaRN и использует отдельный визуальный энкодер SigLIP; указанный в карточке основной язык — английский. По данным README, модель дообучали на более чем 500 млн токенов трасс Claude Mythos и Claude Fable. Среди заявленных сильных сторон — работа с длинными документами и кодовыми базами, математические задачи, кибербезопасность, биомедицина и клинические вопросы. В README также заявлены нативный вызов инструментов и улучшение результатов бенчмарков относительно базовой модели. Основные веса представлены в NVFP4, а визуальный энкодер — в F16; README рекомендует NVFP4 для ускорения на видеокартах NVIDIA Blackwell. Модель не проходила дополнительную настройку зрения: визуальные возможности унаследованы от базовой модели. Она может выдавать чрезмерно уверенные конкретные сведения, включая идентификаторы CVE и дозировки препаратов; для точных ответов рекомендуются проверка инструментами и прикладной защитный слой. Лицензия — Apache-2.0.

Dolphin 2.9.1 DBRX — разговорная и инструкционная языковая модель, дообученная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе databricks/dbrx-base. Она использует архитектуру DBRX и формат диалога ChatML; базовая модель поддерживает контекст до 32 тысяч токенов, а дообучение проводилось с длиной последовательности 4 тысячи токенов. Модель предназначена для диалоговых ответов, выполнения инструкций, генерации кода и начальных агентных сценариев, включая вызов функций. Для коммерческого и иного использования README указывает лицензию databricks-open-model-license, а метаданные — лицензию other; условия следует сверять с лицензией репозитория. Модель описана авторами как uncensored и может охотно отвечать на небезопасные запросы, поэтому перед предоставлением пользователям рекомендуется добавить собственный слой фильтрации.

GLM-4.5 — гибридная языковая модель семейства GLM, разработанная Z.ai и предназначенная для интеллектуальных агентов. Эта версия представлена в репозитории Unsloth и основана на zai-org/GLM-4.5; метаданные указывают 23,4 млрд параметров, архитектуру GLM-4 MoE и формат safetensors. Модель поддерживает генерацию текста и диалог, а интерфейс вызова инструментов позволяет использовать её в агентных сценариях. Контекстное окно — 131 072 токена; среди указанных языков — английский и китайский. Модель рассчитана на рассуждения, программирование и взаимодействие с инструментами; семейство поддерживает режимы с пошаговым рассуждением и быстрыми ответами. Репозиторий распространяется по лицензии MIT, допускающей коммерческое использование и модификацию. В README размер семейства GLM-4.5 указан как 355 млрд общих и 32 млрд активных параметров, но метаданные этого репозитория указывают 23,4 млрд параметров для представленной версии.

JASouth/Qwen3.8-27B-IQ-Hybrid — экспериментальный набор низкобитных GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, подготовленный автором JASouth. Модель ориентирована на локальный запуск с ограниченным объёмом видеопамяти, включая потребительские GPU с 8 ГБ VRAM, и предназначена для генерации текста, программного кода, задач с длинным контекстом, многошагового рассуждения и агентских рабочих процессов. В метаданных указана категория image-text-to-text, однако подробности о поддерживаемых модальностях, языках и размере контекстного окна не приведены. Доступны варианты с разной степенью сжатия. IQ2_E_S имеет около 2,40 BPW и требует примерно 7,51 GiB памяти, благодаря чему помещается в бюджет 8 ГБ, но заметно теряет качество на сложной логике, длинной генерации и функциональном кодировании. IQ2_E_S_V2 лучше подходит для кода и агентских сценариев, включая задачи с длинным контекстом, но может зацикливаться в обычном диалоге. IQ3_E_S_V2 считается наиболее сбалансированным вариантом по качеству и размеру, демонстрируя хорошие результаты в программировании и сложном рассуждении, хотя возможны отдельные ошибки внимания и галлюцинации. Для Intel Arc вариант IQ2_E_S не рекомендуется использовать с SYCL из-за риска некорректной генерации, NaN и сбоев; требуется backend Vulkan. Модель распространяется по лицензии Apache-2.0.

Terathox-Coder/Qwen3.8-27B-MTP-GGUF — это общественная GGUF-конверсия и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Дополнительное обучение или дообучение не выполнялось. Модель содержит 27 млрд параметров, представлена в формате GGUF и использует квантование Q4_K_M; исходные MTP/NextN-тензоры сохранены. Модель предназначена для локальной генерации текста, программирования, задач software engineering, агентных сценариев, технического рассуждения и работы с длинным контекстом. Она совместима с llama.cpp и совместимыми GGUF-рантаймами, включая Ollama. Сохранение MTP/NextN позволяет экспериментировать со спекулятивным декодированием, однако наличие соответствующих тензоров само по себе не гарантирует их фактическое использование: это зависит от версии и настроек рантайма. В README заявлена поддержка языков English, Spanish и Chinese, а локальное тестирование проводилось с контекстом до 204800 токенов. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с исходной BF16-моделью, поддержка локального запуска и сохранённые компоненты MTP/NextN. Размер файла составляет около 16,8 ГБ. Ограничения включают возможное снижение качества из-за квантования Q4_K_M, отсутствие стандартизированных тестов качества для этой сборки и риск неточных, предвзятых или галлюцинированных ответов. Хотя исходная модель обладает мультимодальными возможностями, данный репозиторий содержит только языковой GGUF-артефакт без проверенного мультимодального проектора, поэтому сборку следует считать текстовой. Модель распространяется по лицензии Apache-2.0. Конкретные показатели скорости в README относятся к локальной конфигурации на трёх GPU и не являются стандартизированными бенчмарками качества или производительности.

QuantFactory/dolphin-2.8-mistral-7b-v02-GGUF — это GGUF-квантизированная версия модели Dolphin 2.8 Mistral 7B v0.2, созданная с использованием llama.cpp на основе cognitivecomputations/dolphin-2.8-mistral-7b-v02. Модель основана на Mistral-7B-v0.2 и предназначена для генерации текста, диалогового взаимодействия, выполнения инструкций и решения задач программирования. Заявленный язык — английский. Базовая модель поддерживает контекст до 32 000 токенов, а дообучение выполнялось на последовательностях длиной до 16 000 токенов. Квантизация в формате GGUF ориентирована на использование с совместимыми инструментами локального запуска, однако конкретный вариант квантизации в README не указан. К сильным сторонам относятся conversational-, instruction- и coding-навыки, а также возможность коммерческого использования по лицензии Apache 2.0. Модель описывается как uncensored и не содержит встроенных ограничений безопасности и выравнивания, поэтому может быть чрезмерно послушной, включая потенциально вредные или неэтичные запросы. Перед предоставлением модели как сервиса рекомендуется реализовать собственный уровень фильтрации и выравнивания; ответственность за создаваемый контент возлагается на пользователя. В README также указано, что при обучении использовались данные, сгенерированные GPT-4 и другими моделями.

GLM-4.7-Flash-REAP-23B-A3B — сжатая версия диалоговой модели GLM-4.7-Flash, созданная командой Cerebras методом REAP (Router-weighted Expert Activation Pruning). Это причинная языковая модель со sparse Mixture-of-Experts: в README указаны 23 млрд параметров, из которых активируются около 3 млрд на токен, 48 экспертов и выбор четырёх экспертов на токен. Метаданные указывают архитектуру GLM4 MoE Lite и формат safetensors. Модель предназначена для генерации текста и диалога, включая программирование, агентные сценарии, понимание больших репозиториев и вызов функций. Контекст составляет 202 752 токена. В карточке заявлено, что однократное удаление избыточных экспертов без последующего дообучения сокращает размер примерно на 25% при близкой к исходной производительности. Для развёртывания README рекомендует актуальную версию vLLM с поддержкой GLM-4.7-Flash. Лицензия — MIT. Описанные результаты производительности являются заявлениями карточки модели; независимая проверка и подробности оценочных таблиц в предоставленных данных отсутствуют. Метаданные карточки указывают английский язык.

casperhansen/llama-3-70b-instruct-awq — это 4-битно квантованная методом AWQ версия Llama 3 70B Instruct, опубликованная пользователем casperhansen на Hugging Face. Базовую модель разработала Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention; она принимает текст и генерирует текст или код, поддерживая диалоговый формат и задачи ассистента. Модель содержит около 70 млрд параметров, использует контекст до 8192 токенов и рассчитана прежде всего на англоязычные коммерческие и исследовательские сценарии: диалог, генерацию текста, ответы на вопросы, программирование и рассуждения. Квантование AWQ уменьшает требования к памяти и делает локальное развертывание более практичным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией. Модель не является мультимодальной и не предназначена для языков, отличных от английского, без дополнительной адаптации. Как и другие LLM, она может выдавать неточные, предвзятые или небезопасные ответы, поэтому требует проверки и дополнительных защитных механизмов. Для использования применяются Transformers, vLLM или SGLang; репозиторий содержит веса в формате Safetensors. Для базовой Llama 3 указана пользовательская коммерческая лицензия Meta Llama 3 Community License и Acceptable Use Policy; использование производной версии следует согласовывать с этими условиями.

PrimeIntellect публикует веса Meta Llama 3 70B Instruct, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 69,5 млрд параметров. Репозиторий содержит веса, разбитые на части для более эффективной загрузки в Petals; формат файлов — safetensors. Модель принимает текст и генерирует текст и код, а версия Instruct настроена для диалогов с помощью контролируемого дообучения и обучения с подкреплением по обратной связи от людей. Используйте её для чат-ассистентов и генерации текста на английском языке. Контекст модели — до 8192 токенов. Модель предназначена для коммерческого и исследовательского применения в рамках лицензии Meta Llama 3 Community License. Она оптимизирована для полезных и безопасных ответов, но требует дополнительных мер защиты в приложениях: документация отмечает остаточные риски, в том числе связанные с опасным контентом. README указывает английский как целевой язык; использование на других языках обозначено как выходящее за рамки назначения, хотя разработчики могут дообучать модель для дополнительных языков с соблюдением лицензии и политики использования.

RedHatAI/phi-4-FP8-dynamic — квантизированная версия языковой модели Microsoft Phi-4, разработанная Red Hat совместно с Neural Magic. Это текстовая causal language model на архитектуре Phi3ForCausalLM: принимает текст и генерирует текст, преимущественно на английском языке. Модель предназначена для исследовательских задач, генеративных AI-функций, диалоговых и общих текстовых сценариев, а также задач рассуждения, логики, работы с математикой и кодом в условиях ограниченных ресурсов или повышенных требований к задержке. В модели к FP8 квантизированы веса и активации линейных операторов внутри трансформерных блоков. Веса используют симметричную статическую поканальную квантизацию, а активации — симметричную динамическую потокенную квантизацию. По заявлению разработчиков, это примерно на 50% снижает требования к GPU-памяти и размер диска, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Для квантизации использована библиотека llm-compressor; модель оптимизирована для развертывания с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Длина контекста в предоставленных данных не указана. Сильные стороны модели — уменьшенные требования к памяти и дисковому пространству, потенциально более высокая производительность и поддержка сценариев, где важны рассуждение, логика, низкая задержка и эффективность вычислений. Ограничения включают преимущественную ориентацию на английский язык, отсутствие специальной оценки для всех прикладных сценариев и типичные для языковых моделей риски ошибок, проблем безопасности и несправедливых результатов; перед применением в ответственных областях необходимы отдельная проверка и меры контроля. Модель выпущена под лицензией MIT.

Qwen3.6-27B Abliterated — мультимодальная плотная модель на 27 млрд параметров, созданная mlasli на основе Qwen/Qwen3.6-27B. Вариант подготовлен с помощью Heretic v1.4.0: из модели удалено направление отказов, чтобы уменьшить отказы при запросах для исследований безопасности и других сценариев. Модель предназначена для диалогов, работы с изображениями, программирования и агентных задач; карточка также указывает поддержку нескольких языков. Контекст составляет 262 тыс. токенов с возможностью расширения до 1 млн. README заявляет, что абляция сохраняет общие возможности базовой модели, но не добавляет новых знаний или навыков. Для запуска требуется около 55 ГБ VRAM в BF16, 28 ГБ в 8-битном или 17 ГБ в 4-битном режиме. Лицензия — Apache-2.0.

Blackfrost-AI/Qwen3.8-27B-ABLITERATED-NVFP4 — исследовательский производный чекпойнт, разработанный Blackfrost на базе официальной Qwen/Qwen3.8-27B. Это не дообученная модель, а модифицированная на уровне весов версия с уменьшенной поверхностью отказов, предназначенная для исследований, red teaming, анализа безопасности, программирования, рассуждений, работы с инструментами и мультимодальными сценариями. Модель имеет плотную гибридную архитектуру Qwen3.8-27B с Gated DeltaNet и полным attention, содержит 27 млрд параметров и использует квантование NVIDIA ModelOpt W4A4 NVFP4, ориентированное на GPU NVIDIA Blackwell. Она принимает текст, изображения и видео, генерирует текст и поддерживает контекст до 262 144 токенов; практический размер контекста зависит от доступной памяти и уровня параллелизма. Для запуска рекомендуется SGLang или другой совместимый движок, а валидированным оборудованием указан NVIDIA B200. К сильным сторонам относятся сохранение возможностей зрения, рассуждений, инструментального использования и длинного контекста при компактном квантованном формате, а также deployment-ориентированная конструкция. Ограничения включают исследовательский статус, отсутствие гарантий сохранения всех характеристик исходной модели после модификации и квантования, а также намеренно сниженную склонность к отказам: результаты безопасности, программирования, мультимодальности и работы с инструментами требуют осторожной интерпретации. В репозитории указана лицензия Apache-2.0; модель опубликована как общедоступный, не требующий допуска research preview и не предназначена для продажи.

Huntfat/Qwen3.8-27B-OBLITERATED-huntfat — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем Huntfat. Это модификация Qwen3.8-27B, созданная с применением метода abliteration: из весов удалялись направления, связанные с отказами и уклончивыми ответами. В README указано, что версия V3 дополнительно использует итеративное уточнение и целевую обработку корпуса данных. Модель предназначена для генерации текста, программного кода и ответов на запросы, включая сценарии, в которых исходная модель могла отказывать или заменять содержательный ответ предупреждениями. Заявлены совместимость с режимом рассуждений, применение в агентских и длинноконтекстных сценариях, а также варианты распространения в форматах GGUF, Safetensors и MLX. Точные размер контекста, перечень поддерживаемых языков и мультимодальные возможности в представленном README не указаны. По заявленным данным, V3 сохраняет большую часть возможностей исходной модели: результат MMLU составляет 82,3% против 84,5% у базовой версии, при этом автор сообщает о 20 успешных из 20 проверок задач генерации кода и о снижении склонности к отказам. Ограничениями являются умеренная потеря качества относительно базовой модели, возможные циклы при генерации без repetition_penalty и чувствительность к настройкам декодирования. Рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; для агентских сценариев допускаются temperature 0,1–0,3 и ограничение длины ответа. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3-Next-80B-A3B-Thinking-AWQ-4bit — 4-битная AWQ-квантизированная версия модели Qwen3-Next-80B-A3B-Thinking из семейства Qwen. Разработчик в README явно не указан; модель опубликована на базе Qwen/Qwen3-Next-80B-A3B-Thinking и предназначена для генерации текста с акцентом на сложные рассуждения, математические и программные задачи, многошаговое решение проблем и агентские сценарии. Это авторегрессионная causal language model с гибридной архитектурой Gated DeltaNet и Gated Attention, разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Контекстное окно составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается только thinking mode, а шаблон чата автоматически включает режим рассуждений. Языки и мультимодальные возможности в README не указаны. К сильным сторонам относятся высокая параметрическая и вычислительная эффективность, производительность на сложных задачах рассуждения, программирования, следования инструкциям и работы с инструментами, а также поддержка сверхдлинного контекста. Модель может генерировать особенно длинные рассуждения, поэтому она лучше подходит для комплексных задач, чем для сценариев, требующих минимальной задержки или кратких ответов. В README также не приведены требования к аппаратному обеспечению и подробные ограничения качества. Лицензия — Apache 2.0.