II.7DevOps, облако и эксплуатация IT-систем

Qwen3.6-35B-A3B-Heretic-Cerebellum-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Вариант Heretic создан на основе uncensored-модификации от llmfan46 с применением Heretic v1.2.0, а смешанно-точная квантизация Cerebellum выполнена deucebucket. Модель относится к архитектуре Qwen3 и использует MoE-подход; рекомендуемый файл Q3_K_M занимает около 11,96 ГБ. Для мультимодальной работы требуется отдельный vision projector BF16 размером около 858 МБ, поддерживающий обработку изображений и видео через llama.cpp. Модель предназначена для генерации текста, рассуждений, ответов на вопросы, программирования и мультимодального описания изображений. По приведённым локальным тестам на RTX 3090 она показывает 95,48% на ARC-Challenge, 91,78% на HellaSwag, 75,42% на MMLU-Redux и pass@1 64,63% на HumanEval+. Эти результаты характеризуют конкретную квантизированную сборку и не гарантируют аналогичную производительность в других конфигурациях. Сильными сторонами являются сочетание относительно компактного размера, MoE-архитектуры, смешанной квантизации, поддержки мультимодальных сценариев и хороших результатов на задачах общего reasoning и программирования. Ограничения включают потери качества из-за квантизации, необходимость совместимого рантайма и vision projector для работы с изображениями и видео, а также отсутствие в предоставленных данных сведений о длине контекста и поддерживаемых языках. Модель распространяется по лицензии Apache-2.0.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

majentik/Qwen3.6-35B-A3B-RotorQuant-MLX-2bit — это 2-битная квантизированная версия Qwen/Qwen3.6-35B-A3B, подготовленная для запуска на Apple Silicon с использованием фреймворка MLX. Базовую модель разработала команда Qwen, а данный вариант опубликован пользователем или организацией majentik. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, написание текстов, ответы на вопросы и программный код. Модель использует архитектуру Mixture-of-Experts: всего 35 млрд параметров, из которых около 3 млрд активируются для каждого токена. Это позволяет снизить вычислительную нагрузку по сравнению с плотной моделью сопоставимого общего размера. Вариант содержит только языковую часть модели и не поддерживает изображения или видео; зрительный модуль и MTP-голова исключены. Приблизительный размер весов — 9 ГБ, рекомендуемый объём объединённой памяти — от 16 ГБ. Для работы используется MLX и загрузка через mlx_lm на компьютерах с Apple Silicon. Главное преимущество модели — компактность и относительно низкие требования к памяти при сохранении архитектуры с большим общим числом параметров. Ограничениями являются потери качества, характерные для агрессивной 2-битной квантизации, отсутствие мультимодального ввода и зависимость от совместимого оборудования и программного окружения. Обозначение RotorQuant относится к варианту выпуска; связанный с ним экспериментальный форк для квантизации KV-кэша считается устаревшим и не требуется для использования модели. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-9B-Distill-uncensored-heretic — текстовая генеративная модель автора @ptruha, опубликованная в рамках проекта Empero. Это полно-параметрическое дообучение Qwen/Qwen3.5-9B: модель-дистиллят обучена методом SFT на примерно 70 тысячах отфильтрованных трасс рассуждений учителя Qwen3.8 2.4T A95B. Веса содержат около 9 млрд параметров и распространяются в формате Safetensors; карточка указывает архитектуру Qwen3.5 и нативный контекст 262 144 токена. Модель предназначена для диалога, рассуждений, математики, программирования, следования инструкциям и вызова инструментов. В README приведены результаты GSM8K и MMLU; автор сообщает о низкой частоте отказов в собственном тесте, однако эти результаты не являются независимой оценкой. Дообучение было текстовым, поэтому унаследованные от мультимодальной базовой модели возможности работы с изображениями не оценивались. Для запуска требуется актуальная версия Transformers с поддержкой Qwen3.5 и CUDA-совместимыми компонентами; без них внимание может работать медленно и потреблять больше памяти. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-113B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель была подвергнута структурному прореживанию экспертов, реконструкции и дистилляции, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческих задач на компьютерах Apple Silicon, особенно моделях с 64 ГБ unified memory. Модель содержит 113B параметров, из которых около 5,4B активны для каждого токена. Архитектура включает 48 слоёв, до 512 маршрутизируемых экспертов и top-k 10; эксперты используются в 32 слоях и имеют промежуточный размер 448. Эксперты хранятся в 3-битном формате с группировкой 64, backbone — в 4-битном, а таблица n-gram embeddings PLE — в 2-битном формате. Размер модели на диске составляет 42,2 ГБ, поддерживается только текстовая модальность, языки явно не указаны. Для запуска требуются MLX, mlx-vlm и специальный загрузчик Niwaki; заявлена производительность около 31 токена в секунду на M4 Max. Главное преимущество — существенное сокращение требований к памяти при сохранении 99,8% среднего результата базовой 4-битной модели на указанном наборе задач. Ограничения включают повышенную perplexity, меньшую надёжность чисел и редких технических фактов, недостаточную проверку поведения в узких предметных областях и унаследованные от базовой модели смещения. При включённом режиме рассуждений модель может генерировать чрезмерно длинные ответы; для кратких задач рекомендуется отключать thinking. Лицензия указана как other со ссылкой на лицензию базовой модели Qwen3.8-Flash-Next.

Qwen3-VL-12B-Instruct-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель, разработанная DavidAU на базе Qwen3-VL-Instruct с адаптером Brainstorm 20x. Модель распространяется в формате GGUF с квантованием NEO Imatrix и выходным тензором MAX с точностью 16 бит. Она предназначена для диалогов, генерации и анализа кода, решения многошаговых задач, работы с изображениями и их описания, а также творческих сценариев. Поддерживаются текстовые и визуальные входы; в карточке также заявлена обработка видео. Указанный язык — английский. После добавления адаптера размер модели увеличен с 8B до 12B; заявлены 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, совместимый с основной квантованной моделью, а оба файла должны находиться в одной папке. Поддерживаются Jinja или CHATML-шаблон; модель проверялась в LM Studio и Koldboldcpp. Сильными сторонами заявлены улучшение генерации текста и описаний изображений за счёт Brainstorm 20x, хорошие результаты на ряде задач логического и commonsense-рассуждения, а также пригодность для сложного программирования и пошагового уточнения решений. Ограничением является склонность к зацикливанию; README рекомендует повышать temperature и использовать repetition или presence penalty. Для сложных задач предпочтительны варианты Q6 или Q8, однако конкретные требования к памяти и производительности не указаны. Лицензия — Apache-2.0.

JC1DA/Qwopus3.8-27B-Flash-INT4-W4A16 — экспериментальная 4-битная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong на основе Qwen/Qwen3.8-27B. Модель ориентирована на генерацию текста, диалоговые сценарии, рассуждения, написание кода, агентские рабочие процессы, использование инструментов и function calling. Заявлена поддержка английского, китайского, испанского, русского и японского языков. В карточке также указан мультимодальный pipeline image-text-to-text и сохранённый visual encoder, однако подробности о возможностях работы с изображениями не приведены. Квантование выполнено с помощью AutoRound 0.12.3 и GPTQ: 4 бита для весов, 16 бит для активаций, размер группы 128. Размер модели составляет около 19 ГБ вместо примерно 54 ГБ в FP16, что уменьшает объём памяти приблизительно на 65%. В FP16 сохранены проекционные матрицы linear attention во всех 64 слоях, модуль MTP и visual encoder. Модель совместима с Transformers и другими средами, поддерживающими GPTQ/AutoRound, а также предназначена для высокопроизводительного сервинга через vLLM. Сильные стороны модели — сниженное потребление памяти, пригодность для локального запуска, длительных агентских сценариев и speculative decoding. На ARC-Easy квантованная версия показала 84,13% точности против 83,71% у FP16-версии. Ограничения включают возможный компромисс между эффективностью и точностью: в указанном наборе MMLU-Pro модель получила 91,28% против 92,73% у базовой Qwen3.8. Возможны нестабильность рассуждений, циклы и неэффективные траектории; качество применения инструментов зависит от промпта, окружения и оркестрации. Релиз обозначен как экспериментальный и предназначен для исследований, локальной оценки и технических экспериментов. Лицензия — Apache-2.0.

Ring-mini-2.0 — диалоговая языковая модель InclusionAI на архитектуре Mixture of Experts (MoE), основанная на Ling 2.0. Модель дообучена с применением SFT, обучения с проверкой результатов (RLVR) и RLHF; метаданные указывают 1,2 млрд параметров, тогда как README сообщает 16,8 млрд общих и 1,4 млрд активируемых параметров. В метаданных заявлена длина контекста 32 768 токенов, а README — поддержка до 128 тысяч токенов с YaRN. Модель предназначена для генерации текста и диалогов, включая сложные рассуждения, логические и математические задачи, а также генерацию кода. Разреженная MoE-архитектура рассчитана на эффективный инференс; README приводит показатели скорости на оборудовании H20, которые зависят от конфигурации развертывания. Подтверждённого списка поддерживаемых естественных языков в предоставленных данных нет. Модель распространяется по лицензии MIT. Заявленные в README результаты на бенчмарках и скорость инференса не являются гарантией качества или производительности в конкретной среде.

Ring-mini-linear-2.0 — языковая модель компании inclusionAI для генерации текста и диалогов. Она построена на гибридной архитектуре, сочетающей линейное и стандартное внимание, и использует разреженную смесь экспертов (MoE). В репозитории указано 1,2 млрд параметров, а в карточке модели описана версия с 16,4 млрд параметров, из которых при генерации активируются 1,6 млрд; эти цифры расходятся, поэтому размер полной модели по доступным данным нельзя согласовать. Модель дообучена на основе inclusionAI/Ling-mini-base-2.0-20T на дополнительных 600 млрд токенов. Модель предназначена для генерации ответов в диалогах и решения сложных задач по математике, программированию и науке. Метаданные указывают поддержку интерфейса вызова инструментов. Для эффективной обработки длинного контекста заявлено окно до 512 тыс. токенов с расширением YaRN; метаданные указывают нативный контекст 131 072 токена. В карточке приведены англоязычные теги. Для запуска описана поддержка Transformers и SGLang, а также BF16 и FP8 в SGLang; инструкции по установке специальных зависимостей и сборок движков указывают на необходимость совместимой среды. Лицензия — MIT.

Rombo-LLM-V2.5-Qwen-32b — плотная языковая модель на 32 млрд параметров, разработанная Rombo-Org как дообученная версия Qwen2.5-32B-Instruct. README также сообщает о слиянии instruct- и base-моделей методом TIES, но метаданные классифицируют происхождение как дообучение Qwen/Qwen2.5-32B-Instruct. Модель предназначена для диалоговой генерации текста; в метаданных также заявлен интерфейс вызова инструментов. Архитектура — Qwen2ForCausalLM семейства Qwen2, формат весов — safetensors, контекст — до 32 768 токенов. Базовая модель поддерживает диалог, программирование, математику и структурированные ответы, однако README не приводит независимых оценок заявленного превосходства этой версии. Лицензия — Apache-2.0.

SagaLM-slm2 — диалоговая языковая модель, созданная разработчиком SagaLM на основе Qwen/Qwen2.5-7B-Instruct. Модель дообучена методами QLoRA и supervised fine-tuning (SFT); её архитектура Qwen2 совместима с реализацией Qwen2/Qwen2.5 в Transformers. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов согласно метаданным; в README указана длина контекста 2 048 токенов при обучении. Модель предназначена для диалогов и выполнения инструкций, включая рассуждения, математические задачи и программирование. Обучение включало разговорные и инструктивные данные, а также примеры, закрепляющие идентичность SagaLM. Для генерации автор рекомендует до 1 024 новых токенов с настройками temperature 0,7 и top_p 0,9. Сведения о лицензии в предоставленных материалах отсутствуют.

AFM-4.5B-Preview — предварительная версия инструкционной языковой модели Arcee.ai, основанная на AFM-4.5B-Base и дообученная для ответов на инструкции и диалога. Модель использует декодерную архитектуру Transformer ArceeForCausalLM с grouped-query attention и активацией ReLU². В метаданных указано 6 млрд параметров, а в README — 4,5 млрд; контекст составляет до 65 536 токенов. Модель принимает и генерирует текст, поддерживает несколько языков, включая русский, английский, испанский, французский, немецкий, итальянский, португальский, арабский, хинди, корейский и китайский. Модель подходит для диалогового помощника, следования инструкциям, генерации текста, а также задач с математическими рассуждениями и кодом, унаследованных от базовой модели. Это preview-чекпойнт, размещавшийся на TogetherAI с 18 июня по 28 июля; для retrieval, следования инструкциям и сценариев ассистента разработчик рекомендует финальный выпуск AFM-4.5B. Лицензия — Apache 2.0.

airoboros-3b-3p0 — экспериментальная языковая модель на архитектуре StableLM Epoch, разработанная jondurbin и обученная на наборе синтетических данных airoboros-3.0. Это плотная причинная языковая модель с 2,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалога используется формат Llama 2 Chat. Модель общего назначения с акцентом на следование инструкциям. Она предназначена для ответов на вопросы по заданному контексту, суммаризации, программирования, математических рассуждений с формированием MathJSON, многоходового диалога, генерации аргументов функций и планов выполнения задач. Для расчётов MathJSON предполагает последующую обработку формулы внешним вычислительным механизмом. Модель выпущена под лицензией CC BY-SA 4.0.

Bagel DPO 7B v0.4 — разговорная языковая модель, созданная jondurbin на основе Mistral 7B v0.1 и дополнительно обученная методом direct preference optimization (DPO). Она предназначена для генерации ответов в чате, следования инструкциям и задач общего назначения, включая вопросы по контексту, математику, программирование, суммаризацию и творческое письмо. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В обучении использованы наборы инструкций и предпочтений по разным темам, в том числе код, естественные науки, чтение, диалоги и художественное письмо. Карточка указывает четыре совместимых формата промпта: Vicuna, Llama 2, Alpaca и ChatML. Модель рассчитана на генерацию текста и диалоговое применение. Карточка отмечает, что версия без DPO может быть лучше для ролевых диалогов; в наборе данных присутствуют токсичные примеры, поэтому выходы могут содержать токсичный или иной нежелательный контент. Распространяется по лицензии Apache-2.0.

Caliburn 12B Merged — языковая модель на архитектуре Transformer семейства Mistral, созданная автором репозитория путём слияния нескольких существующих моделей с помощью MergeKit. Модель содержит 12,1 млрд параметров и предназначена для генерации текста общего назначения; карточка указывает английский язык. В метаданных заявлен контекст 1 024 000 токенов, библиотека Transformers и формат Safetensors. Модель можно использовать для генерации текста, продолжения кода, ответов на вопросы и суммаризации. Метаданные также отмечают интерфейс чата и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. Автор предупреждает о возможных предубеждениях, ошибках и бессмысленных ответах; результаты следует проверять, а для важных решений необходим контроль человека.

Chichu 2.0 500M Instruct — компактная языковая модель на 494 млн параметров, разработанная Sebastianpro88 и дообученная методом LoRA на базе Qwen/Qwen2.5-0.5B-Instruct. Для обучения использован корпус дистилляции ответов нескольких моделей, охватывающий математику, программирование, рассуждения и выполнение инструкций. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для задач с кодом, математикой и логическими рассуждениями. Это плотная архитектура Qwen2 с контекстом до 32 768 токенов; модель принимает и выдаёт текст. Карточка указывает лицензию «other», но не уточняет её условия, поэтому перед использованием следует проверить сведения о лицензировании в репозитории.

Locutusque/DareQwen-2.5-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen2.5. В слиянии DARE TIES использованы Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; параметры сохранены в формате bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, а объединение вариантов Instruct, Coder и Math ориентировано на сочетание общих инструкций, программирования и математических задач. В метаданных также отмечен интерфейс вызова инструментов. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. README предупреждает, что объединённая модель требует дообучения, поэтому её готовность к практическому использованию без дополнительной настройки не подтверждена. Лицензия в предоставленных данных не указана.

DeepSeek-7B-1M — объединённая языковая модель автора yasserrmd, созданная линейным слиянием весов Qwen/Qwen2.5-7B-Instruct-1M и deepseek-ai/DeepSeek-R1-Distill-Qwen-7B с равными весами через LazyMergekit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Заявленная длина контекста составляет около 1,01 млн токенов; доступны веса в формате Safetensors. Модель можно применять для ответов на вопросы и ведения диалога, а также для задач, требующих работы с длинными текстами. Базовые модели дают ей сочетание инструктивного поведения Qwen2.5 и возможностей дистиллированной DeepSeek-R1 для многошаговых рассуждений, в том числе в математике и программировании. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

Statuo выпустил Deepseeker-Kunou-Qwen2.5-14b — объединение языковых моделей, созданное с помощью mergekit и линейного слияния. В него вошли Sao10K/14B-Qwen2.5-Kunou-v1 и deepseek-ai/DeepSeek-R1-Distill-Qwen-14B; итоговая модель имеет архитектуру Qwen2ForCausalLM и содержит 14 млрд параметров. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования. Разработчик отмечает, что она кажется достаточно интеллектуальной, но может уступать в творческом письме; оценка улучшения относительно Kunou субъективна. Поддерживается контекст до 131 072 токенов, файлы представлены в формате safetensors. Лицензия в метаданных — Apache-2.0; README также упоминает Qwen License, поэтому условия лицензирования стоит сверить с файлами репозитория.

Карточка модели dealignai/Gemma-4-31B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-31B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

GLM-4.7-Flash-Razor-24B-A3B-E48of64 — текстовая диалоговая модель, созданная путём обучения без градиентных обновлений: к исходной GLM-4.7-Flash применён метод RAZOR, который удаляет часть экспертов MoE. Разработчик в карточке не назван; базовая модель выпущена Z.ai. В каждом слое MoE оставлено 48 из 64 маршрутизируемых экспертов, а общий размер сокращён примерно с 30 млрд до 24,1 млрд параметров; активно около 3 млрд параметров на токен. Веса хранятся в формате bfloat16 в семи шардах safetensors, для запуска требуется версия Transformers с поддержкой glm4_moe_lite. Модель предназначена для диалоговой генерации текста, рассуждений и программирования, унаследованных от GLM-4.7-Flash. Нативная длина контекста составляет 202 752 токена. Прунинг затрагивает только пул маршрутизируемых экспертов, поэтому вычисления на токен почти не меняются, а объём хранения экспертов уменьшается примерно на четверть. Лицензия — MIT. Удаление экспертов приводит к потерям: ответы могут отличаться разнообразием, форматированием и поведением при завершении, даже если точность задач в основном сохраняется. Опубликованные результаты не гарантируют предсказуемой генерации на конкретной нагрузке, а поведение на областях, далёких от калибровочного корпуса, не охарактеризовано.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

I-DLM-32B — плотная диффузионная языковая модель на 29,7 млрд параметров, созданная командой yifanyu на основе Qwen/Qwen3-32B. Она предназначена для диалоговой генерации текста, ответов на вопросы, математических рассуждений, программирования и следования инструкциям. Метод Introspective Strided Decoding позволяет генерировать и проверять группы токенов параллельно; для воспроизведения результатов авторы рекомендуют конвейер ISD на базе SGLang. Модель заявлена как сопоставимая по качеству с авторегрессионной Qwen3-32B на 15 тестах, охватывающих знания, математику, код и следование инструкциям. Модель использует архитектуру SDAR и принимает текст, выдавая текст. Нативная длина контекста — 40 960 токенов. Карточка указывает английский язык; базовая Qwen3-32B описана как многоязычная. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. Прямая загрузка через Transformers пока не поддерживает воспроизведение результатов из статьи; для вывода рекомендуется SGLang с реализацией ISD.

INTELLECT-1-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели INTELLECT-1-Instruct от PrimeIntellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель предназначена для генерации текста по инструкциям и может запускаться локально, в том числе через LM Studio. Доступны варианты от полноразмерных F32 и F16 до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4. Размер файлов составляет примерно от 5,6 до 40,85 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Указан английский язык; поддерживаются текстовые сценарии, включая общение по инструкциям, программирование, математику и работу с данными обучения, перечисленными в карточке. Архитектура, число параметров, максимальный контекст и мультимодальные возможности в README не указаны. Сильная сторона набора — широкий выбор квантизаций для локального запуска и наличие вариантов, оптимизированных для отдельных ARM-конфигураций. Ограничения зависят от выбранного варианта: более компактные квантизации могут снижать качество, а некоторые ARM-версии требуют конкретных аппаратных возможностей и не рекомендуются для Mac или GPU. Модель распространяется по лицензии Apache-2.0.

JoyAI-LLM Flash — инструктивная языковая модель среднего размера от jdopensource для диалогов, рассуждений, программирования и работы с инструментами. В карточке описаны предварительное обучение на 20 триллионах текстовых токенов, supervised fine-tuning, DPO и обучение с подкреплением в разных средах. Модель использует архитектуру Mixture-of-Experts: в README указаны 48 млрд параметров всего и 3 млрд активируемых параметров; метаданные Hugging Face сообщают 2,7 млрд параметров и класс DeepseekV3ForCausalLM. Эти сведения о размере расходятся. Модель рассчитана на генерацию текста в формате чата, решение задач на рассуждение и код, а также агентные сценарии с вызовом инструментов. README заявляет поддержку контекста до 131 072 токенов согласно метаданным. Указаны китайский и английский языки. Репозиторий содержит веса Safetensors для Transformers. README описывает доступ через API и совместимые с OpenAI и Anthropic интерфейсы; конкретные условия лицензии в предоставленных данных отсутствуют.

PlumChat 70b — объединённая языковая модель sequelbox, созданная с помощью mergekit на основе Meta Llama 3.1 70B Instruct и моделей NVIDIA Llama 3.1 Nemotron 70B Instruct HF и ValiantLabs Llama3.1-70B-ShiningValiant2. Она предназначена для диалогов общего назначения, следования инструкциям, научных запросов и сложных вопросов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; карточка указывает английский язык. Веса опубликованы в формате safetensors, библиотека — Transformers. Слияние выполнено методом Della с нормализацией весов. Модель рассчитана на генерацию текста и чат, в том числе на научные и технические темы. Лицензия — Llama 3.1; условия её использования определяются лицензией Meta Llama 3.1.

PocketWeights Llama 3.1 8B Instruct abliterated GGUF — это квантизированная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, разработанной huihui-ai на базе архитектуры Meta Llama 3.1. Модель распространяется в форматах GGUF с вариантами квантизации IQ3_M, Q4_K_M и Q6_K, что позволяет запускать её локально на потребительском оборудовании, включая видеокарты с 4–8 ГБ VRAM и компьютеры Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев, творческого письма, работы с кодом, анализа репозиториев, создания синтетических данных и исследовательских задач. Заявлена поддержка контекста до 128K токенов, благодаря чему она подходит для обработки длинных документов и многоходовых диалогов. Основной язык и полный набор поддерживаемых языков в README не указаны. К сильным сторонам относятся компактность, возможность автономного запуска, несколько уровней компромисса между качеством и требованиями к памяти, а также отсутствие стандартных отказов и ограничений, характерных для выровненных моделей. Это одновременно является существенным ограничением: модель лишена защитных механизмов, поэтому требует осторожного применения, особенно при работе с потенциально опасными запросами. Качество зависит от выбранного уровня квантизации. Модель распространяется по Meta Llama 3.1 Community License.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w8a8 — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Это авторегрессионная текстовая модель архитектуры LlamaForCausalLM, предназначенная прежде всего для диалоговых ассистентов, генерации текста и коммерческого или исследовательского использования. Поддерживаемые в карточке языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель принимает и возвращает текст; заявленный сценарий развертывания использует контекст до 8192 токенов. Модель применяет INT8-квантизацию весов и активаций с использованием GPTQ и библиотеки llm-compressor. Квантизация уменьшает требования к памяти GPU и размер файлов примерно на 50%, а также заявлено увеличение пропускной способности матричных умножений примерно в 2 раза по сравнению с представлением FP16. Линейные операторы в трансформерных блоках квантизуются по каналам для весов и динамически по токенам для активаций; отдельные компоненты, включая lm_head, не квантизуются. По результатам, приведённым в README, модель сохраняет большую часть качества исходной версии: заявлены показатели восстановления 98,8% для Arena-Hard, 99,9% для OpenLLM v1, 100,0% для OpenLLM v2, 98,7% для HumanEval pass@1 и 98,9% для HumanEval+ pass@1. Основное ограничение — возможная потеря качества из-за квантизации, а также необходимость совместимого программного обеспечения и аппаратных ресурсов; для эффективного развертывания рекомендуется vLLM, в примере используются два GPU. Модель распространяется по лицензии Llama 3.1; использование должно соответствовать применимым законам и ограничениям.

ThomasBaruzier/Meta-Llama-3-70B-Instruct-GGUF — это GGUF-версия инструкционной языковой модели Meta Llama 3 с размером 70 млрд параметров. Модель разработана Meta и предназначена для генерации текста, диалогов и выполнения инструкций; в карточке также указана задача text-generation. Заявленный язык — английский. Модель относится к текстовым, без указаний на поддержку изображений, аудио или других модальностей. Формат GGUF ориентирован на локальный запуск средствами совместимой инфраструктуры, однако конкретная версия квантования, требования к памяти, максимальный контекст и показатели качества в README не указаны. Сильными сторонами являются инструкционный режим и масштаб 70 млрд параметров, но практические характеристики зависят от используемого варианта GGUF и аппаратного обеспечения. Модель распространяется по Meta Llama 3 Community License. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая сохранение уведомления об атрибуции и указание «Built with Meta Llama 3» при распространении материалов или продуктов. Также требуется соблюдение Acceptable Use Policy; для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.