II.7DevOps, облако и эксплуатация IT-систем

DeepSeek-R1-0528 — обновлённая версия reasoning-модели DeepSeek R1, разработанная командой DeepSeek AI. Модель ориентирована на задачи, требующие глубокого рассуждения: математику, программирование, общую логику и решение сложных аналитических задач. Также заявлены улучшения в function calling, снижении частоты галлюцинаций и сценариях vibe coding. По сравнению с предыдущей версией модель использует более глубокий процесс рассуждения и увеличенные вычислительные ресурсы на этапе постобучения. Максимальная длина генерации составляет 64K токенов. В README не указаны архитектура, общее число параметров, поддерживаемые языки и мультимодальные возможности; приведённые оценки относятся преимущественно к текстовым запросам. Сильными сторонами являются заметный рост результатов на математических, кодовых и логических бенчмарках, включая AIME, LiveCodeBench, SWE Verified и Codeforces. При этом результаты зависят от конкретной задачи: например, показатель SimpleQA у новой версии ниже, чем у предыдущей. Модель распространяется по лицензии MIT.

GLM-4.6-Derestricted-v3 — текстовая диалоговая модель Arli AI, созданная на основе GLM-4.6 от Zhipu AI. Разработчики применили к базовой модели метод Norm-Preserving Biprojected Abliteration, чтобы убрать поведение отказа, стараясь сохранить рассуждения и другие способности исходной модели. Это модификация весов, а не отдельная архитектура; в репозитории указаны 23,4 млрд параметров, семейство GLM-4 MoE и формат safetensors. Модель предназначена для генерации диалоговых ответов, рассуждений, написания кода и агентных сценариев. Унаследованный от GLM-4.6 контекст составляет 202 752 токена; исходная карточка также описывает поддержку использования инструментов. В карточке заявлено, что удаление отказов позволяет сохранить или улучшить рассуждения, однако независимых подтверждений этих заявлений не приведено. Модель принимает текст и генерирует текст. Лицензия — MIT. Языки явно не перечислены; исходная GLM-4.6 описана как модель для текста и кода, но конкретный набор естественных языков не указан.

Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

FriendliAI публикует FP8-квантизированную версию Meta Llama 3 70B Instruct — авторегрессионной плотной трансформерной модели для генерации текста. Модель содержит 69,5 млрд параметров, использует Grouped-Query Attention и рассчитана на контекст до 8192 токенов. Вариант Instruct настроен для диалогов и работы в формате ассистента; модель принимает текст и генерирует текст и код на английском языке. FP8 повышает эффективность инференса при сохранении высокой точности, однако для этого формата требуются GPU NVIDIA Ada, Hopper или Blackwell. Модель основана на Meta-Llama-3-70B-Instruct и предназначена для коммерческого и исследовательского применения. Репозиторий указывает лицензию other; в README описана пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать.

Карточка модели ISTA-DASLab/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой kuotient/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. kuotient/Meta-Llama-3-8B-Instruct — чат-модель, разработанная Meta на основе семейства Llama 3. Это авторегрессионная плотная трансформерная модель класса LlamaForCausalLM с примерно 7,5 млрд параметров и механизмом Grouped-Query Attention. Она принимает текст и генерирует текст или код; версия с инструкционной настройкой предназначена для диалогов и работы в роли помощника. Модель рассчитана прежде всего на английский язык, а её контекстное окно составляет 8192 токена. Модель подходит для диалоговых помощников, ответов на вопросы, генерации и редактирования текста и кода. Инструкционные варианты Llama 3 настроены с помощью supervised fine-tuning и обучения с обратной связью от людей для повышения полезности и безопасности. Модель статична и обучена на офлайн-данных. Для использования действует специальная коммерческая лицензия Meta Llama 3; необходимо соблюдать её условия и политику допустимого использования.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным каузальным трансформером и отдельным энкодером восприятия, дистиллированная из Muse Spark. В README указано около 29,6 млрд параметров; модель работает с текстом и изображениями и распространяется в формате safetensors под лицензией Apache 2.0. Модель предназначена для локальных агентных сценариев: планирования последовательности действий, вызова инструментов, восстановления после ошибок и выполнения многошаговых задач. Её также предлагают использовать для написания и отладки кода, анализа скриншотов, диаграмм, документов и изображений, генерации синтетических данных и оценки ответов других моделей. В карточке заявлена оптимизация для работы на потребительском оборудовании без облачной инфраструктуры. Ограничения включают возможные ошибки, предвзятые или нежелательные ответы и сбои в многошаговом рассуждении, особенно в новых сценариях. Модель не оптимизирована для видео, аудио на входе и выходе не поддерживается; качество может снижаться на языках, которые недостаточно оценивались. Для агентных развёртываний разработчикам рекомендуется проводить собственные проверки безопасности и учитывать подтверждение необратимых действий.

NeoHorse-1-9B-GGUF — текстовая causal language model на 9 млрд параметров, разработанная TokenRhythm и представленная в формате GGUF сообществом prithivMLmods. Модель создана на основе Qwen3.5-9B и дообучена для text-based agent harnesses, использования инструментов, программирования, рассуждений и следования инструкциям. Релиз содержит только языковые веса без vision-компонентов и предназначен для text-only inference. Модель поддерживает английский язык, имеет нативное контекстное окно 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявленная особенность — routing harness, который распределяет задачи между разнородными моделями, учитывает результаты взаимодействия с инструментами и использует эти сигналы для формирования обучающих данных и последующего дообучения. Доступны варианты квантования от BF16 до Q3_K_S, что позволяет выбирать между качеством и требованиями к памяти. По данным README, NeoHorse-1-9B показала лучший общий macro average среди сравниваемых моделей, с заметными улучшениями на агентных тестах VitaBench, PinchBench и QwenClawBench, а также высокими результатами на tau2-Bench и BFCL v4. При этом улучшения в следовании инструкциям были неоднородными, а заявленные результаты зависят от условий тестирования. Модель можно обслуживать через SGLang или vLLM с Qwen3-совместимыми механизмами рассуждений и парсерами tool calls. Распространяется по лицензии Apache License 2.0.

QuantFactory/openchat-3.6-8b-20240522-GGUF — квантизированная версия языковой модели OpenChat 3.6 8B от openchat/openchat, созданная с использованием llama.cpp. Модель предназначена для генерации текста, диалогов, программирования и решения общих задач через чат-интерфейсы и OpenAI-совместимый API. Модель имеет около 8 млрд параметров и поддерживает контекст до 8192 токенов. Это текстовая autoregressive-модель; сведения о поддерживаемых языках и конкретном формате квантизации в README не указаны. Для работы рекомендуются OpenChat и llama.cpp, а исходная модель также рассчитана на запуск через vLLM; заявлена возможность развёртывания на потребительском GPU с 24 ГБ памяти. К сильным сторонам относятся компактный размер, возможность локального запуска и оптимизация для диалоговых, кодовых и общих сценариев. Ограничения включают отсутствие сведений о точном варианте квантизации, языковом покрытии и результатах независимого тестирования. Модель распространяется по лицензии Llama 3.

TeichAI обучила эту плотную языковую модель Qwen3 с 3,7 млрд параметров на примерах ответов Claude Opus 3 из набора NoSlop4U/opus-3-1000x. Модель основана на unsloth/Qwen3-4B-Instruct-2507 и предназначена для генерации текста в диалоговом и инструкционном формате. В карточке указаны сценарии применения: программирование, создание агентов и глубокое исследование. Модель поддерживает контекст до 262 144 токенов и интерфейс вызова инструментов; опубликована в формате safetensors. Обучение выполнялось с Unsloth и библиотекой TRL. Лицензия в предоставленных сведениях не указана. Карточка не приводит оценок качества или подробных ограничений; результаты могут отличаться от ответов Claude Opus 3, на которых основаны обучающие данные.

RedHatAI/Qwen3.5-35B-A3B-FP8-dynamic — мультимодальная разреженная MoE-модель, созданная RedHatAI на основе Qwen/Qwen3.5-35B-A3B от Alibaba Cloud. Она принимает текст и изображения, а генерирует текст. Модель ориентирована на рассуждения, вызов инструментов, обработку визуально-текстовых запросов и обычные текстовые сценарии генерации и анализа. Модель содержит 35 млрд параметров, из которых около 3 млрд активируются для отдельного запроса, и использует FP8-квантизацию весов и активаций. Квантизация выполнена с помощью LLM Compressor в формате compressed-tensors и предназначена для эффективного инференса через vLLM. В FP8 преобразованы линейные операторы трансформерных блоков, тогда как визуальный энкодер, некоторые компоненты attention и MoE, маршрутизатор экспертов и эмбеддинги сохранены в исходной точности. Это примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Сильными сторонами модели являются сочетание языковых и визуальных возможностей, поддержка reasoning, tool calling, speculative decoding с Multi-Token Prediction и возможность запуска в текстовом режиме с освобождением памяти под KV-cache. Модель валидирована с vLLM 0.18.0, RHAIIS 3.4 и RHOAI 3.4. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна и численные результаты тестов, поэтому влияние квантизации на качество и ограничения по отдельным задачам оценить нельзя. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-35B-A3B-GGUF — GGUF-версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с визуальным энкодером, предназначенная для программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Модель ориентирована на более стабильную и продуктивную интерактивную разработку, поддерживает сохранение контекста рассуждений из предыдущих сообщений и улучшенный разбор вложенных объектов при tool calling. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого запроса выбираются 8 маршрутизируемых и 1 общий эксперт; также используются Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные визуальные возможности не перечислены, но заявлена поддержка обработки текста и изображений. Сильные стороны модели — большой контекст, экономичная активация параметров благодаря MoE, ориентация на агентное программирование, repository-level reasoning и работу с инструментами. Ограничения включают отсутствие в представленных данных подробностей о поддерживаемых языках, конкретном формате квантования GGUF, требованиях к ресурсам и полном наборе результатов тестирования; качество также может зависеть от выбранного квантования. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-UD-MLX-3bit — это 3-битно квантованный вариант модели Qwen3.6-35B-A3B, подготовленный Unsloth в формате MLX на базе модели Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и задач, связанных с анализом изображений, поскольку включает языковую модель с vision encoder. В README отдельно отмечены улучшения для frontend-разработки, рассуждений на уровне репозитория, сохранения контекста рассуждений и вызова инструментов. Архитектура представляет собой causal language model с Mixture of Experts: всего 35 млрд параметров, из которых активируются 3 млрд. Модель содержит 40 слоёв, 256 экспертов с маршрутизацией к 8 экспертам и одним общим экспертом, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленным расширением до 1 010 000 токенов. Поддержка языков в предоставленных данных не указана. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, возможности работы с изображениями и специализация на кодинге и агентных рабочих процессах. Ограничения связаны с 3-битным квантованием и зависимостью от совместимого стека MLX; влияние квантования на качество в README не описано. Модель распространяется по лицензии Apache-2.0.

infosave/Qwen3.8-27B-cmf — это квантизированная версия модели Qwen3.8-27B, преобразованная в контейнер CMF. Исходная модель разработана командой Qwen, а данный репозиторий содержит её представление для запуска через cortiq — нативный Rust-бинарник без Python и ML-фреймворков. Модель предназначена для генерации текста, диалогов, объяснения технических тем и работы через API, совместимый с OpenAI, а также через Ollama-совместимый интерфейс. Модель имеет 27 млрд параметров и гибридную архитектуру: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания. Заявлено контекстное окно до 262 тысяч токенов и режим рассуждений. Поддерживаются английский, русский и китайский языки. Доступны варианты квантизации 4-bit и 8-bit; наиболее компактный q4tp занимает 14,3 ГБ, q4t — 15,4 ГБ, а q8_2f — 27,4 ГБ. К сильным сторонам относятся большое контекстное окно, поддержка различных GPU через Vulkan, Metal и DX12, работа на CPU, совместимость с NVIDIA, AMD, Intel и Apple silicon, а также возможность спекулятивного декодирования для ускорения жадной генерации. Ограничения связаны с высокими требованиями к памяти, зависимостью производительности от оборудования и характера запроса, а также с тем, что спекулятивное декодирование применяется преимущественно для greedy-генерации и не всегда ускоряет свободный текст. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF — семейство GGUF-квантизаций модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленное проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0. Модель предназначена для генерации текста, программирования и агентных сценариев, включая выполнение API-задач в инструментах вроде RooCode и Aider. Это плотная модель на 27 млрд параметров, преобразованная из исходных BF16-файлов в смешанные по точности варианты с архитектурно-зависимой квантизацией. Сборка ориентирована на поддержку параллельного multi-token prediction (MTP) и speculative decoding, а также на работу с большими контекстами. В README упоминаются компоненты и методы, связанные с Mamba, SSM и AutoRound, однако точный размер контекстного окна, список языков и полный набор поддерживаемых модальностей не указаны; по представленным данным модель является текстовой. Доступно несколько пресетов размером примерно от 9,3 до 17 ГБ, рассчитанных на видеокарты с 12 или 16 ГБ памяти и на разные компромиссы между компактностью и качеством. Более компактные варианты подходят для ограниченной VRAM и коротких однопользовательских запросов, но могут проявлять забывание контекста, циклы форматирования и повышенный шум квантизации. Более крупные пресеты обеспечивают лучшую стабильность логики, форматирования и многошаговой работы, но требуют больше памяти. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-oQ4e-100K-MTP — это нативно квантованная версия Qwen3.8-Flash-Next, разработанная jedisct1 для среды oMLX и OpenAI-совместимого API на базе MLX. Модель предназначена для coding agents, других агентных сценариев, работы с текстом и изображениями, а также tool calling через совместимые клиенты. Она сохраняет vision tower Qwen4, MTP-голову и нативную архитектурную настройку контекста 262 144 токена, однако для конфигурации с 128 ГиБ памяти рекомендован безопасный общий лимит контекста 100 000 токенов. Основной формат весов — аффинное квантование oQ4e с размером группы 64; крупная PLE-таблица использует 4-битное квантование с размером группы 32. Часть компонентов оставлена в BF16 для сохранения качества вывода и эффективности MTP, а отдельные маршрутизируемые проекции — в Q8. Размер весов составляет примерно 108,8 млрд байт в 22 файлах safetensors. Модель поддерживает визуальный ввод, а README подтверждает успешное распознавание изображений и проверку вызова инструментов, но точный набор поддерживаемых языков не указан. Сильными сторонами являются очень длинный контекст, поддержка изображений и инструментов, совместимость с OpenAI API, prompt caching через SSD и оптимизация для локального запуска на Mac с 128 ГиБ памяти. Ограничения — необходимость oMLX, SSD-offload для полного контекста, значительные требования к памяти и рекомендация отключать MTP для coding agents: при включении MTP в тестах один из десяти защитных сценариев tool calling не был пройден. Модель распространяется по лицензии qwen-community-1.0; это лицензия с обозначением other, а её полный текст находится в файле LICENSE.

Whittle-Qwen-3.8-35B-A3B-GGUF — это квантизированная версия модели logic65/Whittle-Qwen-3.8-35B-A3B, разработанная David Aylward (logic65) при участии Claude от Anthropic. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp без патчей. Она ориентирована на генерацию текста, диалоги, рассуждения, программирование и математические задачи, а также на исследовательские сценарии локального запуска. Модель построена в формате qwen4_exp как смесь экспертов (Mixture of Experts): содержит около 35,1 млрд параметров, из которых активно используется примерно 3 млрд. Важная особенность — 10-миллиардная n-граммная память, являющаяся несущей частью модели; её отключение существенно ухудшает результаты на незнакомом коде. Модель дистиллирована из Qwen3.8-27B и использует память из Qwen3.8-Flash-Next. Заявлена поддержка английского, китайского и многоязычного текста. Доступны варианты квантизации от Q3_K_M до Q8_0 размером примерно от 16,7 до 37,8 ГБ. Сильные стороны модели — низкое число активных параметров при большом общем размере, поддержка режима рассуждений и эффективный локальный запуск со скоростью, близкой к моделям с 3 млрд активных параметров. Для работы требуется сохранять компонент памяти целиком; рекомендуется размещать его в оперативной памяти, поэтому требования к системе существенно зависят от выбранной квантизации. README не указывает максимальный контекст. Для лучших результатов рекомендуется включать thinking и использовать сэмплирование; жадная генерация может зацикливаться. Модель распространяется по лицензии Apache-2.0.

PiehSoft подготовил квантованную версию DeepSeek-R1-Distill-Llama-70B в формате GGUF для запуска на видеокартах NVIDIA Blackwell. Это текстовая диалоговая модель на основе дистиллированной модели DeepSeek с архитектурой Llama; веса квантованы в NVFP4, что снижает требования к памяти и рассчитано на ускорение генерации на совместимом оборудовании. В README указана длина контекста 131072 токена. Модель подходит для диалогов, математических рассуждений, программирования и ответов на сложные вопросы. Она принимает текст и генерирует текст. По данным карточки, квантование выполнено с использованием 128 калибровочных примеров, после чего веса преобразованы в GGUF; лицензия — MIT. Это неофициальная конверсия сообщества. В README отмечены незрелость поддержки NVFP4 в экосистеме GGUF и возможные изменения производительности по мере развития реализации; результаты также зависят от совместимого оборудования и программного обеспечения.

mlx-community/DeepSeek-R1-Distill-Qwen-14B — конверсия в формат MLX модели DeepSeek-R1-Distill-Qwen-14B, выполненная сообществом mlx-community с помощью mlx-lm версии 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 на 14 млрд параметров для диалогов и генерации текста. Она рассчитана на контекст до 131 072 токенов и поддерживает чатовый сценарий и интерфейс вызова инструментов. Модель подходит для ответов на вопросы, задач с рассуждениями, включая математику, а также генерации и помощи с программированием. README указывает на конверсию исходной модели в MLX, а метаданные — на safetensors и задачу text-generation. Лицензия в предоставленных данных не указана.

Devstral-Small-2-24B-Instruct-2512-GGUF — это мультимодальная GGUF-сборка исходной instruct-модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI. Модель упакована и квантована для локального запуска в llama.cpp и рабочей среде Backpack. Она поддерживает текстовые и графические входные данные и генерирует текст. Модель построена на архитектуре Mistral3ForConditionalGeneration и содержит около 24 млрд параметров. Точная длина контекста в карточке не указана. Для обработки изображений требуется отдельный мультимодальный проектор F16 размером около 837,4 MiB. Доступны варианты квантования Q4_K_M, Q5_K_M и Q8_0; рекомендуемым для большинства пользователей назван Q4_K_M, обеспечивающий практический баланс качества, размера и скорости. Оценочный объём оперативной памяти составляет от 21,23 до 35,7 ГБ в зависимости от варианта, но фактическое потребление зависит от конфигурации запуска и длины контекста. Модель предназначена для диалогов, генерации кода, структурированных аргументов инструментов, tool calling и многошаговых циклов взаимодействия с инструментами. В тестах прошли проверки загрузки, инференса и токенизатора для всех вариантов квантования, а также детерминированные проверки перечисленных возможностей для Q4_K_M. Языки, специальные показатели качества и ограничения исходной модели в README не указаны. Квантование может влиять на качество ответов. Распространение осуществляется по лицензии Apache-2.0 с необходимостью учитывать условия upstream-модели.

theo77186/dolphin-2.9.1-mistral-22b — преобразованная в формат Mistral версия Dolphin 2.9.1 Mixtral 1x22B, созданной Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и Cognitive Computations. Это плотная авторегрессионная языковая модель на 22 млрд параметров с контекстом до 65 536 токенов; репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов и выполнения инструкций, включая задачи по программированию. В карточке также заявлены начальные агентные возможности и поддержка вызова функций. Для исходной модели указано полное дообучение всех слоёв с длиной последовательности 16 000 токенов; она основана на Dolphin-2.9-Mixtral-8x22B и извлечённом объединённом эксперте. Лицензия — Apache-2.0, допускающая коммерческое использование при соблюдении её условий. Автор README отмечает, что шаблон ChatML работает некорректно и что формат Alpaca при этом работает. Модель описана как uncensored и может следовать запросам, в том числе небезопасным; перед предоставлением сервиса рекомендуется добавить собственный слой выравнивания. Языки обучения и точные показатели качества в карточке не раскрыты.

Dolphin 2.9 Llama 3 70B — разговорная модель, подготовленная Эриком Хартфордом, Лукасом Аткинсом, Фернандо Фернандесом и сообществом Cognitive Computations на базе Meta Llama 3 70B. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, представленная в форматах PyTorch и Safetensors. Она дообучена методом qLoRA с длиной последовательности 8 тыс. токенов и использует шаблон диалога ChatML. Модель предназначена для диалогов, выполнения инструкций, генерации кода и математических ответов; README также отмечает начальные агентные возможности и поддержку вызова функций. Основной язык в карточке — английский. В данных обучения указаны, среди прочего, наборы Dolphin 2.9, OpenHermes 2.5, UltraChat и датасеты для кода, математики и function calling. Модель описана как uncensored и может охотно выполнять небезопасные или неэтичные запросы; автор рекомендует добавить собственный слой выравнивания перед предоставлением сервиса. В датасете есть дефект, из-за которого ответы могут излишне упоминать системное сообщение; README предлагает ограничить это инструкцией в system prompt. Использование регулируется лицензией Meta Llama 3 Community License Agreement, включая её условия для коммерческого применения.

Dolphin 3.0 Llama 3.1 8B — универсальная диалоговая модель, созданная Эриком Хартфордом, Беном Гиттером, BlouseJury и Cognitive Computations. Это дообученная версия Meta Llama 3.1 8B с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Модель рассчитана на локальное использование и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в чате, помощи с программированием и математикой, работы с агентными сценариями и вызовом функций, а также для общих задач. Использует шаблон диалога ChatML; поведение и тон ответа можно настраивать системным промптом. В карточке перечислены обучающие наборы для кода, математики, инструкций и диалогов. Указан английский язык. Модель распространяется в формате Safetensors по лицензии Llama 3.1. Карточка позиционирует её как управляемую владельцем локальную модель; качество и безопасность ответов зависят от системного промпта и применения. В README приведены результаты оценок, но полноценное описание методики оценки отсутствует.

FreedomAISVR/Gemma-4-12B-it-NVFP4-GGUF — квантованная в формате NVFP4 версия инструкционной модели Google Gemma 4 12B-it. Это плотный трансформер-декодер Gemma4ForCausalLM с 12,08 млрд параметров, предназначенный для диалога, следования инструкциям, рассуждений, программирования и мультимодального понимания. Модель рассчитана на запуск на видеокартах NVIDIA Blackwell, включая RTX 50 серии; репозиторий содержит GGUF-веса с заявленным размером файла 6,5 ГБ. Карточка приводит результаты на RTX 5060 Ti и рекомендует контекст до 256 тыс. токенов с соответствующими настройками KV-кэша. NVFP4 использует 4-битное представление весов с масштабированием по группам; автор отмечает, что на потребительских GPU скорость декодирования ограничена ядрами, а тензорные ядра FP4 в первую очередь ускоряют обработку входного контекста. Метаданные указывают диалоговую возможность, английский язык и задачу text-generation; описание базовой модели сообщает о понимании изображений, видео и аудио, но карточка этой квантованной версии не описывает точный мультимодальный интерфейс. Лицензия — Apache-2.0.

EmanuelOverride/gemma-4-19b-a4b-it-REAP-heretic-APEX-GGUF — это GGUF-квантизированная версия Gemma 4 19B-A4B-it REAP, созданная на основе модели coder3101/gemma-4-19b-a4b-it-REAP-heretic. В основе лежит Gemma 4 от Google, подвергнутая 30% pruning экспертов методом Cerebras REAP, а затем декензурированная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation. Репозиторий поддерживает текстовую генерацию и ориентирован на англоязычные сценарии. Модель использует mixture-of-experts архитектуру: около 19,02 млрд общих параметров, примерно 4 млрд активных параметров на токен, 90 экспертов на слой и 8 активируемых экспертов на токен. Удаление 38 из 128 экспертов на слой уменьшает общий размер модели примерно на 31%, при этом число активных параметров на токен сохраняется. README не указывает размер контекстного окна и полный перечень поддерживаемых модальностей; по имеющимся данным, модель предназначена для работы с текстом, включая программирование, рассуждения, математику, научные и биомедицинские вопросы, tool calling и агентные сценарии. Главная особенность версии GGUF — пользовательские APEX-квантизации с неравномерным распределением точности: маршрутизаторы и важные общие эксперты сохраняются в более высокой точности, а более сильное сжатие применяется к менее значимым тензорам средних слоёв. Доступны варианты от i-Mini размером около 8,7 ГиБ и 3,94 BPW до i-Balanced размером около 13,9 ГиБ и 6,30 BPW, а также промежуточные профили. Это позволяет выбирать баланс между размером, потреблением памяти и качеством, однако фактическая производительность зависит от оборудования и выбранной квантизации. По заявленным тестам, декензурированная версия значительно реже отказывается отвечать: 6 отказов из 100 против 94 у исходной модели, при KL divergence 0,029. Ограничениями являются возможная потеря качества из-за pruning, декензурирования и квантизации, а также отсутствие подробных данных о контексте и комплексных бенчмарках. Указана лицензия Gemma; условия применения следует проверять по лицензии исходной модели и требованиям Google.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.

Hy3 preview-Base — предварительно обученная языковая модель Tencent Hy Team для генерации текста. Она построена на архитектуре Mixture-of-Experts (MoE); README описывает семейство Hy3 preview как модель с 295 млрд параметров и 21 млрд активных параметров, тогда как метаданные этого репозитория указывают 16,6 млрд параметров. Модель предназначена для задач рассуждения, следования инструкциям, работы с длинным контекстом, программирования и агентных сценариев; эта версия является базовой, предварительно обученной моделью. Метаданные указывают контекст до 262 144 токенов и возможность диалогового использования. Для запуска README рекомендует vLLM или SGLang и отмечает необходимость нескольких GPU с большим объёмом памяти. Карточка приводит результаты тестов по математике, STEM, коду и агентным задачам, но они не гарантируют качество в конкретном приложении. В репозитории указаны веса safetensors и лицензия other; условия лицензии следует уточнить в её тексте перед использованием.

Карточка модели Nour-Fayed/Kimi-K2.6 на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

LLaDA2.0-mini — диффузионная языковая модель с архитектурой Mixture-of-Experts (MoE), разработанная InclusionAI и дообученная для следования инструкциям. Она предназначена для диалогов, генерации кода, математических рассуждений и сценариев с вызовом инструментов. По карточке модели, в ней 16 млрд параметров, из которых около 1,4 млрд активируются при инференсе; архитектура включает 20 слоёв, использует RoPE и словарь из 157 184 токенов. Контекст составляет 32 768 токенов. Модель поставляется в формате Safetensors и поддерживается библиотекой Transformers. В README заявлены сильные результаты в генерации кода и сложных рассуждениях; автор рекомендует температуру 0,0, длину блока 32 и 32 шага, отмечая, что повышенная температура может вызывать смешение языков и снижать качество. Лицензия — Apache-2.0.