II.11Кибербезопасность и приватность

unsloth/gemma-4-31B-it-unsloth-bnb-4bit — это 4-битная квантизированная версия instruction-tuned модели Gemma 4 31B, подготовленная Unsloth на базе google/gemma-4-31B-it и разработанная Google DeepMind. Модель относится к семейству открытых мультимодальных моделей Gemma 4 и предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с выдачей текстового ответа. Модель использует плотную архитектуру с 30,7 млрд параметров, 60 слоями, словарём размером 262 тыс. токенов и гибридным механизмом внимания, сочетающим локальное скользящее окно на 1024 токена с глобальным вниманием. Контекстное окно составляет до 256 тыс. токенов. Поддерживаются текст и изображения; аудио для версии 31B не заявлено. Gemma 4 также поддерживает более 140 языков, режимы настраиваемого рассуждения, системные инструкции и нативный function calling. Ключевые преимущества — большой контекст, мультимодальное понимание, возможности рассуждения и кодирования, а также сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю точности по сравнению с полноразмерной версией и зависимость качества от совместимого программного обеспечения и оборудования для BNB 4-bit. Модель распространяется по лицензии Apache 2.0.

google/gemma-4-31B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она предназначена для генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений с формированием текстового ответа. Модель поддерживает текстовые и графические входы, но аудио для версии 31B не заявлено. Модель использует плотную архитектуру с примерно 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное sliding window attention с глобальным вниманием. Контекстное окно составляет до 256K токенов, размер словаря — 262K. Семейство Gemma 4 заявляет мультиязычную поддержку более 140 языков, нативную поддержку system role, configurable thinking modes и function calling. Эта версия представлена в формате GGUF с Q4_0 и прошла Quantization-Aware Training, что ориентировано на снижение требований к памяти при сохранении качества, близкого к bfloat16. К сильным сторонам относятся большое контекстное окно, мультимодальное понимание текста и изображений, возможности рассуждения, кодирования и локального развёртывания в экосистемах, совместимых с GGUF. Ограничениями являются отсутствие заявленной поддержки аудио у 31B, а также потенциальные компромиссы качества и точности, характерные для квантованного формата. Модель распространяется по лицензии Apache 2.0.

Это GGUF-квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Meta и предназначенная для запуска с llama.cpp. Модель представляет собой авторегрессионную большую языковую модель на базе оптимизированной архитектуры Transformer. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Модель работает только с текстом на входе и генерирует многоязычный текст и код. Она предназначена прежде всего для диалоговых ассистентов, генерации и обработки текста, программирования, синтетической генерации данных и дистилляции других моделей. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель содержит 70 млрд параметров, поддерживает Grouped-Query Attention и контекст длиной до 128 тысяч токенов. Данные обучения включают более 15 трлн токенов, срез знаний — декабрь 2023 года. Сильными сторонами являются большой контекст, многоязычный режим, поддержка кода и оптимизация для диалоговых сценариев. Это статическая модель, обученная на офлайн-данных, поэтому она не обладает актуальными знаниями после даты отсечения и может требовать проверки ответов. Репозиторий содержит квантизированный формат GGUF; для полной поддержки необходима llama.cpp версии 5e2727f или новее. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и применимой Acceptable Use Policy.

MiniMax-M2.5 — открытая большая языковая модель, разработанная компанией MiniMaxAI. Это текстовая autoregressive-модель для программирования, рассуждений, агентных сценариев, поиска с использованием инструментов и офисных задач, включая работу с документами, презентациями и финансовыми таблицами. Модель ориентирована на разработчиков, AI-агентов, чат-ботов и приложения, которым нужны сложная декомпозиция задач, tool calling и высокая скорость генерации. Модель имеет архитектуру Transformer с Mixture of Experts и механизмом Lightning Attention; по данным NVIDIA, общий размер составляет 230 млрд параметров. Она принимает и генерирует текст, поддерживает контекст до 204 800 токенов и предназначена для text-to-text задач. В обучении особое внимание уделялось reinforcement learning, агентному программированию и работе более чем с десятью языками программирования, включая Python, JavaScript, TypeScript, Java, C, C++, Go, Rust, Kotlin, PHP, Lua, Dart и Ruby. Заявлены результаты 80,2% в SWE-Bench Verified, 51,3% в Multi-SWE-Bench и 76,3% в BrowseComp. Сильные стороны MiniMax-M2.5 — кодинг полного цикла, планирование в стиле software architect, эффективное использование инструментов, поиск и высокая скорость: доступны варианты примерно на 50 и 100 токенов в секунду. Ограничение модели — текстовая модальность: изображения, аудио и видео не относятся к её входным или выходным данным. Показатели производительности приведены разработчиком и зависят от инфраструктуры, агентного окружения и настроек инференса. Весы модели опубликованы на Hugging Face и GitHub, поддерживаются Transformers, vLLM, SGLang и другими средствами локального развертывания. Лицензия указана как modified MIT; применимые условия следует проверять в опубликованных лицензионных документах.

NVIDIA DeepSeek-V4-Pro-NVFP4 — квантизированная версия языковой модели DeepSeek-V4-Pro, разработанная и подготовленная с помощью NVIDIA Model Optimizer v0.44. Базовая модель создана сторонней организацией и не принадлежит NVIDIA; NVIDIA выполнила её квантизацию под данный сценарий использования. Модель распространяется по лицензии MIT и допускает коммерческое и некоммерческое применение. Модель предназначена для генерации текста, сложного рассуждения, математических задач, программной инженерии, агентных приложений, вызова инструментов и корпоративных AI-ассистентов. Она поддерживает многоходовые диалоги с системными, пользовательскими и ассистентскими сообщениями, структурированный JSON-вывод, function calling и выдачу рассуждений в соответствующем режиме. Доступны режимы Non-think для быстрого ответа, Think High для логического анализа и Think Max для максимально глубокого рассуждения. Архитектура построена на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Общее число параметров составляет около 1,6 трлн, из них активируется 49 млрд. Модель работает с текстом, использует контекст до 1 млн токенов и поддерживает пользовательский конвейер кодирования encoding_dsv4. NVFP4-квантизация применяется к весам и активациям линейных операторов в MoE-блоках. Для запуска заявлены SGLang и vLLM на Linux-системах с GPU NVIDIA Blackwell, тестирование проводилось на NVIDIA B200. Ограничения включают высокие требования к совместимой аппаратуре и необходимость дополнительного тестирования на данных конкретного применения; сведения о языках модели, обучающих данных и полном наборе характеристик базовой DeepSeek-V4-Pro в карточке не раскрыты.

Muse Glimmer-30B — каузальная языковая модель примерно на 29,6 млрд параметров, разработанная Meta Superintelligence Lab и представленная в версии unsloth компанией Unsloth. Модель основана на плотном каузальном Transformer с выделенным энкодером восприятия и предназначена для локального запуска на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Данная версия использует 4-битную квантизацию и базовую модель meta-models/Muse-Glimmer-30B. Модель ориентирована на автономные агентные сценарии: многошаговое рассуждение, выполнение задач от начала до конца, вызов инструментов, написание и отладку кода, работу в многоходовых диалогах и восстановление после ошибок инструментов. Она принимает текст и изображения, поэтому может анализировать скриншоты, графики и документы, а генерирует текст. Поддерживаются различные уровни усилий рассуждения, совместимость с агентскими оркестраторами и более 100 языков. Архитектура включает 52 слоя, скрытое измерение 6656, механизм GQA с 32 головами запросов и 2 KV-головами, SwiGLU, локально-глобальный шаблон внимания и контекст длиной от 131 072 токенов. Энкодер восприятия — ViT-G/14 примерно на 1,8 млрд параметров; на одно изображение допускается до 4096 визуальных токенов. Дата отсечения знаний — 4 января 2026 года. Сильные стороны модели — сочетание мультимодального понимания, инструментального использования, длительного планирования и восстановления после сбоев, а также возможность запуска на потребительском оборудовании. Квантизация позволяет разместить языковую часть менее чем в 20 ГБ и ориентироваться на конфигурации с 24 или 32 ГБ памяти, однако для полноценной работы также необходимы память под KV-кэш, энкодер восприятия и speculative decoding drafter. Версия распространяется по лицензии Apache 2.0.

Claude Sonnet 5 — модель семейства Sonnet от Anthropic. В карточке она описана как наиболее мощная модель Sonnet и предназначена для программирования, работы агентных систем и профессиональных задач. Каталог классифицирует её как image-text-to-text. Карточка упоминает адаптивное рассуждение с настраиваемыми уровнями усилий от низкого до максимального. Доступные сведения не раскрывают размер модели, поддерживаемые языки, контекстное окно, лицензию или подробности обработки изображений.

unsloth/Llama-3.1-8B-Instruct-bnb-4bit — 4-битная версия инструкционной модели Llama 3.1 8B, разработанной Meta и подготовленной в формате bnb-4bit сообществом Unsloth. Модель предназначена для многоязычного диалога, генерации текста и кода, выполнения инструкций, а также последующего дообучения, включая сценарии с GRPO и созданием reasoning-моделей. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 8 млрд параметров, поддержкой Grouped Query Attention и контекстом до 128 тысяч токенов. Она работает только с текстом на входе и генерирует многоязычный текст и код. Базовая инструкционная версия обучалась с использованием supervised fine-tuning и reinforcement learning from human feedback; заявленный срез знаний — декабрь 2023 года. README указывает английский язык, а описание Llama 3.1 заявляет многоязычную поддержку. Ключевое преимущество варианта — 4-битное квантование, снижающее требования к памяти и облегчающее локальный запуск и дообучение по сравнению с полноразмерными весами. Ограничения включают возможное снижение качества из-за квантования, текстовую модальность и отсутствие в README подробных сведений о точной процедуре квантования и измерениях качества именно этой сборки. Использование регулируется лицензией Llama 3.1.

Qwen3.8-2.4T-A95B-FP8 — каузальная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.8-2.4T-A95B в формате Hugging Face Transformers. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также многошаговых агентских сценариев с планированием и обработкой обратной связи от среды. Модель содержит 2,4 трлн параметров, из которых при обработке активируется около 95 млрд. Она использует гибридную архитектуру из Gated DeltaNet, Gated Attention и Mixture of Experts: 92 слоя, 512 экспертов, 10 маршрутизируемых и 1 общий активируемый эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена примерно до 1 010 000 токенов. Поддерживаются настраиваемая глубина рассуждений через reasoning_effort и сохранение контекста рассуждений между сообщениями через preserve_thinking. Языки и точный перечень поддерживаемых модальностей в README не указаны; заявленный pipeline относится к генерации текста. К сильным сторонам относятся высокая вычислительная ёмкость, улучшенные возможности в кодировании, профессиональной работе, исследованиях и длительных агентских задачах, а также совместимость с vLLM, SGLang и TokenSpeed. К ограничениям относятся чрезвычайно большой общий размер модели и, как следствие, высокие требования к инфраструктуре для локального запуска; FP8-квантизация также требует совместимого программного и аппаратного стека. Модель распространяется по лицензии qwen3.8-max; в метаданных она обозначена как other, а полный текст условий находится в файле LICENSE.

NVIDIA DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek AI и оптимизированной NVIDIA с помощью Model Optimizer. Модель предназначена для коммерческого и некоммерческого использования и ориентирована на сложное рассуждение, агентные AI-приложения, работу с инструментами, математику, программную инженерию и корпоративных AI-ассистентов. Модель построена на архитектуре Transformer и использует Mixture-of-Experts с 304 млрд параметров, из которых активируются 13 млрд, гибридное внимание Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Это авторегрессионная языковая модель с текстовым вводом и выводом, поддержкой многоходовых диалогов, системных инструкций, структурированного JSON, function calling и отображения рассуждений. Максимальная длина контекста составляет 1 млн токенов; доступны уровни reasoning effort low, high и max. Модель включает модуль спекулятивного декодирования DSpark. К сильным сторонам относятся поддержка очень длинного контекста, задач рассуждения, программирования, следования инструкциям и агентного взаимодействия с инструментами. Модель предназначена прежде всего для запуска на GPU NVIDIA с архитектурой Blackwell в Linux через SGLang или vLLM; совместимость с другими платформами в README не указана. Данные исходного обучения не раскрыты, поэтому заявленные характеристики требуют дополнительной проверки на прикладных данных. Модель распространяется по лицензии MIT.

NVIDIA DeepSeek-V4-Flash-nvfp4-DSpark — это квантизированная версия DeepSeek-V4-Flash, разработанная с использованием NVIDIA Model Optimizer и объединённая в одном контрольном файле с официальным модулем спекулятивного декодирования DSpark от DeepSeek. Модель не является новой самостоятельной архитектурой и не принадлежит NVIDIA: NVIDIA подготовила сборку по требованиям сторонней модели DeepSeek. Лицензия — MIT. Модель предназначена для продвинутого рассуждения, агентных приложений, использования инструментов и решения сложных задач, включая математику, разработку программного обеспечения и корпоративных AI-ассистентов. Она принимает и генерирует текст, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и вывод рассуждений. Доступны режимы Non-think, Think High и Think Max, а максимальная длина контекста составляет 1 миллион токенов. Архитектура основана на Transformer и Mixture-of-Experts с гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention. Основная модель содержит 284 млрд параметров, из которых активируется 13 млрд. Модуль DSpark использует черновую модель с 21 млрд параметров, примерно 1 млрд из которых активируется; он предназначен для ускорения генерации за счёт спекулятивного декодирования, причём один контрольный файл может использоваться одновременно как целевая и черновая модель. Модель оптимизирована для NVIDIA GPU, прежде всего архитектуры Blackwell, и рассчитана на работу в Linux через vLLM с поддержкой DSpark. Квантизация NVFP4 снижает требования к вычислительным ресурсам, однако совместимость и производительность зависят от поддерживаемого оборудования и программного стека. Перед эксплуатацией необходимы тестирование на данных конкретного сценария и проверка безопасности и качества результатов.

NVIDIA DeepSeek-V4-Pro-0813-nvfp4-DSpark — это NVFP4-квантизированная версия языковой модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и подготовленной с использованием NVIDIA Model Optimizer. NVIDIA указывает, что модель не является новой самостоятельной разработкой NVIDIA: это релиз на базе nvidia/DeepSeek-V4-Pro-0813-NVFP4 с дополнительно квантизированной головой DSpark для speculative decoding. Модель предназначена для коммерческого и некоммерческого использования. Модель представляет собой авторегрессионную Transformer-модель с архитектурой Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет около 1,65 трлн, из которых активируется около 49 млрд. Модель работает с текстом на входе и выходе, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и инструментов, а также выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста — 1 млн токенов; предусмотрены уровни интенсивности рассуждений low, high и max. Языковой охват явно не указан. Модель ориентирована на сложное рассуждение, агентные приложения, использование инструментов, математику, разработку программного обеспечения и корпоративных AI-ассистентов. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость MoE, поддержка speculative decoding через DSpark и оптимизация под NVIDIA GPU. Ограничения включают зависимость от специализированной аппаратной и программной инфраструктуры: заявлена совместимость с NVIDIA Blackwell B200, Linux, SGLang и vLLM; характеристики работы на другой аппаратуре не указаны. Данные исходного обучения не раскрыты, а перед промышленным внедрением требуется дополнительное тестирование на прикладных данных. Модель распространяется по лицензии MIT. Указана версия NVIDIA Model Optimizer v0.47.0rc1; опубликованный релиз датирован 9 сентября 2026 года.

unsloth/gemma-4-31B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели Google DeepMind Gemma 4 31B, подготовленная Unsloth. Модель предназначена для локального запуска и использования в приложениях, где необходимы генерация текста, программирование, рассуждения, агентские сценарии и мультимодальное понимание изображений. Она поддерживает нативный system prompt, function calling и настраиваемые режимы рассуждений. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения, генерирует текст, поддерживает более 140 языков и использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание. Формат GGUF ориентирован на эффективный запуск через совместимые инструменты, включая llama.cpp, однако конкретный уровень квантизации в представленном README не указан. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения и программирования, а также поддержка локального развертывания. Ограничения связаны с высокой вычислительной и оперативной нагрузкой, характерной для модели такого размера, и с тем, что аудиовход для версии 31B не заявлен. Модель распространяется по лицензии Apache 2.0; авторами семейства Gemma 4 указаны Google DeepMind.

Kimi-K2-Instruct — инструктивная версия языковой модели Kimi K2, разработанная Moonshot AI. Это крупная модель класса Mixture-of-Experts (MoE), предназначенная для универсального диалога, рассуждений, программирования, работы с инструментами и агентских сценариев. Она ориентирована на готовое использование в чат-приложениях и автономном решении задач без режима длительного пошагового мышления. Модель содержит около 1 триллиона общих параметров, из которых 32 миллиарда активируются для каждого токена. Архитектура включает 61 слой, 384 эксперта с выбором 8 экспертов на токен, один общий эксперт, 64 attention heads, механизм внимания MLA и функцию активации SwiGLU. Размер контекста составляет 128 тысяч токенов, словарь — 160 тысяч токенов. В README языки и мультимодальные возможности не указаны; по представленным данным это текстовая языковая модель. Сильными сторонами заявлены высокая производительность в задачах знаний, рассуждений и программирования, а также оптимизация для tool use и агентского решения задач. В README приведены результаты сравнительных тестов, включая LiveCodeBench, OJBench и MultiPL-E, однако ограничения, гарантии качества и дополнительные требования к аппаратному обеспечению явно не описаны. Модель распространяется по лицензии modified MIT, обозначенной как license: other и license_name: modified-mit.

cyankiwi/Qwen3-Next-80B-A3B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, опубликованная пользователем cyankiwi и разработанная в рамках семейства Qwen. Это каузальная текстовая модель для генерации текста, ответов на вопросы, программирования, следования инструкциям, агентских сценариев и работы с длинными контекстами. Модель поддерживает только instruct-режим без блоков рассуждений <think></think>. Архитектура сочетает Gated DeltaNet и Gated Attention с разреженной Mixture-of-Experts. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене; используется 512 экспертов, 10 активных экспертов и один общий эксперт. Модель имеет 48 слоёв, контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. В README языки и мультимодальные возможности не указаны; заявлена работа с текстом. Сильные стороны — высокая эффективность по числу активируемых параметров, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и конкурентные результаты в задачах знаний, рассуждений, программирования, следования инструкциям и мультиязычности. Ограничения включают необходимость совместимой версии transformers и значительные требования к вычислительным ресурсам, несмотря на 4-битную квантизацию; качество на конкретных задачах зависит от реализации инференса и квантизации. Лицензия базовой модели — Apache-2.0.

DeepSeek-V3.2-Exp — экспериментальная языковая модель, разработанная DeepSeek AI. Она является производным вариантом DeepSeek-V3.1-Terminus и дообучена на базе DeepSeek-V3.2-Exp-Base. Модель предназначена для генерации и анализа текста, решения задач на рассуждение и программирование, а также для агентских сценариев с использованием инструментов, включая веб-поиск и работу с программным кодом. Ключевое архитектурное нововведение — механизм DeepSeek Sparse Attention (DSA), реализующий мелкозернистое разреженное внимание для повышения эффективности обучения и инференса на длинных контекстах при сохранении сопоставимого качества ответов. В README также упоминается конфигурация с 256 экспертами и размером модели 671B; точная длина контекста, перечень поддерживаемых языков и модальности не указаны. Для запуска доступны демонстрационный код inference, интеграции с SGLang и vLLM; обычно требуется многопроцессорный запуск на нескольких ускорителях. Сильными сторонами модели являются снижение вычислительных затрат при обработке длинных последовательностей и результаты, в целом сопоставимые с DeepSeek-V3.1-Terminus на публичных тестах, включая рассуждение, кодирование и использование инструментов. Это экспериментальный релиз, поэтому возможны ограничения совместимости и производительности; в README отдельно отмечено исправление ошибки в реализации RoPE в прежних версиях демонстрационного кода. Модель распространяется по лицензии MIT.

Qwen3-4B-Thinking-2507-FP8 — компактная каузальная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-4B-Thinking-2507 с 4,0 млрд параметров, из которых 3,6 млрд приходятся на непараметрическую часть без эмбеддингов. Модель предназначена для генерации текста и работает исключительно в режиме рассуждений с увеличенной длиной цепочки размышлений. Модель ориентирована на сложные задачи, включая логическое рассуждение, математику, естественные науки, программирование, академические вопросы, следование инструкциям, использование инструментов и агентские сценарии. Она поддерживает многоязычные задачи и контекст длиной до 262 144 токенов. Архитектура включает 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Доступен формат FP8, рассчитанный на более эффективное размещение и выполнение модели. Сильными сторонами являются улучшенные рассуждения, обработка длинного контекста, генерация текста, кодирование и выполнение инструкций. Ограничения включают работу только в режиме рассуждений, потенциально высокие требования к памяти и вычислительным ресурсам при использовании максимального контекста, а также необходимость корректно обрабатывать специальную разметку размышлений в выходе. Модель распространяется по лицензии Apache-2.0.

jondurbin/bagel-dpo-34b-v0.5 — диалоговая языковая модель, созданная дообучением Yi-34B-200K с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Это плотная авторегрессионная модель семейства Llama с 33,9 млрд параметров и контекстным окном до 200 000 токенов. Модель предназначена для чата и широкого круга текстовых инструкций. Модель обучалась на данных для вопросов и ответов, рассуждений, программирования, математики, естественных наук, суммаризации, ролевого диалога и вызова функций. В карточке заявлены наборы данных для английских и многоязычных задач, однако основной язык модели отдельно не обозначен. Поддерживаются несколько форматов запросов: Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию — Llama 2. DPO-настройка направлена на улучшение предпочтительности ответов, а дополнительные данные охватывают творческое письмо, следование контексту, код и правдивость. Среди обучающих данных также есть примеры токсичного контента и offensive cybersecurity. Это может отражаться на генерируемых ответах; модель может ошибаться и не гарантирует достоверность или безопасность. Лицензия указана как other, поэтому условия использования следует уточнить на странице модели.

Dolphin 2.7 Mixtral 8X7B AWQ — квантизированная 4-битная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и подготовленной TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста, выполнения инструкций, диалоговых сценариев и задач программирования. При обучении использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Capybara и другие. Основной язык модели — английский. Модель использует квантизацию AWQ с параметрами 4 бит, group size 128 и форматом GEMM. Максимальная заявленная длина последовательности составляет 8192 токена, размер файлов модели — около 24,65 ГБ. Предусмотрен шаблон запросов ChatML с отдельными ролями system, user и assistant. Квантизация уменьшает требования к памяти и ускоряет инференс при сохранении качества, однако может незначительно влиять на точность по сравнению с исходной версией в формате FP16. Для запуска поддерживаются AutoAWQ, vLLM, Transformers и text-generation-webui; для Mixtral AWQ подтверждена работа vLLM версии 0.2.6. AWQ-версии рассчитаны преимущественно на Linux и Windows с GPU NVIDIA, поэтому на macOS рекомендуется использовать формат GGUF. В README указано, что модель распространяется по лицензии Apache-2.0.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

GRM-2.6-Opus — объединённая модель OrionLLM на архитектуре Qwen3.5 с 27 млрд параметров. Она предназначена для сложных задач общего назначения: структурированных рассуждений, программирования, STEM-задач, диалога и многошаговой работы с агентами и инструментами. Модель использует текст и изображения на входе и формирует текстовые ответы; метаданные также указывают на интерфейс вызова инструментов. По заявлению разработчика, объединение с Qwen3.6-27B-Claude-Opus-Reasoning-Distilled усиливает структурированное рассуждение, работу с кодом и терминальными агентами по сравнению с GRM-2.6-Plus. Модель распространяется в формате safetensors под лицензией Apache 2.0. Длина контекста в предоставленных данных не указана.

K2-Horizon-32B — плотная авторегрессионная языковая модель с архитектурой K2HorizonForCausalLM, разработанная IFM. Модель содержит 31,2 млрд параметров и предназначена для генерации текста в диалогах, решения задач на рассуждение, программирование и сценариев с агентами. Для работы с чатом и вызовом инструментов предусмотрены соответствующие парсеры; основной pipeline-тег — text-generation. Модель поддерживает контекст до 524 288 токенов и опубликована в формате Safetensors для Transformers. В карточке указаны английский язык и открытая публикация обучающих данных, рецепта и кода обучения. Указанная лицензия — Apache-2.0. Для заявленного качества авторы рекомендуют высокий уровень рассуждений; для обслуживания описаны конфигурации vLLM и SGLang, включая использование двух ускорителей H200.

QuantFactory/Meta-Llama-3-8B-Instruct-GGUF-v2 — это GGUF-квантизированная версия Meta-Llama-3-8B-Instruct, созданная с помощью llama.cpp на основе выпуска от 5 мая 2024 года. Исходную модель разработала Meta; она относится к семейству Llama 3 и содержит около 8 млрд параметров. Модель предназначена для генерации текста и кода, прежде всего для диалоговых сценариев и приложений, которым требуется выполнение инструкций. Она принимает только текстовые входные данные и генерирует текст или код. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention (GQA), контекстное окно составляет 8 тысяч токенов, заявленный язык — английский. Инструкционная версия обучалась с применением supervised fine-tuning (SFT) и reinforcement learning from human feedback (RLHF) для повышения полезности и безопасности. К преимуществам относятся оптимизация под диалоговое использование, поддержка генерации кода и потенциально более эффективный инференс благодаря GGUF-квантизации и GQA. Ограничения включают текстовую модальность, контекст длиной 8 тысяч токенов, статичность модели и ограниченность знаний датой отсечения — мартом 2023 года. Модель распространяется по специальной лицензии Llama 3 с коммерческими условиями Meta; точные положения необходимо проверять в тексте лицензии.

WhiskyAKM/Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор моделей в формате GGUF, созданный на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и разработанный NVIDIA Corporation. Файлы были конвертированы и квантизированы с помощью llama.cpp и предназначены для локального запуска и генерации текста, включая программирование, рассуждения, задачи общего назначения и агентские сценарии. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE, а также отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно используется около 3 млрд. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки, а также языки программирования. Заявлена длина контекста до 1 млн токенов при нативном значении по умолчанию 256 тыс. токенов. Доступны режимы рассуждения с включением и отключением через chat template, а также методы ускорения генерации DSpark, DFlash и MTP. Сильными сторонами модели являются высокая вычислительная эффективность MoE-архитектуры, поддержка длинного контекста, многоязычность и несколько вариантов квантизации — от BF16 до 4-битных форматов. Качество, скорость и требования к памяти зависят от выбранного файла; более компактные варианты экономичнее, но могут уступать полноточной версии по качеству. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Распространение и коммерческое использование регулируются лицензией OpenMDW License Agreement версии 1.1.

Mungert/Qwen3-30B-A3B-Thinking-2507-GGUF — GGUF-версия модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и преобразованной с использованием llama.cpp. Это каузальная языковая модель с архитектурой Mixture of Experts (MoE), предназначенная для генерации текста, сложного рассуждения, математики, естественных наук, программирования, следования инструкциям, использования инструментов и задач с длинным контекстом. Модель содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; без учёта embedding — 29,9 млрд параметров. Она включает 48 слоёв, 128 экспертов, 8 активируемых экспертов и использует GQA с 32 головами для Q и 4 для KV. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим reasoning и автоматически использует шаблон с тегом <think>; для сложных задач рекомендуется увеличенная длина рассуждения. Языки и мультимодальные возможности в карточке явно не указаны. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, программировании, использовании инструментов, следовании инструкциям и обработке контекста до 256K токенов. Для GGUF-файлов автор применяет выборочное повышение точности важных слоёв сверх стандартной конфигурации IMatrix, что, по его описанию, может повысить точность при низкой разрядности, особенно у MoE-моделей, но увеличивает размер файла. Лицензия — Apache-2.0.

unsloth/Qwen3-4B-Thinking-2507-unsloth-bnb-4bit — это 4-битная версия модели Qwen3-4B-Thinking-2507, подготовленная Unsloth на базе модели Qwen. Она предназначена для генерации текста и сложных задач рассуждения, включая логические и математические задачи, научные вопросы, программирование, следование инструкциям, использование инструментов, агентские сценарии и многоязычные запросы. Модель является авторегрессионной causal language model с 4,0 млрд параметров, из которых 3,6 млрд не относятся к embedding, 36 слоями и Grouped-Query Attention: 32 головы запросов и 8 ключей/значений. Она поддерживает контекст до 262 144 токенов и работает только в режиме рассуждения; увеличенная длина размышлений особенно ориентирована на сложные задачи. Формат предназначен для text-generation и использования через Transformers, а 4-битное квантование снижает требования к памяти по сравнению с полноразмерной моделью. К сильным сторонам относятся улучшенные результаты в рассуждении, математике, кодировании, следовании инструкциям, работе с инструментами и понимании длинного контекста. Ограничения включают работу только в thinking mode, потенциально значительный расход времени и ресурсов на длинные рассуждения, а также отсутствие в представленном README подробностей о поддерживаемых языках, точных требованиях к оборудованию и характеристиках квантования за пределами обозначения bnb-4bit. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3.6-27B-OptiQ-4bit — это квантизированная MLX-версия языковой модели Qwen/Qwen3.6-27B, созданная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов, а также для генерации текста, рассуждений, программирования, следования инструкциям, работы с агентными сценариями и вызовами инструментов. Модель использует смешанную точность: 276 слоёв представлены в 4-битном формате, а 220 наиболее чувствительных слоёв — в 8-битном; размер группы составляет 64. Общий объём на диске — около 17,5 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может ускорять декодирование примерно в 1,4 раза. README не указывает поддерживаемые языки и размер контекстного окна. Для загрузки доступна библиотека mlx-lm, а расширенные возможности предоставляет mlx-optiq. По приведённым тестам модель демонстрирует высокие результаты в MMLU, GSM8K, следовании инструкциям, вызове функций, генерации кода и извлечении данных из длинного контекста; средний Capability Score составляет 86,04. Ограничениями являются необходимость совместимого оборудования Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и некоторое снижение результатов в отдельных тестах относительно неё. Модель распространяется по лицензии Apache 2.0 и наследует её от базовой модели.

Qwen3.8-35B-A3B-Distill-oQ8-fp16-mtp — это сборка Novaeon.Studio на базе empero-ai/Qwen3.8-35B-A3B-Distill, предназначенная для локального запуска на компьютерах Apple Silicon через oMLX и MLX. Модель представляет собой дистиллированную версию, обученную на данных и рассуждениях учительских моделей семейства Qwen3.8, включая Qwen3.8 Flash Next, с акцентом на математику и программирование. Это мультимодальная модель text-to-text с сохранённым vision encoder: она принимает текст и изображения и генерирует текст. Архитектура — разреженная MoE семейства Qwen3.5/3.6: около 35 млрд параметров суммарно, примерно 3 млрд активных, 256 экспертов, из которых маршрутизируются 8, и 40 слоёв с гибридом линейного GDN и полноформатного attention. Заявлен контекст до 262 144 токенов, поддерживается английский язык. Квантование oQ8 использует размер группы 64, float16 для scale и неคвантованных весов, эффективную точность около 8,6 бит на параметр и размер около 39,5 ГБ. В составе есть рабочая native MTP head для ускорения декодирования. Модель ориентирована на агентные сценарии, tool use и function calling, многошаговое рассуждение, генерацию кода, работу с длинным контекстом и анализ изображений. По измерениям разработчика на Apple M5 Max 128 GB она достигала примерно 93 токенов в секунду при коротком контексте и 41 токена в секунду при контексте около 64,7 тыс. токенов; в собственной проверке tool use получила 6/6, а средний результат IFEval составил 84,86. Ограничения включают зависимость производительности от оборудования Apple Silicon, необходимость использования совместимого движка oMLX и снижение скорости при увеличении контекста. Модель лицензирована по Apache-2.0.

SIQ-1-35B — дообученная и дистиллированная модель семейства Qwen, разработанная AlexWortega на базе Qwen/Qwen3.6-35B-A3B. Это текстовая MoE-модель для генерации текста с 35 млрд параметров суммарно и примерно 3 млрд активных параметров на каждом токене. Модель ориентирована на английский язык и поддерживает гибридный режим рассуждений: пошаговое мышление с блоком <think> или прямую генерацию ответа. Модель предназначена для универсальных агентных сценариев, включая автономное ML-исследование, написание и отладку кода, использование инструментов, планирование действий и сложное рассуждение. В README заявлены сильные результаты на GPQA-Diamond, IFEval, агентном кодинге и задачах autoresearch; также отмечается сниженный расход токенов по сравнению с рядом более крупных моделей. Режим reasoning effort позволяет регулировать длину рассуждений, а отключение мышления подходит для быстрых ответов и задач с высокой пропускной способностью. Приведённые результаты зависят от квантизации, формата вычислений, настроек генерации и тестового стенда; часть сравнений выполнена на Q4_K_M GGUF, а результаты autoresearch не сопоставимы с официальными рейтингами из-за ограничений оборудования. Контекстное окно и мультимодальные возможности в README не указаны, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4-Pro-DSpark — это не отдельная модель, а тот же чекпойнт DeepSeek-V4-Pro с подключённым дополнительным модулем speculative decoding. Модель разработана DeepSeek AI и относится к серии DeepSeek-V4, предназначенной для сложных задач обработки текста, рассуждений, программирования, агентских сценариев и работы с очень длинным контекстом. В основе лежит разреженная Mixture-of-Experts (MoE) архитектура: DeepSeek-V4-Pro содержит 1,6 трлн параметров, из которых при обработке активируется 49 млрд. Модель поддерживает контекст до 1 млн токенов. В архитектуре используются Hybrid Attention с механизмами Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections; для обучения применялся оптимизатор Muon. Указана смешанная точность FP4 и FP8: параметры экспертов MoE используют FP4, большинство остальных параметров — FP8. Данные о поддерживаемых языках и мультимодальности в README не приведены. Сильными сторонами модели являются большой контекст, высокая вычислительная эффективность при длинных последовательностях и рассчитанность на сложные задачи, включая кодирование, рассуждения и использование инструментов. Ограничение заключается в том, что DSpark добавляет speculative decoding к существующему чекпойнту, а не представляет самостоятельную архитектуру. Для запуска требуется инфраструктура, способная работать с моделью масштаба 1,6 трлн параметров и соответствующими форматами точности. Модель распространяется по лицензии MIT.