II.11Кибербезопасность и приватность

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-7B-unsloth-bnb-4bit — 4-битная динамически квантованная версия DeepSeek-R1-Distill-Qwen-7B. Базовую модель разработала команда DeepSeek, а квантованную сборку подготовила Unsloth. Модель основана на Qwen и относится к плотным большим языковым моделям примерно на 7 млрд параметров. Модель предназначена для текстовых задач, требующих рассуждений, включая решение математических задач, программирование и другие сценарии генерации и анализа текста. DeepSeek-R1 был обучен с применением крупномасштабного reinforcement learning, а серия Distill создана на основе дистилляции возможностей рассуждения DeepSeek-R1 в модели Llama и Qwen. В метаданных указана поддержка английского языка; сведения о размере контекста и дополнительных модальностях не приведены. Ключевая особенность этой версии — Dynamic 4-bit quantization от Unsloth: отдельные параметры выборочно не квантуются, что должно обеспечивать более высокую точность по сравнению со стандартной 4-битной квантизацией при меньших требованиях к памяти. Ограничениями являются возможные потери качества из-за квантования и отсутствие в предоставленных данных подробных результатов именно для этой сборки, характеристик контекстного окна и описания многоязычной поддержки. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-Vision-Exp-GGUF — текстовая GGUF-квантизация базовой модели DeepSeek-V4-Flash-Vision-Exp, разработанная qtum на основе модели DeepSeek AI. Она предназначена для генерации и обработки текста, рассуждений, программирования, ответов на вопросы и развертывания через llama.cpp или совместимые инструменты. Входные изображения не поддерживаются, поскольку vision encoder в этот выпуск не включен. Модель использует MoE-архитектуру DeepSeek-V4 с 256 экспертами и маршрутизацией top-6; заявленный общий размер составляет около 2,1 трлн параметров, из которых 50,4 млрд активны при одном проходе. Контекст — до 128K токенов, языки — английский и китайский. Доступны семь уровней квантизации от Q3_K_M до IQ1_S: варианты Q3_K_M–Q2_K ориентированы на использование с минимальной потерей качества, а IQ1_M и IQ1_S обеспечивают максимальное сжатие, но заметно снижают качество. Размер файлов составляет примерно 59–130 ГБ, а требования к видеопамяти — около 61–135 ГБ, поэтому для запуска требуется мощное GPU-оборудование и загрузка всех частей многотомной модели. Модель распространяется по лицензии MIT.

dolphin-2.9.1-mixtral-1x22b-GGUF — это квантизированная версия текстовой генеративной модели Dolphin 2.9.1 Mixtral 1x22B, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1, а исходная модель размещена cognitivecomputations. Квантизация выполнена с использованием imatrix и llama.cpp; доступны варианты от Q8_0 до Q2_K и IQ-квантизации с размером файлов примерно от 6,64 до 23,63 ГБ. Модель предназначена для диалоговой генерации текста, следования инструкциям, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, SystemChat, Locutusque function calling и Agent-FLAN. Заявленный язык — английский. Формат взаимодействия использует шаблон ChatML с ролями system, user и assistant. Сильными сторонами являются большое базовое семейство Mixtral, широкий набор instruction- и code-oriented данных, а также выбор вариантов квантизации для компромисса между качеством и требованиями к памяти. Более высокие варианты, включая Q6_K и Q5_K_M, заявлены как обеспечивающие высокое качество, тогда как низкобитные варианты экономят память, но заметнее снижают качество. Модель работает только с текстом; сведения о размере контекста и мультимодальности в README не указаны. Распространение разрешено по лицензии Apache-2.0.

GLM-5.3-W4AFP8 — квантизированная версия языковой модели GLM-5.3, разработанной организацией zai-org и опубликованной PhalaCloud. Модель предназначена для генерации текста, программирования, агентских сценариев и задач с вызовом инструментов. Она основана на checkpoint zai-org/GLM-5.3-BF16 и сохраняет архитектуру GLM-5.2, включая механизм Mixture-of-Experts (MoE), EAGLE/MTP-спекулятивное декодирование и контекст до 1 млн токенов при использовании H200-класса GPU. Эксперты модели квантизированы в INT4 с группами по 128 весов и калибровкой AWQ на трассах coding-agent, а активации и неэкспертные слои представлены в FP8. Такой формат рассчитан на запуск через SGLang с CUDA CUTLASS W4A8 grouped GEMM на GPU Hopper и обеспечивает примерно вдвое большую ёмкость KV-кэша по сравнению с FP8 checkpoint при одинаковой пропускной способности. Поддерживаются текстовая генерация, рассуждения и tool calling; точный список языков в README не указан. По приведённым оценкам модель показывает 91,9 на GPQA-Diamond, 73,0 на AA-LCR и 82,2 на 45-элементной подвыборке BFCL, а также успешно извлекает информацию из промптов размером около 930 тысяч токенов. Ограничения включают зависимость от специализированной конфигурации SGLang и GPU Hopper, необходимость tensor parallelism на 8 устройствах для полного запуска, а также отсутствие заявленной поддержки этого формата в vLLM на момент публикации. Модель распространяется по лицензии MIT.

IFM/K2-Horizon-32B-FP8 — открытая FP8-квантизированная версия K2-Horizon-32B-Stage1, разработанная IFM. Это плотная decoder-only языковая модель с 32 млрд параметров, предназначенная для генерации текста, агентских сценариев, программирования и задач рассуждения. Модель поддерживает английский язык и нативное контекстное окно до 524 288 токенов. Веса всех линейных слоёв, кроме lm_head, квантизированы в FP8: для весов используется статическое масштабирование по блокам 128×128, а для активаций — динамическое масштабирование по группам 1×128. По данным разработчиков, FP8-версия близка к исходной BF16-модели по результатам оценивания, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Модель относится к этапу Stage1 обучения, а финальный чекпойнт на момент публикации ещё не выпущен, поэтому заявленные характеристики могут быть неполными. Указано, что тренировочные данные, рецепт и код обучения будут открыты, а промежуточные чекпойнты планируется публиковать для анализа изменений возможностей. Модель распространяется по лицензии Apache-2.0.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

QuantFactory/Qwen2.5-7B-GGUF — квантизированная в формате GGUF версия базовой языковой модели Qwen2.5-7B, созданной командой Qwen и подготовленной QuantFactory с использованием llama.cpp. Модель предназначена для генерации и обработки текста, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Это базовая модель после этапа предварительного обучения, поэтому разработчики не рекомендуют использовать её для диалогов без дополнительного дообучения, например SFT, RLHF или продолжительного предварительного обучения. Модель является авторегрессионной causal language model на архитектуре Transformer с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, из которых 6,53 млрд не относятся к embedding-слою, имеет 28 слоёв и Grouped-Query Attention с 28 головами для Q и 4 для KV. Максимальная длина контекста составляет 131 072 токена, поддерживается генерация длинных текстов до 8K токенов. Qwen2.5 заявляет поддержку более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинного контекста, понимание таблиц и генерация структурированных данных. К ограничениям относятся базовый, а не instruction-tuned характер модели, отсутствие указанных в README подробностей о конкретном методе и разрядности квантизации, а также необходимость учитывать требования к памяти и производительности среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-NVFP4 — это посттренированная квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной пользователем ykarout. Модель представлена в формате Hugging Face Transformers и предназначена для генерации текста, программирования, агентных сценариев и обработки задач с изображениями благодаря архитектуре с vision encoder. Модель использует причинную языковую архитектуру с Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Она включает 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта, а также сочетает Gated DeltaNet и Gated Attention. Квантование выполнено в формате NVFP4 с 4-битными весами и FP8 KV-кэшем; конфигурация оптимизирована для архитектуры NVIDIA Blackwell. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаемые языки в README не указаны. Сильными сторонами модели заявлены агентное программирование, работа с интерфейсами и репозиториями, сохранение контекста рассуждений между сообщениями и высокая эффективность за счёт MoE-архитектуры и квантования. Ограничения включают зависимость производительности от совместимого программного и аппаратного окружения, особенно при использовании Blackwell-оптимизаций, а также возможные потери качества, характерные для 4-битного квантования. В README приведены результаты SWE-bench, включая 73,4 для SWE-bench Verified и 67,2 для SWE-bench Multilingual, но полная методика оценки не описана. Лицензия — Apache 2.0.

SolenopsisCampo/Xing4.0-29B-A4B-GGUF — GGUF-представление языковой модели Xing4.0-29B-A4B, разработанной China Telecom Artificial Intelligence Technology Co., Ltd. Модель предназначена для генерации текста, сложного рассуждения, программирования, агентских сценариев с многошаговым планированием и вызовом инструментов, а также для задач инженерного характера и последующей адаптации под специализированные области: классификацию намерений, понимание таблиц, аудит договоров и ответы на вопросы по базе знаний. Модель использует разреженную MoE-архитектуру с 29 млрд общих параметров и 4 млрд активных параметров на токен. В конфигурацию входят 40 слоёв, скрытый размер 3584, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и 1 общий эксперт; заявлена архитектура mHC + MLA + MTP. Поддерживается контекст длиной 256 тысяч токенов с возможностью расширения до 512 тысяч. Это текстовая модель без заявленной поддержки изображений или других модальностей. README не указывает набор поддерживаемых языков. К сильным сторонам относятся длинный контекст, эффективность разреженной активации, ориентация на агентские и программные задачи, совместимость с vLLM, SGLang, KTransformers, Transformers и другими инструментами, а также возможность дообучения через LLaMA-Factory и MindFormers. Ограничения включают зависимость качества от конкретного сценария, необходимость значительных вычислительных ресурсов для развёртывания и отсутствие в README подробностей о методах квантизации именно этого GGUF-файла, языковом покрытии и результатах за пределами приведённых тестов. Модель распространяется по лицензии Apache-2.0.

DeepSeek-R1-0528 — обновлённая версия reasoning-модели DeepSeek R1, разработанная командой DeepSeek AI. Модель ориентирована на задачи, требующие глубокого рассуждения: математику, программирование, общую логику и решение сложных аналитических задач. Также заявлены улучшения в function calling, снижении частоты галлюцинаций и сценариях vibe coding. По сравнению с предыдущей версией модель использует более глубокий процесс рассуждения и увеличенные вычислительные ресурсы на этапе постобучения. Максимальная длина генерации составляет 64K токенов. В README не указаны архитектура, общее число параметров, поддерживаемые языки и мультимодальные возможности; приведённые оценки относятся преимущественно к текстовым запросам. Сильными сторонами являются заметный рост результатов на математических, кодовых и логических бенчмарках, включая AIME, LiveCodeBench, SWE Verified и Codeforces. При этом результаты зависят от конкретной задачи: например, показатель SimpleQA у новой версии ниже, чем у предыдущей. Модель распространяется по лицензии MIT.

Dolphin 3.0 R1 Mistral 24B — инструктивная языковая модель, созданная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Mistral Small 24B Base. Это плотная модель с 23,4 млрд параметров, дообученная на трёх эпохах с использованием 800 тысяч трасс рассуждений из набора Dolphin-R1. Она предназначена для локального применения как универсальный помощник: отвечает на вопросы, помогает с программированием и математикой, поддерживает агентные сценарии и вызов функций. Модель работает с текстом, использует шаблон диалога ChatML и имеет контекст длиной 32 768 токенов; в метаданных указан английский язык. Dolphin ориентирована на управляемое применение: владелец задаёт системный промпт и правила поведения. Авторы рекомендуют низкую температуру генерации 0,05–0,1, поскольку более высокие значения могут ухудшать рассуждения. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

MLX-квантизированная версия Gemma 4 26B A4B instruction-tuned, разработанная сообществом mlx-community на базе модели Google gemma-4-26B-A4B-it. Квантизация выполнена с помощью mlx-optiq — инструментария для локального запуска и оптимизации больших языковых моделей на Apple Silicon без PyTorch и облачных сервисов. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, выполнения инструкций, tool calling и агентских сценариев. Модель использует смешанную точность: преимущественно 4-bit, при этом чувствительные слои переведены в 8-bit. Из 325 квантизированных слоёв 246 работают в 8-bit и 79 — в 4-bit; размер группы составляет 64. Калибровка проводилась на данных из шести доменов: обычный текст, рассуждения, код, агентские задачи, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 16,4 ГБ. Поддерживается speculative decoding с отдельной моделью-драфтером Gemma 4. Сведения о длине контекста, языках и мультимодальных возможностях в README не указаны. По приведённым результатам модель превосходит стандартную равномерную 4-bit-квантизацию по MMLU, GSM8K, HumanEval и длинноконтекстному извлечению HashHop; совокупный Capability Score составляет 75,76 против 72,95. При этом на IFEval и BFCL-V3 она немного уступает равномерной 4-bit-версии, а размер на диске примерно на 1,9 ГБ больше. Для использования требуется MLX-совместимое окружение, например Apple Silicon с пакетами mlx-lm или mlx-optiq. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

GRM-2.6-Plus-0628-GGUF — это набор GGUF-квантованных файлов модели GRM-2.6-Plus-0628, разработанной OrionLLM. Модель содержит 27 млрд параметров и предназначена для общего применения, включая диалог, сложное рассуждение, программирование, решение задач и агентские сценарии, особенно при локальном или исследовательском развертывании. Заявлены улучшения по сравнению с GRM-2.6-Plus в задачах с длинной цепочкой действий и многошаговыми агентскими процессами. К сильным сторонам относятся структурированное рассуждение, обработка сложных задач, генерация кода и практическая эффективность для модели такого размера. В README указана только текстовая генерация; сведения о точной архитектуре, поддерживаемых языках, максимальном контексте, конкретных вариантах квантования и мультимодальности не приведены, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

unsloth/Hermes-3-Llama-3.1-8B-bnb-4bit — это 4-битно квантованная версия языковой модели Hermes 3 на базе NousResearch/Hermes-3-Llama-3.1-8B, подготовленная и опубликованная Unsloth. Модель предназначена для диалоговых и общих языковых задач, включая многошаговое общение, следование системным инструкциям, рассуждения, ролевые сценарии, генерацию кода, вызов функций и формирование структурированного вывода. Модель относится к семейству Llama 3.1 и содержит 8 млрд параметров; используется библиотека Transformers и формат квантования bitsandbytes 4-bit. Она поддерживает английский язык. Для диалогов применяется шаблон ChatML с ролями system, user и assistant, что обеспечивает управляемость поведения и совместимость с подходом OpenAI API. Сведения о размере контекста и мультимодальных возможностях в README не указаны, поэтому модель следует считать текстовой. К сильным сторонам относятся сниженное потребление памяти благодаря 4-битному представлению, улучшенные возможности управления инструкциями, function calling, структурированный вывод, генерация кода и поддержание многоходового диалога. Ограничения включают возможные потери качества и точности из-за квантования, а также отсутствие подтверждённых характеристик производительности, контекстного окна и поддержки языков, кроме английского. Лицензия указана как llama3.1; условия её применения необходимо проверять по соответствующим лицензионным требованиям Llama 3.1.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

Openai_gpt-oss-20b-NEO-GGUF — это набор квантованных GGUF-версий модели openai/gpt-oss-20b, подготовленный DavidAU с использованием NEO Imatrix и собственного NEO-набора данных. Модель предназначена для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. В карточке заявлена лицензия Apache-2.0. Модель имеет архитектуру Mixture of Experts с 20 млрд параметров и поддержкой до 24 экспертов, из которых можно активировать часть в зависимости от сценария. Доступны варианты IQ4_NL, Q5_1 и MXFP4_MOE с различными настройками квантования; указана поддержка контекста до 128k токенов. Основной заявленный язык — английский. Также заявлена поддержка использования инструментов и browsing, однако подробности совместимости зависят от программного обеспечения для запуска. Сильные стороны модели — универсальность, задачи программирования и заявленное улучшение производительности благодаря NEO Imatrix, особенно в некоторых низко- и среднебитных вариантах квантования. Ограничения включают зависимость качества от выбранного кванта, числа активных экспертов, семплеров и настроек запуска; автор отдельно отмечает проблемы квантования, связанные с необычными размерами тензоров исходной модели. Рекомендуется проверять конкретный файл и параметры в используемом inference-интерфейсе.

Phi-3-mini-4k-instruct-llamafile — переносимая исполняемая упаковка модели Microsoft Phi-3-mini-4k-instruct, подготовленная в формате llamafile. Она предназначена для локальной генерации текста, диалоговых приложений, ответов на инструкции, суммаризации, задач на понимание языка, математику, программирование и логическое рассуждение. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4 096 токенов. Это текстовая instruction-tuned модель, прошедшая supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и мер безопасности. В поставку входят исполняемые веса, запускаемые на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64; предусмотрены CLI-интерфейс, веб-интерфейс и совместимый с OpenAI API режим. Для запуска рекомендуется не менее 32 ГБ оперативной памяти. К сильным сторонам относятся компактный размер, возможность локального автономного запуска и высокая производительность среди моделей с менее чем 13 млрд параметров по ряду задач, включая понимание языка, здравый смысл, математику, код и рассуждение. Ограничения — поддержка английского языка, контекст 4K и потребность в значительных вычислительных ресурсах; конкретные возможности зависят от выбранного формата весов и оборудования. Сам llamafile распространяется по лицензии Apache 2.0, а содержащиеся веса Phi-3 опубликованы Microsoft под лицензией MIT.

unsloth/Qwen2.5-14B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-14B, подготовленная Unsloth на основе Qwen/Qwen2.5-14B, разработанной командой Qwen. Модель предназначена для задач генерации и продолжения текста, а также для последующего дообучения, включая SFT, RLHF и continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Это авторегрессионная текстовая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Она содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к эмбеддингам, включает 48 слоёв и использует GQA с 40 головами для Q и 8 для KV. Контекстное окно составляет 131 072 токена. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель ориентирована только на работу с текстом; сведения о других модальностях отсутствуют. К сильным сторонам относятся улучшенные по сравнению с Qwen2 возможности в программировании и математике, следование инструкциям, обработка структурированных данных и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. 4-битное представление снижает требования к памяти и удобно для локального запуска и дообучения, однако может приводить к потере точности по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3-30B-A3B-Thinking-2507-AWQ — это AWQ-квантизированная версия причинной языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen и подготовленной QuantTrio. Модель предназначена для генерации текста с акцентом на углублённое рассуждение, включая решение математических и научных задач, программирование, логический анализ, следование инструкциям, использование инструментов и работу в агентских сценариях. Поддерживается только режим thinking; шаблон чата автоматически добавляет маркер <think>. Архитектура модели основана на Mixture-of-Experts: всего 30,5 млрд параметров, из которых при обработке активируются 3,3 млрд; предусмотрены 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также GQA с 32 головами запросов и 4 головами ключей и значений. Исходная модель поддерживает нативный контекст до 262 144 токенов, однако в приведённой конфигурации vLLM задан максимальный размер контекста 32 768 токенов. Файлы квантизированной версии занимают около 16 ГБ. К сильным сторонам относятся улучшенные способности к рассуждению, математике, программированию, работе с инструментами и обработке длинного контекста, а квантизация снижает требования к памяти при развёртывании. Ограничения включают поддержку только thinking-режима, необходимость запуска с параметром --enable-expert-parallel и рекомендуемую зависимость vLLM версии 0.10.0; в README приведена конфигурация для одной узловой системы с четырьмя GPU. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

EschaLabs/Qwen3.8-27B-Escha-W2 — это 2-битная квантованная сборка модели Qwen3.8-27B, разработанная Escha Labs Inc. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и программирования. Она поддерживает режим thinking, в котором может формировать расширенное рассуждение перед ответом, а также совместима с OpenAI-совместимым HTTP-интерфейсом через специализированный runtime на базе SGLang. Модель сохраняет полный объём в 27 млрд параметров. Используется смешанная квантование 2/3 бита для проекций с эффективной точностью 2,469 бита на вес, а embedding и head имеют формат int8. Размер весов составляет около 10,15 ГБ, общий размер загрузки — около 10,18 ГБ. На одной видеокарте с 24 ГБ памяти заявлена работа с контекстом до 64K токенов, а при специальной настройке — до 128K; проверены RTX 5090, RTX 4090 и RTX 3090. Указан английский язык, однако README не содержит полного перечня языков или точного максимального размера контекста базовой модели. К сильным сторонам относятся существенная экономия памяти, возможность локального запуска и высокие заявленные результаты на тестах: 79,25% на Commonsense-6, 88,38% на GPQA-Diamond и pass@1 86,81% на LiveCodeBench v6. Ограничения включают зависимость от Linux x86-64, NVIDIA GPU с архитектурой sm_80 или новее, CUDA 12.8, Python 3.12 и специального runtime; видеокарты на 16 ГБ не проверялись и требуют уменьшенного контекста. Для корректной работы также важны совместимые версии PyTorch, SGLang и Transformers. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next GGUF — это квантизированная версия официальной модели Qwen/Qwen3.8-Flash-Next, подготовленная BatiAI в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, программирования, работы с инструментами и структурированного вывода, включая JSON. Заявлена поддержка английского, корейского и китайского языков. Модель использует MoE-архитектуру qwen4exp: около 176,9 млрд параметров, из которых примерно 4,9 млрд активируются на каждом токене; всего используется 512 экспертов с выбором top-10. Доступны варианты квантизации IQ3_XXS, IQ4_XS, Q4_K_M и Q6_K размером примерно от 79 до 141 ГиБ. Вариант IQ4_XS показал скорость генерации 11,7 токена в секунду на CPU и 32,74 токена в секунду на Mac Studio M2 Ultra с 192 ГиБ памяти. Для запуска требуется актуальная версия llama.cpp с поддержкой qwen4exp; старые версии, а также ранние сборки Ollama и LM Studio могут не загружать модель. Сильными сторонами являются высокая скорость для модели такого размера, проверенная генерация на корейском языке, поддержка вызова инструментов, программирования, длинных текстов и структурированного вывода. При этом модель ненадёжна в арифметике: в тестах она допустила ошибки в двух нетривиальных выражениях, поэтому вычисления, особенно связанные с деньгами и количествами, следует передавать калькулятору или проверять отдельно. Для работы требуется значительный объём памяти. Лицензия указана как qwen-community-license-1.0; применяются условия лицензии Qwen.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Thinking, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Карточка модели matrixdose/GLM-5.2 на Hugging Face совпадает с карточкой ShaunGves/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — языковая модель компании Z.ai для длительных многошаговых задач, включая диалог и программирование. Модель объёмом 30,4 млрд параметров построена на архитектуре GLM MoE DSA и использует механизм IndexShare для снижения вычислений при работе с длинным контекстом. Заявлена поддержка контекста до 1 048 576 токенов и режимов рассуждения с разным уровнем усилий. Модель предназначена для генерации текста и диалоговых сценариев, а также для разработки кода и работы с задачами, требующими обработки больших объёмов контекста. В карточке указана поддержка английского и китайского языков. Модель доступна в формате safetensors для Transformers; README также описывает запуск через SGLang, vLLM и другие фреймворки. Лицензия — MIT.

Hermes 3 — большая языковая модель общего назначения от Nous Research, дообученная на основе Meta Llama 3.1 70B. Эта версия содержит FP8-квантизированные веса NeuralMagic в формате safetensors и предназначена для запуска через vLLM. Модель использует архитектуру Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Модель рассчитана на диалог с инструкциями, многошаговые рассуждения, ролевые сценарии, генерацию кода и работу в качестве агента. Она поддерживает формат диалога ChatML, вызов функций и формирование структурированных ответов, включая JSON. В карточке указана поддержка английского языка. Модель предлагает длинный контекст и интерфейс для вызова инструментов, но качество может различаться в зависимости от задачи; README отмечает, что у неё есть разные сильные и слабые стороны относительно Llama 3.1 Instruct. Лицензия — Llama 3. Указанная версия квантизирована в FP8 и ориентирована на vLLM.

Locutusque/Orca-2-13b-SFT-v6 — плотная языковая модель семейства LLaMA, созданная полным дообучением microsoft/Orca-2-13b на наборах инструкций и диалогов, включая No Robots, EverythingLM, Capybara, Pure-Dove, LessWrong-Amplify-Instruct, Verified-Camel, Guanaco и OpenAssistant. Модель содержит 12,9 млрд параметров, использует архитектуру LlamaForCausalLM, распространяется в формате safetensors и рассчитана на контекст до 4096 токенов. Для запросов применяется шаблон ChatML. Модель предназначена для генерации ответов на инструкции и вопросы, рассуждений, суммаризации и программирования. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag, а также значение test loss на Verified-Camel; эти показатели характеризуют отдельные тесты и не гарантируют качество во всех сценариях. В метаданных отмечена поддержка английского, французского, испанского, хинди и китайского языков. Использование регулируется лицензией Microsoft Research; перед применением следует учитывать её условия.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.