II.11Кибербезопасность и приватность

Inferact/Qwen3.8-2.4T-A95B-NVFP4 — открытая причинно-следственная языковая модель семейства Qwen3.8, разработанная командой Qwen. Репозиторий содержит веса и конфигурацию постобученной модели в формате Hugging Face Transformers; заявлена совместимость с vLLM, SGLang и TokenSpeed. Модель предназначена для генерации текста, программирования, профессиональных и исследовательских задач, а также для длительных многошаговых агентских сценариев с планированием и обработкой обратной связи от среды. Модель построена на архитектуре Mixture of Experts и содержит около 2,4 трлн параметров, из которых при обработке одного токена активируется около 95 млрд. Она включает 92 слоя, 512 экспертов, 10 маршрутизируемых и один общий активируемый эксперт, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Глубина рассуждений настраивается параметром reasoning_effort, а контекст рассуждений из предыдущих сообщений может сохраняться через preserve_thinking. Сильные стороны модели — высокая заявленная производительность в программировании, профессиональной работе, исследованиях и автономном выполнении сложных задач, а также широкая совместимость с инструментами инференса. В представленном описании не указана поддержка изображений или других модальностей, поэтому модель следует рассматривать прежде всего как текстовую. Лицензия обозначена как qwen3.8-max с типом other; применимые условия приведены в файле LICENSE базовой модели Qwen/Qwen3.8-2.4T-A95B.

Карточка модели 21g/Xing4.0-29B-A4B на Hugging Face совпадает с карточкой XingChen-AGI/Xing4.0-29B-A4B, поэтому описание составлено по ней. Xing4.0-29B-A4B — большая языковая модель серии Xing, ранее называвшейся TeleChat, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это плотная причинная языковая модель с архитектурой Xing4_0; по README она содержит 29 млрд параметров, из которых активны 4 млрд на токен, а метаданные указывают 6,5 млрд параметров. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и контекст длиной 262 144 токена, который, согласно README, можно расширить до 512 тыс. Модель предназначена для рассуждений, программирования, многошагового планирования и агентных сценариев с вызовом инструментов. Её можно применять для вопросов и ответов по знаниям, понимания таблиц, классификации намерений и аудита контрактов, а также дообучать на данных конкретной предметной области. Для запуска заявлена совместимость с Transformers, vLLM, SGLang и KTransformers; указан формат весов safetensors. Модель разработана и обучалась на Ascend NPU с MindSpore, однако эти сведения сами по себе не ограничивают выбор инфраструктуры для инференса. Карточка не сообщает поддерживаемые естественные языки. Лицензия Apache-2.0. Метаданные и README расходятся в размере модели: 6,5 млрд параметров в метаданных против 29 млрд общих и 4 млрд активных на токен в README.

OpenAI o1 — модель рассуждения, разработанная OpenAI для сложных многошаговых задач. Она обучена с применением обучения с подкреплением и предназначена для задач, где полезны тщательный анализ, например математики, программирования, научных вопросов и построения агентных сценариев. Модель также принимает изображения и может рассуждать об их содержимом. В API o1 поддерживает текстовые входы и выходы, изображения на входе, вызов функций и структурированные ответы. Контекстное окно составляет 200 000 токенов. OpenAI указывает, что версия o1-2024-12-17 стала доступна для производственного использования. Модель может ошибаться, а её результаты требуют проверки; открытые сведения не устанавливают число параметров или конкретную архитектуру. Доступ предоставляется через API OpenAI на условиях сервиса OpenAI; веса модели не представлены как открытая загрузка.

NVIDIA DeepSeek-V4-Flash-NVFP4 — это квантизированная версия DeepSeek-V4-Flash, разработанного DeepSeek AI. NVIDIA подготовила модель с использованием Model Optimizer, но не является её владельцем или исходным разработчиком. Модель предназначена для генерации текста, сложного рассуждения, агентных AI-приложений, сценариев с использованием инструментов, математики, программной инженерии и корпоративных AI-ассистентов. Модель использует архитектуру Transformer с Mixture-of-Experts и гибридным вниманием, включающим Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет 284 млрд, из них активируется 13 млрд. Поддерживается только текстовый ввод и вывод, многошаговые диалоги, системные инструкции, структурированный JSON, function/tool calling и выдача рассуждений. Максимальная длина контекста — 1 млн токенов. Доступны режимы Non-think, Think High и Think Max; используется специальный pipeline кодирования encoding_dsv4. К сильным сторонам относятся большой контекст, поддержка углублённого рассуждения, инструментального взаимодействия и задач программирования. Модель квантизирована в формат NVFP4, что ориентировано на ускоренный инференс на GPU NVIDIA. Указаны поддерживаемые среды SGLang и vLLM, операционная система Linux и совместимость с архитектурой NVIDIA Blackwell; тестирование проводилось на NVIDIA B200. Данные обучения не раскрыты, поэтому характеристики качества следует проверять на прикладных задачах. Для безопасного внедрения требуется дополнительное тестирование и валидация. Лицензия указана как MIT, модель доступна для коммерческого и некоммерческого использования.

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-квантизированное представление причинной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen. Модель предназначена для генерации текста и решения сложных задач, требующих многошагового рассуждения, включая математические задачи, программирование, анализ знаний, следование инструкциям и агентские сценарии. Она работает только в режиме thinking, а шаблон чата автоматически добавляет тег <think>. Модель использует гибридную архитектуру с Gated DeltaNet и Gated Attention, а также разреженную Mixture-of-Experts. Общее число параметров составляет 80 млрд, из которых на каждом токене активируется около 3 млрд; 512 экспертов, 10 активируемых экспертов и один общий эксперт. Архитектура включает 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Обучение включало предварительное обучение на 15 трлн токенов и последующее дообучение. В README языки и мультимодальные возможности не указаны; по описанию это текстовая модель. Сильными сторонами являются высокая эффективность инференса за счёт разреженной MoE-архитектуры, работа с очень длинным контекстом и хорошие результаты на задачах рассуждения, программирования, мультиязычности и вызова инструментов. Модель может генерировать особенно длинные рассуждения, поэтому лучше подходит для сложных задач, чем для сценариев, требующих кратких ответов и минимальной задержки. Условия использования определяются лицензией Apache-2.0.

Карточка модели aidj2025/Qwythos-9B-Claude-Mythos-5-1M на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-Claude-Mythos-5-1M, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M — диалоговая модель empero-ai на базе Qwen/Qwen3.5-9B, дообученная полным обновлением текстовых весов методом supervised fine-tuning. Это плотная мультимодальная архитектура Qwen3.5 с гибридным стеком Gated DeltaNet и полнослойного внимания; дообучение было текстовым, а зрительная часть унаследована от базовой модели и не настраивалась. Модель предназначена для генерации ответов с рассуждениями, работы с инструментами и длительных агентных сессий. Она поддерживает вызов функций в формате Qwen3.5 и контекст до 1 048 576 токенов благодаря YaRN-масштабированию; в описании сообщается о внутренней проверке на контексте около 137 тысяч токенов. Заявлены сценарии анализа больших репозиториев и документов, а также задач в кибербезопасности и биомедицине. Поддержка изображений унаследована от Qwen3.5, однако зрительная часть не дообучалась и не проверялась. Карточка сообщает об успешном выполнении 7 из 7 тестовых запросов с инструментами, но это небольшой внутренний тест, а не независимая оценка. Модель может ошибаться в точных фактах и идентификаторах; для важных сведений рекомендуется поиск или другие инструменты. При жадной генерации и низкой температуре возможны повторения, а YaRN может немного ухудшать качество на коротком контексте. Лицензия — Apache 2.0.

Qwythos-9B-Claude-Mythos-5-1M — диалоговая модель empero-ai на базе Qwen/Qwen3.5-9B, дообученная полным обновлением текстовых весов методом supervised fine-tuning. Это плотная мультимодальная архитектура Qwen3.5 с гибридным стеком Gated DeltaNet и полнослойного внимания; дообучение было текстовым, а зрительная часть унаследована от базовой модели и не настраивалась. Модель предназначена для генерации ответов с рассуждениями, работы с инструментами и длительных агентных сессий. Она поддерживает вызов функций в формате Qwen3.5 и контекст до 1 048 576 токенов благодаря YaRN-масштабированию; в описании сообщается о внутренней проверке на контексте около 137 тысяч токенов. Заявлены сценарии анализа больших репозиториев и документов, а также задач в кибербезопасности и биомедицине. Поддержка изображений унаследована от Qwen3.5, однако зрительная часть не дообучалась и не проверялась. Карточка сообщает об успешном выполнении 7 из 7 тестовых запросов с инструментами, но это небольшой внутренний тест, а не независимая оценка. Модель может ошибаться в точных фактах и идентификаторах; для важных сведений рекомендуется поиск или другие инструменты. При жадной генерации и низкой температуре возможны повторения, а YaRN может немного ухудшать качество на коротком контексте. Лицензия — Apache 2.0.

BTL-4 Compact — текстовая GGUF-версия модели BTL-4 от Bad Theory Labs, распространяемая для запуска в llama.cpp, Ollama и LM Studio. Это квантованная модель класса Mixture of Experts, предназначенная для генерации текста, программирования, работы с технической документацией, агентных сценариев и использования инструментов. Модель поставляется одним файлом размером 9,96 ГБ и не требует загрузки или восстановления базовой модели. Модель содержит 35,1 млрд параметров, из которых около 2,1 млрд активны для каждого токена. Архитектура включает 40 слоёв: 30 слоёв с линейным вниманием и 10 слоёв с полным вниманием; в каждом слое 256 экспертов, из которых для токена выбираются 8. Нативный контекст составляет 262 144 токена. Сборка является текстовой: vision tower исключён. Слой multi-token prediction отключён, но это не мешает обычной работе модели. Главное преимущество BTL-4 Compact — сочетание большого общего числа параметров с относительно низкими вычислительными затратами и возможностью запуска на пользовательском оборудовании. Квантование выполнено с эффективностью 2,30 бита на вес; заявленное сохранение измеренного поведения полной модели составляет 94,1% на тесте из 118 заданий. Ограничения включают потерю качества из-за сильного квантования, отсутствие обработки изображений и чувствительность агентных сценариев к настройкам шаблона чата и формата рассуждений. Для корректной работы требуется версия llama.cpp с поддержкой qwen3_5_moe и определённые параметры запуска. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Карточка модели arabsya87sy7a8/Qwythos-9B-Claude-Mythos-5-1M на Hugging Face совпадает с карточкой empero-ai/Qwythos-9B-Claude-Mythos-5-1M, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M — диалоговая модель empero-ai на базе Qwen/Qwen3.5-9B, дообученная полным обновлением текстовых весов методом supervised fine-tuning. Это плотная мультимодальная архитектура Qwen3.5 с гибридным стеком Gated DeltaNet и полнослойного внимания; дообучение было текстовым, а зрительная часть унаследована от базовой модели и не настраивалась. Модель предназначена для генерации ответов с рассуждениями, работы с инструментами и длительных агентных сессий. Она поддерживает вызов функций в формате Qwen3.5 и контекст до 1 048 576 токенов благодаря YaRN-масштабированию; в описании сообщается о внутренней проверке на контексте около 137 тысяч токенов. Заявлены сценарии анализа больших репозиториев и документов, а также задач в кибербезопасности и биомедицине. Поддержка изображений унаследована от Qwen3.5, однако зрительная часть не дообучалась и не проверялась. Карточка сообщает об успешном выполнении 7 из 7 тестовых запросов с инструментами, но это небольшой внутренний тест, а не независимая оценка. Модель может ошибаться в точных фактах и идентификаторах; для важных сведений рекомендуется поиск или другие инструменты. При жадной генерации и низкой температуре возможны повторения, а YaRN может немного ухудшать качество на коротком контексте. Лицензия — Apache 2.0.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

Frosty40/Qwen3.8-27B-GGUF — это квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат GGUF для запуска через llama.cpp. Модель предназначена для генерации и анализа текста, работы с кодом и агентскими сценариями, а также для задач vision-language с обработкой изображений через отдельный vision projector. Поддерживаются большие контексты до 262K токенов, гибридная архитектура с 48 слоями линейного внимания Gated-DeltaNet и 16 слоями полного внимания, а также межслойное позиционное кодирование MRoPE и гибридная recurrent-attention память. Языки в README явно не указаны. Основной рекомендуемый файл использует квантование Q6_K, повышенную точность Q8_0 для attention-проекций и встроенную MTP-голову для speculative decoding; его размер составляет 23,2 ГБ. MTP может ускорять декодирование примерно на 45–95% при поддержке NextN/MTP в llama.cpp. Заявлены высокая близость к версии bf16, особенно для кода и агентских задач, а также сохранение качества vision-инференса. Для работы требуются llama.cpp с поддержкой архитектуры qwen35, а для MTP-версии — дополнительная поддержка NextN/MTP и vision projector. Контекстное смещение недоступно, а превышение объёма памяти видеокарты приводит к выгрузке в оперативную память и снижению производительности. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-27B-UNCENSORED-GGUF — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанная Dealign.ai на базе Qwen. Модель распространяется в формате GGUF для llama.cpp и предназначена для генерации текста, программирования, многошагового рассуждения, анализа изображений и видео. Она поддерживает управляемый режим рассуждений с уровнями low, medium и xhigh, а также отключение рассуждений. Архитектура включает 64 слоя: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания; размер скрытого представления — 5120, контекст — до 262 тысяч токенов. Модель поддерживает английский и китайский языки. В каждый вариант GGUF включены native Multi-Token-Prediction head для speculative decoding и vision projector, необходимый для обработки изображений и видео. Доступны варианты от 2- до 8-битного квантования объёмом примерно от 10,5 до 29 ГБ; рекомендован Q4_K_M. Сильные стороны модели — сочетание текстовых, визуальных и видео-возможностей, большой контекст, сохранение способностей к рассуждению и программированию, а также поддержка ускоренной генерации через MTP. Ограничения связаны с потерями качества при более агрессивном квантовании и высокими требованиями к памяти. Это CRACK-abliterated модель с удалёнными отказами и сниженными защитными ограничениями, поэтому она может выполнять запросы, отклоняемые стандартной моделью; авторы позиционируют её для исследований и разрешённого red teaming. Лицензия — Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-heretic — модель на 9 млрд параметров, созданная Richard Young на основе Qwen/Qwen3.5-9B. Это полное дообучение текстовой части модели методом supervised fine-tuning; визуальный модуль унаследован от базовой модели, но при дообучении не настраивался. Модель предназначена для диалогов, рассуждений и работы с инструментами, включая вызовы функций в формате Qwen3.5. Контекстное окно расширено до 1 048 576 токенов с помощью YaRN; автор сообщает о проверке работы на контексте около 137 тысяч токенов. Это позволяет анализировать крупные репозитории, длинные переписки и наборы документов в одном запросе. Модель поддерживает английский язык. В карточке заявлены успешные результаты на собственном тесте вызова инструментов из семи запросов; это ограниченная оценка, а не независимое подтверждение качества. Автор предупреждает о циклах повторов при жадной генерации или низкой температуре и рекомендует проверять точные сведения в критически важных сценариях, используя поиск или другие инструменты. Возможности работы с изображениями унаследованы от базовой мультимодальной архитектуры, но в этой версии не настраивались и не тестировались. Лицензия — Apache 2.0.

Gemini 2.5 Pro — модель Google для сложных задач рассуждения, программирования, математики и науки. В карточке модели указана возможность «thinking», предназначенная для более точной проработки ответов. Модель подходит для решения сложных вопросов, помощи с кодом и математическими задачами, а также научной работы. Метаданные каталога классифицируют её как image-text-to-text, однако предоставленные материалы не описывают поддержку изображений, архитектуру, размер, контекст, языки или условия использования, поэтому эти характеристики здесь не уточняются.

Qwen3.5-9B-Opus-OpenClaw-Distilled-GGUF — дообученная модель, разработанная ykarout на базе Qwen3.5-9B и производных CoPaw-Flash-9B. Она объединяет агентные возможности OpenClaw и CoPaw с дистиллированным стилем структурированного рассуждения, вдохновлённым Claude Opus. Обучение выполнялось с использованием Unsloth и TRL методом LoRA SFT на унифицированных наборах рассуждений, включая Opus-4.6 reasoning datasets. Модель предназначена для аналитических вопросов и ответов, помощи в программировании, планирования рабочих процессов, многошаговой декомпозиции задач, логически сложных диалогов и сценариев, связанных с инструментами, терминалом и агентными средами. Она ориентирована на стиль «сначала рассуждение, затем ответ» и сохраняет формат с блоком <think> перед итоговым ответом. Модель относится к семейству Qwen3.5, имеет размер около 9 миллиардов параметров и поставляется в формате GGUF для локального запуска. Для LM Studio и llama.cpp заявлена поддержка текста и изображений, а специальная vision-merged версия предназначена для использования с Ollama. Заявленные языки включают английский, арабский, испанский, латынь, турецкий, немецкий, чешский и китайский. К сильным сторонам относятся агентное поведение, планирование, инструментальная направленность, структурированное рассуждение и совместимость с локальными средами развёртывания. Ограничения заключаются в том, что точные характеристики контекстного окна и полный состав мультимодальных возможностей в README не указаны; кроме того, описанная процедура обучения была text-only, поэтому качество работы с изображениями может зависеть от конкретного GGUF-файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

Xing4.0-29B-A4B-GGUF — большая языковая модель серии Xing, разработанная China Telecom Artificial Intelligence Technology Co., Ltd. Это GGUF-представление модели Xing4.0-29B-A4B с квантованием смешанной точности IQ4_NL; размер файла составляет около 18 ГБ, что позволяет запускать модель на одной пользовательской видеокарте. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, сложного рассуждения, программирования, инженерных задач, многошагового планирования, вызова инструментов и агентских сценариев. Она также подходит для дообучения под прикладные задачи, включая классификацию намерений, анализ таблиц, аудит договоров и ответы на вопросы по корпоративным знаниям. Заявлена совместимость с Transformers, vLLM, SGLang, KTransformers, LLaMA-Factory и MindFormers, а также с рядом агентских фреймворков. Архитектура включает MoE с 29 млрд общих параметров и 4 млрд активных параметров на токен, 40 слоёв, скрытый размер 3584, MLA-attention, 64 маршрутизируемых эксперта, 4 активных эксперта на токен и одного общего эксперта. Модель поддерживает контекст 256 тысяч токенов с возможностью расширения до 512 тысяч. Указана поддержка режима рассуждений, который можно включать или отключать при инференсе. README не сообщает полный список поддерживаемых языков и не описывает мультимодальные возможности, поэтому модель следует считать текстовой. Сильными сторонами являются большой контекст, высокая эффективность MoE при инференсе, ориентация на агентские и программные задачи, а также возможность локального запуска и доменной адаптации. Ограничения включают необходимость совместимого инференс-стека и значительный объём памяти; показатели бенчмарков приведены авторами README и могут зависеть от настроек оценки. Сведения о безопасности, фильтрации контента и конкретных языковых ограничениях не указаны.

RadixArk/GLM-5.3-NVFP4 — текстовая языковая модель, представляющая собой квантованную производную GLM-5.3-BF16 от Z.ai. Квантование выполнено RadixArk с использованием NVIDIA Model Optimizer; RadixArk не обучала и не дообучала модель. Модель предназначена для агентной разработки, программирования, длительного использования инструментов и задач рассуждения. Архитектура — Transformer со Sparse Mixture-of-Experts и разреженным вниманием: 78 декодерных слоёв, включая 3 плотных MLP и 75 MoE-слоёв, 753 млрд параметров всего и около 40 млрд активируемых на токен. В MoE-слоях используется 256 маршрутизируемых экспертов с выбором 8 экспертов и один общий эксперт. Модель принимает и генерирует текст, поддерживает английский и китайский языки, а длина контекста достигает 1 048 576 токенов. Ключевое преимущество — существенное уменьшение размера checkpoint с 1 507 до 465 ГБ за счёт NVFP4 W4A4-квантования части параметров при сохранении ряда компонентов в BF16. Указаны высокие результаты на GSM8K, AIME 2026, Terminal-Bench 2.1 и DeepSWE, однако базовая модель может выдавать неточные, неполные, нерелевантные или нежелательные ответы, поэтому необходимы проверка результатов и защитные меры. Checkpoint рассчитан на запуск через SGLang на Linux и совместим прежде всего с GPU NVIDIA Blackwell; конфигурация проверена на B300. Условия использования определяются лицензией Z.AI Model License, указанной как MIT-style.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

filvyb/Qwen3.8-27B-heretic-ara-GGUF — это GGUF-квантизированная версия модели coder3101/Qwen3.8-27B-heretic-ara, основанной на Qwen3.8-27B. Модель предназначена для генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих многошаговых агентских сценариев, а также понимания изображений и видео. В карточке указана архитектура causal language model с vision encoder и 27 млрд параметров. Модель использует 64 слоя, архитектуру с комбинацией Gated DeltaNet и Gated Attention, поддерживает управляемый режим рассуждений и имеет нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Она заявлена как мультимодальная модель для работы с текстом, изображениями и видео, однако сведения о поддерживаемых языках отсутствуют. Формат GGUF ориентирован на совместимое локальное инференс-развёртывание, но конкретные требования к памяти и варианты квантования в README не указаны. Ключевая особенность версии — abliteration, направленная на снижение частоты отказов: в приведённом сравнении модель отказалась выполнить 9 из 100 запросов против 92 из 100 у исходной Qwen3.8-27B, при KL-дивергенции 0,0349. Это может повысить полезность модели для сценариев, где требуется меньше ограничивающих отказов, но одновременно может ослаблять встроенные механизмы безопасного поведения. Модель распространяется по лицензии Apache-2.0.

RavenXAILabsLLC-Qwen3.8-27B-Abliterated-Unified-Frontier-Model-IQ-Injected-MLX-MTP — открытая текстовая генеративная модель, разработанная RavenX AI Labs LLC на основе PocketAiHub/Qwen3.8-27B-Abliterated-MLX-4bit. По данным карточки, модель объединяет дистиллированные примеры и паттерны рассуждения из нескольких заявленных frontier-моделей и дополнительно обучалась на задачах программирования, агентного tool calling, анализа безопасности, финансов и трейдинга. Заявлены 1 159 426 обучающих примеров и сохранение планирования в весах без явных тегов рассуждений в ответах. Модель предназначена для генерации текста, программирования, структурированного анализа, агентских сценариев с вызовом инструментов и API, анализа уязвимостей и задач, связанных с безопасностью. Архитектура указана как Qwen3_5, размер — 27 млрд параметров, формат — MLX 4-bit; поддерживается библиотекой MLX и ориентирована прежде всего на запуск на Apple Silicon. В карточке также заявлена совместимость с ESI и MTP drafter для speculative decoding, а рекомендуемый объём памяти составляет около 15,5 ГБ. Указан английский язык; поддержка других языков и размер контекстного окна не уточняются. Сильными сторонами заявлены универсальность, навыки программирования и рассуждений, агентское взаимодействие с инструментами, а также оптимизация для локального запуска на устройствах Apple. Производитель сообщает о результате 93% на собственном наборе из 18 тестов, однако подробная методика и независимое подтверждение этого показателя в README не приведены. Ограничениями являются отсутствие подтверждённых сведений о контекстном окне, мультимодальности, качестве на разных языках и независимых бенчмарках; возможности в сфере пентестинга и безопасности требуют осторожного применения и проверки результатов. Лицензия указана как Apache-2.0.

Llama-3.1-Nemotron-Ultra-253B-v1-FP8 — большая языковая модель NVIDIA, производная от Meta Llama-3.1-405B-Instruct. Это плотный decoder-only Transformer с архитектурой, оптимизированной методом Neural Architecture Search: блоки могут содержать пропущенное внимание, переменное соотношение FFN и объединённые FFN. В README указано 253 млрд параметров; метаданные Hugging Face указывают 697,9 млрд параметров. Модель распространяется в формате FP8 и работает через Transformers. Модель предназначена для рассуждений, диалогов, следования инструкциям, генерации кода, retrieval-augmented generation, вызова инструментов и построения AI-агентов и чат-ботов. Она поддерживает текстовый ввод и вывод с контекстом до 131 072 токенов, а основным языком является английский; также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. NAS-оптимизация направлена на уменьшение потребления памяти и задержки при сохранении качества и позволяет запускать модель на одном узле с 8 H100 для инференса. Модель ориентирована на коммерческое использование, однако требует значительных вычислительных ресурсов и специализированной инфраструктуры. Данные предварительного обучения имеют срез 2023 года, поэтому модель может не знать более свежие факты. Архитектура нестандартна относительно исходной Llama и может требовать совместимого программного стека. Использование регулируется NVIDIA Open Model License и дополнительными условиями Llama 3.1 Community License Agreement.

InternScience/Agents-A1-4B-Q8_0-GGUF — квантованная версия Agents-A1-4B, разработанная командой InternScience и предназначенная для локального запуска в формате GGUF с квантованием Q8_0. Модель относится к классу агентных языковых моделей и ориентирована на работу в связке с инструментами и внешними источниками данных. Модель предназначена для многошагового поиска, инженерных и научных задач, следования сложным инструкциям, профессиональных вопросов, планирования и вызова инструментов. Она умеет разбивать сложные задачи на последовательность действий, учитывать промежуточные результаты и взаимодействовать с API, интерпретаторами кода, поисковыми системами и другими инструментами. Базовая версия Agents-A1-4B является плотной моделью примерно на 4 млрд параметров; заявлена поддержка текстовой генерации, function calling и агентных сценариев. Языки и максимальная длина контекста в README не указаны. К сильным сторонам относятся агентное рассуждение, работа с длинными горизонтами задач, инструментами, научной и профессиональной информацией, а также высокая эффективность по сравнению с более крупными моделями. Ограничения этой конкретной GGUF-сборки, требования к оборудованию, совместимые рантаймы и возможное влияние квантования на качество отдельно не описаны. Модель распространяется по лицензии Apache-2.0.

NVIDIA Kimi-K2.7-Code NVFP4 — квантизированная версия языковой модели Kimi-K2.7-Code, разработанной Moonshot AI. NVIDIA подготовила и оптимизировала эту сборку с помощью Model Optimizer для запуска на NVIDIA GPU; сама NVIDIA не является разработчиком исходной модели. Модель предназначена для генерации текста и кода, научного программирования, агентного использования инструментов, работы с терминалом и решения задач программной инженерии. В зависимости от конфигурации сервинга она может возвращать естественно-языковые ответы, код, структурированный JSON, запросы вызова инструментов, инструкции для координации агентов и другие артефакты. Модель использует архитектуру Transformers с сетевой архитектурой DeepSeek V3 и механизмом Mixture-of-Experts: всего заявлен 1 трлн параметров, из которых 32 млрд активируются при обработке запроса. Поддерживаются текст, изображения и видео на входе, а также контекст длиной до 256 тысяч токенов; выход представлен текстом. Веса и активации линейных операторов внутри MoE-блоков преобразованы из INT4 через BF16 в формат NVFP4. Предусмотрен запуск через vLLM на NVIDIA Blackwell под Linux; тестирование выполнялось на NVIDIA B200. Сильные стороны модели — большой контекст, поддержка мультимодальных входных данных, задачи кодирования и агентного взаимодействия, а также готовая к инференсу NVFP4-квантизация для совместимого оборудования. При этом сведения об обучающих и тестовых данных, их размере и составе в основном не раскрыты, а NVIDIA не проводила обучение или тестирование для данного релиза Model Optimizer. Практическая производительность и безопасность требуют дополнительной проверки на данных конкретного сценария. Использование регулируется NVIDIA Open Model License; также указана Modified MIT License для исходной модели Kimi-K2.7-Code.

MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF — это набор квантованных сборок Meta-Llama-3-70B-Instruct в формате GGUF, подготовленный и опубликованный MaziyarPanahi на основе модели Meta. Исходная модель разработана Meta и предназначена для диалоговых сценариев, коммерческого и исследовательского использования на английском языке. Модель содержит около 70 млрд параметров и построена на авторегрессионной архитектуре оптимизированного Transformer с Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст и код, поддерживает контекст до 8 тысяч токенов и была обучена на смеси общедоступных онлайн-данных объёмом более 15 трлн токенов. Инструкционная версия дополнительно оптимизирована с помощью supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Главное преимущество репозитория — наличие вариантов квантования от 2 до 8 бит, а также 16-битной версии, что позволяет запускать модель с различными требованиями к памяти и производительности. При этом более сильное квантование может снижать качество по сравнению с исходными весами, а запуск 70-миллиардной модели всё равно требует значительных вычислительных ресурсов. Модель ориентирована прежде всего на английский язык; использование для других языков обозначено как выходящее за предполагаемую область применения, хотя разработчикам разрешено дообучение при соблюдении условий лицензии. Распространение регулируется специальной коммерческой лицензией Meta Llama 3 и Community License, включая Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; дата выпуска семейства — 18 апреля 2024 года.

malvavisc0/Qwen3.8-9B-gptq-int4 — квантизированная версия модели empero-ai/Qwen3.8-9B, разработанная в формате GPTQ Int4. Модель относится к семейству Qwen и представляет собой плотную модель примерно на 9 млрд параметров, дистиллированную из Qwen3.8 2.4T A95B. Квантизация выполнена для текстовых модулей; заявлена гибридная архитектура с 24 слоями GatedDeltaNet и 8 слоями полнотекстового внимания. Нативный контекст составляет до 262 тысяч токенов. В репозитории также присутствует необработанная vision tower, однако подробности о поддерживаемых визуальных сценариях не приведены. Модель предназначена для генерации текста, рассуждений, решения математических задач, программирования и агентских сценариев с вызовом инструментов. Она поддерживает reasoning с блоками <think>, управление интенсивностью рассуждений через chat template и XML-формат вызова инструментов. Предусмотрена интеграция с vLLM и Transformers, а также совместимость с OpenAI API через локальный сервер vLLM. Указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Ключевое преимущество — снижение потребления памяти: размер весов составляет около 8,5 ГБ против примерно 18 ГБ у версии BF16. Для работы рекомендуется не менее 12 ГБ общей памяти, комфортный режим начинается примерно с 16 ГБ, а видеокарты с 24 ГБ позволяют использовать длинный контекст. На CPU модель запускается, но медленно. К ограничениям относятся потери, связанные с Int4-квантизацией, необходимость правильно настраивать длину контекста и размер пакета, а также потенциально длинные рассуждения в блоках <think>, которые может потребоваться удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0, унаследованной от исходной модели.

Nail-Qwen3.6-35B-A3B-GGUF — это 4-битная GGUF-квантизация модели Qwen3.6-35B-A3B, разработанной Qwen и опубликованной peculiar-ragdoll. Модель предназначена для локального запуска через llama.cpp, прежде всего для рассуждений, многошаговых диалогов, агентной работы и автономной разработки программного обеспечения. В поставку также входит улучшенный chat template с принудительно добавляемым системным промптом, который настраивает модель на прямые, лаконичные и ориентированные на результат ответы. Модель использует архитектуру MoE с заявленным размером 35B и активной частью около 3B параметров; доступна в формате GGUF с квантизацией UD-Q4_K_XL. Заявлен нативный контекст до 262 144 токенов, поддерживаются английский и китайский языки. По данным автора, модель особенно сильна в скорости получения ответа, агентном программировании и многоходовых сценариях, сохраняя сопоставимую с более крупными моделями точность на ряде тестов. Увеличенный объём рассуждений может быстрее расходовать контекст, поэтому для очень длинных сессий модель уступает некоторым альтернативам по выносливости. Модель рассчитана на локальное использование и может работать на совместимом оборудовании с ограниченным объёмом памяти; автор указывает, что примерно 180 тысяч токенов контекста с 8-битным KV-кэшем должны помещаться в 24 ГБ памяти. Лицензия — Apache 2.0.

NVIDIA-Nemotron-3-Ultra-550B-A55B-quantized.w4a16 — большая языковая модель Red Hat на базе NVIDIA Nemotron 3 Ultra 550B A55B BF16, опубликованная для генерации текста, рассуждений и работы с инструментами. Она предназначена для сложного решения задач, математики и естественных наук, генерации кода и выполнения инструкций. Модель поддерживает ввод и вывод текста, а также вызов инструментов. Модель использует архитектуру NemotronHForCausalLM, содержит 550 млрд общих параметров и 55 млрд активных параметров. Веса линейных операторов в трансформерных блоках квантизированы в INT4 по схеме W4A16 с размером группы 128; применяется асимметричное покомпонентное квантование по группам. Это примерно на 75% снижает размер модели на диске и требования к памяти GPU по сравнению с BF16-версией. Для работы с рассуждениями и вызовом инструментов требуются соответствующие парсеры vLLM. Заявленная длина контекста — до 262 144 токенов. Сильными сторонами модели являются высокая емкость для сложных задач, поддержка reasoning, генерации кода и tool calling, а также существенное снижение требований к памяти благодаря INT4-квантизации. Ограничения включают значительные вычислительные требования: в рекомендованной конфигурации используется 8 GPU; сведения о поддерживаемых языках и количественных результатах оценки в README не указаны. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство или нормативные требования, исключено из области применения.

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-версия модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель для генерации текста, ориентированная прежде всего на сложные задачи рассуждения, включая математические задачи, анализ знаний, программирование и агентные сценарии. Модель поддерживает только режим thinking, поэтому при генерации может формировать длинную цепочку рассуждений. Модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, высокоразреженную Mixture-of-Experts с 80 млрд параметров всего и примерно 3 млрд активируемых на токен, а также Multi-Token Prediction. Архитектура включает 48 слоёв и 512 экспертов, из которых активируются 10; нативный контекст составляет 262 144 токена и может быть расширен до 1 010 000 токенов. Ключевые сильные стороны — высокая параметрическая эффективность, сниженные вычисления на токен, ускорение инференса на длинном контексте и хорошие результаты на сложных задачах рассуждения. Ограничения включают обязательный режим thinking, потенциально длинные ответы и отсутствие в предоставленных данных сведений о поддерживаемых языках, точных параметрах GGUF-квантизации и требованиях к оборудованию. Лицензия — Apache 2.0.

Карточка модели nfsff/Gemma-4-31B-JANG_4M-CRACK на Hugging Face совпадает с карточкой ZHENDANG/Gemma-4-31B-JANG_4M-CRACK, поэтому описание составлено по ней. ZHENDANG/Gemma-4-31B-JANG_4M-CRACK — мультимодальная модель семейства Gemma 4 от dealignai, созданная на основе google/gemma-4-31b-it. Это доработанная методом abliteration версия плотной архитектуры Gemma 4 с 31 млрд параметров, гибридным скользящим и глобальным вниманием и сохранённым визуальным энкодером. Модель предназначена для диалогов, рассуждений, программирования и ответов на запросы по тексту и изображениям; поддерживает режим thinking. В README авторы сообщают о высокой доле ответов на вредоносные запросы в их тесте HarmBench и о прохождении проверок по кибербезопасности и пентестингу. Эти результаты отражают заявленные авторами тесты и не гарантируют качество в других сценариях. Для запуска рекомендован vMLX на компьютерах Apple Silicon с не менее чем 32 ГБ объединённой памяти; указано, что стандартные mlx_lm и mlx_vlm на момент подготовки карточки модель не поддерживают. Модель распространяется по лицензии Gemma; авторы указывают исследовательское назначение и ответственность пользователя за соблюдение законов.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.