I.3Извлечение и структурирование данных

NVIDIA Qwen3-Next-80B-A3B-Thinking NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной Alibaba и подготовленной NVIDIA с использованием TensorRT Model Optimizer. Модель предназначена для коммерческого и некоммерческого применения в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на основе генерации текста. Модель использует архитектуру Transformers и сетевую архитектуру Qwen3NextForCausalLM. Она принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто, поддерживаемые языки и точные характеристики исходной модели здесь не указаны. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в формат NVFP4. Это уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. Модель оптимизирована для инференса через TensorRT-LLM на GPU NVIDIA, в частности на архитектуре Blackwell; предпочтительная операционная система — Linux. Ограничениями являются зависимость от совместимой инфраструктуры NVIDIA, отсутствие раскрытых данных о параметрах и обучении, а также необходимость дополнительного тестирования качества и безопасности для конкретного сценария. Модель распространяется по лицензии Apache License 2.0. Для развёртывания рекомендуется TensorRT-LLM; заявленная версия квантизации выполнена с использованием nvidia-modelopt v0.40.0.

Qwopus3.5-27B-v3.5 — дообученная Jackrong мультимодальная модель на основе Qwen3.5-27B. Версия 3.5 продолжает Qwopus3.5-27B-v3 с примерно вдвое большим объёмом данных SFT; новая архитектура и отдельный этап RL не заявлены. Модель предназначена для структурированных рассуждений, диалогов, программирования, работы с инструментами и многошаговых агентных сценариев. Метаданные также указывают поддержку анализа изображений и интерфейс вызова инструментов. Архитектура — плотная Qwen3.5 для генерации текста и работы с изображениями; в репозитории представлены веса Safetensors. Заявлена лицензия Apache-2.0. В карточке приведены результаты на выбранных подмножествах MMLU-Pro и SWE-подобном наборе тестов; оценки предварительные и не заменяют независимую проверку на полном наборе задач. Среди ограничений автор отмечает нестабильность рассуждений в отдельных случаях, зависимость работы с инструментами от интеграции со средой и возможность ухудшения отдельных показателей выравнивания. Данные README о языковом охвате шире явно перечисленных в метаданных языков, поэтому в языковые теги включены только указанные там коды.

Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Snowflake Arctic Instruct — инструктивно дообученная языковая модель команды Snowflake AI Research Team на базе архитектуры Arctic. Она предназначена для диалогов, генерации текста и кода, а также для задач классификации текста. Архитектура — гибридный трансформер с разреженным MoE: в карточке описана комбинация плотной модели на 10 млрд параметров и остаточного блока MoE с 128 экспертами; для полной архитектуры указаны 480 млрд параметров и 17 млрд активных параметров с выбором двух экспертов. Метаданные репозитория указывают размер 8 млрд параметров, поэтому эта цифра расходится с описанием полной архитектуры в README. Модель принимает текст и генерирует текст или код. Родной размер контекста — 4096 токенов. Для запуска README рекомендует Transformers версии 4.39 или выше и загрузку с доверенным пользовательским кодом; для инференса предлагается сервер с восемью H100 из-за размера модели. Модель выпущена Snowflake под лицензией Apache-2.0, допускающей использование в исследованиях, прототипах и продуктах.

Supertron-2.1-8B-A1B — языковая модель-ассистент, разработанная Surpem и дообученная на LiquidAI/LFM2.5-8B-A1B. Это причинная модель с архитектурой LiquidAI LFM2.5 MoE; в репозитории указаны класс 8B и поведение с примерно 1B активных параметров, а в метаданных — 1,6 млрд параметров. Контекст составляет до 128 000 токенов. Модель предназначена для диалога и следования инструкциям, ответов на общие вопросы, рассуждений, математики, программирования, письма, суммаризации и объяснения технических и научных тем. Принимает текст и генерирует текст; в карточке заявлена поддержка английского языка. Она совместима с Transformers и распространяется по лицензии Apache 2.0. Модель может ошибаться в фактах, математике и коде, а сложные рассуждения требуют проверки. Качество ответов зависит от настроек генерации; модель не предназначена для принятия критически важных решений в праве, медицине, финансах, безопасности и вопросах идентификации без независимой экспертной проверки.

NVIDIA DeepSeek-R1-0528-NVFP4-v2 — FP4-квантизированный вариант модели рассуждений DeepSeek-R1-0528, подготовленный с помощью NVIDIA TensorRT Model Optimizer. Это авторегрессионная языковая модель семейства DeepSeek V3 с архитектурой трансформера; в метаданных указано 37,6 млрд параметров и контекст до 163 840 токенов. Версия v2 дополнительно квантизирует модуль wo в слоях внимания по сравнению с DeepSeek-R1-0528-FP4. Модель принимает текст и генерирует текст. Она предназначена для диалогов и решения задач, в том числе многошаговых рассуждений; доступен интерфейс вызова инструментов. Квантизация весов и активаций линейных операторов снижает требования к диску и памяти GPU примерно в 1,6 раза. Для запуска README указывает TensorRT-LLM, Linux и оборудование NVIDIA Blackwell; приведённый пример развёртывания требует 8 GPU B200. Модель основана на DeepSeek-R1-0528 и, согласно README, готова к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Ответы могут быть неточными, неполными или избыточными, а обучающие данные могут приводить к токсичному языку и усилению социальных предубеждений.

casperhansen/deepseek-r1-distill-qwen-14b-awq — это 4-битная AWQ-квантизованная версия DeepSeek-R1-Distill-Qwen-14B, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработала DeepSeek; она создана на базе Qwen2.5-14B и дообучена на образцах рассуждений, сгенерированных DeepSeek-R1. Модель предназначена для генерации текста и диалогов, а также задач, требующих рассуждений, включая математику, программирование и анализ сложных запросов. Это text-only causal language model архитектуры Qwen2, примерно на 14 млрд параметров, представленная в формате Safetensors с 4-битной AWQ-квантизацией. В конфигурации указаны 48 слоёв, 40 attention heads, 8 key-value heads и максимальная длина последовательности до 131072 токенов. Модель поддерживает локальный запуск через совместимые инструменты, включая Transformers, vLLM и SGLang; квантизация снижает требования к памяти по сравнению с исходной версией. Сильная сторона модели — сохранение возможностей дистиллированной R1-модели в существенно более компактном формате; для исходной 14B-версии DeepSeek указывает высокие результаты на математических, кодовых и reasoning-бенчмарках, включая AIME 2024, MATH-500, GPQA Diamond и LiveCodeBench. Ограничения включают возможную потерю качества из-за 4-битной квантизации, зависимость производительности от аппаратного обеспечения и программного стека, а также отсутствие заявленной мультимодальности. Репозиторий версии AWQ распространяется по лицензии MIT; для производной модели также следует учитывать условия лицензии исходной Qwen2.5.

Это экспериментальная селективно-квантованная GGUF-сборка DeepSeek-V4-Flash-0731 REAP-150B от Tinker-Stack. Модель основана на обрезанном варианте REAP-150B с архитектурой DeepSeek4 и MoE: 150 млрд параметров, 132 эксперта, из которых активны 6 на токен, и один общий эксперт. Веса упакованы в контейнер TurboQuant TQ3_4S с рецептом квантования примерно 3,49 бит на параметр; для запуска нужна специальная версия llama.cpp с поддержкой этого формата. Сборка предназначена для генерации текста, диалогов, агентного использования инструментов, программирования, анализа длинных документов и задач на рассуждение. Заявлена работа с контекстом до 256 тысяч токенов при использовании подходящего KV-кэша. В README приведены внутренние сравнительные тесты и показатели perplexity, однако они не являются стандартизированными оценками; качество зависит от режима рассуждения и настроек инференса. Модель компактнее полноразмерных вариантов благодаря обрезке и квантованию, но квантование может снижать точность, а REAP-вариант может уступать исходной модели в некоторых возможностях. Сборка экспериментальная, требует нестандартного форка llama.cpp; контекст 1 млн токенов на описанном оборудовании не подтверждён. Лицензия репозитория — MIT.

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

Dolphin 2.9.2 Mixtral 8x22B GGUF — это квантизированная версия языковой модели Dolphin 2.9.2, созданная сообществом cognitivecomputations на базе mistral-community/Mixtral-8x22B-v0.1. Репозиторий bartowski содержит варианты модели в формате GGUF, подготовленные с помощью llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста в диалогах, выполнения инструкций, программирования, математических задач, function calling и агентских сценариев. В обучении использовались наборы данных для чат-взаимодействия, кода, обратной связи по программированию, математики, системных инструкций и работы агентов. Указан английский язык, а формат запросов основан на ChatML с ролями system, user и assistant. Архитектура и максимальный размер контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M размером примерно от 32,73 до 149,42 ГБ. Более качественными и рекомендуемыми названы Q5_K_M, Q4_K_M и IQ4_XS; варианты с более низкой разрядностью требуют меньше памяти, но могут заметно уступать по качеству. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, однако большие размеры файлов предъявляют высокие требования к оперативной памяти и видеопамяти. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость качества от выбранной квантизации и значительные требования к ресурсам; сведения о специализированных мультимодальных возможностях и поддержке других языков отсутствуют.

bartowski/dolphin-2.9-llama3-8b-GGUF — это набор GGUF-квантизаций модели dolphin-2.9-llama3-8b, разработанной cognitivecomputations и подготовленной для локального запуска. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая ответы на вопросы, программирование, решение математических задач, function calling и агентские задачи. Обучение опиралось на наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, UltraChat, Orca Math и другие датасеты. Это текстовая модель на архитектуре Llama 3 с размером 8 млрд параметров. Репозиторий содержит версии от F16 до различных вариантов Q8, Q6, Q5, Q4, Q3 и IQ-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Квантизации выполнены с использованием llama.cpp и метода imatrix; для взаимодействия указан шаблон промпта ChatML. Поддержка мультимодальности, конкретные языки и размер контекстного окна в README не указаны. Сильной стороной модели является широкий набор обучающих данных и наличие множества вариантов для локального инференса, включая версии, оптимизированные для ARM. Более сильные квантизации обеспечивают лучшее качество, но требуют больше памяти, тогда как Q3-версии экономичнее, но заметнее теряют в качестве. Для запуска рекомендуется использовать совместимый инференс-движок, например llama.cpp или LM Studio. Лицензия обозначена как other, однако её точные условия в README не приведены.

EngGPT2-16B-A3B — языковая модель компании Engineering Ingegneria Informatica S.p.A., обученная с нуля как открытая по весам, но проприетарно лицензируемая модель для европейских и итальянских сценариев. Она предназначена для диалогов, генерации текста, рассуждений, следования инструкциям, генерации кода и использования в инструментальных рабочих процессах. Карточка сообщает о конкурентных результатах на тестах знаний, математики, следования инструкциям и кода. Модель построена на архитектуре Transformer с разреженной смесью экспертов (MoE): около 16 млрд параметров всего и около 3 млрд активных при генерации. В ней 24 слоя, по 64 эксперта на слой, из которых для каждого токена активируются 8; также используются GQA, SwiGLU, RoPE и RMSNorm. Заявлена поддержка английского, итальянского, французского, немецкого, португальского и испанского языков; предусмотрены режимы без рассуждений, рассуждений на итальянском или английском и краткого turbo-рассуждения. Длина контекста в предоставленных данных не указана. Разработчик позиционирует модель как эффективную альтернативу плотным моделям сопоставимого масштаба для организаций и исследовательских задач; примерно четверть обучающих данных составлял итальянский язык. Модель требует Transformers версии 4.57.0 и загрузки пользовательской архитектуры через trust_remote_code=True. Лицензия указана как проприетарная, поэтому условия использования следует сверять с лицензией репозитория.

ente-ai/gemma-4-E2B-it-GGUF — это GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 E2B, разработанной Google DeepMind и подготовленной для распространения в формате GGUF. Модель принимает текст, изображения и аудио, а генерирует текст; поддерживает более 140 языков. Она предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с вызовом функций. Модель имеет 2,3 млрд эффективных параметров, или 5,1 млрд с учётом embedding-слоёв, 35 слоёв и контекстное окно до 128K токенов. В архитектуре используется гибридное внимание: локальное sliding window attention с окном 512 токенов чередуется с глобальным вниманием. Поддерживаются настраиваемые режимы рассуждений, системные промпты и native function calling. Небольшой размер и оптимизация для устройств являются сильными сторонами, однако по возможностям и качеству сложных задач модель уступает более крупным вариантам семейства; конкретные характеристики также зависят от используемой GGUF-квантизации. Модель распространяется по лицензии Apache 2.0. README не указывает точный уровень квантизации данного файла и требования к аппаратному обеспечению.

coder3101/gemma-4-E2B-it-heretic — производная модель на базе Google Gemma 4 E2B IT, представленная в формате safetensors и доступная через Transformers. Это плотная мультимодальная модель семейства Gemma 4 для диалогов, рассуждений, генерации и редактирования кода, анализа изображений и аудио, а также сценариев с вызовом инструментов. README описывает для семейства Gemma 4 гибридное внимание, смешивающее локальные окна и глобальные слои, поддержку изображений, видео и аудио для вариантов E2B/E4B, а также контекст до 128 тысяч токенов для E2B/E4B; эти характеристики приведены для семейства и не подтверждены отдельно для этой производной версии. Метка heretic и теги uncensored/decensored/abliterated указывают на модификацию базовой модели, но карточка не поясняет способ и последствия этой модификации. README заявляет поддержку более 35 языков на уровне семейства. Модель распространяется по лицензии Apache-2.0. Возможны фактические ошибки, смещения, трудности с тонкими языковыми нюансами и сложными открытыми задачами; мультимодальные способности и характеристики контекста конкретной версии следует проверять отдельно.

Gemma-4-e4b-it-OptiQ-4bit — это локальная квантизированная версия языковой модели google/gemma-4-e4b-it, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq для Apple Silicon. Модель предназначена для генерации текста, включая объяснения, рассуждения, программирование, выполнение инструкций, работу с агентскими сценариями и вызовами инструментов. Она запускается локально через MLX и не требует PyTorch или облачной инфраструктуры. Модель использует смешанную точность: 224 слоя представлены в 4-битном формате, а 155 наиболее чувствительных слоя — в 8-битном; всего квантизировано 379 слоёв, размер группы — 64. Калибровка выполнялась на данных из шести областей: обычный текст, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,1 ГБ. Для ускорения декодирования поддерживается speculative decoding с отдельной моделью-драфтером gemma-4-e4b-it-assistant-bf16. По заявленным оценкам, версия OptiQ превосходит равномерную 4-битную квантизацию на тестах MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop; средний Capability Score составляет 68,92 против 55,20. Ограничения включают привязку к экосистеме MLX и Apple Silicon, а также увеличение размера примерно на 1,2 ГБ по сравнению с равномерной 4-битной версией. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

GKA-primed-HQwen3-8B-Reasoner — гибридная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Hybrid Model Factory Priming. В ней 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, который выполняет онлайн-регрессию с постоянным объёмом памяти и линейной стоимостью по длине последовательности. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста, многошаговых рассуждений на длинном контексте, решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Поддерживает режимы рассуждения с пошаговой внутренней генерацией и без него. По данным авторов, гибридная архитектура снижает нагрузку на KV-кэш и ускоряет инференс на длинных контекстах, сохраняя качество, близкое к Qwen3-8B; результаты различаются в зависимости от задачи. Карточка приводит слабый результат на SciCode относительно базовой модели. Модель доступна в формате Safetensors, точность в карточке указана как bfloat16. Лицензия — Apache 2.0. Для длинных генераций авторы рекомендуют vLLM; точность генерации на длинном контексте зависит от настроек кэша.

GLM-4.7-Flash — языковая модель для генерации текста, разработанная организацией Z.ai. Это MoE-модель класса 30B-A3B, предназначенная для лёгкого локального развёртывания с балансом между качеством и эффективностью. Представленная версия распространяется в формате GGUF и создана с использованием llama.cpp. Модель ориентирована на рассуждение, программирование, агентские сценарии, работу с инструментами и многошаговые диалоги. В README указана поддержка английского и китайского языков. Среди заявленных результатов — высокие показатели в AIME 25, GPQA, HLE, SWE-bench Verified, τ²-Bench и BrowseComp, однако эти результаты относятся к исходной модели и зависят от настроек оценки. Для локального запуска также заявлена совместимость с vLLM, SGLang и transformers. GGUF-версии используют квантизацию, в которой отдельные важные слои переводятся на более высокую точность для улучшения качества при заданном размере файла; компромиссом является увеличение объёма модели. В README не указаны размер контекста, полный перечень модальностей, требования к оборудованию и конкретные параметры отдельных квантов. Лицензия модели — MIT.

NVIDIA Kimi-K2.5-Thinking-Eagle3 — текстовая авторегрессионная модель, основанная на Moonshot AI Kimi-K2.5 и включающая Eagle3 для спекулятивного декодирования с Model Optimizer. В метаданных указаны архитектура Eagle3DeepseekV2ForCausalLM семейства Kimi-K2, 1,8 млрд параметров и контекст до 262 144 токенов. Модель предназначена для разработчиков чат-ботов, RAG-систем, AI-агентов и других приложений, а также для выполнения инструкций, диалога, генерации кода и рассуждений. Принимает текст и выдаёт текст. NVIDIA ориентирует её на системы с GPU NVIDIA; в README указаны TensorRT-LLM, Linux и совместимость с NVIDIA Blackwell. README заявляет возможность коммерческого и некоммерческого использования. Следует соблюдать NVIDIA Open Model License и условия Modified MIT License Kimi-K2.5. Для применения в конкретном сценарии нужна проверка на профильных данных; README также отмечает, что меры по снижению нежелательной предвзятости не указаны.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

MaziyarPanahi/Meta-Llama-3-8B-Instruct-GGUF — это квантизированная версия инструкционно дообученной модели Meta-Llama-3-8B-Instruct, разработанной Meta и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческого и исследовательского использования на английском языке. Для работы необходимо применять шаблон запросов Llama 3. Модель представляет собой авторегрессионную языковую модель на оптимизированной архитектуре Transformer с 8 млрд параметров и механизмом Grouped-Query Attention (GQA). Она принимает только текст и генерирует текст или код, имеет контекст 8 тысяч токенов и обучалась на более чем 15 трлн токенов общедоступных онлайн-данных. Инструкционная версия использует supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Репозиторий содержит варианты квантизации от 2 до 16 бит, что позволяет выбирать компромисс между размером модели, скоростью и качеством вывода. Сильными сторонами являются поддержка диалоговых сценариев, генерации кода и возможность запуска через совместимые инструменты для GGUF, включая llama.cpp, с меньшими требованиями к ресурсам благодаря квантизации. Ограничения включают преимущественную ориентацию на английский язык, контекст длиной 8 тысяч токенов, статичность модели и возможные потери качества в квантизированных вариантах. Использование регулируется пользовательской лицензией Meta Llama 3 и соответствующей политикой допустимого использования.

CIRU DualView Ornith 1.0 35B — мультимодальная модель для диалогов, рассуждений, работы с инструментами, программирования и анализа изображений. Она основана на объединении Ornith-1.0-35B и Qwen3.6-35B-A3B; архитектура включает 256 экспертов, из которых активны 8. Модель поставляется в формате GGUF с квантованием FPX7 и отдельными участками Q8, а также с проектором изображений и дополнительным слоем MTP. Заявленная длина контекста — 262 144 токена. DualView использует компактное представление весов для генерации и точное представление INT8 для обработки входного контекста. Модель предназначена для локального запуска на системах AMD с унифицированной памятью и ROCm. Для загрузки требуется совместимая сборка ROCmFPX; стандартный llama.cpp не поддерживает этот формат. Проверки производительности проведены для Linux ROCm на Strix Halo, а совместный режим vision и MTP ещё проходит валидацию качества изображений и повторяемости. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой модели и её лицензией.

phi-4-GGUF — это квантизированная в формате GGUF версия языковой модели Phi-4, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp, релиз b4456. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и других задач обработки естественного языка. Модель поддерживает контекст до 16 000 токенов и обучалась на 9,8 триллиона токенов, включая синтетические данные, отфильтрованные общедоступные веб-страницы, академические книги и наборы вопросов и ответов. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в приложениях, поддерживающих этот формат, включая LM Studio. К сильным сторонам относятся широкий набор обучающих данных, поддержка длинного контекста и специализация на задачах диалога, математики и кода. Модель может генерировать неточные, вредные или неподходящие ответы, поэтому результаты требуют проверки. В README не указаны конкретная архитектура, число параметров и характеристики отдельных вариантов квантизации. Модель распространяется по лицензии MIT.

Qwen3-1.7B-unsloth-bnb-4bit — компактная каузальная языковая модель семейства Qwen3, представленная Unsloth и основанная на базовой модели Qwen/Qwen3-1.7B, разработанной командой Qwen. Данная версия предназначена для запуска и дообучения в формате 4-bit с использованием Transformers, что снижает требования к памяти по сравнению с полноразмерными вариантами. Модель подходит для генерации текста, диалогов, следования инструкциям, математических и логических задач, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрой генерации. Заявлена поддержка более 100 языков и диалектов, однако в карточке явно указан язык English. Архитектура — causal language model с 1,7 млрд параметров, из которых 1,4 млрд не являются embedding-параметрами; модель содержит 28 слоёв, использует GQA с 16 головами для Q и 8 для KV, а максимальная длина контекста составляет 32 768 токенов. К сильным сторонам относятся небольшой размер, сниженное потребление памяти благодаря 4-bit-квантизации, мультиязычность, режимы рассуждения и эффективная работа в задачах диалога, инструкций, кода и агентского взаимодействия. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, возможное снижение точности из-за квантизации и отсутствие в README подробных результатов бенчмарков, требований к оборудованию и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Это версия Qwen3-30B-A3B-Thinking-2507, опубликованная Unsloth на базе Qwen/Qwen3-30B-A3B-Thinking-2507. Модель представляет собой причинную языковую модель с архитектурой MoE и предназначена для генерации текста в диалоговом режиме. Она работает только в режиме рассуждения и рассчитана на сложные задачи: логические выводы, математику, науку, программирование, следование инструкциям и использование инструментов. В модели около 30,5 млрд параметров, из которых активируются 3,3 млрд; указанный в метаданных размер составляет 2,6 млрд параметров. Она поддерживает контекст до 262 144 токенов. Карточка сообщает об улучшениях в рассуждении, работе с длинным контекстом и общих диалоговых возможностях. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.6-27B-AWQ-6Bit — квантованная версия открытой модели Qwen3.6-27B, разработанной командой Qwen. Вариант из данного репозитория получен с помощью data-free-квантования без калибровочного набора данных и предназначен для запуска через Transformers и высокопроизводительные серверы инференса, включая vLLM, SGLang и KTransformers. Модель представляет собой авторегрессионную языковую модель с vision encoder, содержащую около 27 млрд параметров. Архитектура включает 64 слоя, Gated DeltaNet и Gated Attention, а также поддержку multi-step speculative decoding. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Основные сценарии применения — программирование, агентная работа с кодом, анализ репозиториев, фронтенд-разработка, рассуждения по длинному контексту и задачи, требующие обработки текста и изображений. README не указывает полный перечень поддерживаемых языков. К сильным сторонам относятся большой контекст, ориентация на coding agent-сценарии, поддержка сохранения контекста рассуждений и снижение требований к памяти благодаря AWQ-квантованию до 6 бит; размер файлов модели составляет около 26 GiB. Ограничения включают возможные потери качества относительно исходной модели из-за квантования, отсутствие опубликованных в README подробных результатов именно для этой квантованной версии и зависимость от совместимых версий vLLM, Transformers и CUDA. Для запуска рекомендуются vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0; при использовании tensor parallelism на 8 GPU требуется expert parallelism. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

Qwopus3.8-27B-Flash-GGUF — это мультимодальная инструкция-ориентированная модель на 27 миллиардов параметров, представленная в формате GGUF. Она основана на модели Jackrong/Qwopus3.8-27B-Flash, а GGUF-квантизацию выполнил mradermacher. Модель поддерживает обработку текста и изображений, генерацию текста, рассуждения, написание кода, агентские сценарии, использование инструментов и вызов функций. Заявлена поддержка английского, китайского, испанского, русского и японского языков. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для задач conversational AI, text-generation и image-text-to-text. В комплект входят мультимодальные дополнения mmproj, необходимые для работы с изображениями, и несколько вариантов квантизации размером примерно от 11 до 29,1 ГБ. В README наиболее быстрыми и рекомендуемыми названы Q4_K_S и Q4_K_M, а Q8_0 отмечен как вариант с лучшим качеством среди перечисленных. К сильным сторонам относятся мультимодальность, поддержка нескольких языков, возможности рассуждения, генерации кода, агентского взаимодействия и tool use, а также широкий выбор вариантов квантизации для локального запуска. Ограничения включают необходимость значительных вычислительных ресурсов для 27B-модели, возможное снижение качества при сильной квантизации и отсутствие в README сведений о размере контекста, результатах бенчмарков и подробностях архитектуры. Модель распространяется по лицензии Apache-2.0.

BennyDaBall/Qwopus3.8-27B-Flash-NVFP4 — локальная квантованная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong. Это GGUF-модель для запуска через llama.cpp и LM Studio, оптимизированная прежде всего для видеокарт NVIDIA Blackwell, включая RTX 5090. Модель предназначена для программирования, агентских сценариев, работы с инструментами и функциями, генерации кода и диалоговых приложений. В основе находится плотная текстовая модель с 27 млрд параметров и 64 текстовыми слоями, использующая NVFP4 для основных матриц внимания, Gated DeltaNet и MLP. В модели сохранена высокоточная MTP-компонента для встроенного speculative decoding без отдельной draft-модели. Выходные, embedding- и крупные MTP-тензоры имеют более высокую точность, а малые служебные тензоры сохранены в F32. Поддерживается контекст до 262 144 токенов. Модель мультимодальная: для анализа изображений используется отдельный совместимый BF16 vision projector. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся уменьшенный размер по сравнению с исходной BF16-версией, встроенное ускорение генерации через MTP, поддержка изображений, tool use и function calling, а также готовый шаблон чата с поддержкой мультимодального ввода и сохранения reasoning-контента. Основные ограничения связаны с требованиями к окружению: оптимизация и проверка выполнены на одной RTX 5090 с 32 ГБ памяти, необходима свежая сборка llama.cpp с поддержкой NVFP4, мультимодальности и draft-mtp, а старые runtime могут не загрузить тензоры типа 40. Для работы с изображениями требуется дополнительный файл mmproj; доступный контекст в таком режиме может быть уменьшен из-за расхода памяти. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-GGUF — компактная языковая модель общего назначения, разработанная XHToken и представленная в формате GGUF. Модель предназначена для диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Это текстовая модель размером 4 млрд параметров с гибридной архитектурой внимания, нативной длиной контекста до 1 млн токенов и поддержкой более 200 языков, включая английский и китайский. К сильным сторонам относятся компактный размер, широкий набор прикладных задач, многоязычность и возможность локального запуска через llama.cpp, Ollama, LM Studio и Unsloth. Для работы требуется совместимая версия программного обеспечения с поддержкой архитектуры spark2_5: llama.cpp b10828 или новее, Ollama v0.34.1 или новее либо соответствующая версия LM Studio. README не содержит подробных результатов тестирования, требований к ресурсам и сведений о поддерживаемых модальностях помимо обработки текста. Модель распространяется по лицензии Apache License 2.0.