I.2Синтез, понимание и проверка знаний

cyankiwi/Qwen3.8-27B-AWQ-FP8 — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем cyankiwi. Модель предназначена для работы в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и TokenSpeed. Это плотная причинно-следственная языковая модель с vision-энкодером, поддерживающая понимание текста, изображений и видео. Она ориентирована на программирование, профессиональные и исследовательские задачи, обработку документов и STEM-материалов, а также многошаговые агентские сценарии. Доступны управляемый режим рассуждений, настройка глубины рассуждений через reasoning_effort и сохранение контекста рассуждений между сообщениями через preserve_thinking. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 000 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер опубликованных файлов составляет 31,28 ГБ. К сильным сторонам относятся мультимодальность, длинный контекст и ориентация на сложные многошаговые задачи; конкретные ограничения производительности в представленном фрагменте README не указаны. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-8B-GGUF — версия языковой модели Qwen3-8B, подготовленная Unsloth в формате GGUF на базе Qwen/Qwen3-8B. Qwen разработана Alibaba Cloud. Модель предназначена для диалоговых приложений, следования инструкциям, генерации текста и кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Это каузальная языковая модель с 8,2 млрд параметров, из которых 6,95 млрд приходятся не на embedding-слои. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами для Q и 8 для KV. Поддерживаются режимы «мышления» и «без мышления», между которыми можно переключаться в запросах. Нативная длина контекста составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Заявлена поддержка более 100 языков и диалектов; в метаданных README отдельно указан английский язык. Сильными сторонами являются рассуждение, следование инструкциям, многоязычность, генерация кода и поддержка агентских задач, а также возможность выбирать между качеством рассуждения и скоростью ответа. Ограничения включают отсутствие в предоставленных данных подробностей о фактической производительности, требованиях к оборудованию и поддерживаемых инструментах запуска. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-8B-Thinking-unsloth-bnb-4bit — это 4-битная версия мультимодальной vision-language модели Qwen3-VL-8B-Thinking, подготовленная Unsloth на основе модели Qwen/Qwen3-VL-8B-Thinking. Разработчик базовой модели — команда Qwen; Unsloth предоставляет оптимизированное квантование Unsloth Dynamic 2.0. Модель предназначена для понимания и генерации текста с учётом изображений и видео, визуального рассуждения, анализа документов, OCR, STEM- и математических задач, пространственного анализа, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться для генерации HTML/CSS/JS и Draw.io по изображениям или видео, распознавания объектов и событий, анализа длинных документов и видео. Архитектура модели — dense, размер — 8B параметров; используется редакция Thinking с усиленным рассуждением. Заявлена поддержка контекста 256K токенов с возможностью расширения до 1M, а также видео с временной индексацией. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. OCR поддерживает 32 языка. Квантование в 4 бита снижает требования к памяти, но может влиять на точность по сравнению с полноразмерными весами. Лицензия — Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT-FP8-Dynamic — динамически квантованная версия модели Qwen-SEA-LION-v4.5-27B-IT. Базовая модель разработана AI Products Pillar организации AI Singapore, а квантование выполнил toeniant с использованием llmcompressor и схемы FP8_DYNAMIC. Модель предназначена для мультиязычного понимания и генерации текста, рассуждений, программирования, агентских сценариев, работы с репозиториями и визуально-текстовых задач. Модель содержит около 27 млрд параметров и построена на плотной архитектуре Qwen3.6-27B с гибридным дизайном Linear Attention и Full Attention. Она оснащена vision encoder и поддерживает единое мультимодальное взаимодействие с текстом и изображениями. Контекстное окно составляет 262 тысячи токенов. Поддерживаются английский, бирманский, индонезийский, филиппинский, малайский, тамильский, тайский и вьетнамский языки. Квантирование per-tensor dynamic FP8 в формате w8a8 уменьшает размер примерно с 54,5 до 29,5 ГБ, при этом, согласно README, практически не снижает точность относительно BF16; для инференса рекомендуется vLLM версии 0.7 или выше с включённым FP8. К сильным сторонам относятся большой контекст, мультиязычная и мультимодальная обработка, настраиваемые режимы рассуждения и высокая эффективность по памяти благодаря FP8. Ограничения включают отсутствие специального safety-alignment, риск галлюцинаций и нерелевантных ответов; результаты необходимо проверять, а безопасность дополнительно настраивать самостоятельно. Модель распространяется по лицензии MIT.

Карточка модели Reeves289/Spark-X2.5-4B на Hugging Face совпадает с карточкой XHToken/Spark-X2.5-4B, поэтому описание составлено по ней. Spark-X2.5-4B — компактная универсальная языковая модель от XHToken, представленная в виде дообученного чекпойнта для Transformers. Она содержит 3,8 млрд параметров и использует плотную архитектуру Spark2_5 с чередованием одного слоя полного внимания и трёх слоёв скользящего оконного внимания. Модель рассчитана на контекст до 1 048 576 токенов и, по заявлению разработчиков, поддерживает более 200 языков. Модель предназначена для диалога, написания и перевода текстов, рассуждений, программирования, следования инструкциям, вызова инструментов и агентных сценариев. Разработчики сообщают о предварительном обучении на примерно 20 трлн токенов и последующем дообучении с учителем и усилением; веса доступны в формате Safetensors и совместимы с Transformers. Для эксплуатации заявлена поддержка нескольких аппаратных платформ и сред инференса, включая vLLM, SGLang, llama.cpp, MLX, Ollama и LM Studio. Модель распространяется по лицензии Apache-2.0. Окно в миллион токенов требует достаточной памяти устройства; в README советуют уменьшить длину контекста при нехватке памяти. Заявления о сравнительных результатах принадлежат разработчикам и зависят от режима оценки и настроек генерации.

Spark-X2.5-4B-Base — предварительно обученная плотная языковая модель семейства Spark2.5 от разработчиков Spark-X2.5. Она содержит 3,8 млрд параметров и предназначена для генерации текста, диалогов, написания и перевода текстов, рассуждений, программирования и использования инструментов в агентных сценариях. Гибридная архитектура чередует один слой полного внимания с тремя слоями внимания в скользящем окне, что помогает снизить вычислительные затраты и расход KV-кэша при длинном контексте. Модель поддерживает контекст до 1 048 576 токенов. README заявляет поддержку более 200 языков, включая английский и китайский; метаданные также отмечают интерфейс для вызова инструментов. Веса доступны в формате Safetensors для Transformers. Модель рассчитана на применение в чат-ботах, программировании и агентных системах; совместима с несколькими аппаратными платформами и системами инференса. Лицензия — Apache-2.0. Заявленные в карточке сравнительные преимущества не сопровождаются здесь подробностями оценок; фактическое качество может зависеть от задачи и конфигурации.

Dolphin-2.9.3-Yi-1.5-34B-32k-GGUF — это квантизированная GGUF-версия текстовой генеративной модели dolphin-2.9.3-Yi-1.5-34B-32k. Базовая модель — 01-ai/Yi-1.5-34B-32k, исходная модель опубликована cognitivecomputations, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Поддерживается шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 34 миллиарда параметров и заявленный контекст до 32 тысяч токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступно множество вариантов квантизации от Q8_0 и Q6_K до Q3 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более низкие варианты требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты обозначены как экспериментальные. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется совместимый стек llama.cpp или другое программное обеспечение, поддерживающее формат GGUF и соответствующие схемы квантизации.

unsloth/gemma-4-31B — дообученная Unsloth версия мультимодальной плотной модели Gemma 4 31B от Google DeepMind. Она принимает текст и изображения и формирует текстовые ответы; заявленные сценарии включают диалог, рассуждения, программирование и визуальный анализ. Модель использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для семейства Gemma 4 31B заявлено контекстное окно до 256 тыс. токенов и поддержка более 35 языков; эти характеристики указаны для семейства, а не подтверждены отдельно для данной версии. Подходит для анализа изображений, извлечения текста из документов и графиков, ответов на вопросы по визуальному содержимому, генерации и исправления кода, суммаризации и диалоговых помощников. Карточка также описывает вызов функций и обработку видео для Gemma 4, но метаданные этой модели подтверждают только обработку изображений и текста. Аудио поддерживают только варианты E2B и E4B, поэтому эти возможности не относятся к версии 31B. Модель распространяется по лицензии Apache-2.0. Ответы могут содержать фактические ошибки, а результаты зависят от качества обучающих данных и формулировки запроса.

QuantTrio/gemma-4-31B-it-AWQ — это квантизированная версия инструкционно дообученной мультимодальной модели google/gemma-4-31B-it, разработанной Google DeepMind. Репозиторий QuantTrio содержит AWQ-квантизацию, выполненную методом data-free quantization без калибровочного датасета. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалогов, анализа изображений, генерации текста, программирования, рассуждений и агентских сценариев с вызовом инструментов. Базовая модель относится к плотной архитектуре Gemma 4 и содержит около 30,7 млрд параметров, 60 слоёв и словарь размером 262 тысячи токенов. Она использует гибридный механизм внимания с чередованием локального sliding-window attention и глобального внимания; размер локального окна составляет 1024 токена. Заявленное контекстное окно — до 256 тысяч токенов. Для мультимодальной обработки используется визуальный энкодер примерно на 550 млн параметров; аудио для версии 31B не заявлено. Семейство Gemma 4 поддерживает более 140 языков, однако отдельные характеристики языкового покрытия именно этой сборки в README не уточняются. К сильным сторонам относятся большой контекст, поддержка изображений, возможности рассуждения, кодирования, native function calling и оптимизация для эффективного серверного развёртывания через vLLM. AWQ-квантизация уменьшает размер модели: указанный размер файлов составляет около 20 GiB, что может снизить требования к видеопамяти по сравнению с полной точностью. Ограничениями являются возможная потеря качества из-за квантизации, необходимость совместимых версий vLLM и Transformers, CUDA 12.8 и конфигурации с tensor parallelism; фактические требования зависят от выбранных параметров запуска и оборудования. Модель распространяется по лицензии Apache 2.0 с дополнительными условиями лицензии Gemma 4, ссылка на которую указана в README.

coder3101/gemma-4-31B-it-heretic — дообученная версия Gemma 4 31B IT, основанная на google/gemma-4-31B-it. Модель создана сообществом coder3101; по меткам heretic, uncensored, decensored и abliterated она позиционируется как версия с ослабленными ограничениями на ответы. Архитектура — плотная мультимодальная Gemma4ForConditionalGeneration; репозиторий содержит веса Safetensors и предназначен для работы через Transformers. Модель принимает текст и изображения и генерирует текст. Подходит для диалогов, ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа диаграмм, написания и исправления кода, суммаризации и задач с длинным контекстом. В README семейства заявлена поддержка более 35 языков и контекст до 256K токенов для версии 31B; аудиообработка описана только для меньших вариантов Gemma 4, поэтому к этой модели её не относим. Гибридное чередование локального и глобального внимания рассчитано на эффективную обработку длинных последовательностей. Модель может ошибаться в фактах, упускать языковые нюансы и отражать смещения обучающих данных; ослабленные ограничения могут повышать риск нежелательных ответов. Лицензия — Apache-2.0.

Карточка модели marcus230/gemma-4-E4B-it-ultra-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-ultra-uncensored-heretic — производная от Google Gemma 4 E4B Instruct мультимодальная модель, дообученная независимым автором. В основе — плотная архитектура Gemma4ForConditionalGeneration с чередованием локального оконного и глобального внимания. Модель рассчитана на диалог, рассуждения, программирование и понимание мультимодальных данных; для варианта E4B заявлено контекстное окно до 128 тыс. токенов. Модель принимает текст и изображения, а семейство E4B также поддерживает аудиовход для распознавания речи и перевода речи в текст. Gemma 4 заявлена как многоязычное семейство с поддержкой более 35 языков; конкретный языковой охват этой производной отдельно не описан. Возможны извлечение текста из документов и изображений, понимание диаграмм и интерфейсов, генерация и исправление кода, суммаризация и диалог. Название uncensored указывает на изменённое поведение отказов, но README не раскрывает точный объём изменений. Карточка предупреждает о возможных предвзятости, фактических ошибках, затруднениях с нюансами языка и сложными открытыми задачами. Модель распространяется по лицензии Apache-2.0.

GLM-4.5-FP8 — открытая большая языковая модель семейства GLM-4.5, разработанная организацией Z.ai (Zhipu AI). Это вариант GLM-4.5 с точностью FP8, предназначенный для генерации текста, рассуждений, программирования и создания интеллектуальных агентов, включая сценарии с использованием инструментов. Модель построена по архитектуре Mixture-of-Experts (MoE) и содержит 355 млрд параметров, из которых активно используются 32 млрд. Она поддерживает гибридное рассуждение в двух режимах: thinking mode для сложных задач и работы с инструментами и non-thinking mode для быстрых прямых ответов. В карточке указаны языки English и Chinese; модель интегрируется с Transformers, vLLM и SGLang. Размер контекста в предоставленных данных не указан. Сильные стороны модели — сочетание возможностей рассуждения, программирования и агентных задач, а также сниженная точность FP8, потенциально позволяющая эффективнее использовать вычислительные ресурсы по сравнению с полноточными вариантами. В README приведены высокие результаты на TAU-Bench, AIME 24 и SWE-bench Verified, однако конкретные требования к аппаратному обеспечению и ограничения производительности для данной конфигурации в предоставленном фрагменте не раскрыты. Модель распространяется по лицензии MIT и допускает коммерческое использование и вторичную разработку.

GLM-4.7-Flash — языковая модель семейства GLM от Z.ai, представленная как модель Mixture of Experts с конфигурацией 30B-A3B: около 30 млрд параметров всего и примерно 3 млрд активных на токен. Метаданные Hugging Face указывают 4,1 млрд параметров, поэтому сведения о размере в источниках расходятся. Модель распространяется в формате Safetensors и работает через Transformers; для локального запуска также заявлена поддержка vLLM и SGLang. Модель предназначена для генерации текста и диалогов, включая рассуждения, программирование и агентные сценарии. В карточке приведены результаты бенчмарков по математике, вопросам на научные знания и программированию; заявлено окно контекста 202 752 токена. Карточка указывает английский и китайский языки. Модель выпущена Z.ai под лицензией MIT. Производитель позиционирует её как вариант для относительно лёгкого локального развёртывания с балансом производительности и эффективности. Для vLLM и SGLang требуются версии из основных веток проектов.

QuantTrio/GLM-4.7-Flash-AWQ — квантованная версия модели GLM-4.7-Flash, разработанной командой GLM (Z.ai). Модель предназначена для генерации текста, рассуждений, программирования, решения задач и агентских сценариев, включая использование инструментов. Она поддерживает английский и китайский языки и рассчитана на работу с Transformers, vLLM и SGLang. В основе лежит MoE-архитектура размером 30B-A3B: общий объём параметров составляет около 30 млрд, при этом в вычислениях активируется примерно 3 млрд параметров. Версия AWQ занимает около 19 GiB и ориентирована на более эффективное локальное развёртывание. В README для запуска через vLLM указан максимальный контекст 32 768 токенов, а также поддержка tensor parallelism, expert parallelism, tool calling и speculative decoding. Приведённые результаты показывают сильные показатели в математике, общих знаниях, программировании, агентских задачах и веб-поиске, однако сравнительные результаты зависят от конкретного бенчмарка. Основные ограничения — необходимость актуальных версий vLLM и Transformers, поддержка модели только в основных ветках соответствующих проектов, требование CUDA 12.8 для указанной конфигурации и рекомендованный запуск с распределением на два GPU. Лицензия модели — MIT.

Карточка модели ahmed-amedo/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели Langitzt/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

Карточка модели nesoai/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

RadixArk/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash-BF16 от Z.ai, подготовленная RadixArk. Это производный чекпойнт без дополнительного обучения или дообучения, созданный с помощью NVIDIA Model Optimizer 0.46.0. Модель предназначена для агентной разработки, программирования, рассуждений с длинным контекстом, работы с инструментами, диалогов и других приложений на базе ИИ. Модель использует гибридную архитектуру Transformer со sparse Mixture-of-Experts: 320 млрд параметров всего и около 18 млрд активных на токен. Архитектура включает 45 слоёв, 42 MoE-слоя с 288 маршрутизируемыми экспертами, общим экспертом, KDA linear attention, DSA sparse attention, MLA, vision encoder и механизмом MTP/NextN. Она принимает текст, изображения и видео, выдаёт текст, поддерживает английский и китайский языки и контекст до 1 048 576 токенов. Ключевая особенность чекпойнта — смешанная NVFP4 W4A4-квантизация с group size 16 и нормализацией tensor-scale 256. Большинство MLP-тензоров экспертов квантизировано, тогда как компоненты внимания, vision tower, маршрутизаторы, нормализация, эмбеддинги, языковая голова и другие критичные компоненты сохранены в исходной точности. Это снижает требования к памяти и делает модель пригодной для эффективного развёртывания, но требует совместимой инфраструктуры. Заявлена проверка на NVIDIA Blackwell, включая конфигурацию из четырёх GB300; основной runtime — SGLang под Linux. Для KV-кэша поддерживаются FP8 и BF16 варианты. Модель распространяется по лицензии MIT. Для запуска рекомендованы официальный образ SGLang GLM-5.3-Flash и конфигурация на четырёх GPU. RadixArk не является разработчиком исходной модели, поэтому сведения о её обучении, исходных возможностях и условиях использования следует уточнять в карточке GLM-5.3-Flash-BF16 от Z.ai.

GPT-6 Astra — флагманская модель OpenAI для сложных комплексных задач. Она предназначена для углублённого анализа, разработки программного обеспечения, исследований, научной работы и создания документов. README также отмечает её пригодность для длительных задач, требующих последовательной работы. Доступные сведения не описывают архитектуру, размер, модальности, языки, контекст или лицензию модели. Метаданные каталога относят её к задаче image-text-to-text, но приведённая часть README не подтверждает работу с изображениями.

Hermes 3 — универсальная диалоговая языковая модель Nous Research, дообученная на базе Meta Llama 3.1 70B. Это плотная авторегрессионная модель примерно на 69,5 млрд параметров с контекстом до 131 072 токенов; она принимает текст и выдаёт текст. Карточка указывает английский язык, а формат диалогов ChatML поддерживает системные инструкции и многоходовое общение. Модель предназначена для общего ассистирования: следования инструкциям, рассуждений, ролевых диалогов, генерации кода и работы с длинным контекстом. Она поддерживает интерфейс вызова инструментов и структурированный вывод, в том числе ответы в JSON по заданной схеме. Это возможности генерации, а не отдельные pipeline-задачи. Модель распространяется по лицензии Llama 3. В карточке отмечены сильные стороны в диалогах, управляемости, вызове функций и генерации кода; качество может различаться по задачам, и заявленная конкурентоспособность основана на сравнении с Llama 3.1 Instruct.

Карточка модели genevaquant/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Hunyuan-4B-Instruct — языковая модель Tencent на архитектуре HunYuan Dense V1 с 3,9 млрд параметров, дообученная для выполнения инструкций и диалогов на основе tencent/Hunyuan-4B-Pretrain. Она предназначена для генерации ответов, решения математических и научных задач, программирования, рассуждений и сценариев с использованием инструментов. Модель поддерживает режимы быстрого и пошагового рассуждения и контекст до 262 144 токенов; для инференса использует Transformers, также в карточке описано развертывание через TensorRT-LLM, vLLM и SGLang. Среди заявленных сильных сторон — работа с длинными текстами и агентными задачами, а также эффективный инференс благодаря Grouped Query Attention. В README приведены результаты бенчмарков для задач математики, науки, программирования, рассуждений, следования инструкциям, работы с агентами и длинным контекстом; таблица отдельно предупреждает, что часть результатов получена для базовых моделей семейства. Данных о лицензии в предоставленной карточке нет.

Inkling-NVFP4 — квантованная версия мультимодальной модели Inkling, разработанная Thinking Machines. Это универсальная авторегрессионная модель для разработчиков, создающих AI-приложения: агентные и инструментальные системы, ассистенты программирования, чат-боты и решения с retrieval-augmented generation. Она также подходит для диалогов общего назначения, следования инструкциям и других текстовых и мультимодальных задач. Модель распространяется с открытыми весами для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой decoder-only transformer из 66 слоёв с разреженным Mixture-of-Experts: для каждого токена выбираются 6 из 256 экспертов, а ещё 2 общих эксперта активны постоянно. Внимание сочетает локальные и глобальные слои. Модель принимает текст, изображения и аудио, объединяя их в общем скрытом пространстве; изображения и видео обрабатываются иерархическим patch-энкодером, аудио — через дискретное токенизирование. Всего заявлено 975 млрд параметров, из них 41 млрд активны для отдельного токена. Версия поддерживает числовой формат NVFP4, а базовая модель также доступна в BF16. На вход подаются UTF-8-текст, изображения в пиксельных форматах и WAV-аудио с частотой 16 кГц; для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и аудио длительностью менее 20 минут. На выходе модель генерирует UTF-8-текст. Основной язык — английский, при этом заявлены общие мультиязычные возможности и поддержка нескольких языков программирования. К ограничениям относятся отсутствие подробных данных о длине контекста в представленном README и потенциальные требования к вычислительным ресурсам из-за большого общего числа параметров, несмотря на разреженную активацию и квантование. Модель распространяется по лицензии Apache 2.0; также действует отдельная политика допустимого использования Thinking Machines.

Ling-3.0-flash-int4 — текстовая генеративная модель от inclusionAI, представленная в формате int4 и распространяемая по лицензии MIT. Она предназначена для генерации текста, рассуждений, следования инструкциям, программирования, задач общего назначения, глубокого исследования и агентских рабочих процессов, включая взаимодействие с инструментами и выполнение многошаговых задач. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention (KDA) и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на токен активируется 8 экспертов. Общий объём составляет 124 млрд параметров, активный — 5,1 млрд. Размер скрытого состояния — 2560, число голов внимания — 32, словарь содержит 157184 токена. Контекст обучался поэтапно от 8K до 256K токенов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильные стороны модели — высокая вычислительная эффективность, поддержка длинного контекста, рассуждений и агентских сценариев, а также оптимизация для производственного развёртывания. Указана интеграция с иерархическим кэшированием SGLang HiCache и Mooncake, которое, по данным разработчика, снижает время до первого токена на 60–80% при длинных входах. Ограничения включают отсутствие в README подробностей о точности int4, фактических требованиях к аппаратному обеспечению, качестве на конкретных языках и результатах независимой проверки. Лицензия — MIT.

casperhansen/mistral-nemo-instruct-2407-awq — это 4-битная AWQ-квантизированная версия Mistral-Nemo-Instruct-2407, опубликованная пользователем casperhansen на Hugging Face. Исходную модель разработали совместно Mistral AI и NVIDIA; она представляет собой instruction-tuned версию Mistral-Nemo-Base-2407 и предназначена для генерации текста, диалогов, следования инструкциям и вызова функций. Модель содержит около 12 млрд параметров и использует архитектуру Transformer с 40 слоями, размерностью 5120, 32 attention heads и 8 key-value heads в конфигурации GQA, активацией SwiGLU и словарём примерно на 128 тысяч токенов. Исходная модель обучалась с контекстом 128K токенов на многоязычных и программных данных; заявлена поддержка девяти языков, включая русский. AWQ-квантизация до 4 бит уменьшает требования к памяти и подходит для локального инференса через Transformers, vLLM и SGLang, но может немного снижать точность относительно исходной версии. Сильные стороны — большой контекст, многоязычность, работа с кодом, поддержка диалогового режима и function calling, а также более экономичный инференс благодаря квантизации. Ограничение исходной модели — отсутствие встроенных механизмов модерации, поэтому её ответы могут требовать дополнительного контроля. Для базовой Mistral-Nemo-Instruct-2407 указана лицензия Apache 2.0; отдельная карточка AWQ-репозитория не содержит дополнительного лицензионного описания.

NVIDIA Nemotron-3-Nano-30B-A3B-BF16 — языковая модель NVIDIA, обученная с нуля для диалогов, рассуждений и выполнения инструкций. В карточке модели указана гибридная архитектура Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 слоёв внимания. Всего модель содержит 30 млрд параметров, из которых активируются 3,5 млрд; в метаданных репозитория указано 1,9 млрд параметров. Конфигурация Hugging Face задаёт контекст 262 144 токена, а README заявляет поддержку контекста до 1 млн токенов. Модель предназначена для чат-ботов, AI-агентов, RAG-систем и других приложений, которым нужны ответы на вопросы, следование инструкциям, рассуждения, помощь с программированием и вызов инструментов. Режим генерации рассуждений настраивается шаблоном чата; по данным README, его отключение может немного снизить точность на сложных запросах. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README модель названа готовой к коммерческому использованию, однако метаданные указывают лицензию «other» и не приводят её условия; перед внедрением следует проверить лицензию в репозитории. Карточка также отмечает улучшение с использованием Qwen, но не уточняет идентификатор базовой модели.

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она создана на основе Nemotron-3-Super-120B-A12B методом многоэтапного сжатия и восстановления: использованы pruning компонентов MoE и Mamba, дистилляция, обучение с подкреплением, квантизация NVFP4 и Multi-Token Prediction. Архитектура сочетает Mamba2, Transformer, LatentMoE и механизм MTP; модель содержит 75,3 млрд параметров, из которых активно 9,3 млрд. Модель предназначена для чат-ботов, RAG-систем, совместной работы агентов, сложного следования инструкциям и рассуждений по длинному контексту, а также задач программирования. Заявлена поддержка английского, французского, немецкого, итальянского, японского, испанского и китайского языков. В карточке указано окно контекста до 1 млн токенов для сценариев оценки конкурентности, а NVFP4-вариант ориентирован на GPU поколения Blackwell; NVIDIA сообщает о повышении пропускной способности относительно родительской модели. Модель заявлена как готовая к коммерческому использованию. Лицензия Hugging Face обозначена как other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Квантизация и сжатие могут влиять на качество в отдельных задачах; опубликованные сравнительные результаты относятся к указанным в карточке бенчмаркам и конфигурациям.

Mungert/NVIDIA-Nemotron-Nano-12B-v2-GGUF — это GGUF-версия языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA Corporation и преобразованной с использованием llama.cpp. Модель дообучена на базе NVIDIA-Nemotron-Nano-12B-v2-Base и предназначена для генерации текста, диалогов, следования инструкциям и решения задач с рассуждением, включая программирование, математические задачи, чат-ботов, RAG-системы и AI-агентов. Модель имеет гибридную архитектуру Mamba2-Transformer (Nemotron-Hybrid), включающую преимущественно слои Mamba-2 и MLP, а также четыре attention-слоя. Она поддерживает текстовый ввод и вывод, контекст до 128K токенов и управление бюджетом рассуждений во время инференса. В карточке указана поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе о вводе дополнительно перечислены корейский, португальский, русский и китайский языки. Модель имеет размер 12B параметров. Сильными сторонами являются сочетание возможностей рассуждения и обычного диалога, большой контекст, возможность отключать или ограничивать рассуждения, а также оптимизация GGUF-представления с повышением точности отдельных важных слоёв при квантовании. Ограничения включают возможное снижение точности при отключении рассуждений и увеличение размера файлов из-за повышения точности отдельных слоёв; конкретные характеристики производительности зависят от выбранного варианта квантования. Использование разрешено для коммерческих целей в соответствии с NVIDIA Open Model License Agreement.

QuantFactory/Phi-3.5-mini-instruct-GGUF — квантизированная версия языковой модели Phi-3.5-mini-instruct, созданная QuantFactory с использованием llama.cpp на основе модели Microsoft. Это компактная instruction-tuned модель для коммерческого и исследовательского применения, включая генеративные функции, многоязычный диалог, обработку текста, а также задачи, требующие рассуждений, особенно в программировании, математике и логике. Модель относится к семейству Phi-3 и содержит 3,8 млрд активных параметров. Она поддерживает контекст длиной до 128 тысяч токенов, ориентирована на текстовую генерацию и многоязычные сценарии. При обучении использовались синтетические данные и отфильтрованные общедоступные веб-источники, а для улучшения следования инструкциям и безопасности применялись supervised fine-tuning, proximal policy optimization и direct preference optimization. Квантизация предназначена для запуска в условиях ограниченных ресурсов, включая сценарии с требованиями к низкой задержке. К сильным сторонам относятся компактность, сравнительно высокая способность к рассуждениям для модели такого размера, улучшенное качество многоязычного и многоходового диалога и пригодность для сред с ограниченными вычислительными ресурсами. Ограничения включают типичные для языковых моделей риски неточностей, проблем с безопасностью и справедливостью; модель не оценивалась специально для всех прикладных сценариев, поэтому её необходимо тестировать и дополнительно контролировать, особенно в высокорисковых задачах. Модель распространяется по лицензии MIT.

Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.