II.4Отладка, тестирование и качество ПО

Granite-4.2-8B (FP8) — квантизированная в формате FP8 версия языковой модели Granite 4.2, разработанной IBM Research и распространяемой через IBM Granite. Это dense reasoning language model примерно на 8 млрд параметров; в репозитории FP8-версии указано около 9 млрд параметров с тензорами BF16 и F8_E4M3. Модель предназначена для генерации текста, диалога, следования инструкциям, программирования, решения математических и многошаговых задач, а также для построения корпоративных AI-агентов с вызовом инструментов. Granite 4.2 поддерживает встроенное пошаговое рассуждение, режимы полного, отключённого и облегчённого reasoning, а также reasoning-augmented tool calling. Заявлено контекстное окно 128K токенов. Модель протестирована для диалога на английском, немецком, испанском, французском, японском, португальском, арабском, чешском, итальянском, корейском, нидерландском и китайском языках. FP8-представление снижает требования к памяти и подходит для развёртывания через Transformers, vLLM и SGLang, но требует совместимой поддержки FP8 и квантизированных тензоров. Сильные стороны модели — сочетание reasoning, кодирования, многошагового планирования и вызова инструментов при относительно компактном размере, а также возможность выбора баланса между качеством рассуждения и задержкой. В доступных первоисточниках не приведены подробные сведения о внутренней конфигурации слоёв именно FP8-варианта, полном наборе ограничений безопасности и численных характеристиках для всех сценариев; поэтому результаты требуют проверки в прикладных задачах. Репозиторий распространяется по лицензии Apache 2.0, допускающей коммерческое и академическое использование.

Mungert/Qwen3.8-27B-GGUF — это GGUF-сборка модели Qwen3.8-27B из открытого семейства Qwen, разработанного командой Qwen. Веса и конфигурация подготовлены с использованием llama.cpp; модель предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Модель представляет собой плотную каузальную языковую модель с vision-энкодером на 27 млрд параметров. Она поддерживает понимание текста, изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Заявленные сценарии включают программирование, профессиональную работу, исследовательские задачи и многошаговые агентные процессы. Доступны режим рассуждений, его отключение и настройка глубины через reasoning_effort; контекст сохраняется с помощью preserve_thinking. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура включает 64 слоя, Gated DeltaNet, Gated Attention и Multi-Token Prediction. Сильными сторонами являются мультимодальность, обработка длинного контекста, планирование и выполнение сложных последовательностей действий. Ограничения конкретной GGUF-сборки, включая требования к памяти и доступные варианты квантования, в предоставленных данных не указаны. Лицензия модели — Apache-2.0.

Dolphin-2.9.3-Yi-1.5-34B-32k-GGUF — это квантизированная GGUF-версия текстовой генеративной модели dolphin-2.9.3-Yi-1.5-34B-32k. Базовая модель — 01-ai/Yi-1.5-34B-32k, исходная модель опубликована cognitivecomputations, а квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, следования инструкциям, генерации и анализа текста, программирования, решения математических задач, function calling и агентских сценариев. При обучении использовались наборы данных Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Поддерживается шаблон сообщений ChatML с ролями system, user и assistant. Модель имеет 34 миллиарда параметров и заявленный контекст до 32 тысяч токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступно множество вариантов квантизации от Q8_0 и Q6_K до Q3 и IQ3, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Более низкие варианты требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты обозначены как экспериментальные. Модель распространяется по лицензии Apache-2.0. Для запуска рекомендуется совместимый стек llama.cpp или другое программное обеспечение, поддерживающее формат GGUF и соответствующие схемы квантизации.

google/gemma-4-26B-A4B-it-qat-q4_0-gguf — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текстовые и графические данные и генерирует текст; аудио для этой версии не заявлено. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель относится к варианту Gemma 4 26B A4B и поставляется в формате GGUF с квантизацией Q4_0, выполненной с применением Quantization-Aware Training. Такой подход рассчитан на снижение требований к памяти при сохранении качества, близкого к версии bfloat16. Семейство поддерживает контекст до 256K токенов, более 140 языков, настраиваемые режимы рассуждений, системные промпты и гибридный механизм внимания с локальным скользящим и глобальным вниманием. Формат GGUF ориентирован на совместимость с широким кругом инструментов локального запуска. Сильными сторонами являются сочетание мультимодальности, длинного контекста, возможностей рассуждения и программирования с уменьшенными требованиями к памяти благодаря QAT-квантизации. Ограничения связаны с тем, что это квантизированная версия, поэтому результаты могут отличаться от полноточных вариантов, а для эффективного запуска всё равно требуется значительный объём памяти. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-4-31B-it-GGUF — квантизированная GGUF-версия инструкционно дообученной модели Google DeepMind Gemma 4 31B, подготовленная Unsloth. Модель предназначена для локального запуска и использования в приложениях, где необходимы генерация текста, программирование, рассуждения, агентские сценарии и мультимодальное понимание изображений. Она поддерживает нативный system prompt, function calling и настраиваемые режимы рассуждений. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения, генерирует текст, поддерживает более 140 языков и использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание. Формат GGUF ориентирован на эффективный запуск через совместимые инструменты, включая llama.cpp, однако конкретный уровень квантизации в представленном README не указан. Сильными сторонами являются большой контекст, мультимодальность, возможности рассуждения и программирования, а также поддержка локального развертывания. Ограничения связаны с высокой вычислительной и оперативной нагрузкой, характерной для модели такого размера, и с тем, что аудиовход для версии 31B не заявлен. Модель распространяется по лицензии Apache 2.0; авторами семейства Gemma 4 указаны Google DeepMind.

Карточка модели manojbillionaire123/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Gemma 4 E4B IT QAT Unquantized — мультимодальная модель Google DeepMind из семейства Gemma 4, основанная на Gemma 4 E4B Instruct. Это вариант с весами половинной точности, извлечёнными из конвейера обучения с учётом квантования (QAT); он предназначен для последующей компиляции и исследовательской работы. Архитектура — плотная Gemma4ForConditionalGeneration, файлы представлены в safetensors. Модель принимает текст и изображения, а также аудио; генерирует текст. Она подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Семейство поддерживает более 140 языков; для небольших вариантов, включая E4B, заявлено контекстное окно до 128 тысяч токенов. Поддерживаются вызов функций и режим рассуждений. Вариант QAT призван снизить требования к памяти при сохранении качества, близкого к bfloat16, но именно эта публикация содержит не готовый к развёртыванию квантованный формат, а веса для дальнейшей компиляции. Лицензия — Apache 2.0. Возможности аудио, языка и контекстное окно описаны для семейства; в карточке этой конкретной публикации отдельные параметры не уточнены.

GLM-5.3-Flash — мультимодальная модель семейства GLM, разработанная zai-org. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных данных, программирования и агентных сценариев с использованием инструментов. Модель имеет плотную архитектуру Glm5NextForConditionalGeneration с гибридным механизмом разреженного и линейного внимания; заявлены 320 млрд параметров, из которых активно используются 18 млрд. В репозитории представлены веса safetensors в формате FP8, библиотека для работы — Transformers. Разработчик сообщает о предварительном обучении на мультимодальном корпусе объёмом 30 трлн токенов и о поддержке длинного контекста, однако приведённые в README пределы контекста относятся к отдельным оценочным сценариям и не задают универсальный лимит модели. Можно регулировать объём рассуждений параметром reasoning_effort. В карточке указаны английский и китайский языки. Модель доступна под лицензией MIT. Заявления о сравнительных результатах и стоимости приведены разработчиком и зависят от условий тестирования и развёртывания.

Hermes 4.3 36B — языковая модель для диалогов и следования инструкциям, разработанная Nous Research на основе ByteDance-Seed/Seed-OSS-36B-Base. Это плотная архитектура Seed OSS с 31,7 млрд параметров и контекстом до 524 288 токенов; модель распространяется в формате safetensors и рассчитана прежде всего на английский язык. Модель предназначена для рассуждений и ответов общего назначения, включая задачи по математике, программированию, STEM, логике и творческому письму. Она поддерживает гибридный режим рассуждений, вызов инструментов, а также формирование структурированных ответов и JSON по заданной схеме. Для диалогов используется шаблон чата Hermes на основе формата Llama 3. По описанию разработчика, при дообучении использовался корпус примерно из 5 млн примеров и 60 млрд токенов, с акцентом на проверяемые цепочки рассуждений и точное соблюдение формата. Модель выпущена под лицензией Apache-2.0. Для запуска на сервере с несколькими GPU разработчик рекомендует движки инференса вроде SGLang или vLLM; качество и скорость зависят от настроек и аппаратного обеспечения.

Карточка модели genevaquant/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

Карточка модели luganoquants/Hermes-4-70B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-70B, поэтому описание составлено по ней. Hermes 4 70B — большая языковая модель Nous Research для диалога и генерации текста, дообученная на базе Meta Llama 3.1 70B. Она содержит около 69,5 млрд параметров, использует плотную архитектуру Llama и поддерживает контекст до 131 072 токенов. Модель рассчитана на ответы ассистента, рассуждения, математику, программирование, STEM-задачи, логику и творческое письмо; также заявлены следование инструкциям, вызов инструментов и генерация структурированных ответов, включая JSON. Hermes 4 предлагает гибридный режим рассуждений, в котором модель может выводить отдельные сегменты обдумывания, а также обучена точнее придерживаться заданных схем и форматов. README описывает улучшенную управляемость и снижение отказов, но эти характеристики заявлены разработчиком и не гарантируют корректность или безопасность каждого ответа. В карточке указаны английский язык и лицензия Llama 3; использование регулируется условиями этой лицензии. Для запуска модели такого размера обычно требуется мног GPU или подходящая квантизированная версия.

InternLM2-Chat-20B — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров с поддержкой чата и контекстом 32 768 токенов по метаданным Hugging Face. README также описывает эксперименты с удлинённым контекстом до 200 тысяч токенов при использовании LMDeploy. Модель предназначена для диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма и анализа данных. Она может служить языковой основой для агентов, которые выбирают инструменты и выполняют многошаговые вызовы; запуск кода требует подключённого интерпретатора. В README приведены результаты OpenCompass, однако они зависят от версии конфигурации и не гарантируют качество в конкретном сценарии. Модель принимает текст и генерирует текст. Карточка демонстрирует использование Transformers, LMDeploy и vLLM. README сообщает, что код распространяется по Apache-2.0, веса открыты для академических исследований, а для коммерческого использования требуется бесплатная лицензия по заявке. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы.

InternLM2-Chat-20B-SFT — разговорная языковая модель команды InternLM, дообученная методом supervised fine-tuning на базе InternLM2-Base-20B. Она содержит 19,3 млрд параметров и предназначена для диалогов, выполнения инструкций, рассуждений, решения математических задач, программирования, творческого письма и работы с инструментами; в сценариях с подключённым интерпретатором кода поддерживает анализ данных. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов; в README заявлена поддержка контекста до 200 тысяч токенов при использовании LMDeploy. Модель ориентирована на практическое применение и также выпущена для изучения влияния RLHF: версия InternLM2-Chat-20B проходит дополнительное Online RLHF-обучение поверх этой SFT-версии. Для развёртывания описана поддержка Transformers, LMDeploy и vLLM. README предупреждает, что ответы могут содержать предвзятость, дискриминационные или иные вредоносные материалы. В метаданных лицензия обозначена как other; конкретные условия следует сверять с лицензией репозитория.

Карточка модели muhamad-geosurge/invert-polarity-2056dc95-c8a4-41df-9f73-0c7ce798fe20 на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Llama-3.3-Nemotron-Super-49B-v1.5 — большая языковая модель NVIDIA, созданная на основе Meta Llama-3.3-70B-Instruct и оптимизированная с помощью Neural Architecture Search. В метаданных указано 87 млрд параметров; модель использует плотную архитектуру и поддерживает контекст до 131 072 токенов. Модель предназначена для рассуждений, диалогов и выполнения инструкций на английском языке, а также для задач с кодом. Она дообучалась на математике, программировании, естественных науках и вызове инструментов; дополнительные этапы постобучения улучшили следование предпочтениям в чате, рассуждения и агентные сценарии. Подходит для чат-ботов, AI-агентов и систем RAG, а интерфейс вызова инструментов позволяет подключать внешние функции. README указывает поддержку немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Оптимизация архитектуры рассчитана на более эффективное использование памяти и пропускной способности; заявлена возможность размещения на одном GPU H200 при высокой нагрузке. Модель предназначена для коммерческого использования; в метаданных лицензия обозначена как other, поэтому конкретные условия следует сверять с лицензией репозитория. Для практического развертывания нужны значительные вычислительные ресурсы.

Llama-3.3-Nemotron-Super-49B-v1-FP8 — крупная языковая модель NVIDIA, производная от Meta Llama-3.3-70B-Instruct. Это плотная decoder-only Transformer-модель с архитектурными изменениями, полученными с помощью Neural Architecture Search: в отдельных блоках используется пропуск внимания или линейный слой, а коэффициенты расширения FFN варьируются. Модель содержит 87B параметров, использует формат FP8 и рассчитана на контекст до 131 072 токенов. Модель предназначена для рассуждений, многошагового диалога, следования инструкциям, генерации кода, математических задач, retrieval-augmented generation, вызова инструментов и построения AI-агентов, чат-ботов и других прикладных систем. Она работает с текстовым вводом и выводом, интегрируется через Transformers и оптимизирована для GPU NVIDIA Hopper и Ampere; основной язык — английский, также поддерживаются немецкий, французский, итальянский, португальский, хинди, испанский и тайский. К сильным сторонам относятся сочетание качества рассуждений и эффективности инференса, уменьшенный по сравнению с исходной моделью объём вычислений и памяти, а также поддержка длинного контекста, RAG и tool calling. Модель разработана NVIDIA и готова к коммерческому использованию. Условия распространения регулируются NVIDIA Open Model License и дополнительными условиями Llama 3.3 Community License Agreement.

unsloth/Meta-Llama-3.1-8B-bnb-4bit — 4-битно квантованная версия языковой модели Meta Llama 3.1 8B, подготовленная с использованием Unsloth. Базовую модель разработала Meta. Это авторегрессионная модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA), предназначенная для генерации текста и кода. Модель работает с многоязычным текстом на входе и генерирует многоязычный текст и код. Заявленная длина контекста составляет 128 тысяч токенов, данные обучения включают более 15 триллионов токенов, дата отсечения знаний — декабрь 2023 года. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для диалоговых сценариев, обработки текста, генерации кода и дообучения на собственных данных. Ключевое преимущество данной версии — 4-битное представление bnb 4bit, снижающее требования к памяти и упрощающее запуск и дообучение по сравнению с полноразмерной моделью. Ограничения включают текстовую модальность без обработки изображений и зависимость качества от квантования и доступных вычислительных ресурсов. Модель статична и не содержит знаний о событиях после даты отсечения. Для использования указана лицензия Llama 3.1 Community License — специальная коммерческая лицензия Meta.

Mistral Large 2407 — флагманская языковая модель Mistral AI, выпущенная в июле 2024 года. Это модель с доступными весами, но проприетарными условиями использования. Модель предназначена для диалога, рассуждений, работы с кодом и генерации JSON и может использоваться как универсальный помощник для этих задач. В карточке указано, что модель хорошо справляется с перечисленными сценариями, однако подробности об архитектуре, размере и контексте здесь не приведены. Лицензия и конкретные условия использования в доступном описании не раскрыты; перед применением следует свериться с условиями Mistral AI.

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и агентных приложений. Она создана на основе Nemotron-3-Super-120B-A12B методом многоэтапного сжатия и восстановления: использованы pruning компонентов MoE и Mamba, дистилляция, обучение с подкреплением, квантизация NVFP4 и Multi-Token Prediction. Архитектура сочетает Mamba2, Transformer, LatentMoE и механизм MTP; модель содержит 75,3 млрд параметров, из которых активно 9,3 млрд. Модель предназначена для чат-ботов, RAG-систем, совместной работы агентов, сложного следования инструкциям и рассуждений по длинному контексту, а также задач программирования. Заявлена поддержка английского, французского, немецкого, итальянского, японского, испанского и китайского языков. В карточке указано окно контекста до 1 млн токенов для сценариев оценки конкурентности, а NVFP4-вариант ориентирован на GPU поколения Blackwell; NVIDIA сообщает о повышении пропускной способности относительно родительской модели. Модель заявлена как готовая к коммерческому использованию. Лицензия Hugging Face обозначена как other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Квантизация и сжатие могут влиять на качество в отдельных задачах; опубликованные сравнительные результаты относятся к указанным в карточке бенчмаркам и конфигурациям.

NVIDIA-Nemotron-Nano-12B-v2 — языковая модель NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Это дообученная версия NVIDIA-Nemotron-Nano-12B-v2-Base с гибридной архитектурой Nemotron-Hybrid: основную часть составляют слои Mamba-2 и MLP, дополненные шестью слоями Attention. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и может работать в режиме с рассуждениями или без них; системный промпт и бюджет токенов позволяют управлять глубиной рассуждений. Модель предназначена для чат-ботов, RAG-систем, AI-агентов, программирования и общих задач по инструкциям. README заявляет поддержку английского, немецкого, испанского, французского, итальянского, японского, корейского, португальского, русского и китайского; в метаданных карточки перечислены английский, испанский, французский, немецкий, итальянский и японский. Разработчик сообщает о готовности к коммерческому использованию; лицензия указана как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Модель оптимизирована для GPU NVIDIA; в vLLM неверный тип кэша Mamba-SSM может снизить точность, а генерация с рассуждениями требует большего числа выходных токенов.

Qwen3-32B-f16-GGUF — размещённая Geoff Munn версия модели Qwen/Qwen3-32B в формате GGUF с весами F16 для запуска через llama.cpp и совместимые приложения. Это плотная языковая модель на 32 млрд параметров, предназначенная для диалога, генерации текста, рассуждений, математики, программирования и многоязычных задач; её также можно подключать к RAG-системам и агентным сценариям. Карточка описывает несколько вариантов квантования семейства и приводит результаты сравнения их качества, но репозиторий обозначен как F16. Указанные в README оценки производительности и качества относятся к конкретным вариантам и настройкам квантования, а не гарантируют такие же результаты для каждого файла. Для запуска нужны совместимое ПО и аппаратные ресурсы, соответствующие размеру 32B модели; вариант Q5_K_HIFI требует специальной сборки llama.cpp. Лицензия — Apache-2.0.

unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF — GGUF-версия инструкционной причинной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для генерации текста, диалогов, программирования, следования инструкциям, решения задач, работы с агентскими сценариями и обработки очень длинного контекста. Она поддерживает только instruct-режим без блоков рассуждений <think></think> в ответах. Модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, а также разреженную смесь экспертов MoE. Всего модель содержит 80 млрд параметров, из которых около 3 млрд активируются для обработки каждого токена; 48 слоёв, 512 экспертов и 10 активируемых экспертов. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные характеристики GGUF-квантизации не указаны. К сильным сторонам относятся высокая параметрическая эффективность, потенциально высокая скорость инференса, поддержка ультрадлинного контекста и хорошие результаты в задачах знаний, рассуждений, программирования, следования инструкциям и написания текстов. Ограничения включают отсутствие режима thinking и необходимость учитывать аппаратные требования, связанные с общим размером модели; конкретные требования к памяти зависят от варианта квантизации GGUF. Модель распространяется по лицензии Apache-2.0.

Seed-OSS-36B-Instruct — открытая языковая модель команды ByteDance Seed для диалогов, рассуждений, длинного контекста и агентных сценариев. Это плотная авторегрессионная модель с архитектурой Seed-OSS и классом SeedOssForCausalLM; в метаданных указано 31,7 млрд параметров, а карточка описывает семейство как 36B. Модель принимает текст и генерирует текст, поддерживает контекст до 524 288 токенов и ориентирована на международное использование. Модель предназначена для ответов на вопросы, сложных рассуждений, программирования и задач с использованием инструментов. Можно задавать бюджет рассуждения: настройка длины позволяет регулировать глубину анализа и расход вычислений. Для работы доступны веса в формате safetensors и библиотека Transformers; README также описывает использование с vLLM. Модель выпущена под лицензией Apache-2.0. Карточка сообщает о сильных результатах на ряде популярных открытых бенчмарков, но не приводит в доступном тексте подробные результаты. Качество зависит от задачи и настройки бюджета рассуждения; для сложных запросов увеличение бюджета может улучшать результат, а на простых задачах эффект может колебаться.

MaziyarPanahi/calme-2.2-rys-78b — диалоговая языковая модель, дообученная на основе dnhkng/RYS-XLarge. Она построена на плотной архитектуре Qwen2 с 76,7 млрд параметров и предназначена для генерации текста и общения в формате ChatML; максимальная длина контекста составляет 32 768 токенов. Модель подходит для систем ответов на вопросы, чат-ботов и виртуальных помощников, создания и суммирования текстов, генерации и анализа кода, а также решения сложных задач и поддержки принятия решений. В дообучении использованы наборы truthy-dpo-v0.1 и Intel/orca_dpo_pairs. Карточка указывает английский язык. Модель распространяется по лицензии MIT.

NVIDIA DeepSeek-V4-Pro-0813-nvfp4-DSpark — это NVFP4-квантизированная версия языковой модели DeepSeek-V4-Pro-0813, разработанной DeepSeek AI и подготовленной с использованием NVIDIA Model Optimizer. NVIDIA указывает, что модель не является новой самостоятельной разработкой NVIDIA: это релиз на базе nvidia/DeepSeek-V4-Pro-0813-NVFP4 с дополнительно квантизированной головой DSpark для speculative decoding. Модель предназначена для коммерческого и некоммерческого использования. Модель представляет собой авторегрессионную Transformer-модель с архитектурой Mixture-of-Experts, гибридным вниманием Compressed Sparse Attention и Heavily Compressed Attention, а также Manifold-Constrained Hyper-Connections. Общее число параметров составляет около 1,65 трлн, из которых активируется около 49 млрд. Модель работает с текстом на входе и выходе, поддерживает многоходовые диалоги, системные инструкции, структурированный JSON, вызов функций и инструментов, а также выдачу рассуждений при включении соответствующего режима. Максимальная длина контекста — 1 млн токенов; предусмотрены уровни интенсивности рассуждений low, high и max. Языковой охват явно не указан. Модель ориентирована на сложное рассуждение, агентные приложения, использование инструментов, математику, разработку программного обеспечения и корпоративных AI-ассистентов. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость MoE, поддержка speculative decoding через DSpark и оптимизация под NVIDIA GPU. Ограничения включают зависимость от специализированной аппаратной и программной инфраструктуры: заявлена совместимость с NVIDIA Blackwell B200, Linux, SGLang и vLLM; характеристики работы на другой аппаратуре не указаны. Данные исходного обучения не раскрыты, а перед промышленным внедрением требуется дополнительное тестирование на прикладных данных. Модель распространяется по лицензии MIT. Указана версия NVIDIA Model Optimizer v0.47.0rc1; опубликованный релиз датирован 9 сентября 2026 года.

cyankiwi/gemma-4-26B-A4B-it-AWQ-4bit — это 4-битно квантованная версия Gemma 4 26B A4B instruction-tuned, подготовленная cyankiwi на базе модели Google DeepMind. Квантование выполнено в формате AWQ, а калибровочный набор ориентирован на STEM-задачи и агентские сценарии. Размер модели составляет 17,19 ГБ. Модель предназначена для генерации текста, программирования, рассуждений, агентских рабочих процессов и мультимодального понимания изображений и текста. Архитектура базовой модели — Mixture-of-Experts; для варианта 26B A4B заявлено 26 млрд общих параметров и около 4 млрд активных параметров. Для средних моделей Gemma 4 заявлено контекстное окно до 256K токенов. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Ключевые преимущества — уменьшенное потребление памяти благодаря AWQ-квантованию, поддержка длинного контекста, мультимодальный ввод и возможности Gemma 4 в области рассуждений, кодирования и вызова функций. Ограничением является возможная потеря качества по сравнению с полной точностью, характерная для 4-битных квантованных моделей; конкретные требования к видеопамяти и результаты бенчмарков в README не указаны. Лицензия — Apache 2.0.

Gemma-4-26B-A4B-text-base — текстовая версия модели Gemma 4, опубликованная wyattearp на основе Google Gemma-4-26B-A4B-it. Веса языкового трансформера сохранены без изменений, а компоненты обработки изображений и аудио удалены. Это модель типа MoE с 26 млрд параметров и примерно 4 млрд активных параметров на токен; она выдаёт текст и предназначена для генерации, диалогов, рассуждений, программирования и вызова инструментов. Длина контекста — 262 144 токена. Репозиторий содержит веса BF16 в формате safetensors для использования с Transformers и vLLM. Удаление мультимодальных компонентов упрощает языковый инференс и снижает требования к памяти, но модель не обрабатывает изображения или аудио. В README описана проблема совместимости парсера вызова инструментов в vLLM и связанное с ней исправление. Лицензия — Gemma.

GigaChat 3.1 Lightning — компактная инструкционная языковая модель семейства GigaChat 3.1, разработанная ai-sage. Модель предназначена для быстрых мультиязычных ассистентских сценариев, рассуждений, генерации и анализа кода, вызова функций и продуктовых применений. Она доступна в формате FP8 и построена на архитектуре Mixture-of-Experts: содержит 10 млрд параметров, из которых 1,8 млрд активны во время инференса. Модель использует Multi-head Latent Attention (MLA) для сжатия KV-кэша и снижения потребления памяти, а также Multi-Token Prediction (MTP), поддерживающий ускоренное и параллельное декодирование. Заявлена поддержка русского и английского языков; базовый обучающий корпус охватывает 10 языков и включает тексты, научные материалы, код, математику и синтетические данные. В README не указана точная длина контекста и не заявлена поддержка мультимодальных входов, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся высокая скорость инференса, низкий активный вычислительный бюджет, эффективность FP8 и улучшенная производительность в длинноконтекстных сценариях. Модель ориентирована на задачи поиска и цитирования, интерпретации файлового кода, персонализации и агентских диалогов с инструментами. Ограничения включают зависимость качества и скорости от аппаратного обеспечения, реализации инференса и режима MTP, а также отсутствие в предоставленных данных подробных сведений о максимальном контексте и мультимодальности. Модель распространяется по лицензии MIT.

GigaChat 3.1 Lightning — компактная инструкционная модель семейства GigaChat 3.1, разработанная командой ai-sage. Она предназначена для быстрых многоязычных ассистентских сценариев, рассуждений, программирования, генерации текста, функционального вызова и продуктовых применений. Модель поддерживает русский и английский языки; обучающий корпус семейства охватывает 10 языков и включает книги, академические материалы, код, математику и синтетические данные. Модель использует архитектуру Mixture-of-Experts с 10 млрд общих и 1,8 млрд активных параметров. Multi-head Latent Attention (MLA) сжимает KV-кэш, снижая потребление памяти и повышая эффективность на длинных контекстах, а Multi-Token Prediction (MTP) может ускорять спекулятивное и параллельное декодирование. К сильным сторонам относятся высокая скорость инференса, поддержка инструментальных вызовов, кода и задач рассуждения, а также улучшенная устойчивость после DPO-обучения. Максимальный размер контекста в README не указан, поэтому возможности работы с конкретной длиной контекста требуют дополнительной проверки. Модель распространяется по лицензии MIT.

davidsyoung/GLM-5.3-EXL3-TR3-3.42bpw — это квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной схемы trellis-квантизации. Базовая модель представляет собой MoE-архитектуру glm_moe_dsa размером 755B параметров: 78 слоёв, 256 маршрутизируемых экспертов на слой и дополнительный MTP-компонент. Заявлены английский и китайский языки, а назначение модели — генерация текста, сложное программирование, рассуждения и задачи с длинным контекстом. Средний размер квантизации весов составляет 3,42 bpw: маршрутизируемые эксперты используют комбинацию K3 и K4, а внимание, эмбеддинги, нормализации, lm_head и ряд других компонентов сохранены в BF16. Квантизация выполнена без калибровочных данных; заявлено небольшое отклонение от BF16-учителя по измеренному KLD. Модель рассчитана на запуск через совместимый стек exllamav3-b12x или sparkinfer с четырьмя GPU, TP4 и FP8 KV-кэшем. Указан проверенный профиль с envelope до 393 216 токенов, но это измеренный безопасный режим, а не гарантированный архитектурный максимум. Сильными сторонами являются высокая степень сжатия, сохранение значительной части компонентов в BF16, поддержка очень длинного контекста и подтверждённая работоспособность в сценариях кодирования, структурированного вывода, tool use и извлечения данных из длинных документов. Ограничение — специальный смешанный K3/K4 runtime: модель несовместима с обычной загрузкой vanilla exllamav3, а использование стандартного загрузчика может приводить к некорректной генерации. Лицензия указана как glm-5.3; подробные условия следует уточнять в лицензии базовой модели.