II.3Рефакторинг, миграция и модернизация

cyankiwi/Qwen3.5-27B-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит 27 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts; в языковой части заявлены 64 слоя и скрытая размерность 5120. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Квантизация AWQ до 4 бит снижает требования к памяти и может повысить практическую эффективность инференса, но потенциально сопровождается некоторой потерей качества по сравнению с полной точностью. Модель совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers. README указывает лицензию Apache 2.0. Конкретные требования к аппаратному обеспечению, ограничения безопасности и подробные результаты для данной AWQ-версии не приведены.

cyankiwi/Qwen3.5-9B-AWQ-BF16-INT4 — производная версия Qwen3.5-9B, разработанной командой Qwen. Репозиторий содержит веса и конфигурационные файлы в формате Hugging Face Transformers; модель совместима с Transformers, vLLM, SGLang и KTransformers. По идентификатору предполагается квантованный вариант AWQ с представлением INT4, однако подробности о процедуре квантования в README не приведены. Это мультимодальная причинная языковая модель с vision encoder, предназначенная для обработки текста и изображений, рассуждений, программирования, визуального понимания и агентских сценариев. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; заявлена поддержка 201 языка и диалекта. Модель содержит около 9 млрд параметров, 32 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. К сильным сторонам относятся мультимодальность, большой контекст, высокая эффективность архитектуры и широкий языковой охват. Ограничения конкретной квантованной сборки, включая возможные потери качества, требования к памяти и совместимость с определёнными аппаратными конфигурациями, в README не описаны. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-9B Q4_K_M GGUF — это 4-битная квантованная версия языково-мультимодальной модели Qwen3.5-9B, первоначально разработанной Alibaba Cloud. Конвертацию в формат GGUF выполнила Unsloth, а квантование и оптимизацию для локального запуска на устройствах Apple — jc-builds. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, использования инструментов, анализа изображений и работы с документами и видео. Она поддерживает режим рассуждений с блоками <think>...</think>, ChatML-формат запросов и ориентирована прежде всего на приватный автономный запуск через llama.cpp, включая iPhone, iPad и Mac с Apple Silicon. Для iOS она доступна в приложении HaploAI. Архитектура сочетает Gated DeltaNet и полное Gated Attention в соотношении 3:1 и включает 32 слоя, скрытое измерение 4096, GQA с 16 query-heads и 4 KV-heads, а также FFN с промежуточным размером 12288. Модель содержит около 9 млрд параметров, занимает примерно 5,3 ГБ, поддерживает контекст до 262 144 токенов с возможностью расширения свыше 1 млн через YaRN и заявляет поддержку 201 языка и диалекта, включая русский, английский, китайский, японский, корейский и европейские языки. Нативная мультимодальность основана на раннем слиянии визуальных данных. К сильным сторонам относятся высокая заявленная эффективность для модели такого размера, большой контекст, мультимодальность, широкий языковой охват и возможность локального использования без передачи данных в облако. Ограничения включают значительные требования к памяти: для комфортной работы рекомендуется устройство с минимум 8 ГБ RAM, а на старых iPhone с 6 ГБ модель не рекомендуется. Приведённые результаты бенчмарков и скорости зависят от реализации, устройства и настроек запуска.

Это квантованная в формате NVFP4 сборка Qwen3.8-27B от FreedomAISVR для запуска через llama.cpp на видеокартах NVIDIA Blackwell. В основе — плотная мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров языковой модели; репозиторий содержит GGUF-веса и отдельный F16-проектор изображений. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для диалогов, анализа изображений и документов, программирования, исследований и многошаговых агентных задач. Режим рассуждений включён по умолчанию и может настраиваться. NVFP4 уменьшает размер весов, но README отмечает, что на потребительских RTX 50 decode может быть медленнее, чем у MXFP4; для запуска рекомендованы Blackwell GPU с 16 ГБ или более видеопамяти. Лицензия — Apache-2.0.

RedHatAI/Qwen3-8B-FP8-dynamic — это квантизированная FP8-версия языковой модели Qwen3-8B, разработанная Red Hat совместно с Neural Magic на базе модели Alibaba Cloud Qwen/Qwen3-8B. Модель предназначена для генерации текста, рассуждений, многоязычного следования инструкциям, перевода, вызова функций и создания предметно-ориентированных решений с помощью дообучения. Она поддерживает tool calling и рассчитана на работу с текстовыми входами и выходами. Модель использует архитектуру Qwen3ForCausalLM и поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский и ряд других языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема. По заявлению разработчиков, это примерно на 50% снижает требования к видеопамяти и размер на диске, а также примерно вдвое увеличивает пропускную способность матричных вычислений. Длина контекста в README не указана. Модель оптимизирована для эффективного развёртывания с использованием vLLM, включая OpenAI-совместимый сервер, и валидирована в Red Hat OpenShift AI 2.24, Red Hat AI Inference Server 3.2.1 и vLLM 0.10.0. Ограничения FP8-квантизации и отсутствие сведений о конкретных показателях качества следует учитывать при выборе модели. Распространяется по лицензии Apache 2.0; использование не должно нарушать применимое законодательство и требования экспортного контроля.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

Deepthink-Llama-3-8B-Preview — диалоговая языковая модель PrithivMLmods, дообученная на базе meta-llama/Llama-3.1-8B-Instruct с использованием Rethinking R1 Dataset Logits. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 7,5 млрд параметров; поддерживает контекст до 131 072 токенов и работает с текстом. В карточке заявлены обучение с учителем и обучение с подкреплением на основе отзывов людей. Модель предназначена для диалогов и генерации текста с рассуждениями, пошаговыми объяснениями и структурированными ответами. Её можно применять для помощи в программировании, обучения, исследований, творческого письма, генерации JSON и таблиц, а также для чат-ботов и ассистентов. В README заявлена поддержка более 29 языков; метаданные карточки подтверждают английский и китайский. Лицензия — Llama 3. Ограничения включают возможные ошибки в вычислениях и логике, предвзятость, устаревшие сведения, ухудшение связности на длинном контексте и трудности с неоднозначными запросами; критичные результаты требуют проверки человеком.

unsloth/gemma-4-12b-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 12B, подготовленная Unsloth на базе Google Gemma 4 12B-it. Исходную модель разработала Google DeepMind. Вариант предназначен для локального запуска и дообучения, в том числе на потребительских GPU, а также для использования в vLLM и Unsloth Studio. Модель поддерживает мультимодальный ввод: текст, изображения, аудио и видео, при этом генерирует текст. Она рассчитана на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с нативным вызовом функций. Семейство Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения, системные сообщения и контекст до 256 тысяч токенов для моделей среднего размера. Архитектура семейства использует гибридное внимание с чередованием локального скользящего и глобального внимания; конкретные дополнительные параметры архитектуры этой версии в карточке не указаны. NVFP4-квантизация уменьшает требования к памяти и ориентирована на эффективное выполнение, однако карточка не приводит количественных оценок влияния квантизации на качество или подробных ограничений модели. Для запуска рекомендуется vLLM с автоматическим выбором NVFP4-ядра; использование Marlin не рекомендуется из-за снижения скорости. Модель распространяется по лицензии Apache 2.0.

MuXodious выпустил дообученную модель Gemma 4 E4B Instruct, созданную с помощью Heretic v1.2.0 и методов abliteration. По карточке, исходная модель Google DeepMind — плотная мультимодальная Gemma 4 E4B Instruct; модель принимает текст и изображения, а семейство поддерживает также аудио на вариантах E2B и E4B. Для Gemma 4 E4B указано контекстное окно 128K токенов. Дообучение нацелено на снижение отказов: в приведённом тесте осталось 12 отказов из 416 запросов, при 414 отказах у исходной модели. Модель подходит для диалога и генерации текста, анализа изображений и документов, программирования и рассуждений. Карточка не приводит отдельного описания датасета или подробной оценки качества этой производной модели; её результаты могут отличаться от исходной Gemma 4. Репозиторий распространяется под лицензией Apache-2.0.

unsloth/gemma-4-E4B-it-UD-MLX-4bit — это 4-битная MLX-квантизованная версия instruction-tuned модели Gemma 4 E4B, подготовленная Unsloth на базе google/gemma-4-E4B-it. Исходное семейство Gemma разработано Google DeepMind и распространяется как семейство открытых моделей с открытыми весами. Модель предназначена для локального запуска и дообучения, в том числе на ноутбуках и других устройствах с поддержкой MLX. Модель поддерживает мультимодальный ввод: текст и изображения, а для малых моделей Gemma 4 также заявлена нативная поддержка аудио; результатом является текст. Она ориентирована на генерацию текста, программирование, рассуждения, мультимодальное понимание и агентские сценарии с вызовом функций. Для E4B заявлены 4,5 млрд эффективных параметров, около 8 млрд параметров с учётом эмбеддингов, 42 слоя, контекст до 128K токенов и словарь размером 262K. Архитектура использует гибридное внимание с чередованием локального sliding-window и глобального внимания; размер локального окна E4B составляет 512 токенов. Поддерживается более 140 языков, а также системная роль и настраиваемый режим рассуждений. К сильным сторонам относятся сочетание компактного размера, мультимодальности, большого контекстного окна, возможностей рассуждения и оптимизации для локального выполнения. К ограничениям относятся потенциальная потеря качества из-за 4-битной квантизации и зависимость запуска от совместимого MLX-окружения; конкретные показатели качества этой версии в README не приведены. Лицензия — Apache 2.0, при этом для Gemma 4 также указана отдельная документация Google по условиям лицензирования.

Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалога, рассуждений и работы в агентных системах. Она предназначена для разработчиков чат-ботов, RAG-систем и ИИ-приложений, включая автоматизацию IT-заявок, сложное следование инструкциям и анализ длинных контекстов. Модель использует гибридную архитектуру LatentMoE на основе Mamba-2, смеси экспертов и слоёв внимания, а также Multi-Token Prediction для ускорения генерации. Всего в ней 120 млрд параметров, из которых активны 12 млрд; заявленная длина контекста — до 1 млн токенов. Веса представлены в NVFP4, при этом репозиторий содержит файлы Safetensors и рассчитан на работу с Transformers. Модель поддерживает английский, французский, немецкий, итальянский, японский, испанский и китайский языки; в карточке также заявлены сценарии с кодом. NVIDIA указывает, что модель готова к коммерческому использованию; метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с лицензией репозитория. К возможным ограничениям относятся потребность в мощном оборудовании для обслуживания модели и зависимость качества ответов от задачи и контекста.

Qwen3-30B-A3B-Instruct-2507-quantized.w4a16 — квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная Red Hat совместно с Neural Magic. Модель предназначена для генерации текста, рассуждений, вызова функций, многоязычного следования инструкциям, перевода и последующей адаптации под предметные области с помощью дообучения. Модель построена на архитектуре Qwen3ForCausalLM и работает с текстовыми входами и выходами. Веса линейных операторов в трансформерных блоках сжаты до INT4 с использованием алгоритма GPTQ, симметричной групповой схемы с размером группы 128; выходной слой lm_head не квантизируется. Такое преобразование уменьшает число битов на параметр с 16 до 4, а также примерно на 75% снижает требования к дисковому пространству и памяти GPU. Размер базовой модели — 30B параметров, при этом в README не указаны точные сведения о языках и максимальном контексте; в примерах развертывания используется длина контекста до 262144 токенов. К сильным сторонам относятся существенное снижение требований к ресурсам и возможность эффективного развертывания через vLLM, включая OpenAI-совместимый API. Ограничения связаны с потерями качества, возможными при INT4-квантизации, а также с отсутствием в предоставленных данных подробных результатов бенчмарков и характеристик поддержки отдельных языков. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

RedHatAI/Qwen3-30B-A3B-Instruct-2507-quantized.w8a8 — текстовая autoregressive-модель класса Qwen3ForCausalLM, разработанная Red Hat совместно с Neural Magic на базе Qwen/Qwen3-30B-A3B-Instruct-2507. Модель принимает текст и генерирует текст, ориентирована на рассуждения, выполнение инструкций на разных языках, перевод, function calling и создание специализированных решений посредством дообучения. Ключевая особенность модели — INT8-квантизация весов и активаций линейных операторов в блоках Transformer. Используются симметричная статическая поканальная квантизация весов и симметричная динамическая потокенная квантизация активаций с применением SmoothQuant и GPTQ через библиотеку llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размеру на диске, а также может примерно вдвое повысить пропускную способность матричных умножений. В документации по развертыванию указан максимальный размер контекста 262144 токена, однако другие характеристики архитектуры и языкового покрытия не приведены. Модель предназначена для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимого API. К сильным сторонам относятся сочетание крупной базовой модели с INT8-компрессией, поддержка многоязычного следования инструкциям, рассуждений и интеграции с функциями. Ограничения включают возможные потери качества из-за квантизации и отсутствие в предоставленных данных подробных результатов оценивания, перечня поддерживаемых языков и спецификаций аппаратных требований. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

cyankiwi/Qwen3.5-27B-AWQ-BF16-INT4 — квантизированная версия мультимодальной модели Qwen3.5-27B, разработанной командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers и совместим с Transformers, vLLM, SGLang и KTransformers. Модель построена как каузальная языковая модель с vision-энкодером и гибридной архитектурой, объединяющей Gated Delta Networks, Gated Attention и разреженный Mixture-of-Experts. Она содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Название репозитория указывает на представление AWQ с использованием BF16 и INT4, что должно снижать требования к памяти и ускорять инференс, однако подробные характеристики квантизации в README не приведены. Сильными сторонами являются мультимодальность, длинный контекст, широкая языковая поддержка и эффективность гибридной архитектуры. Ограничения включают потенциальные потери качества и совместимости, связанные с квантизацией, а также отсутствие в предоставленных данных подробного описания ограничений, требований к оборудованию и результатов для конкретной квантизированной сборки. Лицензия — Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-INT8-INT4 — квантованная версия мультимодальной модели Qwen3.5-4B, основанная на Qwen/Qwen3.5-4B. Модель представлена в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Архитектура включает каузальную языковую модель с vision encoder и предназначена для обработки текста и изображений, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Модель содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Идентификатор указывает на применение квантования AWQ с форматами INT8 и INT4, что ориентировано на снижение требований к памяти и ускорение инференса; README не приводит точных характеристик качества именно этой квантованной сборки. Модель подходит для локального и серверного инференса, мультимодальных приложений, анализа документов и изображений, генерации текста и кода, а также задач с длинным контекстом. К сильным сторонам относятся сочетание языковых и визуальных возможностей, большой контекст, многоязычность и компактный размер. Ограничения квантованной версии, включая возможное снижение точности по сравнению с полной моделью, в README не описаны. Лицензия — Apache-2.0.

Mungert/Qwen3.5-4B-GGUF — это GGUF-квантованная версия мультимодальной модели Qwen3.5-4B, опубликованная Mungert на основе базовой модели Qwen/Qwen3.5-4B-Base, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, визуально-языковых задач, рассуждений, программирования, работы с агентами и анализа изображений. Формат GGUF ориентирован на локальный запуск с использованием совместимых инструментов, включая llama.cpp. Модель представляет собой авторегрессионную языковую модель с vision encoder и поддерживает обработку текста и изображений. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts; размер языковой части составляет около 4 млрд параметров, число слоёв — 32, размер скрытого состояния — 2560. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Ключевая особенность этой версии — кастомная стратегия квантования: отдельные важные слои переводятся в более высокую точность сверх стандартной конфигурации IMatrix, что, по данным автора, может улучшать точность при сохранении преимуществ квантования. Ограничения зависят от выбранного варианта квантования и аппаратного обеспечения; снижение точности по сравнению с полной моделью возможно, а конкретные требования к памяти, результаты бенчмарков и доступные уровни квантования в представленном фрагменте не указаны. Лицензия — Apache 2.0.

DevinMox/Qwen3.5-9B-GGUF — мультимодальная причинная языковая модель с визуальным энкодером, разработанная командой Qwen и опубликованная на базе Qwen/Qwen3.5-9B. Модель предназначена для генерации и понимания текста, рассуждений, программирования, агентских сценариев и обработки визуальной информации. Она поддерживает 201 язык и диалект. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру из Gated Delta Networks, Gated Attention и разреженного Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README также заявлены повышенная эффективность мультимодального обучения, высокая пропускная способность и сниженные задержки при инференсе. Данные о точных ограничениях качества, требованиях к оборудованию и характеристиках GGUF-квантизации не приведены. Модель распространяется по лицензии Apache-2.0. README указывает совместимость с Hugging Face Transformers, vLLM, SGLang и KTransformers, однако описывает репозиторий как содержащий веса и конфигурации в формате Transformers, поэтому конкретные параметры GGUF-сборки в предоставленных данных не уточнены.

ZuzeTt/Qwen3.5-9B-imatrix-GGUF — мультимодальная каузальная языковая модель с vision-энкодером из семейства Qwen, разработанного командой Qwen. Модель предназначена для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание и агентские сценарии. Указана лицензия Apache-2.0. Модель содержит около 9 млрд параметров, 32 слоя и использует гибридную архитектуру с Gated Delta Networks, Gated Attention и разреженным Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для квантования использовался llama.cpp; при подготовке указано вычисление более чем 400 фрагментов с n_ctx=1024, однако конкретный уровень квантования в README не указан. Сильными сторонами являются сочетание языковых и визуальных возможностей, высокая заявленная эффективность архитектуры, большой контекст и широкая языковая поддержка. Ограничения заключаются в отсутствии подробных сведений о фактических характеристиках именно данной квантованной сборки, включая точный формат и уровень квантования, требования к памяти и результаты независимого тестирования. README также описывает совместимость с Transformers, vLLM, SGLang и KTransformers.

RedHatAI/Qwen3.6-35B-A3B-NVFP4 — предварительная NVFP4-квантизованная версия модели Qwen3.6-35B-A3B, разработанной Alibaba Cloud и опубликованной Red Hat AI. Веса и активации преобразованы в формат NVFP4 с использованием llm-compressor; модель распространяется в формате compressed-tensors и предназначена для запуска через vLLM. Модель ориентирована на генерацию текста, рассуждения, решение математических и академических задач, программирование, работу с инструментами и агентские сценарии. В метаданных также заявлена поддержка обработки изображений вместе с текстом. Поддерживаются tool calling и режим рассуждений Qwen3; для запуска рекомендуются reasoning parser qwen3, tool-call parser qwen3_coder, prefix caching и MoE-бэкенд flashinfer_cutlass. Вариант содержит 35 млрд параметров в MoE-архитектуре с конфигурацией A3B; максимальная длина контекста 96 000 токенов указана для проведённого запуска в vLLM. Языки модели в README не перечислены. Сильная сторона модели — существенное снижение требований к памяти благодаря квантизации весов и активаций при сохранении большей части качества исходной Qwen3.6-35B-A3B. По опубликованным тестам результаты близки к базовой модели на задачах GSM8K, GPQA, Math 500, MMLU-Pro и IFEval, однако наблюдается более заметное снижение на LiveCodeBench, BFCL Multi-Turn и SWE-bench Verified. Модель является предварительной версией и может изменяться; совместимость проверена с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Лицензия — Apache 2.0.

Карточка модели jamiefutch/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF на Hugging Face совпадает с карточкой FreedomAISVR/Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF, поэтому описание составлено по ней. Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Карточка модели TreezzZ/r2s-search-qwen3-8b-student на Hugging Face совпадает с карточкой Qwen/Qwen3-8B, поэтому описание составлено по ней. Qwen3-8B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Версия содержит 7,6 млрд параметров по метаданным и дообучена на базе Qwen/Qwen3-8B-Base; карточка описывает этапы предварительного обучения и последующего обучения. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений, решения математических задач, генерации кода, творческого письма и перевода. Она поддерживает более 100 языков и диалектов и позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают нативный контекст 40 960 токенов; README приводит 32 768 токенов нативно и до 131 072 с YaRN. Лицензия — Apache-2.0. Качество ответов и рассуждений может зависеть от задачи и формулировки запроса; генерация кода и ответы модели требуют проверки. Значение контекстного окна в README отличается от метаданных, а заявленное расширение с YaRN требует соответствующей настройки.

TeleChat2-3B — плотная авторегрессионная языковая модель семейства TeleChat2, разработанная и обученная Институтом искусственного интеллекта China Telecom на отечественных вычислительных ресурсах. Версия 3B выпущена в ноябре 2024 года; в метаданных указано около 4 млрд параметров. Модель построена на архитектуре decoder-only с Rotary Embedding, SwiGLU и RMSNorm; заявленная длина контекста — 32 768 токенов. Модель предназначена для многоходового диалога, ответов на общие и предметные вопросы, суммаризации, длинных текстов, математики, рассуждений и генерации кода. Для этой версии заявлена поддержка вызова инструментов через Function Call. В README приведены результаты тестирования на китайских и англоязычных бенчмарках; основной языковой фокус — китайский и английский. Модель принимает текст и генерирует текст. Доступны веса в формате PyTorch, лицензия — Apache-2.0. Возможные ограничения включают ошибки и ненадёжные ответы, а также риски, связанные с использованием сгенерированного кода и вызовом инструментов; разработчики отдельно требуют соблюдать применимые нормы и не использовать модель для незаконной деятельности.

A.X K2 — крупная языковая модель класса Mixture-of-Experts, разработанная SK Telecom в рамках южнокорейского государственного проекта Sovereign AI. Это преемник A.X K1 и агентная foundation-модель, обученная с нуля для понимания корейского языка и культуры, а также работы с многоязычными и программными данными. Модель предназначена для генерации текста, следования инструкциям, сложного рассуждения, решения задач и агентных сценариев. Она поддерживает управляемые режимы Think для многошагового рассуждения и Non-Think для кратких ответов с низкой задержкой. Используются английский, корейский, китайский, японский и испанский языки. Архитектура представляет собой decoder-only Transformer с 688 млрд параметров, из которых 33 млрд активируются на каждом токене: 256 маршрутизируемых экспертов, один общий эксперт и выбор восьми экспертов для токена. Модель содержит 61 слой, 64 attention heads и поддерживает контекст до 262 144 токенов; длина 256K достигнута расширением с 128K с помощью YaRN. Ключевые особенности A.X K2 — Multi-head Latent Attention со Sparse Gated Attention для более эффективной работы с длинным контекстом, Gated Norm для стабильного обучения и подавления выбросов активаций, а также нативное обучение в FP8. Чекпойнт предоставляется в block-scaled FP8 E4M3, что уменьшает требования к памяти и подходит для эффективного FP8-инференса без отдельной постквантизации. Ограничения включают высокие системные требования, обусловленные общим объёмом параметров, а также потенциальные риски и ограничения качества, свойственные большим языковым моделям; конкретные результаты бенчмарков в представленном README не указаны. Модель распространяется по лицензии Apache-2.0.

Bagel 7B v0.5 — разговорная языковая модель, созданная Jon Durbin на основе дообучения Mistral-7B-v0.2 на наборе данных Bagel v0.5. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалога и широкого круга инструктивных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования и работы с контекстом. Обучающие данные охватывают математику, естественные науки, код, чтение с пониманием, ролевые диалоги, SQL, вызов функций и другие сценарии. Карточка указывает четыре варианта форматирования запросов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию использует формат Llama 2. Модель работает с текстом и генерирует текст. Лицензия — Apache-2.0. Качество ответов зависит от задачи и формата запроса; модель может ошибаться в фактах и коде, а состав обучающих данных включает токсичный и потенциально незаконный контент. Для безопасного применения следует проверять результаты и учитывать особенности данных и ограничений исходной Mistral-7B-v0.2.

ChatGLM3-6B 是智谱 AI（zai-org）开发的 ChatGLM 系列开源 диалоговая модель на плотной архитектуре ChatGLM с 7,5 млрд параметров. Она предназначена для многоходового диалога и генерации текста, а также для сценариев с вызовом функций, выполнением кода и агентными задачами. Модель принимает текстовые запросы и выдаёт текстовые ответы; заявлены китайский и английский языки. Контекст составляет 8192 токена. Карточка описывает более сильную базовую модель и улучшения обучения по сравнению с предыдущими поколениями ChatGLM, отмечая результаты в семантике, математике, рассуждениях, коде и знаниях. Весá доступны в форматах PyTorch и Safetensors. Они открыты для академических исследований; бесплатное коммерческое использование разрешено после регистрации через анкету. Условие регистрации следует проверить перед коммерческим применением.

Cohere Command R (08-2024) — обновлённая версия языковой модели Command R от Cohere. Она предназначена для многоязычных сценариев генерации с поиском по источникам (RAG) и использования инструментов; также улучшена для математики, программирования и рассуждений. По имеющимся сведениям, модель принимает текст и генерирует текст. Данные не содержат сведений о размере, длине контекста и лицензии, поэтому эти характеристики не приводятся.

Albert0919c/gemma-4-E2B-it — дообученная инструктивная версия Gemma 4 E2B от Google DeepMind. Это плотная мультимодальная модель класса Gemma4 для диалогов, рассуждений, генерации и редактирования кода, а также понимания изображений и аудио. Она принимает текст и изображения; для варианта E2B поддерживаются распознавание речи и преобразование речи в переведённый текст. Модель выдаёт текст и подходит для локального запуска на мобильных устройствах и ноутбуках. Семейство Gemma 4 использует гибридное внимание с локальными скользящими окнами и глобальными слоями; для малых вариантов заявлено контекстное окно до 128 тысяч токенов. Поддерживаются многочисленные языки: семейство обучено более чем на 140 языках, а для практических сценариев README заявляет поддержку более 35. Возможности включают ответы на вопросы по изображениям, OCR, разбор документов, видеоанализ по кадрам и вызов инструментов. Репозиторий распространяется в формате Safetensors под лицензией Apache 2.0. Характеристики и возможности описаны для семейства Gemma 4; конкретные результаты этой дообученной версии отдельно не приведены. Как и другие генеративные модели, она может ошибаться в распознавании содержимого и ответах; видеоанализ относится к обработке последовательностей кадров.

unsloth/gemma-4-E4B-it-unsloth-bnb-4bit — это 4-битная квантованная instruction-tuned версия мультимодальной модели Gemma 4 E4B. Базовую модель разработала Google DeepMind, а текущую оптимизированную сборку подготовила Unsloth с использованием квантования bitsandbytes в формате 4-bit. Модель предназначена для локального запуска и дообучения на совместимом оборудовании. Модель поддерживает обработку текста, изображений и аудио с генерацией текстовых ответов. Она рассчитана на задачи рассуждения, генерации текста, программирования, мультимодального анализа, вызова функций и агентских сценариев. Для E4B заявлены около 4,5 млрд эффективных параметров, 42 слоя, контекстное окно до 128K токенов и словарь размером 262K токенов. Семейство Gemma 4 поддерживает более 140 языков. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальными слоями. Ключевые преимущества модели — мультимодальность, большое контекстное окно, поддержка режимов рассуждения, системных инструкций и нативного function calling, а также сниженные требования к памяти благодаря 4-битному представлению. Квантование может повлиять на точность по сравнению с полноразмерной версией, однако конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache 2.0.

Granite-4.1-3B-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это плотный decoder-only трансформер с 3,4 млрд параметров; в архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Модель обучена с нуля и рассчитана на широкий круг задач преобразования текста, а также на дополнение кода в середине фрагмента (Fill-in-the-Middle, FIM). Контекстное окно в метаданных указано как 131 072 токена. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода; её также можно использовать как основу для специализированных дообучений. В README перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание безопасности, поэтому может выдавать проблемный или недостоверный контент; для меньших моделей также отмечен риск галлюцинаций и дословного воспроизведения фрагментов обучающих данных. Для применения в организациях IBM рекомендует проверять входы и выходы средствами Granite Guardian.