II.3Рефакторинг, миграция и модернизация

google/gemma-4-31B-it-qat-w4a16-ct — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текст и изображения и генерирует текст; предназначена для рассуждений, генерации текста, программирования, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее и глобальное внимание. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов. Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения и системные промпты. Для версии 31B заявлены текстовая и визуальная модальности; аудио для этой конфигурации не поддерживается. Суффикс qat-w4a16-ct указывает на чекпойнт, обученный с учётом квантизации и сохранённый в формате compressed-tensors с 4-битными весами и 16-битными активациями. Такой вариант ориентирован на эффективный инференс, включая нативное использование с vLLM, и должен требовать существенно меньше памяти при сохранении качества, близкого к bfloat16. Ограничениями являются повышенные требования к ресурсам по сравнению с меньшими моделями Gemma 4 и отсутствие аудиовхода. Лицензия — Apache 2.0.

NVIDIA Nemotron-3-Super-120B-A12B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и создания агентных систем. Она содержит 120 млрд параметров, из которых при генерации активны 12 млрд, и использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2, Mixture-of-Experts и Attention, а также Multi-Token Prediction для ускорения генерации. Модель обучена с применением квантования NVFP4 и рассчитана на контекст до 1 млн токенов. Модель предназначена для сложного следования инструкциям, длинноконтекстных задач, чат-ботов, RAG-систем и совместно работающих ИИ-агентов; среди примеров применения — автоматизация обработки IT-заявок и задачи с вызовом инструментов. Поддерживаются английский, французский, немецкий, итальянский, японский, испанский и китайский языки, а также сценарии работы с кодом. NVIDIA указывает, что модель готова к коммерческому использованию. В метаданных лицензия обозначена как other, поэтому конкретные условия следует проверять в лицензионных материалах репозитория.

Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Qwen3.8-27B — мультимодальная модель семейства Qwen от Qwen, представленная в репозитории RedHatAI. Это плотная причинная языковая модель с визуальным энкодером на 27 млрд параметров, построенная на архитектурной основе Qwen3.5 и дообученная после предварительного обучения. Веса доступны в формате Transformers и совместимы с Transformers, vLLM и SGLang; лицензия — Apache-2.0. Модель принимает текст, изображения и видео и предназначена для диалога, анализа документов и диаграмм, программирования, исследовательской и профессиональной работы, а также многошаговых агентных сценариев. Режим рассуждений включён по умолчанию, его можно отключить, а глубину рассуждений — настраивать. Нативный контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. К сильным сторонам относятся понимание изображений и видео, длинный контекст и возможности планирования и выполнения сложных задач. Карточка не приводит перечень поддерживаемых естественных языков; поэтому конкретные языки здесь не заявлены. Для практического развёртывания нужны совместимые инструменты инференса и соответствующие вычислительные ресурсы; результаты на бенчмарках не гарантируют качество в каждом сценарии.

Apertus-8B-Instruct-2509-GGUF — открытая мультиязычная языковая модель с 8 млрд параметров, разработанная Swiss AI и связанная со Swiss National AI Institute, ETH Zurich и EPFL. Это instruct-вариант модели Apertus для генерации и обработки текста, диалогов, работы с кодом и математическими задачами, а также агентских сценариев с использованием инструментов. Модель построена на архитектуре decoder-only Transformer, предварительно обучена на 15 трлн токенов данных веба, кода и математики, а затем дообучена с помощью supervised fine-tuning и выравнивания QRPO. Она поддерживает 1811 языков, контекст до 65 536 токенов и может запускаться через совместимые инструменты, включая Transformers, vLLM, SGLang и MLX. Формат GGUF предназначен для удобного локального развертывания, однако конкретный вариант квантования в предоставленных данных не указан. К сильным сторонам относятся открытые веса, раскрытые данные и детали обучения, широкий языковой охват, длинный контекст и акцент на соответствии требованиям обработки данных. Ограничения включают возможные ошибки и неточности, характерные для языковых моделей, а также высокие вычислительные требования по сравнению с небольшими моделями. Модель распространяется по лицензии Apache 2.0, но её использование также связано с отдельной политикой допустимого использования Apertus и требованиями по обработке персональных данных; разработчики рекомендуют регулярно применять фильтр выходных данных на основе актуальных запросов на удаление данных.

DeepSeek-V2.5-1210 — обновлённая версия языковой модели DeepSeek-V2.5, разработанная DeepSeek. Это плотная авторегрессионная модель семейства DeepSeek-V2 для генерации текста и диалогов; она поддерживает интерфейс вызова инструментов. Версия 1210 улучшает результаты на тестах по математике и программированию, а также качество письма и рассуждений по внутренним тестам разработчика. В README также отмечены сценарии загрузки файлов и суммаризации веб-страниц. Модель подходит для диалоговых приложений, решения математических задач, помощи с кодом, подготовки текстов, рассуждений и суммаризации. Она поддерживает контекст до 163 840 токенов; объём параметров в метаданных указан как 18,1 млрд. Для запуска BF16 в README требуется конфигурация из восьми GPU по 80 ГБ. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, поэтому перед использованием следует проверить условия в карточке модели.

Gemma 4 12B IT QAT Q4_0 Unquantized Assistant — модель Google DeepMind на базе google/gemma-4-12B-it-assistant. Это инструкция-настроенная мультимодальная модель с плотной архитектурой Gemma 4 и причинным декодером; репозиторий содержит веса safetensors, извлечённые из конвейера Quantization-Aware Training в формате половинной точности. Такая версия предназначена для дальнейшей компиляции и исследований, а не для непосредственной загрузки как готового Q4_0-квантизованного файла. Модель принимает текст и изображения; семейство также поддерживает видео, а вариант 12B — аудио. Она генерирует текст и подходит для диалогов, рассуждений, программирования, анализа изображений и документов, распознавания речи и перевода речи в текст. Для Gemma 4 12B заявлено контекстное окно до 256 тысяч токенов и многоязычная поддержка; семейство обучалось более чем на 140 языках. Модель поддерживает режим рассуждений, вызов инструментов и обработку изображений с разным разрешением. Точная лицензия репозитория — Apache 2.0. Качество и производительность зависят от выбранной среды компиляции и аппаратуры; конкретные ограничения для этого чекпойнта в карточке не описаны.

Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

Карточка модели microperceptron/NVIDIA-Nemotron-3-Super-120B-A12B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-BF16, поэтому описание составлено по ней. Nemotron-3-Super-120B-A12B-BF16 — языковая модель NVIDIA для диалога, рассуждений и создания агентных систем. Она предназначена для разработчиков чат-ботов, RAG-систем и совместно работающих ИИ-агентов, а также для автоматизации больших потоков задач, например обработки ИТ-заявок. Модель поддерживает сложное следование инструкциям и работу с длинным контекстом. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и внимания в гибриде LatentMoE; также используются Multi-Token Prediction для ускорения генерации и 12 млрд активных параметров при 120 млрд общих. Карточка указывает контекст до 1 млн токенов, тогда как метаданные Hugging Face — 262 144 токена. Модель принимает текст и генерирует текст; заявлены английский, французский, немецкий, итальянский, японский, испанский и китайский языки. Модель ориентирована на высокую пропускную способность, агентные сценарии, код, рассуждения и мультиязычный диалог. Карточка заявляет коммерческую готовность, но метаданные указывают лицензию «other», поэтому перед использованием следует проверить её условия. В опубликованном репозитории формат весов указан как safetensors; карточка описывает обучение с NVFP4, но это не означает, что репозиторий представляет квантизованную версию.

unsloth/Qwen2.5-7B-Instruct — инструктивная языковая модель семейства Qwen2.5, опубликованная Unsloth как производная от Qwen/Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель с 7,1 млрд параметров; карточка указывает архитектуру Qwen2 и поддержку Transformers, а README описывает 28 слоёв, RoPE, SwiGLU, RMSNorm и механизм группового внимания GQA. Метаданные указывают контекст 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Она подходит для ответов на вопросы, написания и анализа кода, математических задач, создания длинных текстов и выдачи структурированных ответов, включая JSON. Поддерживает английский, русский, китайский и ряд других языков; заявлена поддержка более 29 языков. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. README описывает возможность работы с более длинным контекстом через YaRN, но отмечает, что статическое масштабирование может ухудшить качество или производительность на коротких запросах. Модель выпущена под лицензией Apache-2.0.

Qwen3-30B-A3B — языковая модель семейства Qwen3, разработанная командой Qwen. Это причинная модель с архитектурой mixture-of-experts: в README указаны 30,5 млрд параметров всего и 3,3 млрд активируемых параметров, 48 слоёв и 128 экспертов, из которых для обработки задействуются 8. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики, программирования, творческого письма, перевода и работы с внешними инструментами. В ней можно переключаться между режимами рассуждения и обычного ответа. Заявлена поддержка более 100 языков и диалектов. Метаданные указывают библиотеку Transformers, формат Safetensors и контекст 40 960 токенов; README описывает нативный контекст 32 768 токенов и расширение до 131 072 с YaRN. Модель дообучена на Qwen/Qwen3-30B-A3B-Base и распространяется по лицензии Apache-2.0. Указанные в README возможности рассуждения и работы с инструментами не заменяют внешнюю проверку ответов и корректную настройку интеграций.

Qwen3-32B-FP8 — языковая модель серии Qwen3, разработанная командой Qwen и адаптированная для запуска на аппаратной платформе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотная causal transformer-модель с 32,8 млрд параметров и grouped-query attention, предназначенная для генерации текста, диалогов, сложных рассуждений, решения математических задач, программирования, вызова инструментов и построения агентных сценариев. Модель работает с текстом на входе и выходе, поддерживает многоязычное использование и предоставляет OpenAI-совместимый API через сервер Furiosa-LLM. Ключевая особенность — гибридный режим работы: по умолчанию модель может формировать рассуждение перед итоговым ответом, а для более быстрых общих диалогов рассуждение можно отключить отдельно для запроса или задать как режим по умолчанию. Поддерживается вызов функций через tool-call parser hermes. Веса статически квантизированы в FP8 с размером блока 128, активации используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Для запуска на RNGD требуется тензорный параллелизм на 32 вычислительных элементах, соответствующий четырём картам RNGD. Сильные стороны модели — сочетание рассуждений и эффективного диалога в одной модели, поддержка многоязычности, программирования, инструментов и агентных задач, а также снижение требований к памяти благодаря FP8-квантизации. Ограничения README не раскрывает: не указаны длина контекста, конкретный перечень языков, результаты бенчмарков и требования к ресурсам для других платформ. Данная сборка ориентирована на Furiosa-LLM и FuriosaAI RNGD, хотя исходная модель также может запускаться через vLLM, SGLang и Transformers. Лицензия — Apache 2.0.

unsloth/Qwen3-32B-GGUF — версия модели Qwen3-32B в формате GGUF, подготовленная Unsloth на основе базовой модели Qwen/Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная языковая модель с предварительным обучением и последующей настройкой, предназначенная для диалогов, следования инструкциям, генерации текста и кода, математического и логического рассуждения, переводов, творческого письма и агентских сценариев с использованием внешних инструментов. Модель содержит 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и имеет 64 слоя. Используется grouped-query attention: 64 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает режимы thinking и non-thinking, между которыми можно переключаться, а также более 100 языков и диалектов. Формат GGUF ориентирован на запуск через совместимые локальные инструменты, однако конкретный вариант квантования в README не указан. К сильным сторонам относятся развитые способности к рассуждению, программированию, многоязычному следованию инструкциям, переводу, многошаговым диалогам и работе в агентских задачах. Ограничениями являются значительный размер модели и, вероятно, высокие требования к памяти и вычислительным ресурсам; точные требования зависят от варианта GGUF и в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.5-27B — постобученная мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это причинная языковая модель с визуальным энкодером на 27 млрд параметров, объединяющая Gated Delta Networks и разреженную архитектуру Mixture-of-Experts. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; заявлена совместимость с Transformers, vLLM, SGLang и KTransformers. Модель предназначена для диалогов и рассуждений по тексту и изображениям, программирования, визуального понимания и сценариев с вызовом инструментов. Она поддерживает 201 язык и диалект. Нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов; режим рассуждений включён по умолчанию. Разработчик отмечает высокую эффективность гибридной архитектуры и широкие мультимодальные возможности. Лицензия — Apache-2.0. Для запуска доступны популярные фреймворки инференса; README рекомендует специализированные серверы для производительных нагрузок. Модель крупная, поэтому длинный контекст может требовать значительных ресурсов и при нехватке памяти его рекомендуют уменьшать.

unsloth/Qwen3-8B — плотная причинно-авторегрессионная языковая модель семейства Qwen3, основанная на Qwen/Qwen3-8B и опубликованная Unsloth. По карточке модели, она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математики и программирования; также поддерживает интерфейс вызова инструментов. Qwen3 позволяет переключаться между режимами рассуждения и обычного ответа. Метаданные указывают 7,6 млрд параметров и контекст до 40 960 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Карточка базовой модели заявляет поддержку более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель может быть полезна для чат-ботов, генерации и редактирования текста, помощи с кодом и агентных сценариев с инструментами. Указана лицензия Apache-2.0. Заявленный в README базовой модели размер параметрического набора и длина контекста отличаются от значений метаданных этой записи, поэтому здесь приведены значения метаданных каталога.

Qwen3-8B-FP8 — большая языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-8B, предназначенная для генерации текста и диалоговых приложений. Модель поддерживает переключение между режимом рассуждений для сложных логических, математических и программных задач и обычным режимом для более быстрых ответов. Она также ориентирована на следование инструкциям, творческое письмо, ролевые сценарии, многошаговые диалоги, перевод и работу с внешними инструментами в агентных системах. Модель является каузальной языковой моделью с 8,2 млрд параметров, из которых 6,95 млрд не относятся к embedding-слою. Она содержит 36 слоёв и использует Grouped-Query Attention с 32 головами для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN достигает 131 072 токенов. Поддерживается более 100 языков и диалектов. FP8-квантизация выполнена мелкоблочным методом с размером блока 128, что предназначено для повышения эффективности хранения и инференса. Сильными сторонами модели являются сочетание рассуждений и быстрого общего диалога, мультиязычность, возможности генерации кода и интеграции с инструментами. Ограничения включают зависимость качества и производительности от режима рассуждений, аппаратной конфигурации и используемого inference-фреймворка; для распределённого инференса в Transformers указаны известные проблемы с fine-grained FP8. Модель распространяется по лицензии Apache-2.0.

unsloth/cogito-v2-preview-llama-70B-GGUF — GGUF-версия большой языковой модели Cogito v2 preview 70B, разработанная Unsloth на базе deepcogito/cogito-v2-preview-llama-70B. Это инструкционно дообученная генеративная модель с гибридным режимом рассуждений: она может отвечать напрямую либо предварительно выполнять саморефлексию. Обучение проводилось с использованием Iterated Distillation and Amplification (IDA), стратегии итеративного самоулучшения. Модель предназначена для генерации текста, следования инструкциям, программирования, задач STEM, вызова инструментов и общего ассистирования. Модель поддерживает контекст длиной до 128k токенов и обучена более чем на 30 языках, поэтому ориентирована на многоязычные сценарии. Заявлены улучшенные возможности в программировании, работе с инструментами и многоязычии по сравнению с сопоставимыми по размеру моделями. Доступны стандартный режим и расширенное рассуждение; для последнего в совместимых инструментах требуется включить параметр enable_thinking или использовать предусмотренный системный запрос и префилл. GGUF-формат подходит для запуска через совместимые средства локального инференса, включая llama.cpp; для корректного применения шаблона чата в llama.cpp рекомендуется параметр --jinja. К ограничениям относятся значительные требования к вычислительным ресурсам, обусловленные размером 70B, а также экспериментальный статус preview и возможная хрупкость гибридного режима в редких случаях. Репозиторий распространяется по лицензии Llama 3.1, указанной как допускающая коммерческое использование; точные условия следует проверять в тексте лицензии.

DeepSeek-V3-0324 — языковая модель, разработанная компанией DeepSeek (深度求索). Это улучшенная версия DeepSeek-V3, ориентированная на задачи рассуждения, программирования и веб-разработки, написания и редактирования текстов на китайском языке, перевода, анализа отчётов, веб-поиска и Function Calling. По данным карточки, модель демонстрирует улучшения по сравнению с предыдущей версией в бенчмарках MMLU-Pro, GPQA, AIME и LiveCodeBench. Также заявлены более исполнимый код, более качественные веб-страницы и игровые интерфейсы, улучшенное многошаговое редактирование, написание писем и средних и длинных текстов на китайском языке, а также более точный вызов функций. Поддержка мультимодальности, архитектура, размер модели, максимальная длина контекста и полный перечень языков в README не указаны. Для использования рекомендуется учитывать настройки официальных веб- и мобильных приложений: базовая температура модели составляет 0,3, а системный промпт идентифицирует ассистента как DeepSeek Chat, созданного DeepSeek, и содержит текущую дату. Условия лицензии указаны явно: MIT, что допускает использование, модификацию и распространение модели в рамках условий этой лицензии.

cyankiwi/gemma-4-26B-A4B-it-AWQ-8bit — инструкцияно дообученная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате AWQ 8bit. Она основана на Google Gemma 4 26B A4B и использует архитектуру Mixture-of-Experts с 25,2 млрд параметров, из которых около 3,8 млрд активируются при обработке запроса. Модель предназначена для генерации текста, программирования, рассуждений, мультимодального анализа изображений и построения агентных сценариев с вызовом функций. Модель принимает текст и изображения и генерирует текст. Она поддерживает более 140 языков, контекст до 256 тысяч токенов и использует гибридный механизм внимания с чередованием локального sliding window attention и глобального внимания. В конфигурации MoE предусмотрены 128 экспертов, 8 активных экспертов и один общий эксперт; размер скользящего окна составляет 1024 токена, словарь — 262 тысячи токенов. Поддерживаются настраиваемые режимы рассуждений и системные сообщения. Ключевое преимущество — сочетание возможностей модели класса 26B с вычислительной нагрузкой, близкой к модели примерно на 4 млрд активных параметров, что делает инференс быстрее плотной модели Gemma 4 31B. Большой контекст и поддержка изображений подходят для анализа длинных документов, сложных задач рассуждения, программного кода и визуальных данных. Ограничения включают необходимость совместимого оборудования и программного обеспечения для AWQ 8bit, а также потенциальные ошибки и ограничения, свойственные генеративным мультимодальным моделям; конкретные показатели производительности в предоставленном фрагменте README приведены не полностью. Лицензия — Apache 2.0.

Gemma 4 31B IT — мультимодальная инструкционно-настроенная модель Google DeepMind на плотной архитектуре Gemma 4, предназначенная для диалогов и генерации текста по текстовым и визуальным запросам. Она принимает текст и изображения и выдаёт текст; поддерживает анализ изображений, рассуждения, программирование и работу с инструментами. Для этой версии заявлено контекстное окно до 256 тыс. токенов. Семейство Gemma 4 обучено на более чем 140 языках, однако для этой карточки отдельный перечень поддерживаемых языков не приведён. Модель подходит для ответов по изображениям и документам, распознавания текста на изображениях, анализа диаграмм и интерфейсов, а также для создания и редактирования текста и кода. Семейство Gemma 4 использует гибридное внимание с локальными и глобальными слоями, рассчитанное на работу с длинным контекстом. Аудиовход в README указан только для вариантов E2B, E4B и 12B, поэтому его не следует приписывать версии 31B. Лицензия — Apache 2.0.

GLM-4-9B-Chat-1M — открытая чат-модель семейства GLM-4, разработанная Zhipu AI. Это плотная архитектура ChatGLM примерно на 10,7 млрд параметров, рассчитанная на диалог и генерацию текста; модель поддерживает контекст до 1 048 576 токенов и интерфейс вызова инструментов. README также упоминает возможности веб-браузинга, выполнения кода и рассуждений по длинным текстам. Модель предназначена для многошаговых диалогов, анализа длинных документов, ответов на вопросы по большому контексту, рассуждений, работы с кодом и вызова пользовательских инструментов. В README заявлена поддержка 26 языков, включая японский, корейский и немецкий; метаданные карточки отмечают китайский и английский. Для весов действует лицензия, указанная в LICENSE; в метаданных она обозначена как other.

pitcany/gpt-oss-120b — зеркало модели открытых весов gpt-oss-120b, разработанной OpenAI. Это языковая модель с архитектурой MoE для диалога, задач рассуждения и разработки; она поддерживает вызов инструментов, включая функции, веб-поиск и исполнение Python, при соответствующей настройке. Для корректной работы модель следует использовать с форматом диалога Harmony. Усилие рассуждения можно настраивать на низкий, средний или высокий уровень. В карточке указано 117 млрд параметров и 5,1 млрд активных параметров; метаданные репозитория указывают 2,1 млрд параметров, поэтому размер в источниках расходится. Контекстное окно — 131 072 токена. Репозиторий содержит формат GGUF; исходная модель описана как использующая квантизацию MXFP4 для весов MoE. Лицензия — Apache-2.0, допускающая коммерческое применение. Модель общего назначения; явные ограничения по языкам в предоставленных данных не описаны.

unsloth/granite-4.1-30b — версия модели Granite-4.1-30B, опубликованная Unsloth с исправлениями шаблона чата. Исходную модель разработала команда Granite компании IBM; это плотный авторегрессионный трансформер с архитектурой decoder-only, GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 28,9 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалогов и следования инструкциям, создания ассистентов и агентов с вызовом инструментов, а также для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG и задач с кодом, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Для версии Unsloth README отдельно отмечает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Вариант Unsloth основан на ibm-granite/granite-4.1-30b и обозначен в метаданных как дообучение. Модель распространяется по лицензии Apache 2.0. По данным карточки, обучающие инструкции в основном были на английском, поэтому качество на других поддерживаемых языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы; для конкретных сценариев нужны проверка и настройка безопасности.

unsloth/Kimi-K2-Thinking-BF16 — публикация модели Kimi K2 Thinking в формате BF16, размещённая Unsloth и основанная на moonshotai/Kimi-K2-Thinking. Это текстовая разговорная модель с архитектурой DeepSeek V3; карточка описывает исходную Kimi K2 Thinking как модель с архитектурой Mixture-of-Experts, примерно 1 трлн параметров и 32 млрд активируемых параметров. В метаданных данной публикации указано 37,9 млрд параметров. Модель предназначена для сложных рассуждений, работы с инструментами, исследований, программирования и написания текстов. Заявлены контекст до 256 тыс. токенов и способность поддерживать длинные последовательности вызовов инструментов; результаты тестов в README получены с поиском, браузером и интерпретатором кода там, где указано использование инструментов. Это текстовая модель, а не модель для обработки изображений или аудио. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. README описывает INT4-квантизацию исходной Kimi K2 Thinking, однако эта публикация заявлена как BF16, а в метаданных указан формат safetensors; результаты и характеристики исходной версии не следует автоматически переносить на эту публикацию.

unsloth/Llama-3.3-70B-Instruct-bnb-4bit — 4-битная версия модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной для квантованного запуска сообществом Unsloth. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA), дообученная с применением supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей для повышения полезности и безопасности. Модель предназначена для многоязычного диалога, генерации и обработки текста и кода. Она принимает и формирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, имеет контекстное окно 128k токенов и содержит 70 млрд параметров. Объём предобучающих данных превышает 15 трлн токенов, а дата отсечения знаний — декабрь 2023 года. Ключевые преимущества — большой контекст, широкий языковой охват, диалоговая настройка и сниженные требования к памяти благодаря 4-битному формату bnb. Модель остаётся статичной и обучена на офлайн-данных, поэтому её знания не обновляются автоматически и могут содержать ошибки или устаревшую информацию. Лицензия — Llama 3.3 Community License Agreement с особыми условиями коммерческого использования.

unsloth/Qwen2.5-32B-Instruct-bnb-4bit — 4-битная версия instruction-tuned языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель предназначена для диалоговых сценариев, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Репозиторий подготовлен с использованием Unsloth и предназначен для загрузки через библиотеку Transformers. Модель является causal language model с архитектурой на базе transformers, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-матрицах внимания. Она содержит около 32,5 млрд параметров, 31 млрд параметров без учёта эмбеддингов, 64 слоя и групповое обобщённое внимание (GQA) с 40 головами Q и 8 головами KV. Поддерживаются контексты до 131 072 токенов и генерация до 8192 токенов. Заявлена поддержка более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся улучшенные возможности в программировании и математике, следование разнообразным системным инструкциям, обработка длинного контекста и генерация структурированных ответов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать точность относительно моделей с более высокой разрядностью; конкретные характеристики качества и требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели efathakanafunzi/Qwen3-14B на Hugging Face совпадает с карточкой Qwen/Qwen3-14B, поэтому описание составлено по ней. Qwen3-14B — плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen3-14B-Base с 14 млрд параметров; метаданные указывают на архитектуру Qwen3ForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с инструментами. Она поддерживает режимы рассуждения и обычного ответа, а также более 100 языков и диалектов. Контекстное окно, указанное в метаданных, составляет 40 960 токенов. Карточка описывает 32 768 токенов нативно и возможность расширения до 131 072 с YaRN. Для использования требуется библиотека Transformers; модель распространяется по лицензии Apache 2.0. Она принимает текстовые запросы и генерирует текст, а подключение внешних инструментов реализуется через интерфейс приложения.

Qwen3-1.7B-FP8 — языковая модель для генерации текста, разработанная командой Qwen. Это FP8-квантизированная версия Qwen3-1.7B, предназначенная для диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода, творческого письма и агентских сценариев с интеграцией внешних инструментов. Модель представляет собой причинную языковую модель с 1,7 млрд параметров, из которых 1,4 млрд не относятся к embedding-слою. Она содержит 28 слоёв и использует Grouped Query Attention с 16 головами для запросов и 8 головами для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимом thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся компактный размер, многоязычность, поддержка рассуждений, диалоговых и агентских задач, а также возможность запуска в популярных inference-фреймворках. FP8-квантизация с размером блока 128 повышает эффективность использования памяти и производительность, но для распределённого inference в Transformers указаны ограничения, включая необходимость CUDA_LAUNCH_BLOCKING=1 в некоторых конфигурациях с несколькими устройствами. Для работы рекомендуется Transformers версии 4.51.0 или новее; при частых повторениях требуется корректная настройка параметров sampling. Модель распространяется по лицензии Apache 2.0.

unsloth/Qwen3-4B-128K-GGUF — это GGUF-версия текстовой авторегрессионной языковой модели Qwen3-4B, разработанной командой Qwen и опубликованной Unsloth. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Модель содержит около 4 миллиардов параметров, из них 3,6 миллиарда приходятся на параметры без учёта embedding-слоя. Архитектура включает 36 слоёв и Grouped-Query Attention с 32 головами запросов и 8 головами ключей/значений. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрых ответов. Базовая длина контекста составляет 32 768 токенов, а с применением YaRN — до 131 072 токенов, что соответствует заявленному в идентификаторе варианту 128K. Модель ориентирована на работу более чем со 100 языками и диалектами. К сильным сторонам относятся компактный размер, поддержка многоязычных сценариев, развитое следование инструкциям, рассуждение, генерация кода и интеграция с инструментами. Ограничения включают меньшую ёмкость по сравнению с крупными моделями, текстовую специализацию без заявленной поддержки изображений или аудио, а также необходимость корректной настройки режима рассуждения и совместимого программного обеспечения для запуска GGUF. Лицензия — Apache 2.0.

Карточка модели nicoplv/Qwen3.8-27B-oQ4e-fp16-mtp на Hugging Face совпадает с карточкой Qwen/Qwen3.8-27B, поэтому описание составлено по ней. Qwen3.8-27B — плотная мультимодальная модель семейства Qwen от команды Qwen. Это постобученная причинная языковая модель с визуальным энкодером, содержащая 27 млрд параметров и построенная на архитектурной основе Qwen3.5. Репозиторий включает веса и конфигурацию в формате Hugging Face Transformers; модель также совместима с vLLM, SGLang и другими средами инференса. Лицензия — Apache-2.0. Модель предназначена для диалогов, программирования, профессиональных и исследовательских задач, а также многошаговых агентных сценариев. Она принимает текст, изображения и видео и умеет разбирать документы, диаграммы и длительные видеоматериалы. Режим рассуждения включён по умолчанию, его можно отключить для отдельного запроса, а глубину настраивать параметром reasoning_effort. Контекст составляет 262 144 токена и может расширяться до 1 000 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN-блоки; предусмотрено обучение с Multi-Token Prediction. В карточке заявлены улучшения планирования и выполнения задач с учётом обратной связи среды, однако приведённые описания бенчмарков сами по себе не гарантируют качество в конкретном применении. Модель ориентирована на применение и распространяется по лицензии Apache-2.0.