I.5Создание и редактирование текста

coder3101/gemma-4-12B-it-qat-q4_0-unquantized-heretic — мультимодальная инструкционная модель на 12 млрд параметров, основанная на Gemma 4 от Google DeepMind и дообученная автором репозитория. Она предназначена для диалога, рассуждений, генерации и исправления кода, работы с инструментами, а также анализа изображений, видео и аудио. Архитектура Gemma 4 использует чередование локального скользящего и глобального внимания; для модели 12B заявлен контекст до 256 тысяч токенов. Модель принимает текст и мультимодальные данные и генерирует текст; аудиовозможности Gemma 4 12B включают распознавание речи и перевод речи в текст. Семейство поддерживает более 35 языков, хотя конкретный перечень для этого чекпойнта не приведён. Модификация помечена как uncensored/decensored/abliterated, поэтому предполагает ослабленные ограничения на ответы по сравнению с обычной инструкционной моделью. Возможности включают извлечение данных из документов, OCR, понимание экранов и диаграмм, суммаризацию и ответы на вопросы. Модель может ошибаться в фактах, терять нюансы языка и отражать смещения обучающих данных; сложные и открытые запросы требуют проверки. Лицензия — Apache-2.0.

Карточка модели Abobs132/gemma-4-E2B на Hugging Face совпадает с карточкой google/gemma-4-E2B, поэтому описание составлено по ней. Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Gemma 4 E2B — мультимодальная плотная модель с открытыми весами от Google DeepMind, принадлежащая семейству Gemma 4. Она принимает текст и изображения, а также аудио; генерирует текст. Семейство использует гибридное внимание с локальными скользящими окнами и глобальным вниманием. Для малых моделей, включая E2B, заявлено контекстное окно до 128 тысяч токенов. Модель предназначена для диалогов, рассуждений, генерации и исправления кода, суммаризации, понимания изображений и аудио, распознавания речи и перевода речи в текст. Она рассчитана на локальный запуск на мобильных устройствах и ноутбуках; семейство поддерживает многоязычные сценарии, включая более 35 языков в готовом виде. Модельные карточка описывает возможности семейства, поэтому отдельные характеристики E2B следует трактовать в его контексте. Репозиторий распространяется по лицензии Apache 2.0. Возможности включают OCR, разбор документов, анализ видео и вызов функций; описание аудиоподдержки для E2B подтверждает обработку аудио, а не генерацию речи. Качество ответов может зависеть от языка, сложности задачи и доступных вычислительных ресурсов; для критически важных сценариев результаты следует проверять.

Карточка модели AALange/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели AdXff/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Карточка модели Openintelligent123/gemma-4-E2B-it на Hugging Face совпадает с карточкой google/gemma-4-E2B-it, поэтому описание составлено по ней. Gemma 4 E2B IT — мультимодальная модель Google DeepMind, дообученная на основе google/gemma-4-E2B для выполнения инструкций. Она принимает текст, изображения и аудио, а выдаёт текст; подходит для диалогов, рассуждений, написания и исправления кода, распознавания речи и анализа визуального содержимого, включая документы, диаграммы и кадры видео. Модель использует плотную архитектуру Gemma 4 и рассчитана на локальное развёртывание, в том числе на устройствах с ограниченными ресурсами. Для малых моделей семейства заявлено контекстное окно до 128 тысяч токенов; Gemma 4 поддерживает множество языков. Модель поддерживает вызов инструментов и режим рассуждений. Google DeepMind указывает сценарии использования для создания контента, диалоговых помощников, суммаризации, извлечения сведений из изображений и работы с аудио. Репозиторий содержит веса Safetensors, модель использует библиотеку Transformers и распространяется по лицензии Apache 2.0. Качество ответов может зависеть от языка, сложности задачи и входных данных; описание не приводит отдельных оценок для этой версии.

Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

cyankiwi/GLM-4.7-Flash-AWQ-4bit — 4-битная AWQ-квантизованная версия GLM-4.7-Flash, разработанной командой GLM и распространяемой организацией zai-org. Это языковая модель для генерации текста, рассуждений, программирования и агентских сценариев, включая взаимодействие с инструментами и решение задач, требующих многошагового планирования. Модель построена по архитектуре MoE с конфигурацией 30B-A3B: общий размер составляет около 30 млрд параметров, при этом на каждом шаге активируется примерно 3 млрд. Указаны поддерживаемые языки English и Chinese, библиотека Transformers и текстовая модальность. В README приведены настройки генерации с максимальной длиной нового вывода до 131 072 токенов, однако размер контекстного окна явно не указан. Для локального запуска заявлена совместимость с Transformers, vLLM и SGLang; для этой версии также требуется учитывать поддержку AWQ-квантизации используемым фреймворком. Сильными сторонами являются сочетание производительности и эффективности при локальном развертывании, а также результаты на задачах рассуждений, программирования, веб-поиска и взаимодействия с инструментами. Ограничениями выступают возможные потери качества из-за 4-битной квантизации и необходимость актуальных версий программного обеспечения для поддержки модели. В README указана лицензия MIT.

GLM-4.7-Flash-Razor-17B-A3B-E32of64 — текстовая диалоговая MoE-модель на архитектуре GLM-4-MoE-Lite, полученная из GLM-4.7-Flash удалением методом RAZOR половины маршрутизируемых экспертов в каждом MoE-слое. В модели сохранено 32 из 64 экспертов; обучающие обновления и восстановительное дообучение не применялись. Репозиторий указывает 17 млрд параметров, а метаданные Hugging Face — 4,1 млрд; фактический размер параметров поэтому расходится между источниками. Активно около 3 млрд параметров на токен. Модель предназначена для диалоговой генерации текста и сценариев, унаследованных от GLM-4.7-Flash, включая рассуждения и программирование. Она принимает текст и выдаёт текст, поддерживает контекст до 202 752 токенов и распространяется в формате safetensors с весами bfloat16; для запуска нужна версия Transformers с реализацией glm4_moe_lite. Экспертное прореживание примерно вдвое сокращает объём хранения экспертов, при этом вычисления на токен остаются практически неизменными. Изменения генерации возможны: могут отличаться разнообразие, форматирование и поведение при завершении ответа, даже если точность задач в целом сохраняется. Модель выпущена под лицензией MIT.

Granite-3.0-8B-Instruct — языковая модель команды Granite компании IBM для ответов на инструкции и создания диалоговых ассистентов, в том числе для бизнес-приложений. Она дообучена на базе ibm-granite/granite-3.0-8b-base с использованием открытых наборов инструкций, синтетических данных, supervised fine-tuning, выравнивания с помощью обучения с подкреплением и объединения моделей. Модель представляет собой плотный decoder-only трансформер на 8,2 млрд параметров с архитектурой Granite; в ней используются GQA, RoPE, SwiGLU и RMSNorm. Она принимает текст и генерирует текст, поддерживает структурированный формат чата и интерфейс вызова инструментов. Длина контекста — 4096 токенов. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Качество на языках помимо английского может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными, поэтому для конкретного применения нужны проверка и настройка. Лицензия — Apache 2.0.

unsloth/granite-4.1-30b — версия модели Granite-4.1-30B, опубликованная Unsloth с исправлениями шаблона чата. Исходную модель разработала команда Granite компании IBM; это плотный авторегрессионный трансформер с архитектурой decoder-only, GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Модель содержит 28,9 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Модель предназначена для диалогов и следования инструкциям, создания ассистентов и агентов с вызовом инструментов, а также для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG и задач с кодом, включая Fill-in-the-Middle. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Для версии Unsloth README отдельно отмечает исправления шаблона чата; для llama.cpp рекомендуется использовать параметр --jinja. Вариант Unsloth основан на ibm-granite/granite-4.1-30b и обозначен в метаданных как дообучение. Модель распространяется по лицензии Apache 2.0. По данным карточки, обучающие инструкции в основном были на английском, поэтому качество на других поддерживаемых языках может быть ниже. Модель может выдавать неточные, предвзятые или небезопасные ответы; для конкретных сценариев нужны проверка и настройка безопасности.

Granite-4.1-3B (FP8) — это FP8-квантизированная версия компактной инструкционной языковой модели Granite-4.1-3B, разработанная командой Granite компании IBM. Модель предназначена для генерации текста и построения AI-ассистентов, включая корпоративные приложения и LLM-агентов с использованием инструментов. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, Retrieval Augmented Generation (RAG), программирование, function calling, многоязычный диалог и Fill-In-the-Middle для завершения кода. Модель содержит около 3 млрд параметров и основана на decoder-only dense Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными embeddings. Для версии 3B указаны 40 слоёв, размер embeddings 2560, 40 attention heads, 8 KV heads и максимальная длина последовательности 131072 токена. FP8-квантизация предназначена для более эффективного развёртывания и снижения требований к памяти; репозиторий поддерживает Transformers, vLLM и SGLang. Поддерживаемые языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Сильные стороны модели — улучшенные instruction following, tool calling, диалоговые возможности, кодирование и математическое рассуждение при компактном размере. Ограничения включают возможное снижение качества для неанглийских задач, а также риск неточных, предвзятых или небезопасных ответов; IBM рекомендует проводить собственное тестирование и настройку безопасности. Модель распространяется по лицензии Apache 2.0.

Карточка модели genevaquant/Hermes-4-14B на Hugging Face совпадает с карточкой NousResearch/Hermes-4-14B, поэтому описание составлено по ней. Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

Hermes 4 14B — плотная языковая модель Nous Research на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B. Она предназначена для диалогов и выполнения инструкций, включая задачи рассуждения, математики, программирования, STEM, логики, творческого письма и генерации ответов в заданном формате. Модель поддерживает гибридный режим рассуждений, следование схемам и вывод JSON, а также вызов инструментов при соответствующей настройке шаблона ChatML. Размер модели — 14 млрд параметров, длина контекста — 40 960 токенов; основным указанным языком карточки является английский. Модель распространяется под лицензией Apache-2.0. Для работы следует использовать формат ChatML; качество ответов и вызова инструментов зависит от корректной настройки шаблона и инференсного окружения. Заявления README о сравнительных результатах и улучшениях основаны на описании разработчика и не являются независимой оценкой.

Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Inkling-NVFP4 — квантованная версия мультимодальной модели Inkling, разработанная Thinking Machines. Это универсальная авторегрессионная модель для разработчиков, создающих AI-приложения: агентные и инструментальные системы, ассистенты программирования, чат-боты и решения с retrieval-augmented generation. Она также подходит для диалогов общего назначения, следования инструкциям и других текстовых и мультимодальных задач. Модель распространяется с открытыми весами для исследований, дообучения и интеграции в сторонние продукты. Архитектура представляет собой decoder-only transformer из 66 слоёв с разреженным Mixture-of-Experts: для каждого токена выбираются 6 из 256 экспертов, а ещё 2 общих эксперта активны постоянно. Внимание сочетает локальные и глобальные слои. Модель принимает текст, изображения и аудио, объединяя их в общем скрытом пространстве; изображения и видео обрабатываются иерархическим patch-энкодером, аудио — через дискретное токенизирование. Всего заявлено 975 млрд параметров, из них 41 млрд активны для отдельного токена. Версия поддерживает числовой формат NVFP4, а базовая модель также доступна в BF16. На вход подаются UTF-8-текст, изображения в пиксельных форматах и WAV-аудио с частотой 16 кГц; для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и аудио длительностью менее 20 минут. На выходе модель генерирует UTF-8-текст. Основной язык — английский, при этом заявлены общие мультиязычные возможности и поддержка нескольких языков программирования. К ограничениям относятся отсутствие подробных данных о длине контекста в представленном README и потенциальные требования к вычислительным ресурсам из-за большого общего числа параметров, несмотря на разреженную активацию и квантование. Модель распространяется по лицензии Apache 2.0; также действует отдельная политика допустимого использования Thinking Machines.

InternLM-Chat-20B — диалоговая версия языковой модели InternLM, разработанная Шанхайской лабораторией искусственного интеллекта совместно с SenseTime, Китайским университетом Гонконга и Фуданьским университетом. Это плотная авторегрессионная модель на 19,6 млрд параметров с архитектурой InternLMForCausalLM. Базовая модель обучалась на более чем 2,3 трлн токенов английского, китайского и кода; Chat-версия дополнительно прошла SFT и RLHF. Метаданные указывают контекст 4096 токенов, а README сообщает о возможности расширения до 16 тысяч токенов посредством экстраполяции при инференсе. Модель предназначена для диалогов, генерации текста, ответов на вопросы, рассуждений, математических задач, программирования и взаимодействия с инструментами. Авторы отмечают улучшения в понимании и рассуждении, а также более безопасное поведение после дообучения. Модель принимает текст и генерирует текст; заявлены английский и китайский языки, а также данные для программирования. Весовая версия распространяется отдельно от кода: код открыт по Apache-2.0, а для весов README указывает академический доступ и возможность запросить бесплатную коммерческую лицензию. Модель может выдавать предвзятые, дискриминационные или иные нежелательные ответы; результаты генерации требуют проверки.

Карточка модели muhamad-geosurge/invert-polarity-beb392d1-cbb5-4f3b-b213-f71fba43b481 на Hugging Face совпадает с карточкой google/gemma-4-E4B-it, поэтому описание составлено по ней. Gemma 4 E4B Instruct — мультимодальная модель Google DeepMind, дообученная для следования инструкциям на базе google/gemma-4-E4B. Она использует плотную архитектуру Gemma 4 и принимает текст, изображения и аудио, выдавая текст; аудиовозможности заявлены для варианта E4B. Модель подходит для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и перевода речи в текст. Поддерживаются системные инструкции, вызов инструментов и контекст до 128 тысяч токенов; семейство Gemma 4 поддерживает множество языков, включая более 35 языков в практических сценариях. Модель рассчитана в том числе на локальное исполнение на ноутбуках и мобильных устройствах, а гибридное внимание сочетает локальные окна и глобальное внимание для работы с длинным контекстом. Возможности видео описаны для семейства в целом, но README не подтверждает их отдельно для E4B; поэтому видео не включено в модальности этой модели. Лицензия — Apache 2.0.

JoyAI-LLM Flash-Base — базовая языковая модель семейства JoyAI-LLM Flash, представленная в карточке модели как разработанная для высокопроизводительных приложений с низкой задержкой и стоимостью запросов. Это плотная архитектура DeepseekV3ForCausalLM по метаданным; README описывает модель как смесь экспертов (MoE) с 48 млрд параметров всего и 3 млрд активируемых параметров, тогда как метаданные указывают общий размер 2,7 млрд параметров. Модель предназначена для генерации текста, рассуждений, работы со знаниями и кодом, а также сценариев с использованием инструментов и автономным решением задач. README сообщает об обучении с оптимизатором Muon и о варианте с MTP, который, по заявлению авторов, повышает пропускную способность в 1,3–1,7 раза относительно версии без MTP. Поддерживаемые языки по тегам карточки — китайский и английский; контекстное окно составляет 131 072 токена. В репозитории указаны веса safetensors. Лицензия в предоставленных данных не указана.

Ling-1T — базовая языковая модель серии Ling 2.0, разработанная командой InclusionAI. Это причинная MoE-модель с архитектурой BailingMoeV2: в README заявлены 1 трлн параметров всего и около 50 млрд активных параметров на токен, тогда как метаданные Hugging Face указывают 49,6 млрд параметров. Модель обучена более чем на 20 трлн токенов и предназначена для генерации текста, диалога, сложных рассуждений, программирования и работы с инструментами. Для репозитория указаны контекст 32 768 токенов и формат safetensors; в README для Ling-1T-base заявлена поддержка до 128 тыс. токенов, поэтому длина контекста может зависеть от варианта модели. Модель рассчитана на многоязычный текст и показывает заявленные разработчиками возможности в математике, логике, написании кода и создании интерфейсов. Архитектура MoE активирует лишь часть параметров для каждого токена; также описаны MTP-слои и обучение с использованием FP8. Модель принимает текст и генерирует текст; визуальные задачи в README относятся к визуальному рассуждению и генерации интерфейсного кода, но поддержка изображений в метаданных не указана. README отмечает ограничения в многоходовом взаимодействии, долговременной памяти и использовании инструментов, а также возможные отклонения от инструкций и путаницу ролей. Модель распространяется по лицензии MIT.

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

RedHatAI/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 — квантованная версия Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная прежде всего для коммерческого и исследовательского использования на английском языке. Возможные сценарии включают чат-ассистентов, ответы на инструкции, генерацию текста, решение математических задач и помощь в программировании. Модель имеет архитектуру Meta-Llama-3 и содержит 70 млрд параметров в исходной версии. Веса линейных операторов в трансформерных блоках квантованы в формат INT4 по схеме W4A16 с симметричной групповой квантизацией для групп по 128 параметров; для квантования применён алгоритм GPTQ. Это сокращает объём хранения и требования к памяти GPU примерно на 75% по сравнению с 16-битной версией. Модель работает с текстом на входе и выходе, а в README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, хотя официальное назначение ограничено английским. Указанная длина контекста при развёртывании — до 8192 токенов. К сильным сторонам относятся существенное снижение требований к памяти и высокая близость качества к неквантованной модели: заявлены результаты восстановления 100% для Arena-Hard, 99,4% для OpenLLM v1, 97,4% для OpenLLM v2, 101,0% для HumanEval pass@1 и 99,2% для HumanEval+ pass@1. Ограничения включают возможную потерю точности из-за INT4-квантования, ориентацию на английский язык и отсутствие мультимодальности. Для эффективного развёртывания рекомендуется backend vLLM, включая режим OpenAI-compatible serving. Модель распространяется по лицензии Llama3.1; применяются ограничения исходной лицензии, включая запрет использования с нарушением законодательства.

Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Карточка модели tuneai/Meta-Llama-3-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3 8B Instruct — языковая модель Meta на 8 млрд параметров для диалоговых сценариев. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с подкреплением на основе оценок людей. Модель принимает текст и генерирует текст, в том числе код. Модель предназначена для ассистентского общения и генерации текста на английском языке, в коммерческих и исследовательских приложениях. Она подходит для создания чат-ботов и ответов на запросы; качество и безопасность ответа зависят от сценария и настроек приложения, поэтому для конкретного применения могут потребоваться дополнительные меры защиты. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Mistral-Large-Instruct-2411 — плотная большая языковая модель Mistral AI с 122,2 млрд параметров, представленная в ноябре 2024 года. Она предназначена для диалоговой генерации текста, сложных рассуждений, работы с кодом и задач с длинным контекстом. По сравнению с Mistral-Large-Instruct-2407 улучшены обработка длинного контекста, вызов функций и следование системным инструкциям. Модель поддерживает контекст до 131 072 токенов и многоязычную работу; карточка перечисляет английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Также заявлены структурированный вывод JSON, вызов функций и применение в сценариях RAG. Для запуска рекомендована библиотека vLLM; карточка указывает, что для инференса на GPU требуется более 300 ГБ видеопамяти. Модель выпущена Mistral AI по Mistral Research License, разрешающей использование и модификацию в некоммерческих целях. Это текстовая модель общего назначения; заявленные возможности и результаты зависят от сценария и развертывания.

Mistral-Small-3.1-24B-Instruct-2503-quantized.w4a16 — мультимодальная инструкционная модель, разработанная Red Hat совместно с Neural Magic на базе Mistral-Small-3.1-24B-Instruct-2503 от Mistral AI. Она принимает текст и изображения, а генерирует текст; архитектура указана как Mistral3ForConditionalGeneration. Модель предназначена для разговорных агентов с быстрым откликом, вызова функций с низкой задержкой, программирования, математического рассуждения, анализа длинных документов и визуального понимания. Также она подходит для локального развёртывания и тонкой настройки под специализированные предметные области, включая сценарии с чувствительными данными. Модель использует INT4-квантизацию весов линейных операторов в трансформерных блоках. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритмом GPTQ, реализованным в llm-compressor. По сравнению с 16-битным представлением это примерно на 75% снижает объём модели на диске и требования к памяти GPU, что является её ключевым преимуществом для быстрого и локального инференса. В README не указаны точное число параметров базовой модели, максимальная длина контекста и полный перечень поддерживаемых возможностей по каждому языку. Заявлена поддержка языков, включая английский, французский, немецкий, испанский, итальянский, португальский, хинди, индонезийский, вьетнамский, арабский, китайский, японский, корейский, русский, украинский и другие. Модель выпущена 15 апреля 2025 года, проверена в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. Ограничения включают возможную потерю точности из-за квантизации и запрет использования с нарушением применимого законодательства, а также в языках, официально не поддерживаемых моделью. Распространяется по лицензии Apache-2.0.

Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

OpenBuddy CodeLlama 70B v17.1 4K — многоязычная чат-модель семейства LLaMA, разработанная командой OpenBuddy на базе серии Meta LLaMA. Она предназначена для диалоговых ответов и генерации текста, в том числе в сценариях помощи с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и содержит 68,8 млрд параметров; репозиторий использует формат safetensors, а контекст составляет до 16 384 токенов. В метаданных и карточке указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Модель может выдавать ошибочные, вредные или оскорбительные ответы, поэтому её не следует использовать для критически важных медицинских, финансовых, юридических решений или управления потенциально опасными системами. Лицензия — LLaMA 2: для использования требуется соответствовать условиям Meta и иметь одобрение на доступ к LLaMA.

OpenChat-3.5-0106 — диалоговая языковая модель команды OpenChat, созданная дообучением Mistral-7B-v0.1 на смешанных данных. Она предназначена для общения и генерации текста, включая помощь с программированием, математические рассуждения и общие вопросы. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 8192 токенов; для диалога предусмотрены обычный режим и режим математических рассуждений. В карточке также описана экспериментальная возможность оценивать ответы и давать обратную связь. Модель рассчитана на текстовый ввод и выдачу текста. Карточка рекомендует развёртывание через OpenChat API-сервер с vLLM и указывает, что запуск возможен на потребительском GPU с 24 ГБ памяти. Опубликована под лицензией Apache-2.0. Заявления о превосходстве в карточке основаны на приведённых авторами тестах и зависят от набора задач и условий оценки.