I.5Создание и редактирование текста

AMAImedia/GLM-5.3-Flash-FP8-GGUF — GGUF-квантованная версия мультимодальной модели GLM-5.3-Flash, выпущенная AMAImedia в рамках платформы NOESIS. Оригинальная модель разработана организацией Z.ai; в README также указано, что проект связан с Tencent/Hy4-preview. Модель опубликована 19 сентября 2026 года под лицензией Apache 2.0. GLM-5.3-Flash предназначена для задач генерации текста, программирования, работы с длинным контекстом, агентных сценариев и анализа изображений. Это первая нативно мультимодальная модель серии GLM-5: она поддерживает текстовые и визуальные входные данные. Заявлены 320 млрд общих параметров и 18 млрд активных параметров, что указывает на разреженную архитектуру, ориентированную на снижение вычислительных затрат. В архитектуре используются sparse attention, linear attention и Manifold-Constrained Hyper-Connections (mHC). Точная длина контекста в README не указана. Модель поддерживает широкий набор языков, включая английский, русский, китайский, вьетнамский, японский, казахский и многие другие. К сильным сторонам относятся сочетание мультимодальности, агентных и кодовых возможностей с относительно небольшим числом активных параметров, а также возможность локального развёртывания через SGLang, vLLM, TokenSpeed и KTransformers. Ограничения включают отсутствие в README точных данных о длине контекста, производительности, требованиях к памяти и качестве работы на отдельных языках. Формат FP8-GGUF рассчитан на эффективное локальное использование, но совместимость и фактическая скорость зависят от выбранного рантайма и оборудования.

CoboSan/GLM-5.3-Flash-GGUF — это GGUF-версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель относится к семейству GLM-5 и предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с изображениями и текстом. В README указаны английский и китайский языки, а также поддержка нативной мультимодальности. Модель использует гибридную архитектуру со sparse attention и linear attention, а также Manifold-Constrained Hyper-Connections. Она содержит 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на снижение вычислительных затрат и стоимости работы с длинным контекстом. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. В оценках использовались контексты до 300 000 токенов, а для отдельных тестов — до 1 млн токенов, однако точное ограничение контекста данной GGUF-сборки в README не указано. К сильным сторонам относятся сочетание высокой заявленной производительности, эффективности разреженной активации, работы с длинным контекстом, программирования, агентских задач и мультимодального ввода. Для запуска требуется совместимое программное обеспечение, например llama.cpp с указанной поддержкой или Unsloth Desktop. README не содержит подробных сведений о конкретных уровнях квантования, системных требованиях и ограничениях качества квантованной версии. Лицензия модели — MIT.

GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-mlx-oQ8e — мультимодальная версия модели GLM-5.3-Flash с открытыми от цензуры весами. Исходную архитектуру разработала Zhipu AI (ZAI), uncensored-веса предоставила dealignai, а смешанную MLX-квантизацию oQ8e подготовила Solstice-AI. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также понимания изображений и видео. Указаны языки English и Chinese. Модель основана на разреженной MoE-архитектуре с 320 млрд общих параметров, 288 экспертами и примерно 18 млрд активных параметров на токен. Она поддерживает контекст до 1 048 576 токенов, мультимодальное понимание изображений и видео и запуск на Apple Silicon через MLX. Используется смешанная точность около 8,6 бит на вес: критичные для маршрутизации и вывода слои сохраняются в 8-битном формате, vision tower и мультимодальный aligner — в BF16, а отдельные таблицы — в BF16/FP32. В комплект входит DFlash2 для speculative decoding, заявленное ускорение — до 3 раз. Сильными сторонами являются большой контекст, сочетание текстовых и визуальных возможностей, высокая заявленная производительность в программировании, математике и видеоанализе, а также оптимизация для чипов Apple M2–M5. Ограничения включают значительный размер модели и зависимость от совместимого оборудования и MLX; заявленная uncensored-настройка может требовать самостоятельного контроля безопасности при использовании. Лицензия — MIT.

dealignai/GLM-5.3-UNCENSORED-FP8 — многоязычная текстовая генеративная модель, разработанная dealignai на основе JANGQ-AI/GLM-5.3-FP8 и upstream-модели zai-org/GLM-5.3. Это версия с уменьшенным поведением отказа от ответа, полученная прямым изменением весов без дообучения, LoRA, runtime-хуков или prompt-трюков. Модель предназначена для универсальной генерации текста, рассуждений, программирования, агентских и инструментальных сценариев, включая задачи, где требуется минимизация отказов по широкому спектру тематик. Модель использует архитектуру glm_moe_dsa с 753 млрд параметров, 78 слоями и текстовой модальностью. Применяется квантизация FP8; заявлена нативная производительность tensor cores на GPU Hopper, включая H100 и H200. Поддерживаются английский, китайский, русский, сербский, хинди, французский, испанский, арабский, корейский и японский языки. Для рассуждений доступны режимы low и high, однако отключить рассуждение на этом checkpoint нельзя; при больших значениях усилия рассуждения модель может исчерпать лимит токенов внутри блока размышлений и не выдать ответ. Сильными сторонами являются сохранение общей интеллектуальной способности относительно базовой модели, широкая многоязычность, снижение отказов и исправление обнаруженной в предыдущей версии проблемы циклического рассуждения. Ограничения включают чувствительность результата к настройкам reasoning_effort и max_tokens, практические ограничения длины контекста и неполную совместимость некоторых функций ускорения с vLLM. Модель распространяется по лицензии MIT.

SillyTilly/google-gemma-2-9b-it — текстовая диалоговая модель семейства Gemma 2, созданного Google на основе исследований и технологий, использованных при разработке Gemini. Это плотная авторегрессионная модель с 9 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса в формате safetensors, а для запуска указана библиотека Transformers. Модель предназначена для генерации текста по инструкциям и диалога на английском языке. Её можно применять для ответов на вопросы, суммаризации, создания черновиков, чат-ботов и языковой практики. Относительно компактный размер подходит для запуска на локальном компьютере или собственной облачной инфраструктуре. Модель может выдавать фактические ошибки, отражать смещения обучающих данных и хуже справляться со сложными открытыми запросами, нюансами языка и здравым смыслом. Лицензия — Gemma; использование должно соответствовать условиям лицензии и политике запрещённого использования Gemma.

Gemma 3 27B IT — мультимодальная instruction-tuned модель Google, представленная в формате GGUF и квантизированная bartowski с использованием llama.cpp и imatrix. Модель предназначена для диалогов, следования инструкциям и задач, работающих с текстом и изображениями. Для работы с изображениями требуется отдельный файл MMPROJ и сборка llama.cpp с поддержкой Gemma 3 vision. Модель содержит 27 миллиардов параметров; доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций. Размер файлов варьируется примерно от 13,44 до 54,03 ГБ, а MMPROJ-файлов — от 858 МБ до 1,69 ГБ. Квантизации Q5 и Q6 обозначены как высококачественные, а Q4_K_M — как вариант, подходящий для большинства сценариев; более компактные варианты экономят оперативную память ценой снижения качества. README не содержит сведений о поддерживаемых языках и размере контекстного окна. Модель можно запускать локально через LM Studio, llama.cpp и совместимые проекты. Использование мультимодальных возможностей требует совместимого vision-компонента и правильного chat-шаблона Gemma. Доступ регулируется лицензией Google Gemma; для загрузки на Hugging Face необходимо принять условия этой лицензии. Конкретные ограничения производительности зависят от выбранной квантизации и доступной памяти.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Карточка модели lamm-mit/google-gemma-4-E4B-it на Hugging Face совпадает с карточкой google/gemma-4-E4B, поэтому описание составлено по ней. Gemma 4 E4B — мультимодальная плотная модель семейства Gemma, разработанная Google DeepMind и представленная в виде весов с лицензией Apache 2.0. Она принимает текст, изображения и аудио и генерирует текст; аудиовозможности включают распознавание речи и перевод речи в текст. Модель рассчитана на запуск на мобильных устройствах и ноутбуках, а также на диалоговые сценарии, рассуждения, программирование и работу с инструментами. Архитектура реализует гибридное внимание: чередует локальные окна внимания с глобальным вниманием. Для E4B заявлено контекстное окно до 128 тысяч токенов. Модель понимает изображения, в том числе документы, графики и интерфейсы, а также аудио; семейство Gemma 4 поддерживает более 140 языков при обучении и более 35 языков при использовании. Карточка описывает семейство в целом, поэтому отдельные языковые возможности E4B могут зависеть от задачи и конфигурации.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

OpenVINO/gpt-oss-20b-int4-ov — квантизированная версия языковой модели gpt-oss-20b, разработанной OpenAI. Модель преобразована в формат OpenVINO IR, а её веса сжаты до INT4 с помощью NNCF в режиме INT4_ASYM без группировки весов. Это модель для генерации текста, доступная для локального запуска через OpenVINO, Optimum Intel и OpenVINO GenAI. Модель предназначена для задач генерации текста, диалоговых приложений, построения RAG-систем и интеграции в агентские сценарии с function calling. Она совместима с OpenVINO версии 2026.0.0 и выше и Optimum Intel версии 1.27.0 и выше; в README также приведены варианты запуска на CPU и GPU через OpenVINO Model Server. Размер исходной модели составляет 20 млрд параметров согласно её идентификатору и названию базовой модели, однако сведения о контекстном окне, поддерживаемых языках и точной архитектуре не указаны. Ключевое преимущество модели — уменьшенный объём весов благодаря INT4-квантизации, что может упростить локальное развертывание и снизить требования к памяти. При этом квантизация способна влиять на качество генерации, но конкретные результаты оценки в карточке не приведены. Ограничения следует уточнять в карточке исходной модели gpt-oss-20b. Модель распространяется по лицензии Apache License 2.0.

Grafted-Hermetic-Platypus-D-2x7B — разговорная языковая модель, созданная слиянием Platyboros-Instruct-7B и Hermes-Instruct-7B-v0.2. Она использует архитектуру Mixtral с разреженной экспертной моделью (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и выполнения инструкций. В качестве формата запросов подходят шаблоны Mistral-Instruct и Alpaca; токенизатор по умолчанию настроен на Alpaca. В карточке приведены результаты нескольких тестов языковых моделей, включая AI2 Reasoning Challenge и HellaSwag. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не сообщает о поддержке конкретных естественных языков, поэтому языки не перечислены. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах.

Grammaire 2B — модель для исправления французской грамматики и улучшения ясности и читаемости текста. Она принимает исходный текст и выдаёт исправленную версию в формате, заданном шаблоном чата. Модель создана на архитектуре Gemma 2 и содержит 2,7 млрд параметров; максимальная длина контекста — 8192 токена. Модель подходит для вычитки французских текстов, исправления грамматических ошибок и улучшения формулировок. В карточке указаны библиотека Transformers и форматы PyTorch и Safetensors. Лицензия в предоставленных данных не указана.

Granite-3.0-2B-Instruct — языковая модель IBM Granite Team для выполнения общих инструкций и создания диалоговых помощников. Это дообученная на основе Granite-3.0-2B-Base плотная decoder-only трансформерная модель на 2,5 млрд параметров; в обучении использовались supervised fine-tuning, выравнивание с подкреплением и слияние моделей. Архитектура включает GQA, RoPE, SwiGLU и RMSNorm. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов и структурированный формат чата, включая интерфейс вызова инструментов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и многоязычного диалога. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки; качество может быть ниже на языках, отличных от английского. Ответы могут быть неточными, предвзятыми или небезопасными, поэтому для прикладного использования требуется оценка модели. Лицензия — Apache 2.0.

Granite-3.0-3B-A800M-Instruct — инструктивная языковая модель семейства Granite 3.0, разработанная командой Granite в IBM. Это дообученная на инструкционных данных модель IBM Granite-3.0-3B-A800M-Base с разреженной архитектурой Transformer Mixture of Experts и декодером, содержащая 352,3 млн параметров по метаданным. Модель принимает текст и генерирует текст; её контекстное окно составляет 4096 токенов. Модель предназначена для ответов на общие инструкции и создания диалоговых помощников, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов функций. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Диалоговый формат и интерфейс вызова инструментов подходят для построения ассистентов. Модель выпущена в октябре 2024 года и распространяется по лицензии Apache 2.0. По данным разработчика, качество на многоязычных задачах может уступать английскому; возможны неточные, предвзятые или небезопасные ответы. Для целевых сценариев рекомендуется проверка и настройка модели.

bartowski/granite-3.0-3b-a800m-instruct-GGUF — набор квантизированных версий инструкционной языковой модели granite-3.0-3b-a800m-instruct, разработанной IBM Granite и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, решение математических задач, работу с кодом и мультиязычные сценарии. Доступны веса в форматах от F16 до Q4, включая варианты Q8_0, Q6_K, Q5_K и Q4_K; размер файлов составляет примерно от 1,93 до 6,75 ГБ. Для запуска рекомендуется использовать llama.cpp или LM Studio. В README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X, однако подробные характеристики архитектуры, максимального контекста, поддерживаемых языков и модальностей не указаны. К сильным сторонам относятся выбор степеней квантизации, возможность локального запуска и сохранение высокого качества в вариантах Q5 и Q6. Более компактные варианты требуют меньше памяти, но могут сильнее терять качество. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

QuantFactory/granite-3.1-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.1-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM Granite. Это инструкционная языковая модель для генерации текста и построения AI-ассистентов в различных прикладных областях, включая бизнес-сценарии. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval-Augmented Generation (RAG), задач, связанных с кодом, function calling, многоязычного диалога и обработки длинного контекста, включая анализ документов и совещаний. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Исходная модель использует decoder-only Transformer с GQA, RoPE, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она относится к sparse MoE-архитектуре с 1,3 млрд параметров, из которых активно используется около 400 млн; включает 24 слоя, 32 эксперта и выбирает 8 экспертов на токен. Максимальная длина последовательности — 128K токенов. Квантизация может снизить требования к памяти и упростить локальный запуск, однако README не указывает конкретные форматы квантизации, их точность и совместимость. Модель выпущена под лицензией Apache 2.0.

RedHatAI/granite-3.1-8b-instruct-quantized.w4a16 — это квантизированная версия текстовой инструкционной модели ibm-granite/granite-3.1-8b-instruct с архитектурой Granite 3.1 и примерно 8 млрд параметров. Модель разработана на основе IBM Granite; квантизацию выполнила Neural Magic. Она принимает текст и генерирует текст, ориентирована на диалоговые сценарии, ответы на вопросы и другие задачи text-to-text. В карточке указан английский язык. Модель использует квантизацию весов и активаций до INT4; для линейных операторов внутри трансформерных блоков квантизированы только веса. По сравнению с исходным представлением это примерно на 75% уменьшает размер на диске и требования к видеопамяти, что делает модель более подходящей для эффективного инференса. Она подготовлена для запуска с vLLM версии 0.5.2 и выше и совместима с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. На OpenLLM benchmark v1 модель получила средний результат 69,81 против 70,30 у неквантизированной версии, что указывает на небольшое снижение качества после сжатия. Модель предназначена для развертывания на GPU и использования через vLLM, включая OpenAI-совместимый сервер. Максимальный контекст модели в README явно не указан; приведенные значения длины контекста относятся к примерам конфигурации запуска. Лицензия — Apache License 2.0.

Granite-3.2-2B-Instruct — инструкционная языковая модель семейства Granite, разработанная командой Granite компании IBM. Это плотная авторегрессионная модель на 2,5 млрд параметров, дообученная на базе ibm-granite/granite-3.1-2b-instruct для задач рассуждения и выполнения инструкций; режим рассуждения можно включать по необходимости. Модель работает с текстом, поддерживает диалог и интерфейс вызова инструментов, имеет контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache 2.0. Модель предназначена для общих инструкционных задач и интеграции в ассистентов: ответов на вопросы, суммаризации длинных документов и встреч, извлечения и классификации текста, RAG, задач с кодом и вызова функций. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Среди сильных сторон — длинный контекст, управляемое рассуждение и многоязычный диалог. К ограничениям относятся унаследованные от Granite-3.1-2B-Instruct ограничения и этические соображения; README не приводит их подробнее.

Карточка модели unsloth/granite-3.2-2b-instruct на Hugging Face совпадает с карточкой ibm-granite/granite-3.2-8b-instruct, поэтому описание составлено по ней. Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

Granite-4.0-350M — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-350m-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Она использует архитектуру decoder-only dense Transformer; в метаданных указано 352,3 млн параметров и контекст до 32 768 токенов. Модель предназначена для диалогов, локального запуска на устройствах и дообучения под специализированные задачи с умеренными вычислительными ресурсами. Модель подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова инструментов. Она поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Качество на языках, кроме английского, может быть ниже; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому перед применением в конкретной задаче её следует оценить и настроить.

Granite-4.0-H-1B — компактная инструктивная языковая модель команды Granite компании IBM, дообученная на базе ibm-granite/granite-4.0-h-1b-base с помощью supervised fine-tuning, обучения с подкреплением и слияния моделей. Архитектура GraniteMoeHybrid — декодерный трансформер с GQA, Mamba2, SwiGLU и RMSNorm; модель содержит 1,2 млрд параметров, работает с текстом и имеет контекстное окно 131 072 токена. Модель предназначена для диалогов и выполнения инструкций, локального развертывания на устройствах, а также дообучения под специализированные задачи. Она подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова инструментов и многоязычного общения. Заявлены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер упрощает локальное применение и адаптацию под узкие задачи, а модель поддерживает вызов функций и дополнение кода FIM. Данные для инструктивного обучения преимущественно англоязычные, поэтому качество на других языках может быть ниже; ответы могут быть неточными, предвзятыми или небезопасными и требуют проверки. Лицензия — Apache 2.0.

Granite-4.0-H-Micro — компактная инструктивная языковая модель, опубликованная Unsloth и разработанная командой Granite компании IBM. В карточке указано 3 млрд параметров, а в метаданных репозитория — 2,6 млрд; модель основана на ibm-granite/granite-4.0-h-micro и дообучена на открытых инструктивных и синтетических данных с применением supervised fine-tuning, выравнивания с подкреплением и объединения моделей. Используется архитектура decoder-only с компонентами GQA, Mamba2, SwiGLU и RMSNorm; формат весов — Safetensors, библиотека — Transformers, контекст — до 131 072 токенов. Модель предназначена для диалоговых ассистентов и бизнес-приложений. Она следует инструкциям, поддерживает вызов инструментов и подходит для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, заполнения пропусков в коде и многоязычного диалога. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на многоязычных задачах может уступать английскому; модель также может выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать под конкретный сценарий.

Granite-4.0-Micro — компактная языковая модель семейства Granite, представленная Unsloth на основе модели IBM Granite Team. Это дообученная instruct-модель для диалоговых ассистентов и агентных систем: она следует инструкциям, отвечает на вопросы, суммирует и извлекает текст, выполняет классификацию, помогает с кодом и поддерживает вызов инструментов. Модель содержит 3,4 млрд параметров, использует архитектуру GraniteMoeHybridForCausalLM и рассчитана на контекст до 131 072 токенов. Принимает текст и генерирует текст; заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. К сильным сторонам относятся длинный контекст, следование инструкциям и интерфейс вызова инструментов, а сценарии включают бизнес-ассистентов, RAG и работу с кодом. Качество на языках помимо английского может быть ниже; модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует оценивать и настраивать для конкретного применения.

mlx-community/granite-4.1-30b-bf16 — конверсия в формат MLX модели Granite 4.1 30B, разработанной IBM. Это плотная языковая модель с архитектурой GraniteForCausalLM и 28,9 млрд параметров, предназначенная для диалогов и генерации текста; каталог также отмечает возможность чата. Модель принимает текст и выдаёт текст, а заявленная длина контекста составляет 131 072 токена. Репозиторий подготовлен сообществом mlx-community для запуска через библиотеку MLX на устройствах Apple. Лицензия Apache-2.0 разрешает использование на её условиях. README указывает на конверсию исходной модели ibm-granite/granite-4.1-30b в MLX; метаданные содержат формат safetensors и связь с базовой моделью.

mlx-community/granite-4.1-3b-bf16 — конверсия модели IBM Granite 4.1 3B в формат MLX для запуска на устройствах Apple Silicon. Это плотная причинная языковая модель с архитектурой GraniteForCausalLM, содержащая 3,4 млрд параметров и поддерживающая контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста; описание базовой модели также указывает на применение для работы с кодом и вызова инструментов. Модель принимает текст и генерирует текст. Репозиторий использует библиотеку MLX и формат safetensors; лицензия — Apache-2.0. Карточка описывает преобразование из ibm-granite/granite-4.1-3b в MLX, поэтому этот вариант рассчитан на соответствующую среду исполнения, а не является самостоятельным дообучением.

salamanderDixon/granite-4.1-3b-heretic — производная версия Granite-4.1-3B, созданная методом abliteration: в карточке приведены параметры удаления отказов и сравнение с исходной моделью IBM. Это плотный decoder-only трансформер семейства Granite с 3,4 млрд параметров, предназначенный для диалогов и генерации текста. Метаданные указывают контекст до 131 072 токенов и формат safetensors. Модель подходит для ответов на вопросы, суммаризации, извлечения и классификации текста, RAG, задач с кодом и диалоговых сценариев. Базовая Granite-4.1-3B поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки, а также работу с инструментами. В приведённом сравнении у этой версии 3 отказа из 100 против 88 у исходной модели; снижение отказов может сопровождаться ослаблением защитного поведения. Лицензия — Apache 2.0.

cyankiwi/granite-4.1-8b-AWQ-INT4 — квантизированная версия Granite-4.1-8B, разработанной командой Granite компании IBM. Модель представляет собой 8-миллиардную instruct-модель для работы с текстом; вариант в данном репозитории использует квантизацию AWQ с точностью INT4 и имеет размер около 5,43 ГБ. Модель предназначена для создания AI-ассистентов и LLM-агентов, включая бизнес-приложения и сценарии с использованием внешних инструментов и API. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи программирования, function calling, многоязычный диалог и Fill-In-the-Middle-дополнение кода. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; для калибровки этой версии указаны STEM- и агентские сценарии. Модель описана как long-context, но точный размер контекстного окна не указан. Сильными сторонами являются улучшенное обучение после предварительного обучения, включая supervised fine-tuning и reinforcement learning alignment, а также акцент на следовании инструкциям, диалоге и вызове инструментов. Квантизация AWQ INT4 снижает требования к хранению и вычислительным ресурсам, однако может сопровождаться компромиссами по точности по сравнению с полноточной версией; количественные результаты такого сравнения в README не приведены. Модель распространяется по лицензии Apache 2.0.