I.5Создание и редактирование текста

GLM-4.7-Flash-Uncensored-Heretic-NEO-CODE-Imatrix-MAX-GGUF — это GGUF-квантизированная версия модели GLM-4.7-Flash, разработанная DavidAU на базе Olafangensan/GLM-4.7-Flash-heretic и исходной модели ZAI-ORG. Модель предназначена для генерации текста, рассуждений, программирования, творческого письма, создания сюжетов и сцен, ролевых сценариев, а также работы с жанрами science fiction, horror и romance. Заявлена как uncensored/heretic-версия с удалёнными или ослабленными отказами, однако для получения более откровенного, грубого или эксплицитного текста может потребоваться явное указание желаемой лексики и уровня детализации. В основе используется MoE-архитектура на 30B параметров с тремя или четырьмя? активными экспертами; README указывает четыре активных эксперта и около 2B активных параметров при генерации. Поддерживаются английский и китайский языки. Модель работает на GPU и CPU, поставляется в формате GGUF, использует NEO и Code imatrix-квантизацию, а также 16-битный выходной тензор для повышения качества финального текста и рассуждений. Заявлен контекст до 200 тысяч токенов без RoPE, при этом рекомендуется использовать не менее 8–16 тысяч токенов для длинных ответов. Для запуска требуется актуальная версия llama.cpp; для некоторых конфигураций рекомендуется отключать Flash Attention из-за возможного снижения скорости. Сильными сторонами являются сочетание малой вычислительной нагрузки активной части MoE, поддержка длинного контекста, улучшения для кода и рассуждений, а также возможность локального запуска на CPU и GPU. Возможные ограничения включают зависимость качества и скорости от конкретного кванта, параметров семплирования и программного окружения, а также склонность к длинным или повторно «полирующимся» ответам. Модель распространяется по лицензии MIT.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

RedHatAI/GLM-5.2-NVFP4-FP8 — квантизированная версия модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая авторегрессионная модель для генерации текста, построенная на архитектуре GlmMoeDsaForCausalLM. Она принимает текст и возвращает текст, поддерживает английский и китайский языки и предназначена прежде всего для высокопроизводительного инференса и развёртывания через vLLM, включая сценарии с рассуждениями и вызовом инструментов. Модель использует смешанную точность: веса и активации механизмов внимания представлены в FP8 с блочным масштабированием, а эксперты MoE — в FP4 (NVFP4). Такая оптимизация снижает среднее число битов на параметр примерно с 16 до 4–5, уменьшая размер на диске и потребность в GPU-памяти примерно на 70–75% по сравнению с исходной версией BF16. Контекстная длина в README не указана; для конфигураций с контекстом до 1M токенов предлагается обращаться к рецепту vLLM для GLM-5.2. Главное преимущество модели — существенное сокращение требований к памяти при сохранении большей части качества исходной модели: на GPQA Diamond она набрала 89,1 против 91,2 у незаквантизированной версии, что соответствует восстановлению 97,7% результата. Ограничения включают небольшое снижение точности, зависимость от совместимой версии vLLM и необходимость исправления из pull request #47780. Модель распространяется по лицензии MIT.

GLM-5.3-Flash — мультимодальная языковая модель, размещённая и поддерживаемая AMAImedia в составе платформы автоматизации профессионального мультиязычного дубляжа NOESIS. В README также указано имя основателя AMAImedia Ильи Болотникова. Модель относится к серии GLM-5 и выпущена 27 августа 2026 года. Модель предназначена для задач генерации текста, программирования, работы с агентами, обработки длинного контекста и мультимодальных сценариев с изображениями. Заявлена поддержка английского и китайского языков. GLM-5.3-Flash имеет 320 млрд общих параметров, из которых 18 млрд активируются при обработке запроса, что ориентировано на повышение эффективности. Архитектура сочетает разреженное и линейное внимание, Manifold-Constrained Hyper-Connections (mHC), а обучение проводилось на мультимодальном корпусе. Модель можно запускать локально через Transformers, vLLM, SGLang, TokenSpeed и KTransformers; для развёртывания рекомендуются bfloat16 или поддерживаемые фреймворком квантованные варианты. В README указана лицензия MIT. К ограничениям относятся высокая вычислительная требовательность из-за общего размера модели, необходимость уточнять совместимость версий библиотек, требования к видеопамяти, конфигурацию tensor parallelism и фактически поддерживаемую длину контекста. Заявлены контекстные режимы до 131 072 токенов в примере развёртывания, а в отдельных оценках использовались контексты до 300 000 и 1 000 000 токенов, но это не следует считать гарантированной рабочей конфигурацией для всех сценариев.

GLM-5.3-Flash-GGUF — это квантизированные GGUF-версии языковой модели GLM-5.3-Flash от zai-org, подготовленные пользователем 6block с помощью llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp; заявлены поддерживаемые языки английский и китайский. Она подходит для сценариев, где требуется большая языковая модель с длинным контекстом и возможностью подобрать объём файлов под доступные ресурсы. Модель содержит 320 млрд параметров, из которых 18 млрд активируются на токен, и поддерживает контекст до 1 млн токенов. Архитектура включает 45 слоёв с гибридным вниманием: 34 слоя KDA linear attention чередуются с 11 слоями DSA sparse attention; используется MLA, Manifold-Constrained Hyper-Connections (mHC) и MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. В репозитории представлены варианты IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M размером примерно от 65 до 155 GiB, каждый разделён на 15 частей. Квантизация выполнена из официальных BF16-весов с калибровкой imatrix; слой MTP NextN исключён. IQ4_XS и IQ3_XXS рекомендуются авторами как предпочтительные варианты: IQ2_XS и IQ1_M заметно теряют качество, хотя требуют меньше места. Для запуска необходимо скачать все 15 частей выбранного варианта и указать первый файл в llama-cli; распределение слоёв по доступной памяти llama.cpp выполняет автоматически. Лицензия MIT, унаследованная от исходной модели zai-org/GLM-5.3-Flash.

GLM-5.3-Flash-GGUF — это квантизированная GGUF-версия модели GLM-5.3-Flash, разработанной zai-org и преобразованной с использованием llama.cpp пользователем qtum. Модель предназначена для генерации текста и запуска через совместимые инструменты, включая llama.cpp. Заявлены английский и китайский языки. Модель содержит 320 млрд общих параметров, из которых 18 млрд активируются для отдельного токена. Архитектура включает 45 слоёв гибридного внимания: 34 слоя KDA с линейным вниманием и 11 слоёв DSA с разреженным вниманием, построенных на MLA и дополненных Manifold-Constrained Hyper-Connections. Используется MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. Максимальная длина контекста заявлена до 1 млн токенов. В репозитории представлены квантизации IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M; каждая поставляется в 15 сегментах. IQ4_XS и IQ3_XXS рекомендуются как варианты с меньшей деградацией качества, тогда как IQ2_XS и IQ1_M существенно экономят память, но заметно ухудшают показатели. Сильными сторонами модели являются большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и несколько уровней квантизации для разных ограничений по памяти. Ограничения включают очень большой размер файлов, необходимость загрузить все 15 сегментов и зависимость качества от выбранного уровня квантизации. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

GLM-5.3-Flash-UNCENSORED-NVFP4-DFlash2 — мультимодальная модель семейства GLM-5.3 Flash. Исходную архитектуру разработала Zhipu AI (ZAI), неконтролируемые веса подготовила dealignai, а упаковку и конфигурацию NVFP4 выполнила Solstice-AI. Модель основана на 320-миллиардной MoE-архитектуре с 288 маршрутизируемыми экспертами и примерно 18 миллиардами активных параметров на токен. Модель предназначена для генерации и анализа текста, программирования, математического и общего рассуждения, а также обработки изображений и видео. Она поддерживает нативные мультимодальные возможности благодаря 24-слойному ViT и проектору размерности 10 240, рассчитана на контекст до 1 048 576 токенов и поставляется с черновой моделью DFlash 2 для спекулятивного декодирования. Ключевая особенность сборки — смешанная точность W4A16: MoE-эксперты используют 4-битный формат NVFP4, а attention, общие эксперты и активации сохраняются в 16-битной точности. Сильными сторонами являются сочетание большого контекста, мультимодальности, сниженного потребления памяти за счёт квантизации и поддержки спекулятивного ускорения. Согласно README, модель ориентирована на GPU NVIDIA Blackwell, Hopper, Ada Lovelace и Ampere. Ограничения включают крупный общий размер, высокие требования к инфраструктуре, зависимость производительности от совместимого ПО и оборудования, а также отсутствие встроенных механизмов отказа от потенциально опасных запросов: веса описаны как uncensored и abliterated. Модель распространяется по лицензии MIT. В README также указаны результаты на MMLU, SWE-bench, LiveCodeBench, MATH-500 и мультимодальных тестах, однако эти показатели приведены авторами карточки и не заменяют независимую оценку.

RedHatAI/GLM-5.3-MXFP4 — текстовая генеративная модель, разработанная RedHatAI на основе zai-org/GLM-5.3. Она предназначена для задач генерации текста, следования инструкциям и решения математических и других reasoning-задач. Модель принимает текст и возвращает текст, поддерживает английский и китайский языки и реализует архитектуру GlmMoeDsaForCausalLM. Размер модели и длина контекстного окна в README не указаны. Это квантизированная версия GLM-5.3 для инференса через vLLM. Веса и активации линейных операторов внутри transformer-блоков представлены в формате FP4 по схеме MXFP4 с микромасштабированием OCP; для весов используются формат e2m1, группы размера 32 и масштабы E8M0, а для активаций — динамическое масштабирование по группам. По сравнению с контрольной версией FP8 такая оптимизация примерно на 50% уменьшает размер на диске и требования к памяти GPU, при этом на заявленных тестах сохраняет большую часть качества FP8-модели. Наибольшее относительное снижение показателей отмечено на AIME 2025 и GPQA Diamond. Модель предназначена для развёртывания с vLLM; в README приведена конфигурация с FP8 KV-cache, четырьмя устройствами в tensor parallelism и speculative decoding. Квантизация выполнена методом model-free post-training quantization без калибровочных данных с использованием LLM Compressor, а модель экспортирована в формате compressed-tensors. Лицензия обозначена как glm-5.3, тип лицензии — other; дополнительные условия в README не раскрыты.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

SirSahOl подготовил эту версию GLM-Edge-4B-Chat для запуска через MLX на Apple Silicon. Это плотная авторегрессионная модель семейства GLM с 4,1 млрд параметров, предназначенная для диалогов и генерации текста; она поддерживает контекст до 8 192 токенов. Репозиторий содержит веса в формате safetensors с точностью 16 бит без квантизации. Конверсия рассчитана на локальный вывод с использованием GPU Apple Silicon и библиотеки MLX; заявленный активный объём памяти составляет около 9,3 ГБ, рекомендуется не менее 16 ГБ объединённой памяти. Модель подходит для интерактивного помощника, многоходового чата и локального дополнения текста. Карточка указывает лицензию «other», но не приводит её конкретных условий, поэтому перед использованием следует проверить лицензию исходной модели и репозитория. Это преобразованная версия базовой модели THUDM/glm-edge-4b-chat; поддержка других аппаратных платформ в карточке не заявлена.

GML-Mistral-merged-v1 — плотная языковая модель семейства Mistral, опубликованная пользователем zyh3826. Это объединение моделей quantumaikr/quantum-v0.01 и mncai/mistral-7b-dpo-v5, выполненное методом passthrough с помощью mergekit; веса сохранены в формате safetensors и типе bfloat16. Модель предназначена для генерации текста и принимает текстовые запросы. В метаданных указан размер 8,9 млрд параметров и контекстное окно до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает языки, специальные предметные области или сравнительные результаты, поэтому назначение модели следует считать общим; качество ответов и поддержка конкретных сценариев в предоставленных данных не оценены.

GoblinGLMV02 — чат-модель TheKloakedSignal на базе Google Gemma 3 27B. В карточке указана базовая модель google/gemma-3-27b-pt, а метаданные классифицируют репозиторий как генеративную текстовую модель с возможностью диалога. Модель предназначена для генерации ответов и ведения беседы на основе текстовых запросов. Весовые файлы представлены в формате Safetensors, библиотека для работы — Transformers. В README нет сведений о размере опубликованного чекпойнта, поддерживаемых языках, длине контекста или специализированных сценариях применения. Указана лицензия Gemma; условия использования следует сверять с её текстом.

go-bruins-v2.1.1-Mistral-7B-Instruct-v0.1 — объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rwitz2/go-bruins-v2.1.1 методом SLERP. Веса сохранены в формате safetensors; модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Может применяться в чат-ботах и интерактивных текстовых помощниках. Лицензия Apache-2.0 разрешает использование на её условиях. Данные карточки не описывают отдельные возможности, гарантии качества или ограничения сверх указанных характеристик.

Это GGUF-квантизированная версия Josiefied-Qwen3-14B-abliterated-v3, разработанной Goekdeniz-Guelmez. Квантизацию выполнил bartowski с использованием llama.cpp и imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска в LM Studio, llama.cpp и других совместимых проектах. В основе лежит модель Qwen3 размером 14 млрд параметров. Доступны варианты от BF16 до различных 8-, 6-, 5-, 4- и 3-битных форматов GGUF, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер файлов варьируется примерно от 8,11 до 29,54 ГБ. Для общения используется шаблон с ролями system, user и assistant через специальные токены ChatML. Сведения о поддерживаемых языках, длине контекста и мультимодальности в README не указаны; по представленным данным модель относится к текстовым. Сильной стороной являются многочисленные варианты квантизации, включая рекомендованные конфигурации с высоким качеством и более компактные варианты для систем с ограниченной оперативной памятью. Ограничения зависят от выбранного формата: более сильное сжатие уменьшает требования к ресурсам, но может снижать качество генерации. Лицензия в README не указана, поэтому условия использования необходимо уточнять в исходном репозитории модели Goekdeniz-Guelmez.

Goetia-24B-v1.1 — разговорная текстовая модель на основе Mistral-Small, собранная Naphula методом слияния mergekit; в карточке указано применение метода Karcher для контрольной точки R20. Модель предназначена для диалогов, следования инструкциям, творческого письма, ролевых игр и текстовых приключений. Автор отмечает повышенную креативность и менее строгие отказы по сравнению с версией 1.0; в состав слияния входят несколько моделей семейства Mistral, ориентированных на диалоги и генерацию прозы. Модель имеет плотную архитектуру MistralForCausalLM, 23,4 млрд параметров и контекст 131 072 токена. Она работает с текстом и рассчитана, в частности, на английский и русский языки. Распространяется в формате safetensors по лицензии Apache-2.0. Карточка описывает её как менее ограниченную в вопросах безопасности; качество и характер ответов зависят от запроса и системной настройки.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

Jackrong/GPT-5-Distill-llama3.2-3B-Instruct — диалоговая текстовая модель на архитектуре Llama 3.2, дообученная на базе unsloth/Llama-3.2-3B-Instruct методом SFT и дистилляции ответов GPT-5. Модель содержит 3,2 млрд параметров и предназначена для запуска на потребительском оборудовании, включая устройства с ограниченными ресурсами. В карточке указано использование LoRA при обучении; репозиторий также содержит веса safetensors. Модель подходит для чата и следования инструкциям, объяснений, суммаризации и перефразирования, а также для ответов по документам в RAG-сценариях. В README заявлен контекст до 32 тыс. токенов; метаданные каталога указывают 131 072 токена. Поддерживаемые языки — английский и китайский, на них рассчитана смесь обучающих данных. Небольшой размер удобен для локального запуска, но модель может уступать крупным моделям в сложных математических и программных задачах и склонна к фактическим ошибкам. Ответы для медицинских и юридических решений требуют проверки. Лицензия — Llama 3.2.

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

p-e-w/gpt-oss-20b-heretic-v2 — версия модели gpt-oss-20b, обработанная методом abliteration для снижения частоты отказов. В приведённом сравнении число отказов составило 49 из 100 против 98 из 100 у исходной openai/gpt-oss-20b; KL-дивергенция относительно оригинала — 0,1248. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и сценарии с инструментами при использовании формата Harmony. Это разреженная MoE-модель семейства gpt_oss с архитектурой GptOssForCausalLM. В README для исходной gpt-oss-20b указано 21 млрд параметров, из которых активно 3,6 млрд; однако метаданные этого репозитория указывают 1,6 млрд параметров. Контекст составляет 131 072 токена. Модель использует формат safetensors; библиотека — Transformers. README описывает gpt-oss как модель с открытыми весами под лицензией Apache 2.0 и отмечает необходимость формата Harmony. Подходит для локальных диалоговых приложений, генерации и анализа текста, а также агентных сценариев с вызовом функций. Abliteration уменьшила отказы в приведённой оценке, но не устраняет их полностью; результаты оценки ограничены указанной выборкой из 100 примеров. Для этой производной версии README не приводит отдельной оценки качества по задачам.

Это GGUF-представление модели openai/gpt-oss-20b, подготовленное FreedomAISVR с квантованием MXFP4_MOE для запуска через совместимые инструменты, например llama.cpp. Модель относится к семейству GPT-OSS, использует архитектуру смеси экспертов и содержит 20,91 млрд параметров; файл весов занимает 11,28 ГиБ. Веса экспертных FFN-блоков представлены в MXFP4, веса внимания — в Q8_0, а параметры маршрутизатора, нормализации и смещений — в F32. Модель предназначена для генерации текста и диалогового использования. По карточке заявлена поддержка запуска на GPU или CPU, без требования к архитектуре NVIDIA Blackwell. Квантование сокращает размер весов, но может повлиять на качество вывода относительно исходной модели. Репозиторий распространяется по лицензии Apache-2.0.

mlx-community/gpt-oss-20b-OptiQ-4bit — это квантизированная MLX-версия языковой модели openai/gpt-oss-20b, подготовленная проектом mlx-optiq для локального запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста, рассуждений, решения математических задач, следования инструкциям, вызова функций, программирования и поиска информации в длинном контексте. Заявленный язык — английский. В основе лежит 24-слойная MoE-архитектура с 32 экспертами, из которых 4 активируются для каждого токена, а также с attention sinks. Используется чувствительная к слоям смешанная квантизация: 33 слоя представлены в 4-битном формате, 88 — в 8-битном; итоговая точность составляет 5,03 бита на вес. Размер модели на диске — около 11 ГБ, в оперативной памяти при работе требуется примерно 11,6 ГБ. Модель поддерживает reasoning_effort со значениями low, medium и high и формат ответов harmony с каналами analysis и final. По приведённым тестам модель заметно превосходит равномерную 4-битную квантизацию на MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop, особенно в задачах многошагового извлечения из длинного контекста. Ограничения включают отсутствие квантизации KV-cache и зависимость от экосистемы MLX и Apple Silicon; README также указывает, что модель является квантизацией только весов. Распространяется по лицензии Apache-2.0.

Grafted-Hermetic-Platypus-C-2x7B — языковая модель Lodrick-the-Lafted, созданная как MoE-слияние Platyboros-Instruct-7B и Hermes-Instruct-7B-217K. Она предназначена для диалогов и генерации текста по инструкциям; карточка приводит результаты тестов на рассуждение и здравый смысл. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral MoE, принимает текст и поддерживает контекст до 32 768 токенов. В README указаны форматы промптов Mistral-Instruct и Alpaca, причём токенизатор по умолчанию использует Alpaca. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

Granite-3.0-1B-A400M-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых ассистентов, в том числе для бизнес-сценариев. Это дообученная версия Granite-3.0-1B-A400M-Base: обучение включало supervised fine-tuning, выравнивание с помощью обучения с подкреплением и слияние моделей. Модель использует декодерный разреженный Transformer с архитектурой Mixture of Experts (MoE); в метаданных указан размер 163,6 млн параметров и контекст до 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и многоязычного диалога. Карточка заявляет поддержку английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Лицензия — Apache 2.0. Качество на языках кроме английского может быть ниже; few-shot-примеры могут улучшить ответы в многоязычных сценариях. Модель способна выдавать неточные, предвзятые или небезопасные ответы, поэтому её следует проверять и настраивать для конкретного применения.

granite-3.0-2b-instruct-GGUF — это GGUF-квантизированная версия языковой модели Granite 3.0 2B Instruct, разработанной IBM и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, понимание прочитанного, рассуждения, математические задачи, синтез кода и многоязычные сценарии. Модель содержит около 2 миллиардов параметров и распространяется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до квантизаций Q4–Q8 с размером файлов примерно от 1,52 до 5,27 ГБ. README не указывает точное максимальное окно контекста, архитектурные детали или полный список поддерживаемых языков; при этом приведены результаты тестирования на наборе PAWS-X для семи языков. К сильным сторонам относятся компактный размер, возможность локального запуска и несколько вариантов квантизации с разным соотношением качества и требований к памяти. Квантизированные версии могут уступать исходным весам в точности, особенно при более агрессивном сжатии. Модель ориентирована на текстовые задачи и не заявлена как мультимодальная. Лицензия — Apache 2.0.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

Granite-3.0-8B-Base — базовая языковая модель IBM Granite Team для генерации текста и преобразования текста в текст. Это плотный авторегрессионный трансформер с архитектурой decoder-only, реализованный как GraniteForCausalLM; модель содержит 8,2 млрд параметров и распространяется в формате safetensors для библиотеки Transformers. Она обучена с нуля в два этапа на 10 трлн токенов разнородных данных и затем на 2 трлн токенов отобранных данных. Контекст модели составляет 4096 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, а также как базовая точка для дообучения под специализированные сценарии. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Лицензия — Apache 2.0. Модель не прошла выравнивание по требованиям безопасности и может выдавать проблемные ответы, предвзятый или недостоверный контент; возможны галлюцинации и воспроизведение фрагментов обучающих данных. Результаты требуют проверки, особенно в сценариях с высокими последствиями.

Granite-3.0-8b-lab-community — разговорная языковая модель, созданная Red Hat и IBM Research на базе ibm-granite/granite-3.0-8b-base. Это плотная авторегрессионная модель семейства Granite на 8,2 млрд параметров, дообученная методом LAB (Large-scale Alignment for chatBots) на синтетических данных, созданных с помощью Mixtral-8x7B-Instruct. Процесс LAB использует таксономию знаний и навыков, генерацию данных и обучение в два этапа с буферами повторного воспроизведения. Модель предназначена для диалогового помощника и генерации текста на английском языке, включая ответы на вопросы, рассуждения, творческое письмо и работу с предметными знаниями, представленными в обучающих данных. Контекст составляет 4096 токенов; для наилучших результатов авторы рекомендуют использовать системный промпт, применённый при обучении. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что она может галлюцинировать и выдавать проблемные или небезопасные ответы; её не следует считать надёжным источником для критически важных решений. README содержит противоречивое описание статуса безопасности: в обзоре сказано о настройке для чата, но в разделе ограничений модель названа не прошедшей safety alignment.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

Granite-4.0-1B — компактная инструктивная языковая модель команды Granite компании IBM, представленная в репозитории Unsloth. Это дообученная версия Granite-4.0-1B-Base: при обучении применялись supervised fine-tuning, обучение с подкреплением и слияние моделей. Архитектура — декодерный трансформер с классом GraniteMoeHybridForCausalLM; в карточке также описаны GQA, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги. Размер модели — 1,6 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и выполнения инструкций, включая суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи с кодом и вызов инструментов. Поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Компактный размер подходит для локального развёртывания и дообучения под специализированные задачи. Лицензия — Apache 2.0. Качество на языках помимо английского может быть ниже; модель способна выдавать неточные, предвзятые или небезопасные ответы. Для конкретного сценария необходимы проверка и настройка поведения.

cyankiwi/granite-4.0-h-micro-AWQ-4bit — 4-битная AWQ-квантизованная версия Granite-4.0-H-Micro, разработанной командой Granite и IBM. Базовая модель содержит около 3 млрд параметров, относится к длинноконтекстным инструкционным языковым моделям и дообучена на открытых инструкционных и синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для выполнения общих инструкций и создания AI-ассистентов, в том числе для бизнес-приложений. Она поддерживает суммаризацию, классификацию и извлечение текста, ответы на вопросы, RAG, задачи, связанные с кодом, function calling, многоязычный диалог и Fill-In-the-Middle для автодополнения кода. Заявлены улучшенные следование инструкциям и вызов инструментов. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Ключевое ограничение — README не указывает точный размер контекстного окна, архитектурные детали и результаты бенчмарков. Квантизация AWQ-4bit рассчитана на более экономичное развертывание, однако конкретные требования к оборудованию и потери качества для этой версии не приведены. Модель распространяется по лицензии Apache 2.0.