I.5Создание и редактирование текста

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

MoonRide/gemma-4-31B-it-heretic-ara-custom-GGUF — GGUF-версия инструкционно настроенной мультимодальной модели Gemma 4 31B, разработанной Google DeepMind и модифицированной MoonRide. Модель создана на основе google/gemma-4-31B-it с использованием Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA), направленного на снижение частоты отказов от ответов. По заявленным данным, она обрабатывает текст и изображения и генерирует текст. Модель предназначена для генерации и понимания текста, рассуждений, программирования, работы с длинным контекстом и мультимодальных сценариев с изображениями. Архитектура базовой модели — плотная Transformer-модель примерно с 30,7 млрд параметров, 60 слоями, гибридным вниманием с локальным окном 1024 токена и глобальными слоями. Максимальный контекст заявлен до 256K токенов, размер словаря — 262K; поддерживается более 140 языков. Формат GGUF ориентирован на локальный запуск в совместимых средствах инференса, однако конкретная степень квантования и требования к памяти в README не указаны. Главная особенность этой версии — существенно меньшее число отказов в приведённой оценке: 16 из 100 против 99 из 100 у исходной модели; при этом указано KL-расхождение 0,0417 относительно оригинала. Это может сделать модель более готовой к ответам на запросы, которые базовая версия отклоняет, но одновременно снижает гарантии встроенного безопасного поведения. Модель распространяется по лицензии Apache 2.0 согласно README; для Gemma также следует учитывать применимые условия лицензии Google Gemma 4.

MoonRide/gemma-4-31B-it-heretic-ara-GGUF — GGUF-версия инструкционной модели MoonRide/gemma-4-31B-it-heretic-ara, созданной на базе Google Gemma 4 31B IT. Модель модифицирована с помощью Heretic 1.2.0 и метода Arbitrary-Rank Ablation (ARA) с сохранением row-norm; заявленная цель модификации — уменьшить склонность исходной модели к отказам. Семейство Gemma разработано Google DeepMind. Модель относится к плотной архитектуре с примерно 30,7 млрд параметров, 60 слоями, размером скользящего окна 1024 токена и контекстом до 256K токенов. Она принимает текст и изображения и генерирует текст; для семейства Gemma 4 заявлена поддержка более 140 языков. Архитектура использует гибридное внимание, объединяющее локальное скользящее и глобальное внимание, а также оптимизации для длинного контекста. Файлы представлены в различных вариантах GGUF-квантизации; рекомендуемые README варианты занимают около 12,1 и 12,6 ГБ. Основная сильная сторона модели — сочетание крупного контекста, мультимодального понимания, возможностей генерации текста, рассуждений и программирования с существенно меньшим числом отказов по сравнению с исходной Gemma 4 31B IT: в приведённом сравнении отказов было 11 из 100 против 99 из 100. При этом декенсоринг может изменить поведение и защитные свойства исходной модели; указанная оценка основана на ограниченном внутреннем тесте, а KL divergence относительно оригинала составляет 0,0508. Для загрузки README рекомендует llama.cpp версии b8751 или новее. Модель распространяется по лицензии Apache 2.0. Перед использованием необходимо учитывать, что снижение числа отказов не означает гарантии корректности, безопасности или точности ответов, а качество и потребление памяти зависят от выбранной GGUF-квантизации и аппаратной конфигурации.

gemma-4-31B-it-Mystery-Fine-Tune-HERETIC-UNCENSORED-Thinking-GGUF — модель на базе Gemma 4 31B, дообученная автором DavidAU с использованием Unsloth и закрытых датасетов. Модель позиционируется как инструкционная и рассуждающая, с минимальными ограничениями на тематику, и выпускается в форматах GGUF с вариантами квантования Q4KS и Q6. Для запуска требуется LLAMACPP версии b8641 или новее. Модель предназначена для диалогов, генерации и продолжения художественных текстов, ролевых сценариев, программирования, анализа и других универсальных задач. Поддерживаются текстовые запросы, а благодаря добавленным mmproj-файлам также обработка изображений. Заявлены режимы instruct и thinking; в режиме thinking внутренние рассуждения оформляются специальными каналами, которые приложение должно корректно отображать. Максимальный контекст, указанный для этой модели, составляет 128K токенов. README также ссылается на возможности Gemma 4: работу с изображениями, документами, видео, функциями и многоязычными запросами; для семейства заявлена поддержка более 35 языков «из коробки». Сильными сторонами являются большой размер модели, длинный контекст, мультимодальность, генерация кода и художественного текста, а также заявленное превосходство над базовой моделью в шести из семи внутренних тестов. Ограничения включают использование закрытых датасетов, наличие нерешённых проблем конвейера и контроля качества, ограниченный набор квантований на момент публикации и возможный перевыпуск файлов после дополнительного обучения. Рекомендуемые параметры генерации: temperature 1.0, top_k 64 и top_p 0.95. Лицензия — Apache 2.0.

Gemma-4-31B-it-Quark-W8A8-INT8 — мультимодальная модель для работы с текстом и изображениями, опубликованная под идентификатором nameistoken/Gemma-4-31B-it-Quark-W8A8-INT8 на основе google/gemma-4-31B-it от Google. Она предназначена для диалоговых сценариев, генерации текста, анализа изображений и задач vision-language. В описании заявлен английский язык. Модель использует архитектуру Gemma4ForConditionalGeneration и включает текстовый декодер на 31 млрд параметров, vision tower и визуальные embedding-слои. Текстовая часть квантизирована в W8A8 INT8: веса используют статическую симметричную per-channel-квантизацию, а активации — динамическую per-token-квантизацию. lm_head, embed_tokens и компоненты зрения сохранены в BF16, поэтому мультимодальные возможности не удалены. Размер файла модели составляет около 32 ГБ против примерно 62,5 ГБ у исходной BF16-версии, что дает двукратное сокращение объема. По результатам теста GSM8K на 1319 задачах модель показала точность 96,66% против 96,74% у BF16-базовой версии, то есть снижение составило 0,08 процентного пункта. Для запуска рекомендуется vLLM; в README приведена конфигурация с максимальной длиной контекста 8192 токена. Минимально требуется GPU с объемом памяти от 48 ГБ, например AMD MI300X, MI350X, MI355X, NVIDIA A100-80G или H100. Для длинного контекста и больших пакетов может потребоваться распределение на несколько GPU. Лицензия — Apache 2.0.

Карточка модели pupsipups/gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-4-31B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking, поэтому описание составлено по ней. DavidAU разработал эту модель на основе Google Gemma 4 31B IT: сначала применил снятие части отказов (abliteration), затем умеренно дообучил модель с помощью Unsloth на собственной коллекции текстов THE DECKARD. Это плотная мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration; репозиторий содержит веса safetensors в bfloat16. Модель настроена для диалогов и генерации текста, а также поддерживает ввод изображений. В README описаны режимы instruct и thinking; для thinking приведён шаблон диалога с принудительно включённым режимом рассуждений. Автор ориентирует модель на творческое письмо, художественную прозу, ролевые диалоги, генерацию сюжетов и продолжение сцен, а также на общие вопросы и программирование. В README указано контекстное окно 128 тыс. токенов, но метаданные базовой Gemma 4 указывают 256 тыс. токенов для версии 31B; для этой производной точный лимит следует сверять с конфигурацией репозитория. Метаданные подтверждают возможность анализа изображений, однако заявленные в README возможности видео и аудио относятся к семейству Gemma 4 в целом и не подтверждены для этой версии. Лицензия — Apache-2.0.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

unsloth/gemma-4-E2B-it-NVFP4 — квантованная версия инструкционно дообученной мультимодальной модели Google Gemma 4 E2B-it, подготовленная Unsloth в формате NVFP4. Gemma 4 разработана Google DeepMind; модель предназначена для запуска и дообучения с использованием современных GPU-инструментов, включая vLLM. Модель принимает текстовые и графические данные, а также аудио, и генерирует текст. Она ориентирована на генерацию текста, рассуждения, программирование, мультимодальное понимание, агентские сценарии и вызов функций. Для Gemma 4 E2B заявлены поддержка более 140 языков, контекстное окно до 128K токенов и конфигурируемый режим рассуждений. Архитектура включает 35 слоёв, гибридное внимание с локальными окнами размером 512 токенов и глобальным вниманием; эффективный объём параметров составляет 2,3 млрд, или 5,1 млрд с учётом embedding-параметров. К сильным сторонам относятся мультимодальность, большой контекст, поддержка системных промптов и нативного function calling, а также компактный размер, подходящий для локального запуска на устройствах и потребительских GPU. NVFP4-квантизация может снизить требования к памяти, однако её влияние на качество и совместимость зависит от используемого программного и аппаратного окружения. README не приводит подробных результатов бенчмарков и не описывает ограничения безопасности или качества модели. Распространение указано по лицензии Apache 2.0.

EryriLabs разработала разговорную модель Gemma 4 E4B, дообученную для валлийского и английского языков. Это плотная модель семейства Gemma 4, основанная на google/gemma-4-E4B-it: обучение включало дополнительное предобучение на валлийских текстах и supervised fine-tuning на валлийских инструкциях с применением LoRA; в репозитории доступны объединённые веса bf16 и адаптеры. Модель распространяется в формате safetensors и предназначена для локального запуска на телефонах, ноутбуках и малых компьютерах, а также для диалога, составления текстов и ответов на вопросы на валлийском и английском. Лицензия — Apache-2.0; README также указывает на коммерческое использование при соблюдении требований атрибуции исходных данных, где это требуется. Модель стремится поддерживать естественный повседневный валлийский, включая мутации, регистр обращения ti/chi и идиоматическую лексику, и отвечать на языке пользователя. Она не предназначена для юридических, медицинских или финансовых рекомендаций. Валлийские тексты могут требовать проверки носителем языка; сведения о мошенничестве, включая контакты и маршруты подачи жалоб, следует предоставлять в контексте и проверять человеком. В README также указано, что валлийский занимает больше токенов, чем английский, а качество зависит от корректной загрузки архитектуры Gemma4ForConditionalGeneration в Transformers версии 5.15 или новее.

AtomicChat/gemma-4-E4B-it-assistant-GGUF — это локальная GGUF-квантизированная версия модели google/gemma-4-E4B-it-assistant, разработанной Google и самостоятельно преобразованной в GGUF командой Atomic Chat. Модель предназначена для генерации текста, диалоговых ассистентов, рассуждений, программирования и автономного офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые приложения. Архитектура модели — плотный decoder с 42 слоями, гибридным вниманием: скользящее окно 512 токенов сочетается с глобальным вниманием. Указано 4,5 млрд эффективных параметров и 8 млрд параметров с учётом embeddings, контекст до 128K токенов, словарь 262K токенов, 4 attention heads и 2 KV heads. Базовая модель поддерживает текст, изображения и аудио, однако представленные в этом репозитории кванты являются текстовыми и не содержат vision projector. Языки модели в README не указаны. Доступны варианты Q4_K_S, Q4_K_M, Q5_K_M, Q8_0 и F16; квантизация выполнена с importance matrix, что должно уменьшать потери качества на низкой разрядности. Q4_K_M рекомендован как компромисс между размером, скоростью и качеством, а Q8_0 и F16 — для большей точности. Ограничениями являются текстовый формат поставки, возможная потеря качества из-за квантизации и необходимость использовать шаблон чата Gemma 4 через параметр --jinja. Приведённые в README результаты бенчмарков относятся к базовой модели Google, а не к независимым измерениям данной квантизированной версии. Модель распространяется по лицензии Apache 2.0.

MuXodious выпустил дообученную мультимодальную модель Gemma 4 E4B Instruct с применением Heretic v1.4.0 и методов abliteration, включая Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation. В README приведены результаты эксперимента по снижению отказов и KL-дивергенции относительно исходной модели. Основа — google/gemma-4-E4B-it-qat-q4_0-unquantized; архитектура — плотная Gemma4ForConditionalGeneration, библиотека Transformers, веса в формате Safetensors. Лицензия — Apache 2.0. Модель принимает текст и изображения и генерирует текст; семейство Gemma 4 E4B также поддерживает аудио. Она предназначена для диалога, рассуждений, анализа изображений и документов, распознавания речи, программирования и сценариев с вызовом инструментов. Для семейства в целом указаны контекст до 128K токенов у E4B и поддержка множества языков, но README не подтверждает, что все перечисленные возможности доступны именно этому чекпойнту после дообучения.

DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

Карточка модели GodsDevProject/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking на Hugging Face совпадает с карточкой DavidAU/gemma-4-E4B-it-The-DECKARD-HERETIC-UNCENSORED-Thinking, поэтому описание составлено по ней. DavidAU разработал The-DECKARD-HERETIC-UNCENSORED-Thinking — дообученную модель Google Gemma 4 E4B Instruct с настройкой на внутренних датасетах и изменённым шаблоном чата, который по умолчанию включает режим рассуждения. Модель предназначена для диалога, творческого письма, ролевых сценариев, генерации историй и кода. Автор сообщает о поддержке текста, изображений, видео и аудио, а также контекста до 128 тысяч токенов. Gemma 4 E4B описана как модель примерно с 8 млрд параметров, из которых около 4,5 млрд активны; веса этой версии представлены в формате bfloat16 и safetensors. Карточка приводит внутренние результаты сравнения с базовой моделью, но отмечает, что статистика ещё собирается и instruct-режим иногда показывает лучшие результаты, чем thinking. Использование чата в режиме instruct требует отдельного шаблона. Лицензия — Apache 2.0.

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

ciocan/gemma-4-E4B-it-W4A16 — GPTQ-квантизированная 4-битная версия модели google/gemma-4-E4B-it, подготовленная с использованием auto-round в режиме RTN. Модель имеет 8 млрд параметров, из которых 4 млрд являются эффективными благодаря архитектуре PLE. Она предназначена для запуска и обслуживания через vLLM, включая использование OpenAI-совместимого API и вызов инструментов. Модель поддерживает текст, изображения, аудио и видео. Нативная длина контекста составляет 128K токенов, однако для видеокарт с 12 ГБ VRAM рекомендуется ограничивать её 8K токенами, а при нехватке памяти — 4K. Квантованию подвергнут только языковой модуль; vision- и audio-компоненты сохранены в полной точности BF16. Размер памяти при загрузке составляет около 9,65 GiB, что позволяет использовать модель на видеокартах уровня RTX 3080 Ti или RTX 4070 с 12 ГБ VRAM. К сильным сторонам относятся поддержка нескольких модальностей, совместимость с vLLM и OpenAI-совместимым интерфейсом, а также сниженные требования к видеопамяти. Ограничения связаны с необходимостью использовать vLLM и специфический GPTQ-совместимый формат: AutoAWQ и llm-compressor для этой архитектуры не поддерживаются. Модель распространяется по лицензии Apache 2.0.

Карточка модели abideen/gemma-7b-openhermes на Hugging Face совпадает с карточкой QueryloopAI/gemma-7b-openhermes, поэтому описание составлено по ней. QueryloopAI/gemma-7b-openhermes — диалоговая языковая модель на архитектуре Gemma, дообученная разработчиком на базе google/gemma-7b-it с помощью QLoRA на данных предпочтений OpenHermes-2.5. Модель содержит 8,2 млрд параметров, распространяется в формате Safetensors и рассчитана на генерацию текста и следование инструкциям в формате чата; для диалогового использования следует применять встроенный шаблон чата токенизатора. Модель принимает текстовые запросы, вопросы и документы и генерирует ответы или краткие изложения на английском языке. Указанное контекстное окно — 8192 токена. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. В README приведены результаты нескольких бенчмарков; они не гарантируют качество на конкретных задачах.

Sorawiz разработал Gemma-9B-Chat, разговорную языковую модель на архитектуре Gemma 2 с 9 млрд параметров. Она создана слиянием нескольких предварительно обученных моделей с помощью mergekit и метода TIES; базой слияния служила zelk12/MT-Gen6fix-gemma-2-9B. Модель рассчитана на диалоговую генерацию текста и использует шаблон Gemma Instruct. Модель подходит для создания ответов в чате и других сценариев генерации текста. Её родной контекст составляет 8192 токена. Доступны отдельные квантизированные версии GGUF, опубликованные другими пользователями; сам репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

GemMoE-Medium-v0.4 — языковая модель с разреженной архитектурой Mixture of Experts, разработанная Lucas под именем Crystalcareai. В README описан подход Branch Train Mix: четыре эксперта обучались отдельно, затем были объединены, а маршрутизатор дообучен при замороженных экспертах. Для маршрутизатора использовались четыре эпохи на Self-Discover-MM и две эпохи на TruthyDPO; маршрутизация выполняется по токенам. Модель предназначена для генерации текста и диалоговых сценариев. Метаданные указывают 8,2 млрд параметров и контекст до 8192 токенов; файлы опубликованы в формате safetensors. Автор отмечает экономию видеопамяти и конкурентное качество для размера модели, однако в карточке нет результатов сопоставимых бенчмарков. Лицензия в предоставленных данных не указана.

Geneva 12B GammaCorpus v2-100k — плотная авторегрессионная языковая модель на архитектуре Mistral, разработанная rubenroy и дообученная на Mistral Nemo Instruct 2407 с использованием набора GammaCorpus v2-100k. Она предназначена для диалоговой генерации текста и следования инструкциям; метаданные также указывают интерфейс вызова инструментов. Модель содержит 12,1 млрд параметров и поддерживает контекст до 1 024 000 токенов. Карточка описывает GammaCorpus как набор структурированных и отфильтрованных многоходовых диалогов. Модель ориентирована на несколько языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский. Весовые файлы доступны в формате Safetensors, библиотека для работы — Transformers. Лицензия — Apache-2.0. Автор заявляет целью превосходство над моделями сопоставимого размера, однако сравнительные результаты в карточке не приведены. Среди указанных ограничений — возможность генерации предвзятых ответов; качество вызова инструментов отдельно не охарактеризовано.

GenreGemma29b — дообученная языковая модель TACameronStott на базе unsloth/gemma-2-9b-bnb-4bit. Это плотная модель Gemma 2 с 9 млрд параметров, предназначенная для генерации текста. Модель обучалась с использованием Unsloth и библиотеки TRL. Модель принимает текст и генерирует текст; указанное окно контекста составляет 8192 токена. В карточке не описаны специализированные жанровые сценарии или результаты оценки качества, поэтому назначение модели можно определить только как общее текстовое продолжение и генерацию. Лицензия — Apache 2.0.

GenTest-7B-slerp — объединённая модель для генерации текста, созданная Kukedlc с помощью LazyMergekit. Она объединяет Kukedlc/NeuralSirKrishna-7b и Kukedlc/NeuralMaxime-7B-slerp методом SLERP; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров, веса сохранены в формате safetensors. Модель предназначена для генерации текста и диалоговых ответов, поддерживает контекст до 32 768 токенов. В README не приведены результаты оценки качества, сведения о поддерживаемых языках или конкретные ограничения применения. Лицензия в доступных данных не указана.

GenZ-70B — авторегрессионная языковая модель Bud Ecosystem, дообученная методом supervised fine-tuning на Meta Llama 2 70B. Модель построена на архитектуре Llama и содержит 68,7 млрд параметров; карточка Hugging Face указывает библиотеку Transformers, формат PyTorch и контекст 4096 токенов. Модель предназначена для генерации текста и диалогового взаимодействия по пользовательским запросам. Её можно применять для получения ответов, подготовки текстовых материалов и экспериментов с LLM. В README приведены результаты MT Bench, MMLU, Human Eval и BBH, но детали обучающих данных и оценивания описаны ограниченно. README указывает коммерческое использование по специальной лицензии, связанной с условиями Meta AI Model and Library Downloads. Перед применением следует проверить эту лицензию и ограничения базовой модели. Заявленное разработчиком назначение включает исследования больших языковых моделей.

win10/ghost-13.3b-beta-1608 — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе ghost-x/ghost-8b-beta-1608. Модель использует плотную архитектуру Llama с классом LlamaForCausalLM и предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Объём модели составляет 12,7 млрд параметров, заявленная длина контекста — 131 072 токена. Базовая модель описана как многоязычная модель на основе Llama 3. Модель распространяется в формате safetensors. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

Ghostwriter Llama 3.1 8B Merged Run02 — дообученная автором hasithanilwakka языковая модель на основе unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit. Это плотная автрорегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогового общения; в карточке также заявлен интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальную область применения, конкретные улучшения после дообучения или результаты оценки качества.

GigaChat-20B-A3B-instruct — русскоязычная диалоговая модель семейства GigaChat, представленная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Она предназначена для генерации ответов в диалоге и поддерживает контекст до 131 072 токенов. Модель использует архитектуру DeepSeek и распространяется в формате Safetensors; для семейства также упомянуты веса BF16 и INT8. В карточке приведены результаты сравнительных тестов на общих языковых и математических задачах, включая MERA, ru-MMLU, GSM8K и MATH. Для запуска указана библиотека Transformers версии 4.47 или выше; README предупреждает об особенностях токенизации и не рекомендует приведённый в нём способ предварительного применения chat template. Лицензия модели — MIT.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

Это экспериментальная GGUF-квантизация GigaChat3.1-10B-A1.8B, подготовленная ENOSYS на основе ai-sage/GigaChat3.1-10B-A1.8B-bf16. Модель предназначена для генерации текста и диалогового использования; базовая модель — компактная многоязычная MoE-модель GigaChat для диалогов, рассуждений, кода и вызова инструментов. В репозитории приведены варианты квантования с целевой точностью 2,750, 2,875 и 3,000 бит на вес, а также таблица сравнительных метрик. Для калибровки использованы наборы данных с примерами инструментов, математики, кода и английского и русского текста. Тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Квантование выполнено на нестандартной ветке LLaMA.cpp с дополнительными патчами. Варианты GGUF позволяют запускать модель в совместимых инструментах с поддержкой этого формата. Квантизация снижает точность относительно исходных весов; приведённые метрики указывают на заметные изменения perplexity и распределений выходных вероятностей. Лицензия репозитория — MIT.

Lambent/Gilded-Arsenic-12B — диалоговая языковая модель на 12,1 млрд параметров, дообученная Lambent на базе Lambent/arsenic-nemo-unleashed-12B с помощью TRL и DPO-датасетов по прозе, ролевым сценариям, математическим рассуждениям и диалогам. Модель использует плотную архитектуру Mistral и формат safetensors; предназначена для генерации текста в ответ на сообщения пользователя и поддерживает интерфейс вызова инструментов. Модель подходит для диалоговых приложений, творческого письма и ролевых сценариев, а также для генерации ответов с математическими рассуждениями. В карточке указан контекст до 1 024 000 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Метка репозитория предупреждает, что модель подходит не для любой аудитории.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.

noctrex/GLM-4.7-Flash-MXFP4_MOE-GGUF — квантизированная версия диалоговой MoE-модели GLM-4.7-Flash от Z.ai, представленная в формате GGUF. Репозиторий содержит вариант квантования MXFP4_MOE. Модель предназначена для диалоговой генерации текста. Базовая GLM-4.7-Flash также описана как модель для рассуждений и программирования; для общего чата README приводит рекомендуемые параметры генерации. Указан интерфейс чата и рекомендации для вызова инструментов. Квантование может снизить требования к памяти при запуске, но карточка не сообщает о замерах качества или скорости именно этой версии. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.