I.5Создание и редактирование текста

PollardWeights/gemma-4-12B-it-Pollard — квантизированная GGUF-версия модели google/gemma-4-12B-it, подготовленная PollardWeights с использованием llama.cpp и метода Pollard Weights. Модель содержит около 11,9 млрд параметров, использует архитектуру gemma4_unified и предназначена для генерации текста и диалоговых сценариев. Она поддерживает текстовые, визуальные и аудиовходы; заявленный язык — английский. В README приведены измерения качества при контексте 2048 токенов, но максимальная длина контекста не указана. Модель рассчитана на локальный запуск в llama.cpp и совместимых приложениях, включая Ollama, LM Studio, koboldcpp, Jan и ramalama. Доступны варианты с разным соотношением размера и точности: IQ2_XXS размером 4,64 ГБ, IQ4_XS размером 6,78 ГБ и Q6_K размером 9,65 ГБ. Квантизация использует распределение битов по чувствительности отдельных слоёв и калибровку imatrix, что позволяет существенно уменьшить требования к памяти; наиболее точным из представленных вариантов является Q6_K, а IQ2_XXS — самым компактным, но с заметно более высоким perplexity. Ограничения включают снижение качества по сравнению с f16, отсутствие данных о широком тестировании и проверку измерений на одной машине. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

Карточка модели MeFFyLe/gemma-4-12B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-12B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

AMD Gemma 4 12B IT W4A16 — квантизированная версия модели RedHatAI/gemma-4-12B-it, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и CPU-инференса на процессорах AMD EPYC под Linux; запуск рекомендуется через vLLM. Указанный язык — английский. Модель основана на архитектуре Gemma4UnifiedForConditionalGeneration и содержит мультимодальные компоненты, включая vision tower, обработчики изображений и аудио, а также мультимодальный проектор, однако в карточке явно заявлены текстовые входы и выходы. Основные веса сжаты методом 4-битной weight-only-квантизации W4A16 с использованием GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации остаются в BF16. Мультимодальные модули и lm_head сохранены в BF16. Размер модели — 12B параметров; точное максимальное окно контекста не указано, при квантизации использовалась длина последовательности до 2048 токенов. Ключевое преимущество модели — снижение требований к памяти и оптимизация инференса на AMD CPU с использованием ZenDNN и ZenTorch. По тесту GSM8K модель сохранила 98,38% результата BF16-базовой версии: 0,9249 против 0,9401. Ограничения связаны с потерей качества из-за квантизации, зависимостью от совместимого стека версий и ориентированностью на AMD EPYC; заявленные результаты не охватывают широкий набор задач и языков. Для работы рекомендуются PyTorch 2.11.0, ZenTorch 2.11.0.3, vLLM 0.26.0 и LLM Compressor 0.12.0. Лицензия — Gemma.

jenerallee78/gemma-4-26B-A4B-it-ara-abliterated — мультимодальная instruction-tuned модель, созданная на базе Google Gemma 4 26B-A4B-IT с применением метода Adaptive Refusal Abliteration (ARA). Разработчик заявляет, что модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями; в метаданных указан английский язык. Это модификация с ослабленными встроенными ограничениями на отказы, поэтому её применение требует самостоятельной оценки безопасности. Модель использует MoE-архитектуру со 128 экспертами и 8 активными экспертами на токен, примерно 4 млрд активных параметров на токен, 30 слоями и контекстом до 262 144 токенов. Она поддерживает мультимодальный ввод благодаря vision encoder на базе SigLIP; каждое изображение преобразуется примерно в 280 soft tokens. Доступны варианты BF16 SafeTensors и GGUF для Transformers, vLLM, SGLang и llama.cpp, а также смешанная 4-битная MLX-квантизация для Apple Silicon. Размеры файлов составляют около 48 ГБ для BF16, 20 ГБ для Q5_K_M GGUF и 15 ГБ для MLX-варианта. По приведённым автором результатам, на наборе из 507 тестовых вредоносных запросов доля отказов составила 7,7%, средняя оценка качества соблюдения запроса — 4,6 из 5, а KL-дивергенция относительно базовой модели — 0,1299. Эти показатели относятся к заявленной методике и конкретным бенчмаркам и не гарантируют аналогичное поведение в других условиях. Модель распространяется по лицензии Apache 2.0.

Gemma 4 26B A4B IT Heretic (FP8 Static) — офлайн-статически квантованная версия модели coder3101/gemma-4-26B-A4B-it-heretic, опубликованная в репозитории cloud19. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку текста и изображений, а также для высокопроизводительного инференса на оборудовании NVIDIA с FP8 tensor cores, например архитектур Hopper и Blackwell. Модель основана на архитектуре Gemma 4 с MoE-компонентами; заявленный размер — 26B параметров при конфигурации A4B. Квантование выполнено с помощью AutoFP8 в формате FP8 W8A8 со статическим масштабированием активаций. Для калибровки использовано 512 примеров из набора mgoin/ultrachat_2k. Визуальные слои и маршрутизаторы MoE сохранены в исходной точности bfloat16, чтобы сохранить мультимодальность и совместимость с vLLM. Указан контекст до 131072 токенов и поддержка развёртывания через vLLM версии 0.19.0 или новее. Сильные стороны модели — повышенная скорость инференса и эффективность использования NVIDIA-оборудования при сохранении разговорных возможностей, а также поддержка мультимодальности и автоматического выбора инструментов. Ограничения связаны с зависимостью от совместимого FP8-оборудования и актуальной версии vLLM; README не содержит подробных результатов оценки качества, перечня поддерживаемых языков и точных требований к видеопамяти. Модель распространяется по лицензии Apache-2.0.

Это квантованная версия Gemma 4 26B A4B IT от Google, опубликованная FreedomAISVR в формате GGUF для запуска через llama.cpp. Основа — инструкцияльная MoE-модель с 26 млрд параметров, около 4 млрд активных параметров, 128 экспертами и выбором 8 экспертов на токен; применена специализированная 4-битная квантизация MXFP4_MOE. Репозиторий также содержит мультимодальный проектор mmproj в F16 для обработки изображений. Модель предназначена для диалогов и следования инструкциям, а с подключённым проектором — для ответов на вопросы по изображениям и их описания. В README заявлены гибридное внимание с локальными и глобальными слоями, отключённый по умолчанию режим рассуждений с возможностью включения в запросе, а также запуск на CPU и GPU. Квантованные веса занимают около 13,72 ГБ, проектор — 1,11 ГБ; README указывает потребность от 8 ГБ RAM и около 15 ГБ дискового пространства. Квантизация рассчитана на более компактный и эффективный запуск MoE-модели при сохранении качества маршрутизации экспертов, однако README не приводит независимых результатов оценки качества. Лицензия — Gemma; использование должно соответствовать её условиям.

gemma-4-26B-A4B-it-Uncensored-MAX-GGUF — это GGUF-версия модели, разработанной prithivMLmods на базе google/gemma-4-26B-A4B-it. Модель представляет собой модифицированную версию Gemma с уменьшенным уровнем встроенных отказов от ответа: для этого применялись анализ направлений отказа и методы abliteration. Заявлено сохранение возможностей рассуждения и следования инструкциям исходной архитектуры. Модель предназначена для генерации текста, подробных ответов, выполнения инструкций, исследовательских и обучающих сценариев, а также агентских задач. Указана поддержка обработки изображений и текста; заявлен английский язык. Архитектура описана как MoE, размер — 26 млрд параметров. Доступны файлы GGUF в форматах BF16, F16, F32 и Q8_0, а также отдельные mmproj-файлы для мультимодальной обработки. Сведения о размере контекстного окна и точных характеристиках MoE-компонентов не приведены. К сильным сторонам относятся сниженная склонность к отказам, ориентация на подробные ответы, рассуждение и следование инструкциям. Ограничением является потенциально повышенный риск генерации небезопасного или незаконного содержания из-за уменьшенных защитных механизмов; использование осуществляется на риск пользователя. Модель предоставляется по лицензии Apache-2.0 и заявлена авторами для исследовательских и учебных целей.

Gemma 4 31B IT NVFP4 Turbo GGUF — перепакованная и дополнительно квантованная версия Gemma 4 31B IT для диалоговой генерации текста. В README указано, что веса self-attention переведены из BF16 в FP4 методом RTN с group size 16; MLP сохраняют калиброванную квантизацию NVIDIA, а эмбеддинги токенов и нормализации — BF16. Также изменены конфигурация архитектуры и квантования и удалены кодировщики изображений и аудио. Модель предназначена для чат-ответов и генерации текста. Автор README заявляет, что вариант занимает на 68% меньше видеопамяти и работает примерно в 2,5 раза быстрее исходной модели при потере качества в пределах 1–3%; заявлена возможность запуска на одной RTX 5090. Для работы требуется версия llama.cpp с изменениями из PR #21971. Репозиторий распространяется по лицензии Apache-2.0.

Ailexleon/gemma-4-31B-it-qat-uncensored-heretic-mlx-lm-4Bit — текстовая генеративная модель в формате MLX, опубликованная ailexleon. Она преобразована из llmfan46/gemma-4-31B-it-qat-q4_0-unquantized-uncensored-heretic с использованием mlx-lm версии 0.31.3 и предназначена для запуска и генерации текста на устройствах, поддерживающих MLX. Модель ориентирована на англоязычные сценарии, включая диалоговое взаимодействие и другие задачи генерации текста. Ключевые характеристики: семейство Gemma-4, размер 31B параметров, 4-битное квантование QAT и режим text-generation. В README не указаны точная архитектура, размер контекстного окна, перечень поддерживаемых языков помимо English и результаты тестирования. Вариант не предоставляет заявленных возможностей работы с изображениями; для vision-задач рекомендуется отдельная версия ailexleon/gemma-4-31B-it-qat-uncensored-heretic-mlx-vlm-4Bit. Названия uncensored, heretic и decensored относятся к заявленным тегам и происхождению модели, но количественная оценка этих свойств не приведена. Модель распространяется по лицензии Apache 2.0 с дополнительной ссылкой на лицензионные условия Gemma. Для использования требуется библиотека mlx-lm; README показывает загрузку модели через Python API.

Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.

gemma-4-E2B-it-Uncensored-MAX-GGUF — языковая модель с поддержкой изображений, разработанная prithivMLmods на основе google/gemma-4-E2B-it. Это instruction-tuned и alignment-modified вариант, предназначенный для генерации текста, подробных ответов, следования инструкциям, reasoning и агентских сценариев. Модель также позиционируется для запуска через llama.cpp, vLLM и другие совместимые инструменты, поддерживающие формат GGUF. Модель относится к классу MoE и имеет 2 млрд параметров согласно описанию. Заявлен английский язык. Наличие файлов mmproj указывает на поддержку обработки изображений, однако подробные сведения о визуальной архитектуре, размере контекста и точном наборе поддерживаемых модальностей не приведены. Доступны варианты BF16, F16, F32 и Q8_0 размером примерно от 4,95 до 18,6 ГБ, а также соответствующие мультимодальные компоненты. Ключевая особенность — снижение внутренних отказов от ответа с помощью анализа refusal-направлений и abliteration-based training при сохранении способностей к reasoning и instruction-following. Это может быть полезно для приложений, которым нужны менее ограниченные ответы, но одновременно означает повышенные риски получения небезопасного или нежелательного контента. Качество и требования к ресурсам зависят от выбранной квантизации. Модель распространяется по лицензии Apache-2.0.

Это мультимодальная Gemma 4 E4B Instruct, дообученная командой Peerbench на немецкоязычном корпусе для улучшения общих навыков общения и генерации текста на немецком языке. Модель основана на unsloth/gemma-4-E4B-it; применено SFT с LoRA, веса представлены в формате safetensors и обучались в bf16. Вариант v3 обучался одну эпоху на 25 756 примерах, при этом зрительная часть базовой модели оставалась замороженной. Модель предназначена для немецкоязычного диалога и широких задач генерации текста; наследует от Gemma 4 возможность принимать изображения и отвечать на вопросы о них. Обучение проводилось с шаблоном чата Gemma 4 без режима reasoning. Репозиторий распространяется по лицензии Gemma. Карточка не приводит отдельной оценки качества, поэтому фактический выигрыш на конкретных задачах может зависеть от сценария.

Это GGUF-версия модели gemma-4-E4B-Gemini-3.1-Pro-Reasoning-Distill, разработанной Ayodele01. Репозиторий содержит скомпилированные и квантованные файлы, подготовленные с использованием llama.cpp для эффективного локального запуска на пользовательском оборудовании. Модель предназначена для генерации текста и локального инференса. Доступны варианты квантования с разрядностью от 3 до 8 бит: Q8_0 обеспечивает качество, близкое к неквантованной версии, а Q3_K_M отличается максимальным сжатием, более высокой скоростью и сниженным качеством. Вариант Q4_K_M рекомендован как компромисс между скоростью, потреблением памяти и качеством. README не содержит сведений о точном числе параметров, архитектуре, поддерживаемых языках, длине контекста, мультимодальности, результатах тестирования или лицензии, поэтому эти характеристики нельзя определить по имеющимся данным.

DavidAU разработал эту модель как дообученную и освобождённую от ограничений версию Gemma 4 E4B Instruct. По README, веса представлены в формате bfloat16, а дообучение выполнено с Unsloth на внутренних наборах данных Deckard и Universe; архитектура — плотная Gemma4ForConditionalGeneration. Автор указывает около 8 млрд параметров всего и примерно 4,5 млрд активируемых параметров. Шаблоны чата позволяют использовать режимы instruct и thinking, причём thinking задан по умолчанию. Модель предназначена для диалога, творческого письма и ролевых сценариев, а также для задач общего назначения. Она принимает текст, изображения, видео и аудио и выдаёт текст; заявленная длина контекста — до 128 тысяч токенов. README описывает настройки генерации и приводит примеры, но заявленные превосходства в бенчмарках основаны на внутренних тестах автора и не подтверждены независимыми результатами. Модель опубликована по лицензии Apache-2.0. Автор характеризует её как uncensored и отмечает более интенсивный стиль ответов. Поэтому она может выдавать нежелательный или резкий контент, а качество результатов зависит от режима, шаблона и параметров генерации.

ConicCat/Gemma4-GarnetV2-31B — созданная ConicCat донастройка Gemma 4, ориентированная прежде всего на связную прозу и творческое письмо. Модель подходит для написания длинных художественных текстов, ролевых диалогов и других творческих сценариев; также сохраняет общие способности к диалогу и следованию инструкциям. В README указано, что за один запрос можно предложить до 4000 слов текста. Модель основана на инструкционно-настроенной Google Gemma 4 31B и имеет плотную архитектуру Gemma4ForConditionalGeneration. Для обучения использованы наборы Gutenberg-SFT и Condor-SFT-Filtered, а также дополнительные книжные данные, часть которых не опубликована из-за авторских прав. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0. По описанию автора, донастройка улучшает качество длинной прозы и разнообразие вариантов генерации, а также уменьшает характерные шаблонные формулировки и мягкие отказы в творческих текстах. README не сообщает отдельную величину контекстного окна; упомянутые 4000 слов относятся к объёму генерируемого текста. Модель также может выдавать откровенно ролевой контент чаще, чем базовая модель.

Theros/Gemma-9B-ColdBrew-Testing — объединённая диалоговая языковая модель на архитектуре Gemma 2, созданная с помощью mergekit методом SLERP из SvalTek/Gemma-7B-ColdBrew-RP и KishoreK/ActionGemma-9B. Модель содержит 9 млрд параметров, принимает текст и генерирует текст; контекст — до 8192 токенов. Модель предназначена для диалоговой генерации текста. Её можно использовать для продолжения беседы и создания текстовых ответов. Данные карточки не описывают специализированные области применения или языковой охват. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Лицензия в предоставленных данных не приведена.

Карточка модели mergekit-community/gemma-gemma на Hugging Face совпадает с карточкой fradinho/llama-mistral, поэтому описание составлено по ней. fradinho/llama-mistral — диалоговая языковая модель на архитектуре Llama, созданная объединением моделей с помощью mergekit. В объединение вошли arcee-ai/llama_from_mistral_instruct_v2 и NousResearch/Llama-2-7b-chat-hf; применён метод task arithmetic с равными весами. Модель содержит 7,1 млрд параметров и принимает текст для генерации текста в диалоговом формате. Модель предназначена для ведения бесед и генерации ответов. Контекст составляет 2048 токенов; в карточке не заявлена поддержка языков, кроме сведений о базовой модели, ориентированной на английский. Репозиторий распространяется по лицензии MIT. Данных о качестве на конкретных задачах нет.

Gemma-Ko 2B — базовая текстовая модель семейства Gemma, опубликованная beomi на основе оригинальной Gemma-2B от Google. Это плотная decoder-only языковая модель с 2,5 млрд параметров, предназначенная для генерации текста по запросу; заявленный контекст составляет до 8192 токенов. В карточке указаны корейский и английский языки. Модель подходит для генерации и черновой подготовки текстов, ответов на вопросы, суммаризации, языковой практики и экспериментов с NLP. Относительно небольшой размер позволяет запускать её на персональном компьютере или в облачной инфраструктуре с ограниченными ресурсами. Карточка не содержит результатов бенчмарков, поэтому качество для конкретных сценариев следует проверять отдельно. Модель может воспроизводить смещения из обучающих данных, ошибаться в фактах и испытывать трудности с неоднозначностью, тонкими языковыми нюансами и сложными открытыми задачами. Лицензия обозначена как other; README отсылает к условиям использования Gemma, поэтому перед применением следует ознакомиться с ними.

Gemma Orchid 7b — дообученная модель генерации текста на базе Gemma, опубликованная macadeliccc. Автор описывает её как второй чекпойнт будущего проекта, ориентированный на диалог и вызов функций. Модель содержит 8,2 млрд параметров, построена на плотной архитектуре GemmaForCausalLM и принимает текст. Контекстное окно — 8192 токена; для общения используется формат ChatML. Модель дообучена методом LoRA примерно на 80 тысячах примеров из наборов Thermostatic/flowers, Intel/orca_dpo_pairs, jondurbin/truthy-dpo-v0.1 и glaiveai/glaive-function-calling-v2. Она предназначена для диалоговых ответов, суммаризации и сценариев с вызовом функций. В README приведены результаты нескольких бенчмарков, а полная оценка обозначена как незавершённая. В репозитории доступны веса safetensors. Лицензия указана как other, без более точных условий в предоставленных данных. Это ранний чекпойнт проекта; качество вызова функций и пригодность для конкретных задач следует проверять отдельно.

Gemopus-4-26B-A4B-it-GGUF — мультимодальная instruction-tuned модель, разработанная Jackrong на основе Google Gemma 4 26B Instruction. Это версия с supervised fine-tuning, ориентированная на сохранение исходного стиля рассуждений Gemma 4 и улучшение качества, структуры, ясности и согласованности ответов. Модель распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Модель поддерживает сценарии генерации текста и работы с изображениями, включая диалоговые, технические и научно-популярные задачи. В README заявлена поддержка английского, китайского, корейского и японского языков. Среди сильных сторон отмечаются более естественный стиль общения, улучшенная организация длинных ответов, точность профессиональной терминологии и способность объяснять сложные темы понятным языком. Рекомендуемые параметры генерации: temperature=1.0, top_p=0.95 и top_k=64. Размер контекстного окна и точные сведения об архитектуре, включая значение обозначения A4B, в предоставленных данных не указаны. Публичные результаты benchmark также отсутствуют, поэтому фактические преимущества модели над базовой Gemma 4 или другими моделями не подтверждены количественно. README подчёркивает консервативный подход к дообучению без агрессивной дистилляции цепочек рассуждений; модель может иметь ограничения, связанные с отсутствием последующего reinforcement learning и process supervision. Лицензия — Apache License 2.0.

GenreLlama38b — дообученная языковая модель, опубликованная TACameronStott на основе unsloth/llama-3-8b-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; обучение проводилось с использованием Unsloth и библиотеки TRL. Модель предназначена для генерации текста, однако карточка не описывает специализацию на жанрах или конкретные сценарии применения. Она поддерживает английский язык и контекст до 8192 токенов. Распространяется по лицензии Apache-2.0.

isbondarev/gigachat_3.1_sql — языковая модель для генерации текста, опубликованная на Hugging Face. Модель доступна через библиотеку Transformers и имеет теги DeepSeek V3 и conversational, что указывает на сценарии диалогового взаимодействия и продолжения текста. README содержит автоматически сгенерированную карточку без сведений о разработчике, лицензии, обучающих данных и результатах оценки. Модель насчитывает 1,5 млрд параметров и поддерживает контекст длиной до 262 144 токенов. Её можно использовать для генерации ответов, диалоговых приложений и обработки длинных текстовых запросов; назначение SQL следует из идентификатора модели, но README и метаданные не подтверждают специализированные возможности для генерации или анализа SQL. Ограничения, безопасность, качество на отдельных языках и доменах в доступных материалах не описаны.

GLM-2B — языковая модель семейства GLM, разработанная командой THUDM и представленная в работе Zhengxiao Du, Yujie Qian и соавторов. Модель предварительно обучена на наборе данных The Pile с авторегрессионной целью заполнения пропусков; архитектура включает 36 слоёв трансформера, скрытый размер 4096 и 64 головы внимания, всего около 2,5 млрд параметров. Модель предназначена для задач понимания и генерации естественного языка, включая языковое моделирование, преобразование последовательностей, классификацию текста и выбор ответа. Предобучение ориентировано на английский язык. Репозиторий содержит веса PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

GLM-4.5-Air-MLX-8bit — это 8-битная квантованная версия языковой модели GLM-4.5-Air, разработанной компанией zai-org. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и совместима с экосистемой Transformers; заявленные языки — английский и китайский. Модель подходит для локального текстового общения, генерации и обработки текста на поддерживаемых устройствах. Квантование снижает требования к памяти по сравнению с полноразмерной версией и оптимизировано для Apple Silicon, однако может сопровождаться потерей качества относительно исходной модели. В README не указаны архитектура, количество параметров, размер контекста, поддерживаемые модальности и результаты тестирования, поэтому эти характеристики нельзя уточнить. Для модели указана лицензия MIT.

MaziyarPanahi/GLM-4.6V-Flash-GGUF — это набор файлов модели в формате GGUF для оригинальной модели GLM-4.6V-Flash, разработанной zai-org и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Основная характеристика репозитория — поддержка нескольких уровней квантизации: 2-, 3-, 4-, 5-, 6- и 8-битной. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями для локального вывода, в том числе с GPU-ускорением. Это позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений об архитектуре, размере модели, поддерживаемых языках и модальностях, длине контекста, результатах оценки или ограничениях исходной GLM-4.6V-Flash. Лицензия в предоставленных данных также не указана, поэтому условия использования следует уточнять в карточке оригинальной модели и соответствующих файлах репозитория.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

GLM-4.7-Flash-MLX-6bit — это 6-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста и поддерживает английский и китайский языки. Модель подходит для локального запуска и задач текстовой генерации на совместимых устройствах Apple Silicon. Квантизация снижает требования к памяти по сравнению с полноразмерной версией, что может упростить локальное использование, однако потенциально сопровождается некоторой потерей точности относительно исходной модели. README не содержит сведений о размере модели, архитектуре, длине контекста, поддерживаемых модальностях помимо текста и результатах тестирования. Для модели указана лицензия MIT.

GLM-4.7-Flash-MLX-8bit — это 8-битно квантованная версия языковой модели GLM-4.7-Flash, разработанной компанией zai-org. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и доступна в экосистеме Transformers. Модель поддерживает английский и китайский языки и относится к моделям text generation. Ключевое преимущество — оптимизация в формате MLX и 8-битное представление, что делает её подходящей для локального использования на Apple Silicon при сниженных требованиях к памяти по сравнению с полноразмерной версией. В README не указаны точный размер модели, архитектура, длина контекста, мультимодальные возможности и результаты тестирования, поэтому её производительность и область применения нельзя оценить подробнее. Лицензия модели — MIT.

Пакет meshllm/GLM-4.7-UD-Q4_K_XL-layers содержит слоевые артефакты GGUF модели GLM-4.7 и предназначен для запуска через Mesh LLM. Он получен из unsloth/GLM-4.7-GGUF: вариант UD-Q4_K_XL разделён на отдельные файлы слоёв для распределённого инференса на локальном кластере; пакет включает метаданные и эмбеддинги. Модель рассчитана на локальный приватный чат и генерацию текста, в том числе на нескольких машинах, когда полный файл GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через совместимый с OpenAI интерфейс чата. В метаданных указаны формат GGUF, библиотека mesh-llm и поддержка чата. Лицензионные условия следует сверять с карточкой исходной модели unsloth/GLM-4.7-GGUF; доступные сведения их не приводят.