I.2Синтез, понимание и проверка знаний

ChatWaifu-Wayfarer-Sunfall — объединение предварительно обученных языковых моделей, созданное с помощью mergekit методом SLERP. В него вошли mergekit-community/ChatWaifu-Wayfarer-12B и crestf411/nemo-sunfall-v0.6.1; базовой моделью в конфигурации указана ChatWaifu-Wayfarer-12B. Слияние использует V-образное распределение весов: ChatWaifu-Wayfarer влияет на входные и выходные слои, а Sunfall — на средние слои. Модель семейства Mistral с плотной архитектурой MistralForCausalLM содержит 12,1 млрд параметров, принимает текст и предназначена для генерации текста и чат-диалогов. Контекст — до 131 072 токенов. Репозиторий содержит веса Safetensors; лицензия в предоставленных данных не обозначена.

Chinese-Mistral-7B-v0.1 — базовая причинно-авторегрессионная языковая модель семейства Mistral, разработанная лабораторией геонаук и космической информационной науки факультета наук о системе Земли Университета Цинхуа. Модель содержит 7,2 млрд параметров и рассчитана на генерацию текста; для неё заявлено контекстное окно 32 768 токенов. Разработчики расширили китайский словарь Mistral-7B и провели дополнительное предварительное обучение, чтобы улучшить работу с китайским текстом и повысить эффективность его токенизации. Модель подходит для генерации текста и использования как базовая модель для дальнейшей адаптации; README описывает оценку общих знаний и рассуждений на китайских и англоязычных тестах. Хотя улучшения ориентированы на китайский язык, поддержка других языков отдельно не перечислена. Модель может выдавать ошибочную или вредоносную информацию, поэтому при развёртывании требуется оценка безопасности и настройка под конкретное приложение. Условия лицензии в предоставленных данных не приведены.

CLEX-Phi-2-32K — языковая модель семейства Phi-2 от DAMO-NLP-SG, предназначенная для генерации текста с длинным контекстом. Это плотная авторегрессионная модель примерно на 3,5 млрд параметров; веса опубликованы в формате Safetensors, лицензия — MIT. В README описан подход Continuous Length Extrapolation (CLEX): к архитектуре добавлен проекционный слой, который позволяет расширять контекст без рекуррентного кэширования памяти и разреженного внимания. Модель обучалась на корпусе LongCorpus-2.5B с длиной последовательности 32K. В README приведены результаты оценки языкового моделирования на длинах до 128K; метаданные каталога указывают нативный контекст в 2048 токенов, поэтому фактическую поддержку длинных запросов следует проверять с соответствующей конфигурацией и программной обвязкой. Модель подходит для продолжения текста и генерации ответов на длинные текстовые входы. Карточка не описывает отдельную настройку для чата или специализированных областей применения.

ContextPilot-E4B-heretic — вариант чекпойнта ContextPilot на базе Gemma 4 E4B Instruct. ContextPilot разработан для исследования проактивного управления контекстом в агентах с длинным горизонтом работы: модель планирует, поддерживает структурированную долговременную память, извлекает сведения и освобождает контекст от менее полезной информации, продолжая рассуждать и пользоваться инструментами. Подход ContextPilot использует набор инструментов управления контекстом, частичные rollout с фокусом на важных решениях по редактированию контекста и детальное распределение вклада промежуточных состояний по результатам последующих ветвей. Модель предназначена для длинноконтекстного ответа на вопросы и задач глубокого поиска. Это плотная архитектура Gemma 4, доступная в формате safetensors и используемая через Transformers. Сам чекпойнт не выполняет инструменты управления контекстом без определений инструментов, агентного runtime и оценочного конвейера из репозитория ContextPilot. В README также приведены результаты abliteration: 32 отказа из 100 против 100 из 100 у исходной модели, при KL-дивергенции 0,0064; теги описывают вариант как uncensored/decensored. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Cydonia-v4.1-MS3.2-Magnum-Diamond-24B — объединённая языковая модель, созданная knifeayumu методом SLERP с помощью mergekit на основе TheDrummer/Cydonia-24B-v4.1 и Doctor-Shotgun/MS3.2-24B-Magnum-Diamond. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров; она принимает текст и генерирует текст, в том числе подходит для творческого письма и ролевых диалогов согласно описанию базовой модели. Заявленная длина контекста — 131 072 токена. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает рецепт слияния, но не приводит отдельных оценок качества или подробных рекомендаций по использованию. Качество и поведение могут отличаться от исходных моделей; описание генерации видео в README относится к созданию иллюстрации карточки с помощью внешних инструментов, а не к возможностям этой языковой модели.

DAML4_TLDR_Generator — компактная модель T5, дообученная на базе google-t5/t5-small. Она предназначена для создания кратких пересказов текста (TL;DR) в сценариях, где нужно быстро получить короткое резюме. Модель содержит 38,5 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текст с контекстом до 512 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В README указана оценка Loss 2,4928 на тестовой выборке, но датасет, методика оценки и практическое качество резюмирования не описаны.

cogito-v1-preview-llama-70B-GGUF — квантованная версия языковой модели cogito-v1-preview-llama-70B, разработанной deepcogito и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Это текстовая autoregressive-модель семейства Llama размером 70B параметров. В репозитории представлены варианты квантования Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и Q3, различающиеся размером файлов, требованиями к памяти и качеством вывода. Для квантования применялся imatrix; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q3 рассчитаны на системы с ограниченным объёмом оперативной памяти. Доступны как цельные файлы, так и разделённые варианты. Сильная сторона модели — возможность локального запуска крупной 70B-модели при выборе подходящего уровня квантования, однако даже наиболее компактные варианты требуют значительных ресурсов, а снижение точности квантования уменьшает качество. README не содержит сведений о поддерживаемых языках, длине контекста, мультимодальности, специализированных сценариях, результатах тестирования или дополнительных ограничениях. Указанная лицензия — llama3.1.

Solstice-AI/DeepSeek-V4-Flash-Vision-Exp-UltraOptimised-GGUF-DSpark — это набор GGUF-квантизаций экспериментальной мультимодальной модели DeepSeek-V4-Flash-Vision-Exp, разработанной DeepSeek AI и подготовленной Solstice-AI. Набор предназначен для локального запуска и инференса в сценариях image-text-to-text, включая анализ изображений и работу с текстом, с поддержкой llama.cpp и Ollama. Модель имеет архитектуру MoE с 305 млрд общих параметров, 256 маршрутизируемыми экспертами, Multi-Head Latent Attention и Compressed Sparse Attention; в README также указано 13 млрд активных параметров на токен. Визуальная часть включает 32-слойный Vision Transformer с размером патча 14 и коэффициентом уменьшения 3. Заявлено окно контекста 1 048 576 токенов. В комплект входят квантизации UD-IQ4_XS, UD-Q3_K_XL и UD-Q8_K_XL, отдельный BF16-проектор изображений и DSpark-драфтер для speculative decoding. Сильные стороны набора — поддержка мультимодальных задач, очень длинного контекста, нескольких вариантов компромисса между размером, скоростью и точностью, а также сохранение проектора изображений в BF16. DSpark-драфтер заявлен как средство ускорения спекулятивного декодирования примерно в 1,4–1,7 раза, однако фактическая производительность зависит от оборудования и программного стека. Модель требует значительных ресурсов: указанные варианты занимают примерно 128,2–161,9 ГБ, а проектор — 934,5 МБ; в README приведены целевые конфигурации с 128–192 ГБ памяти и несколькими GPU. Лицензия набора — MIT. README не указывает поддерживаемые естественные языки. В описании также есть расхождение: заявлены 13 млрд активных параметров на токен и одновременно 6 активных экспертов на токен, поэтому точную схему маршрутизации следует уточнять по исходной модели.

jaspionjader/dp-1-8b — объединённая языковая модель на архитектуре Llama 3, созданная разработчиком jaspionjader с помощью mergekit и метода SLERP. В объединение вошли jaspionjader/f-5-8b и дообученная для португальского языка adalbertojunior/Llama-3-8B-Dolphin-Portuguese-v0.3; параметры модели представлены в формате safetensors, размер — 7,5 млрд параметров. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов. Португальская модель среди источников объединения указывает на ориентацию на португальский язык, однако данных для подтверждения конкретного набора поддерживаемых языков нет. Карточка не сообщает результаты оценок качества или подробные ограничения, поэтому пригодность для конкретных задач следует проверять на собственных примерах. Лицензия в предоставленных данных не указана.

ELYZA-japanese-Llama-2-MoE-2x13B-v0.1 — японская языковая модель для генерации текста, созданная Aratako объединением через mergekit базовой ELYZA-japanese-Llama-2-13b и её инструктивной версии ELYZA-japanese-Llama-2-13b-instruct в архитектуре Mixture of Experts. Модель предназначена для ответов на инструкции и запросы, а также для генерации японского текста; в карточке приведено сравнение с instruct-базой по японскому бенчмарку japanese-mt-bench. Модель содержит 12,9 млрд параметров, использует архитектуру Mixtral/MoE и поддерживает контекст до 4096 токенов. Репозиторий содержит веса Safetensors; модель унаследовала лицензию Llama 2 Community License. В опубликованном сравнении она показала более высокий средний балл, чем instruct-база, однако результаты относятся к одноходовому japanese-mt-bench и не гарантируют качество в других сценариях.

FashionGPT-70B-V1.1 — языковая модель ICBU-NPU на архитектуре Llama 2, созданная объединением нескольких адаптеров с базовой моделью Llama 2 70B. Модель имеет 68,7 млрд параметров, работает с текстом и поддерживает контекст до 4096 токенов. Для обучения адаптеров использовался QLoRA; данные включали наборы OpenOrca, OpenAssistant, Samantha, Airoboros и смеси многоходовых диалогов на английском языке. Модель предназначена для генерации ответов и ведения многоходовых диалогов, включая инструкции, вопросы и ответы, а также обсуждение распространённых заблуждений. Карточка приводит результаты на ARC, HellaSwag и MMLU. Модель распространяется по лицензии Llama 2. Тестирование, описанное в карточке, проводилось на английском языке; ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед применением в конкретных сценариях модель следует проверить.

flammen32-mistral-7B — языковая модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров, разработанная FlammenAI. Она создана слиянием предварительно обученных моделей и последующим дообучением; для неё указаны наборы данных Date-DPO-v1, Date-DPO-v2, Date-DPO-v3 и Grill-Flammen-v1_chatML. Модель предназначена для генерации текста и диалогов, особенно ролевых сцен с персонажами, творческого письма и ответов общего назначения. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. README упоминает дообучение на A100 через Google Colab. Лицензия — Apache-2.0. В README также есть упоминание о тонкой настройке Llama 3 с ORPO, которое противоречит метаданным о базовой модели Mistral; поэтому основу следует считать указанной в метаданных, а детали обучения из README — неоднозначными.

French-Alpaca-7B-Instruct-beta — языковая модель на архитектуре Mistral с 7,1 млрд параметров, разработанная Jonathan Pacifico в 2024 году. Она дообучена на базе mistralai/Mistral-7B-Instruct-v0.2 на наборе French-Alpaca-dataset-Instruct-110K, созданном с помощью GPT-3.5-turbo. Модель предназначена для генерации текста и диалоговых инструкций, особенно на французском языке; также в метаданных указана поддержка английского. Для развёртывания доступны веса Safetensors, заявленный контекст — до 32 768 токенов. Модель рассчитана на общее применение и может служить основой для дальнейшей специализации. Автор характеризует её как демонстрацию языкового дообучения 7B-модели, поэтому качество для конкретных задач следует оценивать отдельно. В README указано, что у модели нет механизмов модерации. Лицензия — Apache 2.0.

Gemma-3-it-4B-Uncensored-DBL-X-GGUF — GGUF-квантизированная версия инструкционной модели на базе Gemma 3 4B, разработанная DavidAU на основе модели Google Gemma 3 4B Instruct. По данным README, модель модифицирована для снижения цензурных ограничений с сохранением следования инструкциям; также заявлено добавление четырёх слоёв. Это текстовая generative-модель для диалогов, общего назначения, решения задач и головоломок, мозгового штурма, ролевых сценариев, творческого письма, генерации сюжетов и сцен, включая материалы для взрослой аудитории и графический хоррор. Заявлен контекст до 128 тысяч токенов и поддержка английского языка. Модель доступна в формате GGUF с различными вариантами квантования: для творческих задач рекомендуются IQ4XS, IQ4NL и Q4s, для общего использования — q5s, q6 и q8, а Q4_0 и Q5_0 подходят для портативных устройств; также упомянуты Q8_0 и F16 для максимального качества. README не содержит точных данных о числе параметров сверх базового размера 4B, производительности и поддерживаемых модальностях, поэтому модель следует рассматривать как текстовую. Сильными сторонами заявлены длинный контекст, сохранение instruction following после модификации и гибкость применения — от обычного чата до ролевых и художественных сценариев. Ограничения включают возможные отказы без специальной настройки, вариативность результатов между квантами и чувствительность к параметрам генерации; модель содержит нецензурный и потенциально графический контент и не предназначена для всех аудиторий. Лицензия указана как Apache-2.0.

Карточка модели opestro/gemma4-12b-growth-strategist-float16 на Hugging Face совпадает с карточкой opestro/gemma4-12B-Marketer-AA-16Bit, поэтому описание составлено по ней. opestro дообучил мультимодальную инструкционную модель на основе unsloth/gemma-4-12b-it с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная модель семейства Gemma 4 Unified с архитектурой Gemma4UnifiedForConditionalGeneration, предназначенная для диалога и преобразования текста и изображений в текст; в метаданных также заявлен интерфейс вызова инструментов. Базовая модель поддерживает анализ изображений и аудио, видео, код и работу с инструментами, однако карточка этого дообучения не описывает дополнительные возможности или его специализацию в маркетинге. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

opestro дообучил мультимодальную инструкционную модель на основе unsloth/gemma-4-12b-it с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная модель семейства Gemma 4 Unified с архитектурой Gemma4UnifiedForConditionalGeneration, предназначенная для диалога и преобразования текста и изображений в текст; в метаданных также заявлен интерфейс вызова инструментов. Базовая модель поддерживает анализ изображений и аудио, видео, код и работу с инструментами, однако карточка этого дообучения не описывает дополнительные возможности или его специализацию в маркетинге. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

Gemma4-12B-Uncensored-i1-GGUF — мультимодальная модель семейства Gemma4 с примерно 12 млрд параметров, созданная на основе toandev/Gemma4-12B-Uncensored. Квантованные GGUF-версии подготовил mradermacher. Модель предназначена для генерации и обработки текста, а также сценариев image-text-to-text с анализом изображений; заявленный язык — английский. Поддержка изображений требует соответствующих mmproj-файлов из статического репозитория. Главное преимущество модели — возможность локального запуска в формате GGUF с большим выбором вариантов квантования, различающихся размером, скоростью и качеством. Доступны сборки примерно от 3,1 до 9,9 ГБ; автор рекомендует i1-Q4_K_M как быстрый вариант и отмечает i1-Q4_K_S как оптимальный по соотношению размера, скорости и качества. Ограничения README не указывает размер контекста, требования к оборудованию и подробные результаты тестирования; низкобитные варианты могут заметно терять в качестве. Лицензия указана как gemma.

aoleg/gemma-4-31B-it-heretic-ORBA — декензурированная версия мультимодальной инструкционной модели Google Gemma 4 31B IT. Автор сообщает, что модель создана с помощью Heretic v1.3.0 и собственного метода ORBA abliteration; метаданные также связывают её с google/gemma-4-31B-it как с базовой моделью и указывают архитектуру Gemma4ForConditionalGeneration в формате safetensors. Модель предназначена для диалогов и задач image-text-to-text: она принимает текст и изображения, анализирует визуальный ввод и генерирует текст. В README приведено сравнение отказов: 2 из 100 для этой версии против 98 из 100 у указанной автором модели сравнения; это результат оценки с LLM-судьёй, а не гарантия поведения во всех запросах. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

YCWTG/gemma-4-31B-it-NVFP4A16-GPTQ — это квантизированная версия мультимодальной instruct-модели google/gemma-4-31B-it, подготовленная с помощью llm-compressor. Модель предназначена для задач, требующих обработки текста и изображений, включая диалоговые сценарии и генерацию ответов по визуально-текстовым запросам. По умолчанию работает в режиме Instruct; также поддерживает режим рассуждений, который необходимо отдельно включить при запуске через vLLM. Модель основана на архитектуре Gemma 4 с 31 млрд параметров и, согласно тегам репозитория, использует MoE-подход. Квантизация выполнена в формате NVFP4A16: основные компоненты сжаты, а lm_head, vision_tower и embed_vision сохранены в 16-битной точности для уменьшения потерь качества при генерации и обработке изображений. Указанный размер модели составляет около 20,5 ГБ, что заметно снижает требования к памяти по сравнению с исходной версией. Сильной стороной модели является сочетание мультимодальности, instruct-режима и сниженного объёма памяти, благодаря чему она подходит для локального или серверного инференса на совместимом оборудовании. Ограничения включают возможные потери качества из-за квантизации, необходимость специальной настройки для режима рассуждений, а также отсутствие в предоставленных данных сведений о поддерживаемых языках и размере контекстного окна. Модель распространяется по лицензии Apache-2.0; при использовании необходимо также соблюдать условия лицензии исходной модели Gemma 4.

Gemma-4-31B-JANG_4M-CRACK-GGUF — набор GGUF-квантизаций модели Gemma-4-31B-JANG_4M-CRACK на базе google/gemma-4-31b-it. Конвертацию и публикацию выполнил douyamv. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio, Ollama и других совместимых с GGUF средах. Это плотный Transformer Gemma 4 с 31 млрд параметров и 60 слоями, гибридным вниманием Sliding/Global Attention, а также поддержкой текста, изображений и аудио. В карточке указаны английский язык и pipeline text-generation. Модель получила CRACK abliteration, направленную на удаление отказов, и JANG v2 mixed-precision quantization. Доступны варианты от Q3_K_M примерно на 14 ГБ до Q8_0 примерно на 33 ГБ; Q4_K_M заявлен как оптимальный баланс размера и качества, а Q8_0 — как наиболее близкий к исходной модели. Для запуска требуется ориентировочно от 20 до 40 ГБ оперативной памяти в зависимости от варианта квантизации, при рекомендуемом объёме от 24 до 48 ГБ. Качество ограничивается исходной квантизацией JANG v2 и последующей переквантизацией в GGUF, хотя дополнительная потеря качества заявлена как минимальная. У модели удалены защитные ограничения, поэтому её применение требует осторожности и соблюдения законодательства. Распространение регулируется Gemma License.

Gemma Orchid 7b — экспериментальная разговорная языковая модель, созданная macadeliccc на основе Gemma и дообученная методом qLoRA примерно на 80 тысячах примеров. Это плотная авторегрессионная модель семейства Gemma с 8,2 млрд параметров и контекстом до 8192 токенов; для общения используется формат ChatML. Модель принимает текст и генерирует ответы на английском языке. Модель предназначена для диалогов и заявлена как поддерживающая вызов функций. Её можно применять для ответов на вопросы и краткого пересказа документов. Карточка сообщает об обучении на датасете Thermostatic/flowers и оценке loss 0,63, но не приводит сравнительных оценок качества или описания формата вызова функций. Лицензия указана как other, поэтому условия использования следует сверять с лицензией в репозитории.

GeoLLaVA-8K — дообученная чат-модель на 7,1 млрд параметров, созданная на базе lmms-lab/LongVA-7B. В метаданных указаны архитектура Qwen2 с классом LlavaQwenForCausalLM, библиотека Transformers и формат весов safetensors; максимальная длина контекста — 224 000 токенов. Модель предназначена для генерации текстовых ответов в диалоговом формате. Базовая LongVA-7B рассчитана на анализ длинных видео и последовательностей кадров; для GeoLLaVA-8K эти сценарии можно считать предполагаемыми по происхождению модели, но README не подтверждает специализированные геопространственные возможности. Метаданные указывают английский язык. Модель опубликована 28 мая 2025 года. Лицензия в предоставленных данных не указана.

isbondarev/gigachat_3.1_sql — языковая модель для генерации текста, опубликованная на Hugging Face. Модель доступна через библиотеку Transformers и имеет теги DeepSeek V3 и conversational, что указывает на сценарии диалогового взаимодействия и продолжения текста. README содержит автоматически сгенерированную карточку без сведений о разработчике, лицензии, обучающих данных и результатах оценки. Модель насчитывает 1,5 млрд параметров и поддерживает контекст длиной до 262 144 токенов. Её можно использовать для генерации ответов, диалоговых приложений и обработки длинных текстовых запросов; назначение SQL следует из идентификатора модели, но README и метаданные не подтверждают специализированные возможности для генерации или анализа SQL. Ограничения, безопасность, качество на отдельных языках и доменах в доступных материалах не описаны.

MaziyarPanahi/GLM-4.6V-Flash-GGUF — это набор файлов модели в формате GGUF для оригинальной модели GLM-4.6V-Flash, разработанной zai-org и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Основная характеристика репозитория — поддержка нескольких уровней квантизации: 2-, 3-, 4-, 5-, 6- и 8-битной. Формат GGUF ориентирован на использование с llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями для локального вывода, в том числе с GPU-ускорением. Это позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. README не содержит сведений об архитектуре, размере модели, поддерживаемых языках и модальностях, длине контекста, результатах оценки или ограничениях исходной GLM-4.6V-Flash. Лицензия в предоставленных данных также не указана, поэтому условия использования следует уточнять в карточке оригинальной модели и соответствующих файлах репозитория.

Melvin56/GLM-4-9B-0414-abliterated-GGUF — это GGUF-квантизованная версия модели huihui-ai/GLM-4-9B-0414-abliterated, подготовленная пользователем Melvin56. Модель предназначена для генерации текста и локального запуска через совместимые реализации llama.cpp. В README указано, что квантизация выполнена с использованием imatrix и специального набора данных, а сами файлы пересобраны на базе llama.cpp build 558a7647 (5190). Модель относится к семейству GLM и имеет размер 9B параметров в исходной версии; доступны варианты K-quants и I-quants. Поддерживаются CPU с AVX2 и ARM NEON, Metal, cuBLAS, rocBLAS и SYCL, а для отдельных вариантов также Vulkan и CLBlast; некоторые конфигурации работают медленнее или поддерживаются частично. Заявлены китайский и английский языки, текстовая модальность и контекст генерации текста, однако точный размер контекстного окна в README не указан. К сильным сторонам относятся возможность локального запуска на широком спектре CPU и GPU, выбор разных уровней квантизации и совместимость с llama.cpp. Ограничения включают зависимость производительности и доступности отдельных вариантов от backend и аппаратной платформы, а также отсутствие подробных данных о качестве, бенчмарках и точном контекстном окне. Модель распространяется по лицензии MIT.

GLM-5.3-Flash-4bit-paged — это 4-битная сборка модели GLM-5.3-Flash с экспертной пагинацией, опубликованная GreenBitAI на базе pipenetwork/GLM-5.3-Flash-MLX-4bit. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, а заявленные языки — английский и китайский. Сборка ориентирована на запуск через gbx-lm, в частности на компьютерах Apple Silicon с MLX. Архитектура использует mixture-of-experts: необходимые экспертные веса могут загружаться из файла experts.bin по мере обращения к ним, что снижает требования к постоянно занятой оперативной памяти, но требует значительного дискового пространства и может замедлять работу, если веса не помещаются в память. Общий объём файлов составляет около 169,27 ГиБ, включая 5,89 ГиБ резидентных весов, 159,47 ГиБ маршрутизируемых экспертов и 3,90 ГиБ дополнительной головы multi-token prediction. Максимальный контекст в README не указан. Дополнительная MTP-голова отключена по умолчанию и поддерживает speculative decoding; на Mac Studio с M3 Ultra она показала ускорение до 1,41 раза при контексте 11 317 токенов, однако выигрыш зависит от длины контекста и конфигурации оборудования. Для модели заявлена проверка совпадения с исходной сборкой на уровне слоёв. Квантование, токенизатор и шаблон чата унаследованы от базовой модели. Лицензия — MIT.

Terra3312/GLM-5.3-Flash-EXL3-4bpw-MUL1 — квантизированная версия GLM-5.3-Flash, разработанного Z.ai, созданная с использованием ExLlamaV3. Модель предназначена для эффективного локального вывода, в частности для ускорения однопоточной генерации на крупных MoE-моделях. Она поддерживает задачи генерации текста и рассчитана на работу с ExLlamaV3; заявлены английский и китайский языки. Модель также включает vision-компонент, однако подробности о поддерживаемых визуальных сценариях в README не указаны. Основной языковой блок использует формат EXL3 с точностью 4,0 bpw, vision-компонент и lm_head — 6 bpw, MTP — 4 bpw. Применяется кодовая книга mul1, совместимая с объединённым путём INT8-активаций GEMV в ExLlamaV3. Это может повысить производительность однопоточного декодирования на совместимых GPU и конфигурациях, но фактическая скорость зависит от архитектуры GPU, длины контекста, tensor parallel, версии среды и нагрузки. Размер модели, архитектура MoE в деталях, максимальная длина контекста и точные характеристики мультимодальности не указаны. Для работы требуется полный каталог репозитория и свежая сборка ExLlamaV3 с поддержкой GLM-5.3-Flash и mul1. Контрольные данные квантизации, промпты, seed и точный commit ExLlamaV3 не были сохранены. Это неофициальный релиз Z.ai или ExLlamaV3. Исходная модель распространяется по лицензии MIT; применимые условия следует уточнять в файле LICENSE и оригинальном репозитории.

OneNexus/GLM-5.3-Flash-MXFP4 — это чекпойнт модели GLM-5.3-Flash, разработанный OneNexus на базе zai-org/GLM-5.3-Flash. Модель предназначена для серверной обработки текстовых запросов и задач преобразования изображений в текст, включая сценарии с длинным контекстом и мультимодальными запросами. Заявлены английский и китайский языки; обработка видео не оценивалась. Модель имеет 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. В большинстве слоёв используются маршрутизируемые эксперты с форматом весов MXFP4, а для других тензоров сохраняется заявленная точность. Архитектура включает разреженное внимание, K-пул для выбора контекста и встроенный механизм speculative decoding MTP с EAGLE. Максимальный контекст составляет 1 048 576 токенов, однако описанные тесты AgentX использовали ограничение 262 144 токена. Индексированный объём тензоров — около 182,12 GiB. На фиксированных выборках модель показала небольшие преимущества над amd/GLM-5.3-Flash-Quark-MXFP4 в MMLU и GPQA Diamond, но немного уступила в GSM8K; статистически значимое превосходство не установлено. Измеренная производительность при обслуживании запросов практически совпала с сопоставимым чекпойнтом AMD. Результаты зависят от ограничений длины ответа и не подтверждают превосходство в общем качестве, безопасности или агентских сценариях. Основной проверенный вариант развёртывания использует четыре AMD Instinct MI355X, ROCm и SGLang с TP4/EP4 и FP8 KV-кэшем. Лицензия — MIT.

GLM-5.3-Flash-VQ-3.6bpw — векторно-квантизированная сборка мультимодальной модели GLM-5.3-Flash от zai-org, подготовленная для Apple Silicon с использованием MLX и VQLab. Модель предназначена для генерации и анализа текста, а также обработки изображений в сценариях, поддерживаемых GLM-5.3-Flash. Заявлены английский и китайский языки; максимальная длина контекста в README не указана. Сборка основана на исходном контрольном пункте bf16 размером 598,5 GiB и занимает 134,0 GiB. Это MoE-модель с векторной квантизацией экспертов до d=4 и K=8192; attention, embeddings и выходная голова сохранены в 8-битном affine-формате, нормы, маршрутизаторы и vision tower из 347 тензоров — в bf16. MTP-слой не квантизирован. По приведённым измерениям, модель сопоставима по качеству с affine q4, но требует на 32 GiB меньше памяти; её совпадение top-1 с bf16-учителем составляет 92,1%. Основные ограничения — очень большой объём весов и необходимость совместимого runtime. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии не ниже 0.6.17; конфигурация и встроенный model.py должны быть корректно загружены. Сборка проверена в двухузловом кластере exo на Apple Silicon, поскольку превышает объём памяти одной 128-гигабайтной машины. Лицензия — MIT.

GLM-5.3 NVFP4 GGUF — это квантованная в формате NVFP4 сборка модели GLM-5.3 от Z.ai, подготовленная incoai и опубликованная emwesoft в формате GGUF для запуска через llama.cpp. Модель относится к семейству glm-dsa и имеет архитектуру на 753 млрд параметров с 78 блоками и 256 экспертами. Веса NVFP4 сохранены без повторной квантизации; размер набора файлов — около 445 ГБ. Модель предназначена для генерации текста и диалогов, включая ответы с вызовом инструментов при корректной поддержке шаблона чата средой запуска. Для работы требуется llama.cpp с поддержкой glm-dsa и GGML_TYPE_NVFP4. Эта сборка не содержит MTP head, поэтому режим draft-mtp недоступен; README приводит измерения скорости на мощной многовидеокартной конфигурации, а не универсальную оценку производительности. Лицензия — MIT. Указанные в README версии llama.cpp требуют нескольких исправлений, которые на момент публикации ещё не вошли в upstream: без них могут не работать вызовы инструментов, подключение DFlash и разбор некоторых потоковых ответов. Модель рассчитана на текстовый ввод и текстовую генерацию; README описывает возможность контекста 400K в приведённой конфигурации.