I.2Синтез, понимание и проверка знаний

ODeNy/ChecketV2 — модель Sentence Transformers, дообученная разработчиком ODeNy на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения смысловой и перефразированной близости с помощью косинусного сходства. Основное применение — оценка сходства формулировок; также модель подходит для семантического текстового сходства и поиска похожих фрагментов. Сравнение текстов по стилю автор README называет экспериментальным сценарием. Модель построена на XLM-RoBERTa с усреднением токенных представлений и обучена с CoSENTLoss на датасете ODeNy/ChecketV2-Dataset. README указывает максимальную длину последовательности 128 токенов; метаданные каталога сообщают нативный контекст 514 токенов. Карточка называет нидерландский основным языком и заявляет многоязычность, но конкретный перечень дополнительных языков не приводит. Лицензия — Apache 2.0.

Dans-PersonalityEngine-v1.0.0-8b — разговорная языковая модель Dans-Archive, созданная полным дообучением и слиянием моделей семейства Llama 3.1. Она предназначена для диалогов, совместного написания текстов и ролевых сценариев, а также для суммаризации и анализа тональности в текстовых конвейерах. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Она принимает и генерирует текст, поддерживает английский язык и использует шаблон запросов ChatML. Заявленная длина контекста — 131 072 токена. В обучении использовались инструкции в один и несколько ходов, ролевые сценарии, текстовые приключения, материалы для соавторства и другие наборы данных. Карточка предупреждает, что модель не проходила выравнивание на безвредность, поэтому её ответы могут содержать вредный контент и требуют проверки при применении. Распространяется по лицензии Apache-2.0.

DeBERTa Hallucination Judge — дообученный бинарный классификатор на базе microsoft/deberta-v3-base, разработанный в рамках EvalForge. Он принимает вопрос, контекст и ответ и определяет, соответствует ли ответ контексту: метка 0 означает faithful, метка 1 — hallucinated. Модель предназначена для быстрой локальной проверки ответов, например как первый фильтр в системах оценки LLM и RAG. Модель использует архитектуру DeBERTa V2 для классификации последовательностей, содержит 211,6 млн параметров и рассчитана на контекст до 512 токенов. Обучение проводилось на синтетических примерах HaluEval; лицензия — MIT. На отложенной выборке HaluEval модель показала F1 0,9937, однако на реальных примерах RAGTruth F1 снизился до 0,5067, а калибровка оценок ухудшилась. Поэтому её разумно использовать как недорогой первый фильтр с передачей неуверенных или нетипичных случаев более сильной модели-судье.

microsoft/deberta-large-mnli — модель Microsoft на базе DeBERTa Large, дообученная на задаче Multi-Genre Natural Language Inference (MNLI). Архитектура DeBERTa использует раздельное представление содержимого и относительных позиций токенов в механизме внимания и улучшенный декодер маскирования. Модель содержит около 454,1 млн параметров, принимает текстовые последовательности длиной до 512 токенов и распространяется в формате PyTorch. Модель предназначена для классификации текстовых пар по отношению между посылкой и гипотезой, например для определения логического следования, противоречия или нейтральной связи. Её также можно применять как основу для классификатора с нулевым обучением на новых наборах меток, формулируя метки как гипотезы. Карточка приводит результаты семейства DeBERTa на задачах NLU и бенчмарках GLUE, но конкретные метрики этого чекпойнта в предоставленном фрагменте не приведены. Модель рассчитана на английский язык. Лицензия MIT разрешает использование, изменение и распространение при соблюдении её условий. Ограничения включают контекст до 512 токенов и зависимость качества от соответствия новых задач обучению на английском MNLI; выводы модели не следует считать надёжной проверкой истинности или фактов.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

DeepSeek-TNG-R1T2-Chimera-GGUF — GGUF-версия 671-миллиардной языковой модели DeepSeek-TNG R1T2 Chimera, разработанной командой TNG Tech из Мюнхена и распространяемой в формате Unsloth Dynamic 2.0. Модель создана методом Assembly of Experts на основе трёх моделей DeepSeek: R1-0528, R1 и V3-0324. Архитектура — трансформер DeepSeek-MoE; точные сведения о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические и другие сложные интеллектуальные запросы. По заявлению разработчиков, она примерно на 20% быстрее обычной R1 и более чем вдвое быстрее R1-0528, при этом превосходит R1 в ряде тестов, включая GPQA и AIME-24. По сравнению с первой R1T Chimera она обеспечивает более стабильное использование токенов рассуждений и более высокие интеллектуальные показатели. Ограничения включают более слабые результаты на сложных бенчмарках по сравнению с R1-0528, большую сдержанность в ответах относительно R1T и отсутствие рекомендации для интенсивных сценариев с function calling из-за влияния родительской модели R1. Модель выпущена 2 июля 2025 года. В README указана лицензия MIT; также пользователям предлагается учитывать рекомендации по ответственному использованию моделей DeepSeek и требования EU AI Act.

AtomicChat/DeepSeek-V4-Flash-0731-GGUF — это квантизированная GGUF-версия модели DeepSeek-V4-Flash-0731, разработанной DeepSeek и упакованной и квантизированной AtomicChat. Модель предназначена для генерации текста, диалоговых сценариев и conversational-приложений, включая локальный запуск через llama.cpp. Заявлены поддерживаемые языки английский и китайский. Модель построена на архитектуре mixture-of-experts и содержит 284 млрд параметров, из которых 13 млрд активируются для каждого токена. Она включает 43 слоя, 256 маршрутизируемых экспертов, 6 активных экспертов и одного общего эксперта. Контекстное окно составляет 1 млн токенов, размер словаря — 129 280. Исходная модель обучалась с учетом квантизации: маршрутизируемые эксперты хранятся в MXFP4, остальные компоненты — в FP8 или BF16. В репозитории доступны варианты от AD-BF16 и AD-MXFP4 до низкобитных AD-IQ1 и AD-IQ2, позволяющие выбирать компромисс между качеством и объёмом памяти. Главные преимущества — большое контекстное окно, высокая ёмкость MoE-архитектуры и варианты размещения с разным размером файлов. При этом для запуска требуются значительные объёмы оперативной или видеопамяти: размеры вариантов составляют примерно от 70 до 162 ГБ. Квантизация ниже исходного уровня 4,25 бит может заметно ухудшать качество, особенно в вариантах с 1–3 битами. Встроенный chat template устарел и может терять рассуждения в агентских циклах и игнорировать reasoning_effort; для корректной работы рекомендуется использовать отдельный исправленный шаблон из репозитория. Модель распространяется по лицензии MIT.

DeepSeek-V4-Flash-0731-RAZOR-230B-A13B-E192of256 — производная версия DeepSeek-V4-Flash-0731, созданная методом RAZOR без дообучения. Разработчик удалил четверть маршрутизируемых экспертов: в каждом из 43 MoE-слоёв оставлено 192 из 256 экспертов, включая слои multi-token prediction. Модель содержит около 230 млрд параметров, из них примерно 13 млрд активны на токен; внимание, общие эксперты, эмбеддинги и LM-head не изменялись. Эксперты хранятся в MXFP4, общие эксперты — в FP8. Модель предназначена для генерации текста и сценариев, где требуется использовать возможности DeepSeek-V4-Flash при сокращённом наборе экспертов. Заявлены контекст до 1 048 576 токенов и лицензия MIT. Для кодирования сообщений в README предлагается официальная реализация encoding_dsv4.py, поскольку Jinja chat template не поставляется. Удаление экспертов является потерей информации: хотя точность задач может в значительной степени сохраняться, разнообразие, форматирование и поведение при завершении ответа могут меняться. Калибровка проводилась на конечном многодоменном наборе данных, поэтому поведение на удалённых от него областях не охарактеризовано; перед применением модель следует оценить на целевых запросах.

DeepSeek-V4-Flash-Vision-Exp REAP-145B — это производная версия модели DeepSeek-V4-Flash-Vision-Exp, подготовленная primitive-ai на основе весов deepseek-ai. Модель использует разреженную Mixture-of-Experts-архитектуру: половина маршрутизируемых экспертов удалена методом REAP, при этом оставшиеся экспертные веса сохраняются в исходном формате MXFP4 без дополнительного квантования. Размер артефакта составляет около 83,3 ГБ, что позволяет запускать его на одной видеокарте с 96 ГБ памяти через vLLM 0.28.0 или новее. Модель предназначена для генерации текста, рассуждений, ответов на вопросы и вызова инструментов. Указан контекст до 20 480 токенов; для KV-кэша используется специализированный формат fp8_ds_mla, другие варианты не поддерживаются. В состав исходной модели входит визуальная часть, и в README указана подтверждённая работа с изображениями на одной 96-ГБ видеокарте, включая распознавание форм и цветов, подсчёт объектов и чтение текста. MTP-компонент удалён. Производительность зависит от режима: заявлены примерно 73 токена в секунду при однопоточном декодировании с CUDA Graphs и до 150–172 токенов в секунду при пакетной обработке с параллелизмом 16. Сильной стороной модели является возможность запуска крупной 145B-версии на одной GPU, а также высокие результаты на тестах знаний и задачах вызова инструментов: 82,7% на строгом наборе знаний и 74,5% на объединённом тесте tool-calling. Ограничения связаны с потерей части экспертов: модель заметно чаще делает нежелательные вызовы инструментов, а длинные ответы могут достигать лимита генерации. Требуются vLLM 0.28.0 или новее, видеокарта с 96 ГБ памяти и тщательно настроенные ограничения пакетной обработки. Модель распространяется по лицензии MIT.

DeltaP2S-Qwen2.5-14B-SameFormula-Code-S13-QV — объединённый чекпойнт Qwen2.5, созданный экспериментальным пакетом Delta-P2S с учётом архитектуры Qwen. Базовая модель — Qwen/Qwen2.5-14B; архитектура — плотная авторегрессионная Qwen2ForCausalLM на 14 млрд параметров. Модель работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоговом режиме. В названии и каталоге обучения есть указание на код, но README не описывает конкретные возможности программирования или результаты обучения, поэтому специализацию на коде нельзя подтвердить. Лицензия в предоставленных данных не указана.

Dorna-Llama3-8B-Instruct — диалоговая модель семейства Dorna, разработанная Part AI на основе Meta Llama 3 Instruct и дообученная на персоязычных данных. Это декодерная модель с 8 млрд параметров для генерации ответов и ведения диалога; поддерживает персидский и английский языки. Модель предназначена для ответов на вопросы, генерации кода и длинных ответов, математических задач, работы с новостными вопросами, перефразирования, общих знаний и суммаризации. В README приведены результаты человеческой и автоматической оценки на этих категориях, однако они не гарантируют качество для каждого запроса. Для запуска описан сценарий инференса через Transformers Auto и функцию generate(). Модель распространяется по лицензии Llama 3 (llama3); перед использованием следует учитывать её условия.

Experiment26Yamshadow_Experiment26Experiment24 — объединённая языковая модель, созданная на основе automerger/Experiment26Yamshadow-7B и automerger/Experiment26Experiment24-7B. Модель построена на архитектуре Mistral с плотной сетью и содержит 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов, что позволяет работать с длинными входными текстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Experiment28T3q_Experiment29Pastiche — объединённая модель на архитектуре Mistral, созданная из automerger/Experiment28T3q-7B и automerger/Experiment29Pastiche-7B. Она содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста, включая диалоги. Контекст составляет до 32 768 токенов. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README не описывает специальные сценарии применения или сравнительные преимущества модели.

Модель mrm8488/flan-t5-large-finetuned-openai-summarize_from_feedback — дообученная версия google/flan-t5-large на наборе summarize_from_feedback. Это текстовая модель семейства T5 с архитектурой T5ForConditionalGeneration, содержащая 385,2 млн параметров. Она предназначена для суммаризации текста; в карточке приведены результаты оценки на тестовом наборе: ROUGE-1 30,24, ROUGE-2 11,49, ROUGE-L 24,65 и ROUGE-Lsum 26,18. Нативная длина контекста — 512 токенов. Модель принимает текст и генерирует текстовое резюме. Карточка не уточняет целевые языки или специальные сценарии применения, поэтому результаты для конкретных языков и типов документов не следует предполагать. Модель распространяется под лицензией Apache-2.0.

FOF-80M — компактная модель текстовых эмбеддингов от MaxDevv, дообученная на базе codefuse-ai/F2LLM-v2-80M. Она создаёт представления текста, которые сближают переформулировки с теми же фактами и сильнее разделяют тексты с изменёнными сущностями, числами или другими фактическими деталями. Модель предназначена для сравнения фактического совпадения текстов при изменении стиля, например в проверке версий утверждения или поиске фактически изменённых копий. Архитектура — плотная Qwen3, размер — 66,8 млн параметров, библиотека — sentence-transformers; заявленное контекстное окно — 40 960 токенов. Карточка указывает английский язык, лицензия — Apache-2.0. Модель нечувствительна к различиям в формальности, многословии и риторической подаче, но требует строго двустороннего совпадения фактов. Она плохо подходит для NLI, оценки суммаризации и случаев, где допустим пропуск части информации; исправление опечаток тоже может заметно изменить сходство. Для заявленного качества README рекомендует нормализовать текст перед кодированием. Косинусные оценки сжаты и плохо калиброваны, поэтому предназначены для относительного сравнения пар.

GALACTICA 1.3B — базовая авторегрессионная языковая модель семейства OPT, разработанная командой Papers with Code в Meta AI для автоматизации работы с научной информацией. Вариант содержит около 1,7 млрд параметров по метаданным, использует архитектуру decoder-only Transformer и контекст длиной до 2048 токенов. Модель обучена на корпусе из 106 млрд токенов открытых научных текстов и данных: статей, учебников, научных сайтов, энциклопедий и баз знаний. Она предназначена для генерации научных текстов, ответов на научные вопросы, математических рассуждений, суммаризации, предсказания цитирований и извлечения сущностей; также заявлена поддержка задач с научными данными, например предсказания свойств молекул. Карточка отмечает результаты на научных и общих NLP-задачах, но предупреждает о галлюцинациях, смещении в пользу популярных публикаций и предвзятости. Для использования требуется учитывать эти ограничения и проверять ответы. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

GALACTICA 30B — языковая модель, разработанная командой Papers with Code в Meta AI для работы с научными текстами и данными. Это авторегрессионный декодерный трансформер семейства OPT с 39,8 млрд параметров и контекстом до 2048 токенов; репозиторий содержит веса PyTorch. Модель обучена на 106 млрд токенов научных публикаций, учебников, справочников и других открытых научных источников. Модель предназначена для генерации научных текстов, ответов на научные вопросы, математических рассуждений, суммаризации, предсказания цитирований, извлечения сущностей и оценки свойств молекул. Она рассчитана прежде всего на исследователей и разработчиков научных инструментов. Карточка сообщает о результатах на ряде научных и языковых задач, но также предупреждает о галлюцинациях, смещении в пользу популярных работ и предвзятости. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

GALACTICA 6.7B — языковая модель, разработанная командой Papers with Code в Meta AI для задач в научной сфере. Это авторегрессионный трансформер с архитектурой decoder-only на базе OPT; версия standard содержит 6,7 млрд параметров по карточке модели. Метаданные указывают 8,8 млрд параметров, контекст 2048 токенов и формат PyTorch. Модель обучена на 106 млрд токенов открытых научных текстов и данных: научных статьях, учебниках, справочных материалах, энциклопедиях и базах знаний. Она предназначена для научных вопросов и ответов, математических рассуждений, предсказания цитирований, суммаризации и генерации документов, а также извлечения сущностей и предсказания свойств молекул. Поддерживает генерацию текста; описание также отмечает токенизацию разных модальностей, но не уточняет их состав. Модель может помогать исследователям и разработчикам научных инструментов, однако способна галлюцинировать, в том числе при выдаче цитат, и проявляет смещения. Для генерации ответов, требующих достоверности, необходима проверка результатов. Лицензия CC BY-NC 4.0 разрешает использование на некоммерческих условиях.

GaMS-9B-Instruct — инструктивная версия языковой модели семейства GaMS, разработанная исследовательской командой Факультета компьютерных и информационных наук Люблянского университета. Модель основана на Gemma 2 и дообучена методом supervised fine-tuning на базе cjvt/GaMS-9B; она содержит 9 млрд параметров, использует плотную архитектуру Gemma2ForCausalLM и имеет контекст до 8192 токенов. Модель предназначена для генерации текста и диалоговых сценариев: она может помогать создавать и редактировать тексты, составлять краткие пересказы, отвечать на вопросы и поддерживать языковую практику. Основные языки — словенский и английский; также поддерживаются хорватский, сербский и боснийский. По метаданным репозиторий содержит веса в формате safetensors, а лицензия — Gemma. Качество ответов зависит от данных и формулировки запроса: возможны фактические ошибки, предвзятость и трудности с неоднозначными или сложными задачами. Модель может генерировать вредный или вводящий в заблуждение текст, поэтому результаты требуют проверки и подходящих мер безопасности.

Карточка модели xufofox/gemma-2-2b-it-test на Hugging Face совпадает с карточкой google/gemma-2-2b-it, поэтому описание составлено по ней. Gemma 2 2B IT — компактная текстовая модель Google, дообученная для следования инструкциям и диалогового взаимодействия на базе google/gemma-2-2b. Это декодерная языковая модель семейства Gemma, работающая по схеме «текст на входе — текст на выходе»; она поддерживается библиотекой Transformers и распространяется в формате Safetensors с открытыми весами по лицензии Gemma. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и диалоговых интерфейсов. Её небольшой размер позволяет запускать её на ноутбуке, настольном компьютере или собственной облачной инфраструктуре с ограниченными ресурсами. В README семейство описано как англоязычное. Ответы могут содержать фактические ошибки и отражать смещения обучающих данных; качество зависит от формулировки запроса и предоставленного контекста. Модель может испытывать трудности со сложными задачами, языковыми нюансами и здравым смыслом. Для приложений, где важны точность и безопасность, необходима проверка результатов и защитные меры.

Карточка модели unsloth/gemma-3-1b-it-qat на Hugging Face совпадает с карточкой google/gemma-3-4b-it-qat-q4_0-unquantized, поэтому описание составлено по ней. Google Gemma 3 4B IT QAT Q4_0 Unquantized — мультимодальная модель для диалогов с текстом и изображениями, основанная на Gemma 3 4B IT. Несмотря на обозначение QAT Q4_0 в названии, метаданные указывают формат файлов safetensors; отдельная квантизация в них не подтверждена. Модель принимает текст и изображения и генерирует текст, поддерживает чат и предназначена для ответов на вопросы по изображениям, суммаризации и другим задачам генерации и понимания текста. В README семейство Gemma 3 описано как компактное, подходящее для локального запуска на ноутбуках и настольных компьютерах. Для семейства заявлены контекст до 128 тысяч токенов и поддержка более 140 языков; README не уточняет, подтверждены ли эти характеристики именно для данной сборки. Лицензия — Gemma. Возможны фактические ошибки, предвзятые ответы и трудности с неоднозначными формулировками и сложными задачами; для развёртывания следует учитывать эти ограничения и проверять результаты.

Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.

OsaurusAI подготовила вариант Gemma 4 26B A4B Instruct в формате MLX JANG_4M на основе google/gemma-4-26B-A4B-it-qat-q4_0-unquantized. Это мультимодальная модель для диалога и генерации текста с поддержкой изображений; в карточке также заявлен интерфейс вызова инструментов. Веса упакованы с разной точностью: эмбеддинги, нормализации, компоненты обработки медиа и отдельные проекции сохранены в fp16, проекции внимания и маршрутизатор MoE используют 8-битное аффинное представление, а основная часть MLP и экспертов — 4-битное. Вариант предназначен для запуска через совместимый с Gemma 4 загрузчик MLX или vMLX, который обрабатывает настройки quantization, jang_config.json и файлы процессора и шаблона чата Gemma 4. Vision-конфигурация сохранена; активная поддержка аудио не заявлена. Лицензия — Gemma.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

LibertAIDAI/GLM-5.3-Flash-NVFP4 — квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной Z.ai; квантизацию выполнила LibertAI, не связанная с Z.ai. Модель предназначена для работы с текстом и изображениями, включая задачи image-text-to-text, рассуждения и вызов инструментов. Поддерживаются английский и китайский языки. Это разреженная MoE-модель общим объёмом 320B параметров, из которых при обработке активны 18B. Она сочетает 34 слоя линейного внимания KDA и 11 слоёв разреженного внимания DeepSeek, имеет нативную мультимодальность и контекст до 1M токенов. Квантизация NVFP4-A16 применяется преимущественно к routed-expert FFN-тензорам, занимающим около 97% параметров; активации, механизм внимания, vision tower, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Это уменьшает размер с 598,5 до 181 ГиБ при заявленном round-trip cosine 0,99665. Сильными сторонами являются значительное снижение требований к памяти, сохранение мультимодального поведения vision tower без изменений и совместимость с современными ускорителями NVIDIA Blackwell, включая H100, B200, GB200 и GB10/DGX Spark. Для запуска требуются поддерживаемые специализированные сборки vLLM или SGLang и корректная конфигурация движка; vLLM и SGLang пока не имеют полной поддержки архитектуры glm5_next в стандартных версиях. llama.cpp и формат GGUF не поддерживаются. Указанная лицензия — MIT.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

canada-quant/glm-5.3-w4a16-mtp — это мультимодальная квантованная версия GLM-5.3-Flash, разработанная на основе модели zai-org/GLM-5.3-Flash. Модель предназначена для задач image-text-to-text, включая обработку текста и изображений, а также для сценариев, где важны длинный контекст и высокая эффективность инференса. Заявлена поддержка английского и китайского языков и контекста до 1 048 576 токенов. Используется INT4-квантизация весов по схеме W4A16 с GPTQ и group size 128; общий объём весов составляет около 177,7 GiB. BF16-компоненты, включая vision tower и MTP draft head, сохранены, что позволяет применять speculative decoding через MTP. Квантизация ориентирована на снижение требований к памяти и запуск на конфигурациях из 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark; максимальный контекст зависит от оборудования и настроек. Репозиторий сообщает о высокой производительности на длинных контекстах и конкурентном качестве на математических и общих тестах, однако результаты зависят от аппаратной конфигурации и serving stack. Это не новая базовая модель, поэтому её возможности определяются GLM-5.3-Flash, а INT4-квантизация может влиять на точность и совместимость. Лицензия — MIT.

Это GGUF-квантизированная версия инструкционной модели Gemma 3 12B IT, разработанной Google и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и совместимых проектах. Модель поддерживает текстовые сценарии и работу с изображениями через vision-компонент, для которого требуется отдельный файл MMPROJ в формате GGUF. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций объёмом примерно от 6 до 23,5 ГБ; версии Q4–Q6 отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Архитектура, максимальный контекст и список поддерживаемых языков в представленном README не указаны. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и поддержка анализа изображений при использовании совместимой сборки llama.cpp. Ограничения связаны с необходимостью подбора квантизации под доступную память, а для мультимодальной работы — с отдельным vision-компонентом и специальной поддержкой Gemma 3. Модель распространяется по лицензии Google Gemma; для доступа на Hugging Face требуется принять условия этой лицензии.

google_gemma-3-27b-it-qat-GGUF — это GGUF-квантизация instruction-tuned модели Gemma 3 с 27 млрд параметров, разработанной Google. Квантизацию выполнил bartowski на основе QAT-весов Google с использованием llama.cpp и метода imatrix. В карточке модель обозначена как image-text-to-text, поэтому она предназначена для генерации текста по текстовым и, вероятно, визуально-текстовым входным данным. Основной файл Q4_0 имеет размер около 15,62 ГБ и рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разными уровнями квантования — от BF16 и Q8_0 до Q3 и IQ-форматов, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Для Q4_0 заявлены улучшения благодаря QAT и поддержка онлайн-репаковки для ARM- и AVX-совместимых CPU. Языки, размер контекста и точные архитектурные характеристики в README не указаны. Модель подходит для локального запуска, диалоговых приложений и мультимодальных сценариев, поддерживаемых Gemma 3 и используемым рантаймом. Более высокие варианты квантования обеспечивают лучшее качество, но требуют больше памяти; низкие варианты экономичнее, однако могут заметно уступать по качеству. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется ознакомиться с условиями и принять лицензию.