I.6Перевод и языковая адаптация

Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

RakutenAI-7B-chat — чат-модель компании Rakuten Group, Inc., созданная дообучением RakutenAI-7B. Она предназначена для диалогов и генерации ответов на японском и английском языках. Модель основана на плотной архитектуре Mistral и содержит 7,2 млрд параметров; длина контекста — до 32 768 токенов. Модель дообучена на смеси открытых и подготовленных Rakuten наборов инструкций и диалогов, включая JSNLI, RTE, KUCI, BELEBELE, JCS, JNLI, Dolly-15K и OpenAssistant1. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия — Apache 2.0. Модель может генерировать предвзятые, неточные или небезопасные ответы, поэтому результаты следует проверять.

SeaLLM-7B-v2 — мультиязычная языковая модель для языков Юго-Восточной Азии, разработанная командой SeaLLMs. Модель основана на Mistral-7B: авторы продолжили предварительное обучение и настроили её с упором на рассуждения. По метаданным это плотная архитектура Mistral с 7,2 млрд параметров; она поддерживает контекст до 32 768 токенов и предназначена для диалогового текстового взаимодействия. Модель подходит для генерации ответов и инструкций, решения математических задач, рассуждений здравого смысла и ответов на вопросы на английском, китайском, вьетнамском, индонезийском, тайском, малайском, кхмерском, лаосском, бирманском и тагальском языках. В карточке приведены результаты на мультиязычных математических и общих знаниях, включая тесты для нескольких языков региона; качество может различаться в зависимости от языка и задачи. Возможны неточные, вводящие в заблуждение или потенциально вредные ответы, поэтому перед внедрением модель следует проверять и защищать от небезопасных сценариев. В метаданных указана лицензия other, а карточка требует соблюдать условия SeaLLMs Terms of Use.

SejongKRX/Sejong-Qwen-v3 — языковая модель, разработанная SejongKRX и дообученная на базе SejongKRX/Sejong-Qwen-v1. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для генерации текста. Для обучения использовались Unsloth и Hugging Face TRL; длина контекста составляет 131 072 токена. В набор данных вошли материалы Wikipedia, публичные данные Банка Кореи и mlabonne/open-perfectblend. Модель можно применять для диалогов, ответов на вопросы и создания текстов на корейском и английском языках. Репозиторий содержит веса в форматах PyTorch и Safetensors. Лицензия модели — Apache 2.0; условия лицензирования отдельных источников данных различаются.

Это экспериментальная квантизация ASHQ1 модели Spark-X2.5-1.7B, подготовленная wepiqx на основе XHToken/Spark-X2.5-1.7B. Модель представляет собой плотный декодер архитектуры spark2_5 примерно на 1,7 млрд параметров; в репозитории представлены файлы GGUF, включая вариант BF16. Для запуска указана поддержка штатной llama.cpp. Модель предназначена для генерации текста и диалогов, а базовая Spark-X2.5 поддерживает задачи с кодом, переводом, рассуждениями и агентными сценариями. У неё гибридное внимание: один слой с полным вниманием на три слоя с оконным; заявлен контекст до 1 млн токенов. Карточка приводит сравнение перплексии вариантов квантизации, но отмечает, что такие результаты не являются достаточной оценкой качества, а ранжирование пока предварительное. Репозиторий распространяется по лицензии Apache-2.0. Это производный квантованный выпуск; качество и поведение могут зависеть от выбранного файла GGUF и степени снижения точности.

NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.

SUS-Chat-34B — двуязычная диалоговая модель на 33,9 млрд параметров, совместно выпущенная Южным университетом науки и технологий и IDEA-CCNL. Это плотная модель семейства LLaMA, дообученная на базе 01-ai/Yi-34B на высококачественных инструкциях; веса доступны в формате PyTorch по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям на китайском и английском языках, включая многошаговые запросы, математику, рассуждения и задачи общего назначения. Контекстное окно составляет 8192 токена; карточка сообщает о специальном обучении для многоходовых диалогов и работы с длинным контекстом. Разработчики приводят результаты тестов на задачах знаний, рассуждений и здравого смысла, однако модель прошла только supervised fine-tuning и не обучалась на человеческих предпочтениях. Поэтому ответы могут содержать галлюцинации и ошибки, а качество зависит от настроек генерации.

THUDM_GLM-4-9B-0414-GGUF — это квантизированная версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Конвертацию и квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 9 млрд параметров, поддерживает китайский и английский языки и распространяется в формате GGUF. Доступны варианты от bf16 до низкобитных Q2–Q8-квантизаций с размером файлов примерно от 4,2 до 18,8 ГБ. Более качественные варианты Q5–Q8 обеспечивают близкое к исходной модели качество, тогда как Q3 и Q2 экономят память, но снижают качество. В README размер контекстного окна, архитектура и поддерживаемые модальности не указаны; по приведённому формату и назначению это текстовая авторегрессионная модель. Сильной стороной являются разнообразие вариантов квантизации и возможность запуска на локальном оборудовании с ограниченными ресурсами. Ограничения включают компромисс между размером, потреблением памяти и качеством, а также отсутствие данных о результатах оценки и контекстном окне. Для работы требуется совместимый llama.cpp-стек и соответствующий формат prompt: [gMASK]<sop><|system|>, <|user|>, <|assistant|>. Модель распространяется по лицензии MIT.

Это модель автоматического распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров. Её разработчик lgris дообучил модель lgris/seasr_2022_base_10k_8khz_pt на наборе Common Voice 7.0 для распознавания португальской речи; модель принимает аудио и выдаёт текст. В README указана оценка WER 0,1979 на наборе оценки. Модель распространяется под лицензией Apache-2.0.

Модель Gabor Madarasz для распознавания венгерской речи и преобразования её в текст. Это дообученная на венгерских данных модель facebook/mms-1b-all с архитектурой Wav2Vec2ForCTC и примерно 1,3 млрд параметров. Она принимает аудио и предназначена для транскрибации записанной речи, например подкастов, аудиокниг и одноголосых записей. Модель рассчитана на венгерский язык. В тестах автор сообщает WER 0,3068 и CER 0,0727 на FLEURS, а также WER 0,1275 на выборке из Common Voice и Voxpopuli; результаты зависят от набора данных и условий записи. Лицензия — CC0-1.0. Для улучшения выбора слов автор рекомендует декодирование с языковой моделью, например KenLM через beam search.

ceyda/wav2vec2-large-xlsr-53-turkish — модель распознавания речи, дообученная на турецком языке разработчиком карточки на основе facebook/wav2vec2-large-xlsr-53 с использованием данных Common Voice. Она преобразует аудиозапись речи в текст и предназначена для распознавания турецкой речи; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Доступны веса PyTorch и Flax. В README приведён результат 27,59 % на тестовых данных Common Voice, однако метрика не названа, поэтому напрямую интерпретировать её качество нельзя. Модель распространяется по лицензии Apache-2.0.

Карточка модели Jinstudio/whisper-base.en на Hugging Face совпадает с карточкой openai/whisper-base.en, поэтому описание составлено по ней. Whisper base.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI. Это плотная модель Transformer типа encoder-decoder с архитектурой WhisperForConditionalGeneration; в репозитории указано 51,7 млн параметров. Она преобразует английскую речь в текст и предназначена для расшифровки аудио, в том числе длинных записей: базовая обработка рассчитана на фрагменты до 30 секунд, а конвейер Transformers с разбиением на фрагменты позволяет работать с более длинными записями и получать временные метки. Модель обучена на больших массивах аудио с транскрипциями и рассчитана на распознавание английской речи. Она показывает устойчивость к акцентам, шуму и специализированной лексике, но может добавлять слова, которых нет в аудио, повторять фрагменты и ошибаться на отдельных голосах и условиях записи. Лицензия — Apache 2.0.

Whisper-large-et — модель автоматического распознавания речи на эстонском языке, разработанная в лаборатории языковых технологий TalTech. Она основана на openai/whisper-large-v2 и дообучена примерно на 1200 часах разнообразных эстонских аудиозаписей; архитектура Whisper содержит около 905,2 млн параметров. Модель предназначена для общего распознавания речи, включая передачи, беседы, интервью и лекции. Для запуска авторы рекомендуют faster-whisper. В тестах с жадным декодированием указана частота ошибок WER 11,3 на Common Voice 8.0 и 12,0 на Common Voice 11.0. Лицензия — CC BY 4.0. Качество может снижаться на технической и узкоспециальной лексике, детской и неродной речи, при сильном шуме или удалённом микрофоне, а также при спонтанной и перекрывающейся речи.

vhdm/whisper-large-fa-v1 — модель распознавания речи на архитектуре Whisper, созданная разработчиком vhdm дообучением openai/whisper-large-v3-turbo на персидских аудиозаписях из набора vhdm/persian-voice-v1.1. Модель содержит 905,2 млн параметров и предназначена для транскрибации персидской речи: голосовых заметок, подкастов, видео и интервью, а также для создания поисковых расшифровок. Она поддерживает входное аудио и выдаёт текст; для чистой персидской речи в карточке указана частота ошибок слов WER 14,07%. Модель распространяется по лицензии MIT. Обучение проводилось на чистой речи из конкретного набора данных, поэтому качество может снижаться на шумных записях, акцентах и диалектах. Модель не оптимизирована для потокового распознавания и иногда может генерировать правдоподобные, но неверные слова.

Whisper Large Norwegian Bokmål — дообученная модель распознавания речи на базе openai/whisper-large-v2, созданная NbAiLab. Она предназначена для автоматической транскрипции норвежской речи на букмоле. Обучение проводилось на корпусе примерно из 5 000 часов аудио: субтитрах NRK, стенограммах выступлений в парламенте Норвегии и записях Norsk Språkteknologi. Модель использует архитектуру Whisper Large v2 с 905,2 млн параметров и принимает аудио, выдавая текст. В README приведён результат на оценочном наборе: WER 10,72 и loss 0,2477; обучение на момент публикации ещё продолжалось, поэтому результаты могут измениться. Репозиторий распространяется по лицензии Apache-2.0.

bofenghuang/whisper-large-v3-french-distil-dec16 — дистиллированная версия Whisper Large V3 French, созданная путём сокращения числа слоёв декодера с 32 до 16 и обучения на крупном наборе данных. Модель предназначена для распознавания французской речи и преобразования аудио в текст. Она содержит около 905,2 млн параметров, построена на архитектуре Whisper и поддерживает аудиовход; карточка описывает использование через Transformers и совместимые реализации Whisper. Сокращённый декодер уменьшает расход памяти и ускоряет вывод при сохранении качества, соответствующего числу оставшихся слоёв. В README также отмечено снижение риска галлюцинаций при длинных транскрипциях и возможность ускорения исходной модели Whisper Large V3 French через speculative decoding. Для длинного аудио можно использовать разбиение на фрагменты, но такой способ может немного уступать последовательному алгоритму по качеству. Модель распространяется по лицензии MIT.

Модель benmajor27/whisper-large-v3-hu_full — дообученная на Common Voice 17.0 версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в первую очередь ориентирована на венгерскую речь. Модель содержит около 905,2 млн параметров и опубликована в формате safetensors. В карточке приведён результат оценки на тестовом наборе: WER 8,8609 и loss 0,0911. Модель распространяется по лицензии Apache-2.0. Показатель качества относится к указанному набору оценки; README не описывает другие условия тестирования или ограничения применения.

Xenova/whisper-medium — версия модели OpenAI Whisper medium, подготовленная сообществом Xenova в формате ONNX для совместимости с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибирования аудио, в том числе из URL, в JavaScript-приложениях. Из README известно, что опубликованы ONNX-веса и указана базовая модель openai/whisper-medium, однако её точный размер, архитектурные характеристики, перечень языков и максимальная длина контекста в предоставленных данных не описаны. Основное преимущество — возможность использования через Transformers.js в средах, поддерживающих ONNX. Ограничения производительности, требования к ресурсам и особенности качества распознавания не указаны. Модель распространяется по лицензии Apache-2.0.

Portuguese Medium Whisper — модель распознавания речи, созданная дообучением OpenAI Whisper Medium автором pierreguillou на наборе Common Voice 11.0. Она преобразует аудио на португальском языке в текст и подходит для транскрибации записей и оценки систем распознавания речи. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; в метаданных указан формат PyTorch. На тестовой выборке автор сообщает Loss 0,2628 и WER 6,5987. Модель распространяется по лицензии Apache-2.0. Показатели сравнения с другими версиями Whisper приведены автором на основе сходства тестовых наборов, поэтому их не следует считать прямым сравнением на идентичном тесте.

thorhojhus/whisper-small-danish — дообученная на датском языке модель распознавания речи на базе Whisper Small. Она сохраняет исходные архитектуру Whisper и токенизатор; опубликованы веса экспоненциального скользящего среднего после 200 000 шагов обучения. Обучение использовало около 13 411 часов уникальной датской аудиозаписи, включая псевдоразмеченные данные и датские части CoRal v3, Common Voice 26.0, FLEURS, FTSpeech и NST. Модель предназначена для транскрибирования датской речи, в том числе разговорной и чтения вслух. В оценке по протоколу датского ASR-лидера WER составил 24,01% на CoRal conversation, 14,16% на CoRal read-aloud и 9,53% на Common Voice cv17_da. Модель распространяется по лицензии MIT. Качество после дообучения на языках, отличных от датского, не проверялось. Поведение на длинных записях отдельно не обучалось и требует проверки; тишина, шум и незнакомые имена могут приводить к ошибкам распознавания.

Модель разработана MakdadTaleb и дообучена на AraBERT v0.2 для восстановления пунктуации в арабском тексте. Она принимает текст без знаков препинания и для каждого слова предсказывает знак, который следует за ним. Архитектура — BERT для классификации токенов; размер модели — 162,4 млн параметров, максимальная длина контекста — 512 токенов. Модель обучена на корпусе SSAC-UNPC, включающем материалы заседаний ООН. В карточке описана специальная обработка класса арабской запятой, которая повысила её F1 с 0,685 до 0,749. На валидационной выборке качество для точки указано как F1 0,996, а для запятой — 0,749. Модель предназначена для восстановления арабской пунктуации в текстах и корпусах; подтверждённая языковая поддержка — арабский. Распространяется по лицензии MIT.

BLOSSOM-v5-32b — разговорная языковая модель от команды Blossom, дообученная на базе Qwen1.5-32B. Это плотная модель архитектуры Qwen2 с 31,7 млрд параметров; она принимает текст и генерирует ответы в формате диалога. Модель обучалась на смешанных наборах Blossom Chat, Orca, Wizard и Math, включая многоходовые диалоги, математические инструкции и данные, дистиллированные из GPT-4-0125-preview. Карточка заявляет поддержку китайского и английского языков, а контекст составляет до 32 768 токенов. Модель предназначена для ответов на вопросы и выполнения общих инструкций в чат-сценариях, включая математические запросы. Обучение проходило в два этапа: на одноходовых наборах Wizard, Orca и Math, затем на многоходовом наборе Blossom Chat. Доступна по лицензии Apache-2.0. Оценки качества на независимых тестах в карточке не приведены.

c4ai-command-r7b-12-2024-abliterated-GGUF — GGUF-квантизированная версия текстовой генеративной модели c4ai-command-r7b-12-2024-abliterated. Модель подготовлена huihui-ai, а квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. По идентификатору это модель класса 7B; точная архитектура и размер контекста в README не указаны. Модель предназначена для генерации и продолжения текста, диалоговых сценариев и локального запуска через llama.cpp или LM Studio. Указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского, арабского, греческого, персидского, польского, индонезийского, чешского, иврита, хинди, нидерландского, румынского, русского, турецкого, украинского и вьетнамского языков. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. Доступны варианты от BF16 до различных уровней квантизации, примерно от 4,8 до 16,1 ГБ; версии Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендована как стандартный вариант. Квантизация уменьшает требования к памяти и упрощает локальный запуск, но может снижать качество по сравнению с исходными весами. Модель помечена как abliterated и uncensored, поэтому её поведение, защитные ограничения и пригодность для чувствительных сценариев могут отличаться от исходной модели. Лицензия CC BY-NC 4.0 разрешает использование только на некоммерческих условиях; для загрузки требуется согласие с условиями лицензии.

ghofrani/common6 — модель распознавания речи на базе архитектуры Wav2Vec2ForCTC, дообученная на датасете COMMON_VOICE для персидского языка. Она принимает аудио и преобразует речь в текст; на указанном в карточке наборе оценки показала WER 0,3421 и loss 0,3706. Размер модели — 402,8 млн параметров. Лицензия в предоставленных данных не указана.

Edge0-8B-A1B-preview — языковая модель класса 8B со sparse Mixture-of-Experts, разработанная командой Edge0-AI на базе inclusionAI Ling 3.0 tiny. Модель предназначена для генерации текста, многоязычного чата и задач рассуждения на устройствах с ограниченной памятью, включая edge-устройства, телефоны и локальное пакетное обслуживание. Поддерживает режим рассуждения через чат-шаблон. Модель содержит около 7,9 млрд параметров, из которых примерно 1,2 млрд активны для каждого токена. Архитектура включает 24 слоя, 128 экспертов с активацией 8 экспертов на токен, hidden size 1536 и контекст до 128k токенов. Используется 4-битная квантизация, а комплект поставки включает базовый checkpoint, Recover-LoRA и prerouter-адаптеры. Благодаря потоковой подгрузке экспертных весов с SSD и предсказанию маршрутизации заявлены пиковое активное потребление памяти около 1 ГиБ и скорость декодирования 23,9–25,3 токена/с на Mac mini M4 Pro. Модель сохраняет близкое к FP16-базе качество после квантизации: средний результат в приведённых тестах OpenCompass составляет 69,9 против 72,7 у базовой модели, при этом на MMLU-Pro результат выше базового. Ограничения включают статус раннего preview-релиза, слабую оптимизацию для агентских сценариев, инструментального использования и многошагового планирования, а также преимущественную настройку под языки базовой модели. MLX-бэкенд в текущей версии ориентирован на Apple Silicon. Модель распространяется по лицензии Apache 2.0 и рассчитана на использование с фреймворком edge0.

Evertide-RX-12B — универсальная разговорная языковая модель на архитектуре Mistral, разработанная Retreatcost. Модель дообучена в полном формате параметров на слиянии моделей, созданном на основе unreleased cowriter-модели; README также указывает, что использованы те же модели, что и в Retreatcost/KansenSakura-Erosion-RP-12b. Размер составляет 12,1 млрд параметров, контекст — до 131 072 токенов. Репозиторий содержит веса Safetensors, библиотека для работы — Transformers. Модель предназначена для диалогов, совместного написания текстов, мозговых штурмов и коротких ролевых сцен. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. По README, рассуждения обычно включаются без дополнительной настройки, но иногда ответы могут появляться без них. Автор сообщает, что обучение проводилось на 451 вручную подготовленном примере, без RL. Это экспериментальная модель общего назначения; автор не заявляет о превосходстве над другими моделями и отмечает, что она не предназначена специально для эротического ролевого общения и может отказывать на некоторых запросах. Лицензия — Apache 2.0.

EXAONE-3.0-7.8B-Instruct-GGUF — набор GGUF-квантизованных версий языковой модели EXAONE-3.0-7.8B-Instruct, разработанной LGAI (LG AI Research) и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Заявлены английский и корейский языки. Исходная модель имеет 7,8 млрд параметров; доступны версии от F32 размером 31,28 ГБ до низкобитных вариантов IQ2_M размером 2,83 ГБ. Квантизации Q4–Q6 предлагают компромисс между качеством и требованиями к памяти, а Q3 и Q2 рассчитаны на устройства с ограниченным объёмом RAM, но обеспечивают более низкое качество. Некоторые варианты используют Q8_0 для embedding- и output-весов, что помогает сохранить качество. Формат prompt задан специальными маркерами system, user и assistant. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

MLX-версия модели GLM-4.7-Flash-8bit, созданная сообществом mlx-community путём конвертации базовой модели zai-org/GLM-4.7-Flash в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в средах, совместимых с MLX и mlx-lm. В README указаны поддерживаемые языки English и Chinese, а также доступность chat template для диалогового использования. Модель имеет 8-битное представление, однако сведения об архитектуре, количестве параметров, размере контекста, модальностях и конкретных сценариях применения не приведены. Лицензия — MIT.

MLX-совместимая 4-битная квантизованная версия GLM-5.3, преобразованная сообществом mlx-community из базовой модели zai-org/GLM-5.3-BF16 с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста и ориентирована на запуск на одном Apple Mac Studio с чипом M3 Ultra и 512 ГБ памяти; заявлено, что она комфортно помещается в такой конфигурации. Поддерживаемые языки — английский и китайский. Ключевое преимущество версии — стандартная 4-битная квантизация, которую авторы описывают как стабильную и быструю по сравнению с некоторыми альтернативными рецептами квантизации, склонными к избыточному обдумыванию и повторному пересмотру решений. Для работы используется библиотека MLX и пакет mlx-lm. Архитектура, точный размер модели, длина контекста, дополнительные модальности и результаты benchmark в README не указаны. Лицензия обозначена как other с названием glm-5.3; конкретные условия необходимо уточнять в лицензии исходной модели.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash от Z.ai, подготовленная пользователем aj9o9 с ручным распределением типов квантования по классам тензоров. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальное использование на системах с ограниченной памятью по сравнению с полноразмерной BF16-версией. Заявлены языки английский и китайский. Исходная модель имеет 320,6 млрд параметров, из которых 17,3 млрд активируются на токен; после удаления блока MTP/NextN в представленных файлах остаётся 313,33 млрд параметров. Это разреженная MoE-архитектура с 42 слоями маршрутизируемых экспертов, 288 экспертами в каждом слое, восемью активными экспертами и одним общим экспертом. Из 45 слоёв 34 используют Kimi Delta Attention, а 11 — Multi-head Latent Attention с индексатором DeepSeek. Благодаря этому модель экономно расходует память под контекст: заявлены 32K, 131K и 300K токенов при использовании примерно 0,44, 1,55 и 3,45 ГБ памяти для соответствующих KV-компонентов. Доступны две сборки: AJ-IQ3_XXS размером 112,40 ГБ с плотностью 2,80 бит на вес, рассчитанная на 128 ГБ unified memory или видеокарту на 96 ГБ с небольшим выгрузом, и AJ-IQ2_XXS размером 87,35 ГБ с плотностью 2,23 бит на вес, рассчитанная на видеокарту на 24 ГБ и 64 ГБ системной памяти. AJ-IQ3_XXS заметно лучше сохраняет качество исходной модели, тогда как AJ-IQ2_XXS требует меньше памяти, но имеет более высокое отклонение от BF16. Ограничение обеих сборок — отсутствие MTP-головы и поддержки спекулятивного декодирования через неё. Приведённые оценки качества получены на небольшом тесте Wikitext-2, поэтому не характеризуют все прикладные сценарии. Модель распространяется по лицензии MIT.