I.3Извлечение и структурирование данных

WhisperLv3-FT-EP-CPP — модель распознавания речи на европейском португальском языке, созданная дообучением Whisper large-v3 на данных CAMOES (Capitalized, Punctuated and Pós-Acordo). Она предназначена для преобразования речи в текст, в том числе для исследований и оценки качества распознавания, а также для демонстраций и прототипов транскрибации. Модель основана на архитектуре WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В карточке не приведены длина контекста и подробные показатели качества. Лицензия в предоставленных данных не указана.

NVIDIA NeMo Canary 1B Flash — многозадачная речевая модель с 883 млн параметров для распознавания речи и перевода речи в текст. Она использует архитектуру encoder-decoder: FastConformer-энкодер и Transformer-декодер; модель реализована для NeMo и опубликована в формате safetensors. Модель распознаёт английскую, немецкую, французскую и испанскую речь. Она также переводит речь с английского на немецкий, французский и испанский, а с этих трёх языков — на английский. Для этих языков доступна экспериментальная генерация временных меток слов и сегментов. Заявлена скорость более 1000 RTFx на наборах Open ASR Leaderboard; для аудио длиннее 40 секунд рекомендуется обработка частями, а для временных меток — чанками по 10 секунд. На вход подаются монофонические WAV или FLAC-файлы с частотой 16 кГц, на выходе — текст, при необходимости с временными метками. Для работы требуется NVIDIA NeMo. Модель не обрабатывает специальные символы и может требовать обратной нормализации текста; качество распознавания зависит от языка и характеристик записи. Лицензия CC-BY-4.0 допускает коммерческое использование.

CaPlatTessDolXaBoros Yi 34B 200K DARE Ties Highdensity — это языковая модель для генерации текста на базе архитектуры Yi с 34 миллиардами параметров. Исходную модель разработал brucethemoose, а представленный репозиторий подготовил TheBloke в формате GGUF. В карточке указано, что модель предназначена для текстовой генерации и ориентирована на английский язык. Модель доступна в квантованных вариантах GGUF с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Это позволяет запускать её с использованием CPU и GPU через llama.cpp и совместимые приложения, библиотеки и пользовательские интерфейсы. Для работы заявлен шаблон запросов Orca-Vicuna с секциями SYSTEM, USER и ASSISTANT. К сильным сторонам относятся большой размер модели, поддержка различных уровней квантования и возможность локального запуска на широком наборе программных платформ. К ограничениям относятся отсутствие в README результатов тестирования, подробных сведений о качестве, мультимодальности и фактическом размере контекста; заявлен только английский язык. Квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью. Лицензия указана как yi-license; применяются условия лицензии Yi, приведённой в карточке.

Captain-Eris-Diogenes_Twilight-V0.420-12B-GGUF — это 12-миллиардная языковая модель для генерации текста, созданная на основе модели Nitral-AI/Captain-Eris-Diogenes_Twilight-V0.420-12B. Данный репозиторий содержит её GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска и текстовой генерации; рекомендуется использовать её через LM Studio или совместимые инструменты на базе llama.cpp. Указан формат промпта <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных Q3-, Q4-, Q5-, Q6- и Q8-квантизаций размером примерно от 6,08 до 13,02 ГБ. Старшие варианты Q5 и Q6 обеспечивают высокое качество, а Q4_K_M указан как подходящий вариант по умолчанию для большинства сценариев; версии Q3 предназначены для систем с ограниченным объёмом оперативной памяти, но дают более низкое качество. Модель текстовая: сведения о поддержке изображений, языках, размере контекста и специализированных задачах в README отсутствуют. Лицензия также не указана.

ChatML-Nemo-Pro-V2 — объединённая языковая модель, опубликованная пользователем win10. Она создана методом TIES с помощью mergekit на базе shuttleai/shuttle-2.5-mini с включением cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель построена на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Метаданные указывают контекстное окно до 1 024 000 токенов; в карточке также отмечена поддержка чата. README не описывает отдельные специализированные сценарии или языки, поэтому модель можно характеризовать только как универсальную языковую модель для генерации текста и диалога. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Chinese-Mistral-7B-Instruct-v0.1 — это китайско-английская диалоговая модель на архитектуре Mistral, разработанная лабораторией наук о Земной системе Университета Цинхуа. Она основана на Mistral-7B: разработчики расширили словарь для эффективной обработки китайского текста и выполнили дополнительное предварительное обучение, а версию Instruct дообучили с помощью LoRA на англо- и китайскоязычных данных Alpaca-GPT4. Модель содержит 7,2 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации ответов и ведения диалога на китайском и английском языках, а также для общих задач понимания текста, знаний и рассуждений. Китайский словарь повышает эффективность токенизации китайского текста; в README также приведены оценки на китайских и англоязычном тестах знаний. Модель принимает текст и генерирует текст. Возможны ошибочные, вводящие в заблуждение или вредоносные ответы; перед использованием в приложениях разработчики рекомендуют проверку безопасности и настройку под конкретный сценарий. Лицензия в предоставленных сведениях не указана.

Это квантованные версии большой языковой модели Command A Plus, разработанной CohereLabs. Карточка содержит сборки в формате GGUF, подготовленные bartowski с использованием llama.cpp и метода imatrix на основе исходной модели CohereLabs/command-a-plus-05-2026-bf16. Модель предназначена для генерации текста, диалоговых и чат-сценариев, а также локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. Модель поддерживает английский, русский и широкий набор других языков, включая арабский, китайский, японский, корейский, испанский, французский, немецкий, португальский, украинский и вьетнамский. Архитектура, точное число параметров, модальности и размер контекста в README не указаны. Доступны варианты квантования от Q3 и IQ3 до Q8_0 размером примерно от 102 до 232 ГБ; более высокие уровни квантования обычно сохраняют лучшее качество, но требуют больше памяти. Сборки рассчитаны на локальный inference, однако для новых моделей может потребоваться обновление используемого ПО. Сильной стороной является большой выбор квантованных вариантов с разным компромиссом между качеством и требованиями к памяти, включая рекомендованные Q4, Q5 и Q6-сборки. Ограничения — значительный объём файлов и отсутствие в карточке подробных сведений о производительности, тестах, архитектуре и контекстном окне. Указана лицензия Apache-2.0.

Карточка модели Hacking2188/deberta-v3-large-zeroshot-v2.0 на Hugging Face совпадает с карточкой MoritzLaurer/deberta-v3-large-zeroshot-v2.0, поэтому описание составлено по ней. Moritz Laurer разработал эту модель для классификации текстов без размечающих примеров. Она дообучена на базе microsoft/deberta-v3-large и использует архитектуру DeBERTa V2 для оценки того, следует ли гипотеза из текста: «верно» или «неверно». Через pipeline Hugging Face этот формат можно применять к разным задачам классификации, задавая формулировки классов и шаблон гипотезы. Модель содержит 533,8 млн параметров, принимает текст и поддерживает контекст до 512 токенов. Её можно запускать на CPU и GPU. В приведённом сравнении она показала более высокую среднюю оценку F1 на 28 задачах классификации, чем указанные модели BART, RoBERTa и базовая DeBERTa, хотя скорость работы ниже, чем у RoBERTa. Карточка отмечает, что формулировки гипотез и названий классов могут влиять на результат. Модель предназначена только для классификации текста. Возможны смещения, унаследованные от базовой модели, данных NLI и синтетических обучающих данных. Лицензия репозитория — MIT; упомянутая в карточке гарантия коммерческой пригодности обучающих данных относится к вариантам с суффиксом «-c», которого в имени этой модели нет.

mlx-community/DeepSeek-V3-0324-4bit — это квантизированная 4-битная версия языковой модели DeepSeek-V3-0324, разработанная сообществом mlx-community и преобразованная в формат MLX из модели deepseek-ai/DeepSeek-v3-0324-4bit с помощью mlx-lm версии 0.26.3. Модель предназначена для генерации текста и запуска через библиотеку MLX, в том числе с использованием чат-шаблона токенизатора. Она может применяться для диалоговых сценариев и других задач текстовой генерации, однако README не содержит подробностей о поддерживаемых языках, размере модели, архитектуре, длине контекста или мультимодальных возможностях. Ключевая характеристика модели — 4-битное квантование, которое потенциально снижает требования к памяти по сравнению с полноразмерной версией, но README не приводит измерений производительности или качества. Ограничения и точные сценарии применения следует оценивать отдельно, поскольку сведения о сильных сторонах, бенчмарках и аппаратных требованиях отсутствуют. Модель распространяется по лицензии MIT.

sentence-transformers/distilbert-base-nli-max-tokens — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Архитектура основана на DistilBERT; модель принимает текст и формирует эмбеддинги. Максимальная длина контекста — 512 токенов. Репозиторий содержит веса в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Карточка помечает её как устаревшую и предупреждает о низком качестве эмбеддингов, поэтому для новых проектов рекомендуется выбрать более современную модель эмбеддингов.

Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Это дистиллированная версия Whisper large-v2 от rsonavane, созданная с помощью удаления слоёв декодера и обучения на распределениях модели-учителя. В декодере 8 слоёв вместо 32 у исходной модели; заявлены размер на 40% меньше и скорость декодирования примерно вдвое выше, чем у Whisper large-v2. Модель предназначена для автоматического распознавания речи. На датасете LibriSpeech после дообучения в течение одной эпохи автор сообщает о WER 4,2%. В карточке также указана возможность дообучения для нескольких языков, но конкретные результаты для них не приведены. Доступны веса PyTorch; лицензия в предоставленных данных не указана.

Dolphin3.0-Llama3.2-1B-GGUF — это GGUF-квантизации языковой модели Dolphin3.0-Llama3.2-1B, опубликованные и подготовленные пользователем bartowski. Модель основана на cognitivecomputations/Dolphin3.0-Llama3.2-1B и предназначена для генерации текста, включая работу через llama.cpp и LM Studio. Указан английский язык. Модель имеет размер 1B параметров и представлена в вариантах от F32 и F16 до разных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 0,64 до 4,95 ГБ, что позволяет выбирать между качеством и требованиями к оперативной памяти. В README приведён формат диалога с ролями system, user и assistant. Среди обучающих данных указаны наборы для программирования, математических задач, function calling, instruction tuning и диалогов. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и сравнительно небольшие требования к ресурсам; варианты Q4_K_M, Q5 и Q6 отмечены как рекомендуемые для разных сценариев. Более агрессивная квантизация снижает качество, а конкретные возможности модели, например мультимодальность, длина контекста и поддержка других языков, в README не указаны. Лицензия обозначена как llama3.2.

Alibaba-NLP/E2Rank-4B — модель для текстовых эмбеддингов и спискового переранжирования, разработанная Alibaba-NLP на основе Qwen3-4B. Она преобразует запросы и документы в векторы, которые можно сопоставлять по косинусному сходству для поиска и ранжирования. При переранжировании список кандидатов включается в специальный запрос, чтобы учесть взаимный контекст документов. Модель имеет плотную архитектуру Qwen3, около 3,7 млрд параметров, размер эмбеддинга 2560 и контекст до 40 960 токенов. Карточка описывает её как поддерживающую инструкции; модель обучена для эмбеддингов и переранжирования. Авторы сообщают о результатах на BEIR и MTEB, но это не гарантирует аналогичного качества на конкретных данных. Для получения эмбеддингов нужно вручную добавлять специальный токен в конец каждого входного текста. Модель подходит для поисковых систем и RAG-конвейеров, где нужны извлечение документов и последующее ранжирование кандидатов. В README приведены англоязычные результаты бенчмарков; поддержка других языков в предоставленных данных не подтверждена. Лицензия — Apache-2.0.

EVA-Qwen2.5-32B-v0.2-GGUF — это набор GGUF-квантизаций текстовой генеративной модели EVA-Qwen2.5-32B-v0.2, разработанной EVA-UNIT-01 и подготовленной пользователем bartowski. Модель предназначена для генерации текста, включая диалоговые, инструкционные, писательские и roleplay-сценарии. Она обучалась на смесях датасетов с инструкциями, художественным письмом, ролевыми диалогами и синтетическими примерами. Доступны варианты от полноразмерного F16 до квантизаций Q8_0, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,81 до 65,54 ГБ. Квантизации выполнены с использованием llama.cpp и imatrix; для запуска рекомендуется LM Studio. Более высокие разрядности обеспечивают лучшее сохранение качества, а варианты Q3 подходят для систем с ограниченным объёмом оперативной памяти, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей; они не предназначены для Mac или Windows. В README не указаны точные архитектурные параметры, размер контекста, поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Лицензия указана как Apache-2.0. Для использования необходимы ресурсы, соответствующие выбранному варианту квантизации.

EvoEmbedding-0.8B — модель эмбеддингов от MiG-NJU для поиска по длинным диалогам и динамическому контексту. Она построена на архитектуре Qwen3.5-0.8B и использует обновляемую латентную очередь памяти, чтобы учитывать порядок реплик и изменения контекста при формировании представлений. Модель возвращает нормализованные векторы для истории сообщений и финального запроса; также README описывает ранжирование списка кандидатов по релевантности. Модель предназначена для семантического поиска в длинных разговорах, систем RAG и памяти агентных приложений, где содержание контекста меняется со временем. Указаны поддержка английского и китайского языков и формат весов safetensors. Репозиторий распространяется по лицензии Apache-2.0. README не приводит длину контекста и подробную оценку качества.

EXAONE-3.5-32B-Instruct-GGUF — это набор GGUF-квантизованных версий языковой модели EXAONE-3.5-32B-Instruct, разработанной LGAI-EXAONE. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в диалоговом режиме, включая запуск через LM Studio и другие совместимые инструменты. Модель содержит 32 миллиарда параметров и поддерживает английский и корейский языки. В репозитории доступны варианты от полноразмерного F16 весом около 64 ГБ до квантизаций Q3, Q4, Q5, Q6, Q8 и IQ различных размеров. Более качественные варианты требуют больше оперативной или видеопамяти, тогда как Q3 и некоторые IQ-варианты рассчитаны на системы с ограниченными ресурсами. Для взаимодействия используется специальный шаблон prompt с ролями system, user и assistant. Сильной стороной репозитория является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, размером и производительностью; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M рекомендован как типичный компромисс. Ограничения включают отсутствие информации о размере контекста, архитектуре базовой модели, мультимодальности, результатах тестирования и системных требованиях. Лицензия указана как proprietary/other с названием exaone; перед использованием необходимо ознакомиться с условиями, приведёнными в файле LICENSE.

Exodius-70B — объединённая языковая модель, созданная с помощью mergekit методом SLERP из freewheelin/free-evo-qwen72b-v0.8-re и abacusai/Smaug-72B-v0.1. Она предназначена для генерации текста и диалоговых сценариев. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM, содержит 71 млрд параметров и поддерживает контекст до 32 768 токенов. Весовой формат репозитория — safetensors; библиотека для работы — Transformers. Объединение сочетает две предварительно обученные языковые модели, включая Smaug-72B-v0.1, предназначенную для диалога, ответов на вопросы и рассуждений. В карточке не приведены отдельные результаты оценки качества или специализированные области применения. Модель распространяется по лицензии Apache-2.0.

Experiment26Neuralsirkrishna_Experiment24Yam — объединённая модель Mistral, созданная из automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment24Yam-7B. Она предназначена для генерации текста и диалогов, включая сценарии с длинным контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors. Практические качества и языковой охват отдельно не описаны; пригодность модели для конкретных задач следует оценивать на собственных данных. Лицензия — Apache-2.0.

unsloth/Falcon-H1-0.5B-Instruct — компактная instruct-модель для диалогов и генерации текста, опубликованная Unsloth на базе tiiuae/Falcon-H1-0.5B-Instruct. Это плотная авторегрессионная модель класса FalconH1ForCausalLM с гибридной архитектурой Transformer и Mamba; в репозитории размещены веса Safetensors, а запуск поддерживают Transformers, vLLM и llama.cpp. Модель рассчитана на англоязычное общение, ответы на вопросы, выполнение инструкций и задачи рассуждения. Контекстное окно составляет 16 384 токена, число параметров — 354,4 млн. В метаданных отмечены возможности чата и интерфейс вызова инструментов; README также сообщает об исправлениях шаблона чата. Лицензия указана как Falcon-LLM License, а в метаданных Hugging Face она обозначена общим значением «other». Перед использованием следует проверить условия Falcon-LLM License. Как компактная модель, она может уступать более крупным моделям в сложных задачах; README приводит результаты отдельных бенчмарков, но не уточняет ограничения по качеству для конкретных сценариев.

guillaumekln опубликовал конверсию модели распознавания речи Whisper tiny.en от OpenAI в формат CTranslate2. Модель предназначена для транскрибирования английской речи и может использоваться через CTranslate2 и библиотеки на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать параметром compute_type в CTranslate2. Репозиторий содержит конвертированную модель, а не новое дообучение. Лицензия — MIT.

GATE-AraBert-v1 — модель эмбеддингов арабского текста, разработанная Omartificial-Intelligence-Space. Это Sentence Transformer на архитектуре BERT, дообученный в многозадачном режиме для сопоставления смысла предложений. Модель создаёт векторы размерности 768 и использует косинусное сходство для сравнения текстов. Модель предназначена для семантического поиска, поиска похожих предложений и оценки смыслового сходства арабских текстов. В обучении использованы наборы данных AllNLI и STS; метаданные также указывают Arabic-stsb и Arabic-NLi-Pair-Class. Максимальная длина последовательности — 512 токенов, число параметров — 162,4 млн. Модель принимает текст и выдаёт эмбеддинги; для использования предусмотрена библиотека Sentence Transformers. Модель лицензирована по Apache-2.0. Результаты зависят от предметной области и качества входных текстов; карточка приводит оценку на STS-бенчмарках, но не гарантирует качество для любых задач или доменов.

testmoto/gemma-2-9b-platypus-02 — текстовая модель на архитектуре Gemma 2, полученная конвертацией google/gemma-2-9b в формат MLX с помощью mlx-lm 0.20.2. Модель содержит 9 млрд параметров и предназначена для генерации текста; базовая Gemma 2 также поддерживает диалоги, суммаризацию и ответы на вопросы. Модель принимает текст и генерирует текст. Длина контекста составляет 8192 токена. В метаданных указана лицензия Gemma. README описывает использование через mlx-lm; отдельные сведения о дообучении или специализированных возможностях этой версии отсутствуют.

Это компактная инструкционная текстовая модель семейства Gemma 3 с плотной архитектурой Gemma3ForCausalLM и 257 млн параметров. Репозиторий mlx-community содержит версию google/gemma-3-270m-it, подготовленную для работы с библиотекой MLX; README указывает на конвертацию исходной модели в формат MLX с помощью mlx-lm 0.26.3. Модель предназначена для диалогов и генерации текста: её можно использовать для ответов на вопросы, суммаризации и других текстовых запросов. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Gemma.

RedHatAI/gemma-3-4b-it-quantized.w4a16 — квантизированная версия мультимодальной модели google/gemma-3-4b-it, разработанная RedHatAI. Модель принимает изображения и текст, а генерирует текст, поэтому предназначена для визуально-текстовых диалогов, анализа изображений и задач, где требуется объединять инструкции на естественном языке с визуальной информацией. Модель использует архитектуру Gemma 3 с 4 миллиардами параметров. Веса квантизированы в INT4, а активации представлены в FP16; при квантизации не изменялись vision tower и multi-modal projector. Такая конфигурация снижает требования к памяти и повышает эффективность инференса при сохранении близких к исходной модели результатов на ряде текстовых бенчмарков. В README языки и точный размер контекста не указаны; для оценки использовалась максимальная длина 4096 токенов. Модель оптимизирована для инференса через vLLM версии 0.8.0 и выше, включая OpenAI-compatible serving. Ограничения включают возможную потерю точности из-за INT4-квантизации и необходимость совместимого окружения vLLM; подробные мультиязычные характеристики и результаты для визуальных задач не приведены. Лицензия указана как gemma.

gemma-3-4b-it-quantized.w8a8 — квантизированная версия мультимодальной модели google/gemma-3-4b-it, разработанная RedHatAI. Модель принимает изображения и текст, а генерирует текст, поэтому предназначена для визуально-текстовых диалогов, анализа изображений и ответов на вопросы по их содержимому. Основной сценарий развертывания — инференс через vLLM версии 0.8.0 или новее, включая OpenAI-совместимый сервер. Модель использует архитектуру Gemma 3 с 4 миллиардами параметров и оптимизацию INT8 для весов и активаций. Квантизация выполнена с помощью llm-compressor и GPTQ на калибровочном наборе из 512 образцов; визуальный модуль и мультимодальный проектор при этом не квантизировались. В README не указаны поддерживаемые языки и полный размер контекста, однако при оценке использовалась максимальная длина 4096 токенов. Доступна версия 1.0, опубликованная 4 июня 2025 года. Главное преимущество модели — снижение требований к вычислительным ресурсам и эффективный инференс при сохранении большей части качества исходной модели: на тестах OpenLLM V1 показатели восстановления относительно google/gemma-3-4b-it составили от 95,82% до 99,55% по приведённым метрикам. Ограничения включают возможное небольшое снижение точности из-за INT8-квантизации и необходимость совместимого окружения vLLM. Лицензия указана как gemma.

gemma-3-4B-T1-it — текстовая инструкционная модель Twinkle AI, разработанная Liang Hsun Huang, Min Yi Chen, Wen Bin Lin и Dave Sung на базе google/gemma-3-4b-pt. Это плотная модель семейства Gemma 3 с 4 млрд параметров; карточка указывает контекст до 131 072 токенов. Модель дообучена для традиционного китайского языка и тайваньского культурного контекста, также поддерживает английский. Это текстовая версия без обработки изображений. Модель предназначена для диалогов и генерации ответов, учитывающих тайваньскую лексику и общественно-культурные реалии. Её можно применять для базового толкования законов Тайваня, подготовки учебных материалов, повседневных запросов, а также для вызова функций и построения агентных сценариев с внешними инструментами. Разработчики сообщают об обучении на наборах данных по рассуждениям, инструкциям, договорам и длинным документам и приводят результаты собственных оценок, в том числе BFCL. Модель распространяется по лицензии Gemma, доступ к репозиторию Hugging Face ограничен условиями Google. Ответы по праву следует использовать только как вспомогательные: модель не заменяет профессиональную юридическую консультацию. Вызов инструментов требует заданных приложением описаний инструментов и логики управления; опубликованные показатели получены в оценках разработчиков и не гарантируют качество в конкретной задаче.

GLM-5.2-EXL3-TR3-3.0bpw — квантизированная версия модели GLM-5.2, опубликованная brandonmusic на основе zai-org/GLM-5.2 и malaiwah/GLM-5.2-EXL3-TR3-MTP78. Это текстовая генеративная модель с архитектурой mixture-of-experts, предназначенная для генерации текста, включая общие, юридические, программные, агентские и рассуждательные сценарии. Заявлена поддержка английского и китайского языков. Модель использует формат EXL3 Trellis с целевой точностью 3,0 bits per weight для маршрутизируемых MoE-экспертов в слоях 3–77; чувствительные к точности компоненты, включая attention, embeddings, LM head, shared experts и часть MLP, сохранены в BF16 или исходной точности. Сборка rank-sliced TP4 оптимизирована для четырёх GPU NVIDIA Blackwell, занимает около 332,19 GB и включает MTP-слой 78 для speculative decoding. README не указывает размер контекста. Сильными сторонами являются существенное снижение требований к хранению весов при сохранении точности критических компонентов, поддержка MTP speculative decoding, sparse MLA и KV-кэша NVFP4, а также проверенная работа на четырёх RTX PRO 6000 Blackwell 96 GB. Ограничения включают очень высокие аппаратные требования и необходимость специального runtime custom vLLM + Sparkinfer; модель не является готовой для непосредственного использования в Transformers. Для запуска требуется совместимый Docker-образ и NVIDIA-инфраструктура. Распространение указано по лицензии MIT.

brandonmusic/GLM-5.3-Flash-tr3-4bpw — это квантованная версия GLM-5.3-Flash, разработанная brandonmusic на основе zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; в карточке указана интеграция с Transformers и pipeline image-text-to-text. Это EXL3/TR3-чекпойнт с равномерным K4-квантованием маршрутизируемых экспертов и точностью 4 бит на вес, ориентированный на высокопроизводительный запуск на двух GPU с архитектурой SM120. Модель поддерживает профили мультимодального и текстового запуска с DFlash2, а также текстовый профиль с встроенной головой MTP3. Для опубликованного мультимодального профиля заявлен предел запроса 98 304 токена и 129 473 токена KV-кэша; текстовый профиль с MTP3 рассчитан на существенно больший объём кэша — до 1 376 256 измеренных KV-токенов. Реализация использует NVFP4-кэш MLA KV, CUDA graphs и специализированную сборку vLLM/B12X, поэтому несовместима со стандартным upstream vLLM. Для мультимодального запуска требуется отдельный чекпойнт GLM-5.3-Flash-DFlash2. К сильным сторонам относятся низкая разрядность, поддержка изображений, режимы ускоренного декодирования и заявленная близость распределения токенов к BF16-версии: средняя токеновая KL-дивергенция указана на уровне 0,02455 ната на закрытом тестовом наборе. Ограничения включают зависимость от специализированного ПО и оборудования SM120, необходимость отдельного DFlash2-чекпойнта для некоторых профилей, ограниченную ёмкость резидентного контекста в мультимодальном режиме и постановку дополнительных запросов в очередь. Модель распространяется по лицензии shapleymcg-license-1.0; отдельный DFlash2-чекпойнт имеет лицензию CC-BY-NC-ND-4.0.

GLM-5.3-Flash-Uncensored-GGUF — это квантованные GGUF-версии модели GLM-5.3-Flash от Z.ai, подготовленные и опубликованные OrcaRouter. Модель предназначена для локального запуска в llama.cpp на CPU, CUDA, Metal и ROCm. Она ориентирована на исследовательские задачи, включая интерпретируемость, изучение механизмов отказа, red teaming, оценку устойчивости и контролируемые эксперименты. Вариант uncensored получен удалением значительной части механизмов отказа, поэтому модель может выполнять вредоносные, незаконные или этически проблемные запросы. Модель имеет архитектуру Mixture-of-Experts: около 320 млрд параметров, из которых активно примерно 18 млрд; используется 288 маршрутизируемых экспертов с выбором top-8 и один общий эксперт. Заявлены гибридное линейное и разреженное внимание, Manifold-Constrained Hyper-Connections шириной 4, поддержка текста, изображений и видео, а также контекст до 1 млн токенов. Поддерживаются английский и китайский языки. Доступны квантизации от 2 до 6 бит; Q4_K_M рекомендуется как баланс качества и размера, а Q6_K обеспечивает наивысшую точность среди представленных вариантов. Для обработки изображений требуется отдельный файл mmproj. GGUF-сборки не содержат MTP-голову для спекулятивного декодирования, а для работы необходима свежая версия llama.cpp с поддержкой архитектуры glm5next. Модель распространяется по лицензии MIT, однако её использование требует самостоятельных мер безопасности, модерации и предотвращения злоупотреблений.