I.4Обработка документов и форм

cyankiwi/LFM2.5-8B-A1B-AWQ-INT4 — это квантованная версия текстовой модели LFM2.5-8B-A1B от Liquid AI, подготовленная пользователем cyankiwi в формате AWQ с точностью INT4. Модель предназначена для локального и периферийного (on-device) развертывания, включая персональных ассистентов, агентские сценарии с вызовом инструментов, следование сложным инструкциям и генерацию структурированных ответов. Архитектура модели гибридная: 8,3 млрд параметров всего, из которых активно используется 1,5 млрд; 24 слоя включают 18 double-gated LIV convolutional layers и 6 слоёв GQA. Модель обучалась на 38 трлн токенов и поддерживает контекст до 131 072 токенов. Это text-only модель с заявленной поддержкой английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского языков. В карточке квантованной версии также указаны русский, хинди и нидерландский языки, однако основные сведения о базовой модели перечисляют другой набор языков. К сильным сторонам относятся низкие требования к памяти благодаря INT4-квантизации, высокая скорость инференса для своего класса, пригодность для CPU и GPU, агентских рабочих процессов и локальных приложений. Ограничения: модель не считается оптимальным выбором для сложного программирования и фактологически насыщенных задач без retrieval; качество квантованной версии может отличаться от исходной модели. Указана лицензия lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

paraphrase-MiniLM-L12-v2 — модель sentence-transformers, обученная командой Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска семантически близких текстов, кластеризации и сравнения сходства. Модель основана на архитектуре BERT и содержит около 40 млн параметров; максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, группировки похожих текстов и поиска парафразов. Она принимает текст и выдаёт векторные представления, которые можно сравнивать по близости. Доступны варианты форматов PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; для работы используются библиотека sentence-transformers или Transformers с подходящей операцией pooling. Модель опубликована под лицензией Apache-2.0. README не приводит отдельной оценки качества или специальных ограничений; при использовании для семантического поиска точность зависит от данных и выбранного способа сравнения векторов.

sentence-transformers/paraphrase-MiniLM-L3-v2 — модель sentence-transformers для преобразования предложений и абзацев в плотные векторы размерностью 384. Она основана на архитектуре BERT и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель обучена командой sentence-transformers; в карточке указаны 18,8 млн параметров и библиотека sentence-transformers. Модель принимает текст и выдаёт векторные представления, которые можно сравнивать или использовать для группировки похожих фрагментов. Контекст составляет до 512 токенов. Доступны реализации в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0.

Модель kihyun-K/Qwen3-0.6B-JSON-SFT-GRPO — дообученная версия Qwen3, созданная kihyun-K на основе kihyun-K/Qwen3-0.6B-JSON-SFT. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, предназначенная для генерации текста в диалоговом формате; название модели указывает на настройку для вывода JSON с использованием GRPO. Контекстное окно составляет 40 960 токенов. Модель может использоваться для генерации структурированных JSON-ответов и других текстовых ответов в приложениях на базе чат-моделей. Она распространяется в формате Safetensors и выпущена по лицензии Apache-2.0. В README указано, что при обучении использовались Unsloth и библиотека TRL от Hugging Face.

Qwen3.8-27B-Uncensored-xCloud — производная мультимодальная модель компании 云碩科技（xCloudinfo） на базе Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с архитектурой смешанного внимания: gated-delta линейное внимание чередуется с полным вниманием. Разработчик удалил направление отказа методом abliteration, ортогонализовав его в 80 матрицах проекций attention и MLP; дообучение и дополнительные данные не использовались. Визуальная башня и голова языковой модели сохранены. Модель предназначена для диалогов и генерации текста, включая многоязычные вопросы и арифметические задачи; базовая архитектура также принимает изображения. Это reasoning-модель, которая может выводить блок рассуждений перед ответом, и поддерживает интерфейс вызова инструментов. В небольшом red-team тесте разработчика доля отказов составила 0 из 4; такая проверка ограничена малой выборкой и не гарантирует поведение на других запросах. Для загрузки README рекомендует один вычислительный прибор, поскольку разбиение на несколько GPU может нарушить рекуррентное состояние. Лицензия — Apache-2.0; удаление отказов ослабляет один из защитных механизмов, поэтому применение требует осторожности.

sentence-transformers/stsb-mpnet-base-v2 — модель sentence-transformers, обученная командой sentence-transformers на базе архитектуры MPNet. Она преобразует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения семантической близости текстов, семантического поиска и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторные представления. Для обработки использует контекст длиной до 514 токенов. Доступны веса и варианты для PyTorch, safetensors, ONNX и OpenVINO; модель поддерживает Sentence-Transformers, Transformers и Text Embeddings Inference. Лицензия Apache-2.0 разрешает широкое использование, включая коммерческое, при соблюдении её условий. В карточке не указаны конкретные языки обучения; пригодность для отдельных языков следует проверять на целевых данных. Для текстов длиннее контекстного окна потребуется усечение или разбиение на фрагменты.

T5-11B — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она представляет задачи обработки естественного языка в формате преобразования текста в текст: модель получает текстовую инструкцию и входной текст, а затем генерирует текстовый ответ. В README указано 11 миллиардов параметров; метаданные каталога сообщают 385,2 млн параметров, поэтому размер модели в источниках расходится. Архитектура — плотная T5WithLMHeadModel, контекст — 512 токенов. Основная задача в метаданных — перевод. Модель также может служить основой для дообученных сценариев суммаризации, ответов на вопросы, классификации и анализа тональности. Указанные языки — английский, французский, румынский и немецкий; предобучение проводилось на корпусе C4 и смеси задач, включая Wiki-DPR и наборы для классификации, сходства предложений и вопросов-ответов. Для загрузки весов требуется значительный объём памяти: README сообщает, что только веса занимают более 40 ГБ, и рекомендует распределение модели между устройствами либо ZeRO-Offload. Лицензия — Apache 2.0.

Unbound E4B — мультимодальная модель для диалога, дообученная командой Chromia & Eval Engine на Google Gemma 4 E4B Instruct. Она принимает текст и изображения и генерирует текст; предназначена для открытых диалогов, ответов на вопросы, рассуждений и анализа изображений. В карточке сообщается, что по знаниям и рассуждениям она сильнее младшей Unbound E2B и сохраняет результаты базовой модели на GPQA-Diamond и BBH в пределах статистической погрешности. Модель снижает частоту отказов на тесте AdvBench с 98,08% у базовой модели до 2,69%, поэтому чаще отвечает на запросы, от которых базовая модель отказалась бы. Разработчики также отмечают увеличение галлюцинаций на вредоносных запросах с 1,35% до 13,08%. Модель может выдавать вредные, ложные, предвзятые или небезопасные ответы; используйте результаты с проверкой. В репозитории находятся объединённые веса Transformers в формате Safetensors; для запуска на устройстве доступны отдельные сборки GGUF. Лицензия — Apache-2.0.

XVERSE-7B — многоязычная большая языковая модель, разработанная Shenzhen Yuanxiang Technology. Это плотный Decoder-only Transformer примерно с 6,9 млрд параметров, обученный предсказывать продолжение текста. Модель поддерживает контекст до 8192 токенов и предназначена для диалогов, ответов на вопросы, суммаризации и других задач генерации текста. В обучающих данных были представлены более 40 языков, включая китайский, английский, русский и испанский; разработчики сообщают о более сильных результатах на китайском и английском при поддержке других языков. Модель подходит для многоязычных текстовых приложений, которым нужна генерация в пределах указанного контекста. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Как и другие большие языковые модели, XVERSE-7B может выдавать неточную, предвзятую или оскорбительную информацию. Разработчики рекомендуют проверять результаты и проводить тестирование безопасности перед внедрением.

AMALIA-9B-0626-SFT — языковая модель, созданная консорциумом португальских университетов и исследовательских центров при поддержке правительства Португалии. Это плотная causal language model семейства Llama с 8,6 млрд параметров, реализованная для Transformers; модель опубликована в формате safetensors и поддерживает контекст до 32 768 токенов. В карточке описаны этапы предварительного обучения и постобучения с supervised fine-tuning и Direct Preference Optimization; для этой версии указана задача text-generation и диалоговый режим. Модель предназначена прежде всего для понимания и генерации текста на европейском португальском (pt-PT): она подходит для ответов на вопросы, следования инструкциям, кратких сводок, редактирования, перевода и черновиков, а также для исследований португальского языка и дальнейшей адаптации. AMALIA также рассчитана на сценарии с RAG, где ответы опираются на предоставленные документы. В некоторой степени она работает с другими вариантами португальского и английским, но оптимизирована именно для pt-PT. Модель может галлюцинировать, воспроизводить предвзятость и выдавать вредный или небезопасный текст; фактические ответы следует проверять, а перед внедрением в прикладную систему модель необходимо оценить для конкретной задачи и дополнить подходящими мерами контроля. Она не предназначена для самостоятельных решений с высокими последствиями без квалифицированного надзора. Лицензия — Apache-2.0.

Giga-Embeddings-instruct-10B-A1.8B-0826 — модель текстовых эмбеддингов, разработанная ai-sage на основе GigaChat3-10B-A1.8B. Её адаптировали под двунаправленное encoder-style внимание и обучили контрастивной функцией потерь InfoNCE. По карточке, архитектура относится к DeepSeek-V3: 26 слоёв, скрытая размерность 1536, Multi-head Latent Attention и MoE с 64 маршрутизируемыми экспертами. Всего около 10 млрд параметров, из них примерно 1,8 млрд активны на токен; веса представлены в bfloat16. Модель строит плотные векторы для поиска по смыслу, семантического сравнения, классификации и кластеризации текста. Она рассчитана в первую очередь на русский и английский языки и поддерживает контекст до 262 144 токенов. Для получения эмбеддингов требуется усреднить представления непустых токенов и выполнить L2-нормализацию; для асимметричного поиска инструкцию добавляют к запросу, а документы кодируют без неё. В README сообщается о результатах на русских, английских и кодовых бенчмарках MTEB. Для коммерческого и иного использования применяется лицензия MIT. Важно соблюдать предусмотренную схемой обработки последовательность пулинга и нормализации: CLS- и last-token pooling дают неверные результаты. Результаты могут немного различаться в зависимости от версий Transformers и PyTorch.

duyntnet/Llama-3.2-1B-imatrix-GGUF — набор GGUF-квантизаций базовой модели Meta Llama 3.2 1B, подготовленный для запуска через llama.cpp и совместимые интерфейсы, включая KoboldCPP, text-generation-webui и Ollama. Модель предназначена для генерации текста, диалоговых сценариев, извлечения знаний, суммаризации, написания текста, а также переформулирования запросов и промптов. Репозиторий содержит квантизированные варианты исходной модели, поэтому конкретные характеристики и качество зависят от выбранного файла квантизации. Исходная Llama 3.2 1B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 1,23 млрд параметров, Grouped-Query Attention и общими эмбеддингами. Она работает только с текстом на входе и генерирует текст и код на выходе, поддерживает контекст до 128 тысяч токенов. Официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года; README не уточняет, является ли данный репозиторий базовой или instruction-tuned версией. Сильные стороны модели — небольшой размер, возможность локального запуска и снижение требований к памяти благодаря GGUF-квантизации и imatrix. Ограничения включают возможное ухудшение качества при агрессивной квантизации, отсутствие мультимодальности и ограниченность актуальности знаний. Использование регулируется индивидуальной коммерческой Llama 3.2 Community License и Acceptable Use Policy Meta; условия для производных применений и дополнительных языков необходимо соблюдать.

MeliodasPercival_01_AlloyingotneoyExperiment28 — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/MeliodasPercival_01-7B и automerger/AlloyingotneoyExperiment28-7B. Она предназначена для генерации текста и диалоговых сценариев, где нужно продолжать текст или формировать ответы по запросу. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Данные о специализации по языкам и прикладным областям в карточке не приведены. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

NMTOB-7B — слитая языковая модель, созданная paulml с помощью LazyMergekit на основе Kukedlc/NeuTrixOmniBe-7B-model-remix и paulml/OmniBeagleSquaredMBX-v3-7B-v2. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и предназначена для генерации текста; контекст составляет до 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также для задач генерации, где полезен длинный контекст. В README описано слияние методом slerp с настройками для слоёв self-attention и MLP. Репозиторий распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

OpenBuddy — это мультиязычная чат-модель, разработанная проектом OpenBuddy на базе семейства Meta LLaMA. В репозитории представлена плотная авторегрессионная архитектура LlamaForCausalLM размером 12,9 млрд параметров, с контекстом до 65 536 токенов; веса сохранены в формате Safetensors. Модель предназначена для диалогов и генерации текста на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель подходит для чат-ботов, ответов на вопросы и генерации текста с длинным контекстом. Она может выдавать ошибочные, вредные или оскорбительные ответы, поэтому не подходит для критически важных решений, медицинских рекомендаций и управления системами, где ошибка может причинить ущерб. Использование регулируется лицензией Llama 2: требуется соблюдать условия Meta и иметь право на доступ к исходной модели; модель предоставляется без гарантий.

QVikhr-2.5-1.5B-Instruct-SMPO — русско-английская инструктивная языковая модель команды Vikhr, разработанная на основе Vikhr-Qwen-2.5-1.5B-Instruct. Модель дообучена на русскоязычном датасете GrandMaster-PRO-MAX с применением SMPO (Simple Margin Preference Optimization) для улучшения ответов на инструкции и диалоговых ответов. Модель использует плотную архитектуру Qwen2 с 1,5 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст, поддерживает русский и английский языки; карточка также указывает интерфейс вызова инструментов. Подходит для диалогов, ответов на вопросы и генерации текста, особенно на русском языке. Доступна по лицензии Apache-2.0. README перечисляет квантованные варианты GGUF и MLX с разрядностью 4 и 8 бит.

Elsephire объединил Qwen3.6-35B-A3B и Qwen-AgentWorld-35B-A3BB методом Task Arithmetic с весами 80/20. Модель построена на архитектуре Qwen3.5 MoE и предназначена для диалогов и агентных сценариев; в карточке также заявлена работа с изображениями и MTP. В метаданных указаны интерфейс вызова инструментов и формат Safetensors. Это бета-версия: автор предлагает тестировать её и оставлять отзывы. Модель распространяется по лицензии MIT.

Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic-MLX-4bit — неофициальная MLX-конверсия модели medismera/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic, опубликованная uzzero для локального запуска на компьютерах Apple Silicon. Исходная модель основана на Qwen/Qwen3.8-27B, разработанной Qwen и Alibaba Cloud. Дополнительное обучение при конвертации не проводилось. Модель предназначена для диалоговых сценариев, работы с инструментами и агентских приложений, включая извлечение структурированных данных и обработку результатов вызова инструментов. Сохранена мультимодальная конфигурация qwen3_5 с поддержкой image-text-to-text, однако возможности работы с изображениями и видео в README не подтверждены тестированием. Языки и максимальная длина контекста не указаны; в LM Studio загрузка проверялась с контекстом 8192 токена. Используется 4-битное affine-квантизование MLX с размером группы 64. Весовая часть занимает примерно 16,05 ГБ и распределена по 16 файлам safetensors; отдельные мультимодальные модули сохранены в формате с плавающей точкой. Модель проверена на загрузку в oMLX и LM Studio, а также на синтетических задачах извлечения данных и вызова демонстрационного инструмента. Эти проверки не доказывают превосходство над базовой моделью, качество после квантизации или надежность в реальных агентских сценариях. Не оценивались длинный контекст, производительность, реальные почтовые процессы и общая надежность агентов; для автоматизации следует задавать явную JSON Schema и валидировать типы вывода. Распространяется по лицензии Apache License 2.0 с сохранением исходных уведомлений об авторских правах. Для работы с инструментами клиент должен самостоятельно передавать определения инструментов, выполнять выбранные вызовы и возвращать результаты; сама модель не подключается к внешним сервисам и не планирует задачи.

KasugaiSakura/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B от Qwen, опубликованный KasugaiSakura для запуска через совместимые среды, включая llama.cpp. Модель предназначена для генерации текста, а также поддерживает обработку изображений при использовании совместимого vision runtime и файла mmproj. Вариант Uncensored создан с целью существенно снизить выраженность отказов без дообучения, дополнительного датасета и изменения базовых возможностей, однако отказы не устранены полностью. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Указаны английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, варианты со встроенной или отдельной MTP-головой для speculative decoding, а также отдельный vision-проектор F16. Размер файлов составляет примерно от 10,6 до 29 ГБ, не считая отдельных компонентов. Сильные стороны модели — длинный контекст, поддержка текста и изображений, широкий выбор квантизаций и возможность ускорения генерации с помощью speculative decoding. Ограничения включают зависимость от совместимого runtime и достаточного объёма памяти, возможное снижение acceptance rate для черновой MTP-головы, а также то, что уменьшение отказов не является полным и может влиять на поведение модели. Квантизации GGUF распространяются по лицензии Apache-2.0.

Qwen3.5-397B-A17B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.5-397B-A17B, подготовленный bartowski с использованием llama.cpp и метода imatrix. Исходная модель разработана командой Qwen; конкретные сведения о внутренней архитектуре, языках и размере контекста в представленном README не указаны. Модель имеет заявленный pipeline image-text-to-text, поэтому предназначена для задач генерации текста с обработкой текстово-графических входов, однако подробности поддерживаемых модальностей не приведены. Доступны варианты квантования от Q8_0 до Q3 и IQ-серий, с размером файлов примерно от 188 до 429 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для запуска подходят llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Также заявлена поддержка MTP-слоёв в новых версиях llama.cpp с параметром draft-mtp. Большой размер модели предъявляет крайне высокие требования к памяти и вычислительным ресурсам. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, точных характеристик архитектуры, языкового охвата, длины контекста или подробного описания ограничений исходной модели.

Gameselo/STS-multilingual-mpnet-base-v2 — дообученная Gameselo модель Sentence Transformers на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для оценки семантического сходства, семантического поиска, поиска перефразирований, кластеризации и классификации текста. Для сравнения векторов предусмотрена косинусная мера сходства. README указывает максимальную длину последовательности 128 токенов, а метаданные — размер модели 305,2 млн параметров и контекст 514 токенов. Модель рассчитана на многоязычные тексты. В README приведены результаты на мультиязычных наборах STS, включая примеры для арабского и английско-арабского; карточка также описывает обучение на парах предложений с оценками сходства. Метаданные указывают формат safetensors и библиотеку sentence-transformers. Лицензия в предоставленных данных не указана.

VeriCite Embedder — дообученная англоязычная модель для получения эмбеддингов предложений, разработанная автором репозитория hishammoizuddin. Она основана на sentence-transformers/all-MiniLM-L6-v2 и использует архитектуру BERT; число параметров — 25,9 млн, максимальная длина контекста — 512 токенов. Модель предназначена для сравнения семантической близости текстов и извлечения признаков, например для поиска похожих предложений и проверки текстовых совпадений. Карточка указывает совместимость с sentence-transformers; веса доступны в формате safetensors. Лицензия — Apache-2.0.

Granite-3.2-8B-Instruct — плотная языковая модель IBM Granite Team с 8,2 млрд параметров, дообученная на базе ibm-granite/granite-3.1-8b-instruct для выполнения инструкций и задач рассуждения. Модель поддерживает управляемый режим рассуждения, который можно включать по необходимости, и работает через библиотеку Transformers; доступны веса в формате safetensors. Модель предназначена для диалоговых помощников и общих прикладных сценариев: суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом и вызова функций. Контекст — до 131 072 токенов, что подходит для анализа длинных документов и стенограмм. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Модель распространяется по лицензии Apache 2.0. README указывает, что к ней применимы этические ограничения и ограничения Granite-3.1-8B-Instruct; конкретные ограничения в карточке не перечислены.

Jackrong/Qwen3.8-27B-MTP-GGUF — мультимодальная причинная языковая модель семейства Qwen3.8, опубликованная пользователем Jackrong в формате GGUF. Она предназначена для диалогов, генерации и анализа текста, программирования, профессиональных и исследовательских задач, долгих агентных сценариев, вызова инструментов, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров и сочетает языковую модель с vision-энкодером. Архитектура включает 64 слоя, механизмы Gated DeltaNet и Gated Attention, а также Multi-Token Prediction (MTP). Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживается управляемый режим рассуждений: его можно отключать для отдельных запросов, настраивать глубину через reasoning_effort и сохранять контекст рассуждений с помощью preserve_thinking. Языки явно не перечислены. Ключевое отличие этой версии — встроенная MTP-голова для speculative decoding без отдельной draft-модели. В опубликованном внутреннем тестировании с llama.cpp это дало примерно двукратный прирост пропускной способности и снижение средней задержки примерно в 1,88 раза; рекомендуемый параметр — max draft = 2. Фактическая производительность зависит от оборудования, длины запроса и ответа, глубины рассуждений и настроек запуска. Модель распространяется по лицензии Apache-2.0 и совместима с экосистемами Transformers, vLLM, SGLang, TokenSpeed и другими инструментами, поддерживающими соответствующие форматы.

google/gemma-4-31B-it-qat-w4a16-ct — инструкционная мультимодальная модель семейства Gemma 4, разработанная Google DeepMind. Она принимает текст и изображения и генерирует текст; предназначена для рассуждений, генерации текста, программирования, мультимодального анализа и агентских сценариев с поддержкой вызова функций. Модель имеет плотную архитектуру с 30,7 млрд параметров, 60 слоями и гибридным механизмом внимания, сочетающим локальное скользящее и глобальное внимание. Контекстное окно составляет до 256 тысяч токенов, размер словаря — 262 тысячи токенов. Gemma 4 поддерживает более 140 языков, режимы настраиваемого рассуждения и системные промпты. Для версии 31B заявлены текстовая и визуальная модальности; аудио для этой конфигурации не поддерживается. Суффикс qat-w4a16-ct указывает на чекпойнт, обученный с учётом квантизации и сохранённый в формате compressed-tensors с 4-битными весами и 16-битными активациями. Такой вариант ориентирован на эффективный инференс, включая нативное использование с vLLM, и должен требовать существенно меньше памяти при сохранении качества, близкого к bfloat16. Ограничениями являются повышенные требования к ресурсам по сравнению с меньшими моделями Gemma 4 и отсутствие аудиовхода. Лицензия — Apache 2.0.

Granite-3.1-2B-Instruct — языковая модель IBM Granite Team для выполнения инструкций и создания диалоговых AI-ассистентов. Это дообученная на базе ibm-granite/granite-3.1-2b-base плотная decoder-only Transformer-модель с 2,5 млрд параметров и контекстом до 131 072 токенов. В архитектуре используются GQA, RoPE, SwiGLU, RMSNorm и общие входные и выходные эмбеддинги; модель работает в библиотеке Transformers, веса доступны в формате safetensors. Модель предназначена для суммаризации, классификации и извлечения текста, ответов на вопросы, RAG, задач с кодом, вызова функций и диалога на нескольких языках. Длинный контекст подходит для анализа документов и стенограмм встреч. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков; обучение инструкциям преимущественно англоязычное, поэтому результаты на других языках могут быть слабее. Модель разработана IBM и выпущена под лицензией Apache 2.0. Несмотря на меры по безопасности, она может выдавать неточные, предвзятые или небезопасные ответы; для конкретного применения рекомендуется проверка и настройка.

Mungert/Mistral-Small-3.2-24B-Instruct-2506-GGUF — GGUF-квантизированные версии языково-мультимодальной модели Mistral-Small-3.2-24B-Instruct-2506, разработанной Mistral AI и опубликованной пользователем Mungert. Модель является обновлением Mistral-Small-3.1-24B-Instruct-2503 и предназначена для диалогов, следования инструкциям, генерации текста и кода, решения STEM-задач, function calling, а также анализа изображений, документов, таблиц и диаграмм. Модель содержит около 24 млрд параметров, поддерживает текстово-визуальный ввод и языки английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Версия 3.2 улучшает точность следования инструкциям, снижает вероятность зацикленной генерации и предлагает более надёжный шаблон function calling. Для создания GGUF-файлов использовался llama.cpp; автор применяет дополнительное повышение точности отдельных слоёв при квантовании, что может улучшать качество на низких разрядностях за счёт увеличения размера файлов. Сильные стороны модели — улучшенные результаты в instruction following, программировании, математике, STEM-бенчмарках и отдельных задачах компьютерного зрения. Ограничения включают зависимость качества, размера и скорости от выбранного уровня квантования, а также несколько более низкие результаты в некоторых vision-бенчмарках по сравнению с предыдущей версией. В карточке не указана длина контекстного окна. Модель распространяется по лицензии Apache-2.0 и рекомендуется к использованию через vLLM; также заявлена совместимость с transformers.

Qwen3.5-122B-A10B-FP8 — мультимодальная модель семейства Qwen3.5, разработанная командой Qwen. Это постобученная версия с причинной языковой моделью и vision encoder, предназначенная для работы с текстом и изображениями, включая рассуждение, программирование, визуальное понимание и агентские сценарии. Модель содержит 122 млрд параметров, из которых 10 млрд активируются при обработке запроса. Она использует гибридную архитектуру Gated Delta Networks и разреженную Mixture-of-Experts с 256 экспертами, из которых активируются 8 маршрутизируемых и 1 общий эксперт. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Данная версия содержит fine-grained FP8-квантизированные веса с размером блока 128; производительность заявлена близкой к исходной модели. Сильными сторонами являются сочетание мультимодальности, большого контекста, разреженной архитектуры для более эффективного вывода и широкого языкового охвата. Ограничения, зависящие от конкретной задачи, аппаратной конфигурации и используемого программного стека, в README не раскрыты; FP8-формат также требует совместимой поддержки. Модель распространяется по лицензии Apache-2.0 и совместима с Hugging Face Transformers, vLLM, SGLang и KTransformers.

RedHatAI/Qwen3.8-27B-NVFP4 — квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen; базовая модель указана как Qwen/Qwen3.8-27B. Это плотная causal language model с vision encoder, предназначенная для генерации и анализа текста, программирования, профессиональных и исследовательских задач, многошагового планирования и агентских сценариев. Модель нативно поддерживает понимание изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов с применением RoPE scaling, например YaRN. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; предусмотрены режимы рассуждения с настраиваемой глубиной, отключением thinking mode и сохранением контекста рассуждений из предыдущих сообщений. Указанная сборка использует квантизацию NVFP4/FP4, при этом lm_head квантизирован в FP8. К сильным сторонам относятся компактность для модели такого класса, поддержка текста, изображений и видео, длинного контекста, программирования и автономного выполнения сложных задач. Ограничение данной сборки заключается в совместимости: согласно README, она работает только в vLLM и не поддерживается SGLang. Для запуска и качества генерации могут потребоваться специальные параметры семплирования и значительный лимит выходных токенов. Модель распространяется по лицензии Apache-2.0.

CohereLabs/command-a-plus-05-2026-fp8 — FP8-квантизированная версия Command A+, разработанная Cohere и Cohere Labs. Это открытая decoder-only Sparse Mixture-of-Experts Transformer-модель, предназначенная для агентских, мультиязычных и требовательных к рассуждению задач, включая корпоративные сценарии, диалоговое взаимодействие и обработку изображений. Модель принимает текст и изображения, а генерирует текст. Она содержит 25 млрд активных параметров и 218 млрд параметров всего, использует 128 экспертов, из которых 8 выбираются для каждого токена, а также одного общего эксперта. Архитектура сочетает скользящее и глобальное внимание в соотношении 3:1 и поддерживает контекст до 128K входных токенов. Обучение охватывает 48 языков, включая английский, русский, немецкий, французский, испанский, арабский, китайский, японский, корейский и другие. FP8-квантизация снижает требования к вычислительной инфраструктуре по сравнению с полноразмерной BF16-версией; для неё заявлены ориентировочные конфигурации от 2 GPU B200 или 4 GPU H100. В README указано, что доступные варианты квантизации демонстрируют незначительные различия в качестве и производительности, однако рекомендуемым для большинства задач назван вариант W4A4 благодаря меньшей задержке и аппаратным требованиям. Для запуска необходимы совместимые версии Transformers или vLLM, а для vLLM требуется vLLM 0.21.0 или новее. Модель распространяется по лицензии Apache 2.0.