I.3Извлечение и структурирование данных

ViT-B-16-SigLIP2-512 — контрастивная модель «изображение–текст» семейства SigLIP 2, обученная на наборе WebLI. Разработчики карточки преобразовали исходные контрольные точки JAX из проекта Big Vision для использования в OpenCLIP; библиотека модели — open_clip, веса доступны в форматах PyTorch и safetensors. Модель предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: она сопоставляет изображение с предложенными текстовыми метками и оценивает их соответствие. Это подходит для поиска изображений по описанию и категоризации с собственным набором классов. В названии указаны архитектура ViT-B-16 и разрешение 512; карточка отмечает многоязычное направление семейства SigLIP 2, но не перечисляет конкретные поддерживаемые языки. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценки качества или подробных сведений об ограничениях, поэтому надёжность на конкретных доменах и языках следует проверять на целевых данных.

Модель timm/vit_base_patch16_plus_clip_240.laion400m_e32 разработана для экосистем open_clip и timm. Это вариант CLIP с архитектурой ViT-B-16-plus-240, обученный на наборе изображений и текстов LAION-400M. Она сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по заданным пользователем категориям без отдельного обучения классификатора. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — MIT. Модель принимает изображения и текстовые метки классов, а для классификации выдаёт оценки соответствия изображения каждой метке. Данных о контекстном окне или поддерживаемых естественных языках в предоставленной карточке нет.

Это модель CLIP с визуальным энкодером Vision Transformer (ViT-B/32), обученная на наборе данных LAION-400M. Она доступна для использования через open_clip и timm; вариант open_clip называется ViT-B-32-quickgelu. Модель сопоставляет изображения и текстовые описания, поэтому подходит для классификации изображений по текстовым меткам без дополнительного обучения и поиска изображений по смысловым запросам. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — MIT.

matiss/vllm-translategemma-4b-it — версия TranslateGemma, подготовленная для запуска через vLLM. Google разработала исходную модель как компактную мультимодальную модель перевода на архитектуре Gemma 3; эта карточка описывает изменения шаблона чата, конфигурации модели и параметров генерации для совместимости с vLLM. Модель переводит текст между 55 языками и может извлекать текст из изображения и переводить его. Для изображений предусмотрен вход с разрешением 896 × 896 пикселей, кодируемый в 256 токенов; общий контекст составляет 2K токенов. Модель предназначена для перевода в приложениях и средах с ограниченными ресурсами, включая локальные компьютеры и облачную инфраструктуру. Она принимает текст и изображения и выдаёт переведённый текст. Качество зависит от обучающих данных; модель может ошибаться в передаче нюансов, неоднозначных выражений и фактов. Репозиторий содержит веса в формате safetensors; лицензия — Gemma, использование регулируется условиями Google Gemma.

Kkonjeong/wav2vec2-base-korean — модель распознавания корейской речи, разработанная Чонхёном Парком и Джеёном Кимом. Это дообученная версия facebook/wav2vec2-base с архитектурой Wav2Vec2ForCTC, содержащая 113,3 млн параметров. Модель обучена на Zeroth-Korean и преобразует аудиозаписи корейской речи в текст, используя для распознавания корейские джамо.

DrishtiSharma/wav2vec2-large-xls-r-300m-hi-CV7 — модель распознавания речи, разработанная Drishti Sharma и дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Common Voice 7.0 для языка хинди. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст на хинди. Модель подходит для транскрибирования записей речи и оценки систем распознавания хинди. В README указаны значения loss 0,6588 и WER 0,2987 на оценочном наборе. Модель распространяется по лицензии Apache-2.0.

shniranjan/wav2vec2-large-xlsr-300m-nepali — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC из семейства wav2vec2. Она преобразует аудио на непальском языке в текст и предназначена для сценариев автоматической транскрипции речи. В метаданных указано 402,7 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель можно использовать напрямую, без языковой модели. Карточка не сообщает о специальных ограничениях качества или условиях применения; лицензия в предоставленных данных не указана.

wav2vec2-large-xls-r-300m-spanish-small — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная glob-asr на датасете Common Voice от базовой модели jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Модель принимает аудио и преобразует речь в текст; она предназначена для распознавания испанской речи. В репозитории указано 402,7 млн параметров. На оценочной выборке модель достигла loss 0,3596 и WER 0,2105. Доступны веса в формате PyTorch. Лицензия и подробные ограничения в предоставленных данных не указаны.

Модель mpoyraz/wav2vec2-xls-r-300m-cv6-turkish разработана как дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на турецком языке. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. Для обучения использовались проверенная часть Common Voice 6.1 TR, кроме тестовой выборки, и MediaSpeech. В README также описана отдельная n-граммная языковая модель KenLM, обученная на статьях турецкой Википедии. Модель подходит для транскрибирования турецкой речи и оценки систем распознавания на наборах Common Voice и Speech Recognition Community. В README приведены результаты: WER 8,83 и CER 2,37 на тестовой выборке Common Voice 6.1 TR, а также WER 32,81 и CER 11,22 на dev-наборе Speech Recognition Community. Модель распространяется по лицензии Apache-2.0.

Whisper-Base-MLA — модель распознавания речи от burakaydinofficial, созданная на основе OpenAI Whisper Base. В ней декодерное self-attention преобразовано из MHA в MLA, что сокращает KV-кэш декодирования на 62,5%; размер модели — 51,7 млн параметров. Модель дообучена для восстановления качества после преобразования на 11 языках корпуса Whispered и рассчитана на сценарии с ограниченной памятью, где важен размер кэша при генерации и параллельной обработке аудио. Модель предназначена для автоматической транскрипции речи. В README приведены результаты для английского, немецкого и испанского на CommonVoice-17, а также оценки на FLEURS; тесты описаны для записей речи с потребительских микрофонов и фонового шума. Преобразование MLA связано с медианным ухудшением WER примерно на 1 пункт относительно сопоставимого необработанного варианта Whisper Base. Для загрузки требуются transformers версии 4.46.x и trust_remote_code=True; модель несовместима с whisper.cpp, faster-whisper и CTranslate2. Заявленная языковая область ограничена 11 языками обучения, а на невиданных письменностях качество снижается. KV-кэш cross-attention и память энкодера не сжимаются, поэтому экономия общей памяти при одном потоке может быть скромной. Лицензия — Apache-2.0.

CLEAR Global совместно с Makerere University Centre for Artificial Intelligence and Data Science дообучили мультиязычную модель распознавания речи Whisper Small на одобренной части набора TWB Voice 1.0 для хауса. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текстовую транскрипцию; в метаданных указана библиотека Transformers и формат весов safetensors. Модель предназначена для транскрибирования речи на хауса. На внутренней тестовой выборке TWB Voice 1.0 указаны WER 2,23% и CER 3,11%; тестовые дикторы не пересекались с обучающей и валидационной выборками. Также проводилась оценка на Common Voice v17 и Naija Voices, но её результаты не приведены. Модель распространяется по лицензии CC BY-SA 4.0.

duytran3112/whisper-sm-vivos — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная на Hugging Face. Она предназначена для преобразования аудио в текст; карточка сообщает о дообучении на наборе данных, название которого указано как None. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и принимает аудио, выдавая текст. В оценке на тестовом наборе указаны Loss 0,2370 и WER 54,8563; высокий WER может ограничивать точность транскрибирования. Лицензия — Apache-2.0.

jmshd/whisper-uz — дообученная Jamshid Ahmadov модель Whisper Base для автоматического распознавания речи на узбекском языке. Она принимает аудио и генерирует текстовую расшифровку; при дообучении использованы Common Voice 17.0 и датасет uzbekvoice. В README приведён результат на оценочном наборе: WER 14,0135 и loss 0,1652. Модель построена на архитектуре Whisper, содержит 51,7 млн параметров и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0.

WinterGoliath-123b-32k — слитая модель авторегрессионной генерации текста на архитектуре Llama, опубликованная ChuckMcSneed. Она объединяет Xwin и WinterGoddess, расширенные до контекста 32 768 токенов; для запросов README предлагает формат Vicuna или Alpaca. Модель предназначена для генерации текста и диалогов. В README автор отмечает, что модель умнее Goliath-32k, но имеет особенности и несколько повреждена по сравнению с исходной WinterGoliath; приведённый тест назван автором шуточным, поэтому его результаты не дают надёжной оценки качества. Репозиторий содержит веса Safetensors, размер модели — 123,5 млрд параметров. Лицензия — Llama 2.

XGLM-2.9B — авторегрессионная мультиязычная языковая модель семейства XGLM, разработанная командой Facebook/Meta и представленная в работе о few-shot обучении мультиязычных языковых моделей. Она предназначена для генерации текста и few-shot решения языковых задач, включая оценивание вариантов ответа. Модель содержит около 3,3 млрд параметров, обучена на сбалансированном корпусе на 500 млрд субтокенов и принимает текст, продолжая его авторегрессионно; длина контекста составляет 2048 токенов. Модель поддерживает широкий набор естественных языков, включая английский, русский и китайский. Её можно применять для генерации и продолжения текста, а также для экспериментов с few-shot prompting. Репозиторий содержит веса PyTorch. Лицензия — MIT. README ссылается на отдельную карточку разработчиков для подробностей предполагаемого использования.

Plim/xls-r-1b-cv_8-fr — акустическая модель распознавания французской речи, дообученная на датасете Mozilla Foundation Common Voice 8.0, конфигурация fr. Она основана на facebook/wav2vec2-xls-r-1b и использует архитектуру wav2vec2 с CTC-декодированием; число параметров — около 1,3 млрд. Модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для автоматической транскрипции французской речи, в том числе записей, похожих на данные Common Voice. В README приведены результаты оценки: на тестовой выборке Common Voice WER составляет 18,33 без языковой модели и 15,40 с ней; на dev-выборке speech-recognition-community-v2 — 31,33 и 25,05 соответственно. Лицензия — Apache-2.0. Показатели зависят от набора данных и декодирования, а результатов для тестовой выборки audio в карточке нет.

AIArchiveInfo публикует побитовую архивную копию базовой языковой модели Yi-6B, созданной компанией 01.AI. Веса скопированы из 01-ai/Yi-6B без обучения, дообучения или изменений; модель основана на плотной архитектуре Transformer типа Llama и содержит около 5,8 млрд параметров. Контекст составляет до 4096 токенов. Модель предназначена для генерации текста и может служить основой для задач понимания языка, рассуждений и чтения на английском и китайском языках. Это базовая, а не чат-версия модели; для диалога может потребоваться дополнительная настройка. Репозиторий содержит веса PyTorch и Safetensors. Лицензия Apache 2.0.

Zurich 14B GammaCorpus v2-5m — диалоговая языковая модель, созданная Rubenroy дообучением Qwen/Qwen2.5-14B-Instruct на наборе GammaCorpus v2-5m со структурированными отфильтрованными многоходовыми диалогами. Модель предназначена для генерации текста и ответов в диалогах; каталог также отмечает интерфейс для вызова инструментов. Это плотная causal language model семейства Qwen2 с архитектурой Transformers, RoPE, SwiGLU, RMSNorm и смещением в QKV attention. В модели 14,7 млрд параметров, 48 слоёв и контекст до 32 768 токенов. Карточка указывает английский язык. Весовые файлы представлены в формате safetensors, для запуска рекомендуется актуальная версия Transformers. Модель подходит для многоходовых бесед, генерации ответов и структурированных текстовых результатов. README предупреждает о возможности предвзятых ответов, несмотря на попытки снизить смещения. Лицензия — Apache 2.0.

unsloth/Qwen3.8-27B-FP8 — FP8-квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Это плотная каузальная языковая модель с vision encoder, предназначенная для генерации текста, программирования, профессиональных и исследовательских задач, долгих агентских сценариев, а также понимания изображений и видео, включая документы, STEM-диаграммы и продолжительные видеоматериалы. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов. Архитектура основана на сочетании Gated DeltaNet, Gated Attention и FFN; также используется Multi-Token Prediction. Доступны режимы с рассуждением и без него: глубину рассуждений можно регулировать параметром reasoning_effort, а контекст рассуждений в диалоге сохранять с помощью preserve_thinking. Указанные материалы совместимы с Hugging Face Transformers, vLLM, SGLang и TokenSpeed. К сильным сторонам относятся развитые возможности для кода, профессиональной работы, исследований, автономного планирования и выполнения многошаговых задач, а также нативная мультимодальность и близкая к исходной модели производительность после квантизации. Ограничения включают зависимость эффективности и пропускной способности от используемого inference-фреймворка, а также дополнительные вычислительные и временные затраты при включённом глубоком рассуждении. В README не указаны поддерживаемые языки. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит веса и конфигурации в формате Hugging Face Transformers; для производственного или высоконагруженного развёртывания рекомендуются специализированные серверные движки, например vLLM или SGLang.

Qwen3-235B-A22B-FP8 — крупная причинно-следственная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-квантованный вариант базовой модели Qwen3-235B-A22B, предназначенный для генерации текста, диалогов, следования инструкциям, сложного логического рассуждения, математики, программирования, творческого письма, перевода и агентских сценариев с интеграцией внешних инструментов. Модель использует архитектуру Mixture of Experts (MoE): 235 млрд параметров всего, из которых 22 млрд активируются при обработке каждого запроса; заявлены 94 слоя, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 64 головами для Q и 4 для KV. Нативный контекст составляет 32 768 токенов, а с YaRN — до 131 072 токенов. Поддерживаются более 100 языков и диалектов. Модель умеет переключаться между режимами thinking для сложных рассуждений и non-thinking для более быстрых универсальных ответов. К сильным сторонам относятся развитые способности к рассуждению, многоязычность, следование инструкциям, многошаговый диалог и работа с инструментами. FP8-квантизация с блочным размером 128 может повысить эффективность инференса, однако модель остаётся очень ресурсоёмкой. Для распределённого инференса в transformers указаны известные проблемы с fine-grained FP8; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-FP8 — языковая модель серии Qwen, разработанная командой Qwen. Это causal language model в формате FP8-квантизации, предназначенная для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, перевода и задач с использованием внешних инструментов и агентных сценариев. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых при обработке каждого токена активируется около 3,3 млрд; в ней 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Модель поддерживает более 100 языков и диалектов, а также переключение между режимами рассуждения и обычной генерации. Сильные стороны модели — сочетание высокой ёмкости с меньшим числом активных параметров, развитое рассуждение, поддержка многоязычных инструкций, диалогов и инструментальных сценариев. Ограничения связаны с использованием FP8-квантизации: для распределённого вывода в Transformers известны проблемы, из-за которых может потребоваться настройка CUDA_LAUNCH_BLOCKING=1. Для работы нужны совместимые версии Transformers, vLLM или SGLang и соответствующее аппаратное обеспечение. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Meta и предназначенная для запуска с llama.cpp. Модель представляет собой авторегрессионную большую языковую модель на базе оптимизированной архитектуры Transformer. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Модель работает только с текстом на входе и генерирует многоязычный текст и код. Она предназначена прежде всего для диалоговых ассистентов, генерации и обработки текста, программирования, синтетической генерации данных и дистилляции других моделей. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель содержит 70 млрд параметров, поддерживает Grouped-Query Attention и контекст длиной до 128 тысяч токенов. Данные обучения включают более 15 трлн токенов, срез знаний — декабрь 2023 года. Сильными сторонами являются большой контекст, многоязычный режим, поддержка кода и оптимизация для диалоговых сценариев. Это статическая модель, обученная на офлайн-данных, поэтому она не обладает актуальными знаниями после даты отсечения и может требовать проверки ответов. Репозиторий содержит квантизированный формат GGUF; для полной поддержки необходима llama.cpp версии 5e2727f или новее. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и применимой Acceptable Use Policy.

Nemotron-3-Ultra-550B-A55B-NVFP4 — большая языковая модель NVIDIA для диалогов, рассуждений и построения агентных систем. Она содержит 550 млрд параметров, из которых 55 млрд активны при вычислении, и использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2, Mixture-of-Experts и Attention, а также Multi-Token Prediction. Модель распространяется в формате safetensors и рассчитана на контекст до 1 млн токенов. Модель предназначена для сложных многошаговых сценариев: работы AI-агентов, анализа больших документов и кодовых баз, ответов на вопросы, а также задач по коду, математике и науке. Она поддерживает английский, французский, испанский, итальянский, немецкий, японский, корейский, хинди, португальский и китайский языки; метаданные также указывают арабский и иврит. NVIDIA заявляет о готовности модели к коммерческому и некоммерческому использованию; лицензия обозначена как other, поэтому перед внедрением следует ознакомиться с условиями в карточке модели. Это крупный checkpoint, для которого руководство рекомендует многосерверное развертывание на подходящем оборудовании NVIDIA.

JunHowie/Qwen3-30B-A3B-Instruct-2507-GPTQ-Int4 — это квантизированная версия Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Модель относится к причинным языковым моделям и предназначена для генерации текста, следования инструкциям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и многоязычных сценариев. Она работает только в non-thinking режиме и не формирует блоки <think></think>. В основе используется MoE-архитектура: всего 30,5 млрд параметров, из которых активируется 3,3 млрд; 48 слоёв, 128 экспертов, 8 активируемых экспертов, а также GQA с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена. Данная версия сжата до 4 бит с group size 128 и настройкой desc_act=False, что, согласно README, повышает эффективность по числу токенов в секунду по сравнению с предыдущими квантизированными версиями. Для запуска рекомендуется vLLM версии 0.9.2 или новее. Модель подходит для чат-систем, генерации и обработки текста, анализа длинных документов, программирования, математических и исследовательских задач, а также агентских сценариев с использованием инструментов. К сильным сторонам относятся длинный контекст, улучшенные instruction following, reasoning, coding, alignment и многоязычные возможности базовой модели. Ограничения включают работу только в non-thinking режиме и возможные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0.

Qwen3-32B-FP8 — языковая модель с авторегрессионной архитектурой causal language model, разработанная командой Qwen. Это FP8-квантизованная версия Qwen3-32B с 32,8 млрд параметров, из которых 31,2 млрд приходятся на неприкрытые эмбеддингом параметры. Модель содержит 64 слоя и использует Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Она распространяется через Hugging Face Transformers и предназначена для генерации текста. Модель подходит для диалогов, следования инструкциям, творческого письма, ролевого взаимодействия, математических и логических задач, генерации кода, перевода, многоязычного общения и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает более 100 языков и диалектов, а также переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрых ответов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN может достигать 131 072 токенов. FP8-квантизация с мелкозернистой схемой и размером блока 128 снижает требования к памяти и может повысить эффективность инференса, однако для распределённого запуска в Transformers указаны известные проблемы; при использовании нескольких устройств может потребоваться CUDA_LAUNCH_BLOCKING=1. Для развёртывания рекомендуются актуальные версии Transformers, SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.

JunHowie/Qwen3-32B-GPTQ-Int4 — это 4-битная GPTQ-квантизованная версия языковой модели Qwen3-32B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческих задач, перевода и агентских сценариев с интеграцией внешних инструментов. Qwen3 поддерживает переключение между режимом рассуждения для сложных задач и нережимом рассуждения для более быстрой генерации, а также более 100 языков и диалектов. Модель является плотной causal language model с 32,8 млрд параметров, 64 слоями и механизмом GQA: 64 головы запросов и 8 голов ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с YaRN может достигать 131 072 токенов. Квантизация выполнена в 4 бита с group size 128; настройка desc_act=False повышает эффективность по скорости генерации токенов по сравнению с более ранними квантизованными версиями. Ограничениями являются возможное снижение точности по сравнению с полной версией модели и зависимость от совместимого программного окружения, включая vLLM версии 0.9.2 или выше. Модель распространяется по лицензии Apache 2.0.

Qwen3-4B-FP8 — FP8-квантованная версия причинной языковой модели Qwen3-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, математических и логических рассуждений, программирования, творческого письма, многошаговых агентных сценариев и работы с внешними инструментами. Она поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Модель содержит 4,0 млрд параметров, из которых 3,6 млрд приходятся на параметры без учёта эмбеддингов, и включает 36 слоёв. Используется архитектура causal language model с группированным запросом внимания GQA: 32 головы для Q и 8 для KV. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. Qwen3 поддерживает переключение между режимом рассуждений для сложных задач и нережимом рассуждений для более быстрой обработки обычных запросов. Суффикс FP8 указывает на мелкозернистое квантование FP8 с размером блока 128, что ориентировано на повышение эффективности инференса при сохранении совместимости с распространёнными фреймворками. Среди ограничений отмечены известные проблемы совместимости vLLM и особенности распределённого инференса в Transformers; для некоторых конфигураций требуется дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-FP8 — мультимодальная модель семейства Qwen, разработанная командой Qwen. Это FP8-квантизированная версия постобученной модели Qwen3.5-397B-A17B в формате Hugging Face Transformers, предназначенная для локального и серверного вывода с использованием Transformers, vLLM, SGLang, KTransformers и совместимых инструментов. Модель сочетает языковую модель с vision encoder и поддерживает обработку текста и изображений. Она использует гибридную архитектуру Gated Delta Networks и разреженной Mixture-of-Experts: всего 397 млрд параметров, из которых активируется 17 млрд; предусмотрено 512 экспертов, из них для токена выбираются 10 маршрутизируемых и 1 общий. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Модель ориентирована на рассуждения, программирование, визуальное понимание, агентные сценарии и другие задачи общего назначения. Ключевое преимущество версии FP8 — снижение требований к ресурсам при сохранении показателей, близких к исходной модели; используется мелкозернистое FP8-квантизирование с размером блока 128. Ограничениями являются значительные требования к вычислительной инфраструктуре из-за общего размера модели, а также необходимость проверять фактическую совместимость и производительность конкретного стека инференса. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-4-E4B-it-NVFP4 — квантизированная версия instruction-tuned модели Gemma 4 E4B, разработанной Google DeepMind и опубликованной Unsloth. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и мультимодального анализа. Модель относится к семейству Gemma 4 и имеет плотную архитектуру с примерно 4,5 млрд эффективных параметров (8 млрд с учётом эмбеддингов) и 42 слоями. Она поддерживает текстовые и визуальные входные данные, а также аудио для малых моделей Gemma 4, включая E4B. Контекстное окно составляет до 128K токенов. Архитектура использует гибридное внимание с локальными скользящими окнами и глобальным вниманием, что помогает снижать требования к памяти при работе с длинным контекстом. Формат NVFP4 ориентирован на эффективное выполнение и развёртывание на совместимом оборудовании. К сильным сторонам относятся мультимодальность, поддержка многоязычия более чем на 140 языках, настраиваемые режимы рассуждений, улучшенные возможности программирования, нативная поддержка вызова функций и системных инструкций. Ограничения связаны с требованиями к совместимым программным и аппаратным средствам для NVFP4, а также с тем, что квантизация может влиять на точность по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache 2.0.

RedHatAI/Llama-3.3-70B-Instruct-quantized.w8a8 — квантизированная версия языковой модели Llama-3.3-70B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая модель формата «текст на входе — текст на выходе», предназначенная для диалоговых ассистентов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также коммерческого и исследовательского использования. Модель использует архитектуру Llama и имеет 70 млрд параметров в исходной версии. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8. Для весов применяется статическая симметричная поканальная квантизация, для активаций — динамическая симметричная поточенная квантизация. По данным README, это примерно вдвое снижает требования к видеопамяти и размеру модели, а также может примерно вдвое увеличить пропускную способность матричных умножений. Приведённые примеры развертывания используют vLLM и длину контекста 8192 или 32768 токенов, однако точный нативный размер контекста в README не указан. По результатам внутренней оценки модель сохраняет 99,4% качества исходной версии по OpenLLM v1 и показывает 100% pass@1 на HumanEval и HumanEval+. Она оптимизирована для эффективного инференса, в частности через vLLM и совместимые с OpenAI API серверы, но квантизация может приводить к некоторой потере качества по сравнению с полной точностью. Модель предназначена только для текстовых задач и не поддерживает мультимодальный ввод. Условия использования определяются лицензией Llama 3.3 от Meta; README также исключает применение с нарушением действующих законов и нормативных требований. Модель была валидирована в Red Hat OpenShift AI 2.20, Red Hat AI Inference Server 3.0, Red Hat Enterprise Linux AI 1.5 и vLLM 0.8.4.