I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиshixuanleong/cv-vlm — модель компьютерного зрения с языковым интерфейсом, опубликованная Shi Xuan Leong на Hugging Face. По метаданным это Florence-2 объёмом около 0,3 млрд параметров, предназначенная для задач, где требуется анализ изображения и текстовый ответ. Поддерживаемые сценарии включают описание изображений, визуальные вопросы и ответы, OCR и сегментацию. Модель принимает изображение и текстовый запрос, а результат формирует в текстовом виде. Репозиторий использует веса PyTorch в формате Safetensors и распространяется по лицензии MIT. Для конкретной версии cv-vlm отдельные языковые характеристики, длина контекста и результаты оценки качества в доступных источниках не подтверждены. Florence-2 следует рассматривать как компактную модель для задач компьютерного зрения; точность зависит от изображения и типа запроса.
DeepSeek-OCR-2-6bit — мультимодальная vision-language модель для анализа изображений и генерации текста, ориентированная прежде всего на задачи OCR и понимания визуального содержимого. Модель преобразована сообществом mlx-community в формат MLX из prince-canuma/DeepSeek-OCR-2 с использованием mlx-vlm версии 0.3.10. Модель предназначена для распознавания и описания содержимого изображений, включая сценарии обработки документов и извлечения текста. Она поддерживает мультиязычный режим, принимает изображения и формирует текстовые ответы; в README приведён пример запроса на описание изображения через mlx-vlm. Точные сведения об архитектуре, количестве параметров, размере контекста и перечне языков не указаны. Ключевая особенность этой версии — 6-битное квантование и совместимость с MLX, что может снизить требования к памяти при локальном запуске на поддерживаемом оборудовании. Ограничениями являются отсутствие в карточке подробных данных о качестве распознавания, поддерживаемых форматах и аппаратных требованиях, а также возможная необходимость custom code. Модель распространяется по лицензии Apache-2.0.
Elliot OV2 SFT 9k — исследовательский vision-language чекпойнт ElliotVL, экспортированный из 9-тысячного шага обучения Megatron в формат Hugging Face. Модель содержит 2 млрд параметров: языковая башня основана на Qwen3.5-2B с гибридным полным и линейным вниманием, а визуальная — на SigLIP2 NaViT с поддержкой изображений исходного разрешения. Модель принимает изображения вместе с текстовыми запросами и формирует текстовые ответы. Она предназначена для диалога по изображениям, распознавания текста на изображениях и документов, визуальных вопросов и ответов, а также анализа диаграмм и графиков. В README приведены результаты оценки на OCRBench, RealWorldQA и других наборах; автор отдельно указывает ограничения сопоставимости некоторых бенчмарков и особенности их подсчёта. Для запуска требуется Transformers 5.8.0.dev0, а также PyTorch, Pillow, Accelerate и Safetensors; в репозитории представлены веса safetensors, процессор, шаблон чата и модули удалённого кода. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели.
Systran подготовила конверсию английской версии Whisper base.en от OpenAI в формат CTranslate2. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Подробности об исходной модели приведены в карточке OpenAI Whisper base.en.
Модель dhansmair/flamingo-mini — модель семейства Flamingo, обученная для создания текстовых описаний изображений. Разработчик карточки указывает обучение на датасете Conceptual Captions 3M; в метаданных архитектура обозначена как FlamingoModel, а формат весов — PyTorch. Модель предназначена для генерации подписи к изображению. Данные подтверждают поддержку английского языка и лицензию Apache-2.0. Размер модели и длина контекста не указаны.
gemma-3n-E4B-it-MLX-4bit — это 4-битная квантованная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google. Квантование в формате MLX предоставлено командой LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач преобразования изображений, аудио и видео в текст, включая автоматическое распознавание и перевод речи, а также сценарии audio-text-to-text и video-text-to-text. В README не указаны точные архитектурные параметры, число параметров, поддерживаемые языки и размер контекстного окна. Ключевые преимущества — сниженное потребление памяти и вычислительных ресурсов благодаря 4-битной квантовании и адаптация к экосистеме Apple Silicon. Возможные ограничения связаны с потерей точности из-за квантования, а также с отсутствием в предоставленных данных подробных характеристик качества и совместимости. Для доступа и использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в её тексте.
mlx-community/GLM-OCR-4bit — это 4-битная версия модели GLM-OCR, преобразованная сообществом mlx-community из исходной модели zai-org/GLM-OCR в формат MLX с использованием mlx-vlm версии 0.3.10. Модель предназначена для преобразования изображений в текст и может применяться, например, для распознавания и описания содержимого изображений. Модель поддерживает китайский, английский, французский, испанский, русский, немецкий, японский и корейский языки. Она относится к классу image-to-text и предназначена для запуска через библиотеку mlx-vlm на совместимом с MLX оборудовании. Из доступных данных не указаны архитектура исходной модели, количество параметров, максимальная длина контекста, точные возможности распознавания документов и таблиц, а также количественные показатели качества. Ключевая особенность варианта — 4-битное квантование и формат MLX, что может снизить требования к памяти и упростить локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Лицензия модели — MIT. Для подробностей об архитектуре и ограничениях следует обращаться к карточке исходной модели zai-org/GLM-OCR.
Granite-4.0-1b-speech — компактная речевая модель IBM на 1 млрд параметров, полученная адаптацией Granite-4.0-1b-base для работы с аудио. Она предназначена для многоязычного распознавания речи и перевода речи в текст, в том числе перевода между английским и французским, немецким, испанским, португальским и японским; также поддерживается перевод с английского на итальянский и китайский. Модель принимает аудио и выдаёт текст. Для распознавания имён и аббревиатур можно использовать списки ключевых слов; авторы также отмечают высокую скорость распознавания и пригодность для устройств с ограниченными ресурсами. Модель построена на архитектуре Granite Speech и распространяется в формате safetensors для Transformers. Лицензия — Apache 2.0. README описывает обучение на открытых корпусах для распознавания и перевода речи, включая синтетические данные для японского распознавания и распознавания с подсказками по ключевым словам. Модель рассчитана на английский, французский, немецкий, испанский, португальский и японский языки. Итальянский и китайский указаны для перевода только с английского. Результаты могут зависеть от языка, акустических условий и соответствия данных пользователя обучающим корпусам; ключевые слова помогают распознавать заданные имена и аббревиатуры.
Granite-speech-3.3-8b — компактная речевая языковая модель IBM, основанная на Granite 3.3 8B Instruct и выпущенная в редакции 3.3.2 19 июня 2025 года. Она предназначена для автоматического распознавания речи (ASR), автоматического перевода речи (AST), а также текстовых задач при работе без аудио. Модель использует двухэтапную схему: сначала преобразует аудио в текст, затем отдельным вызовом обрабатывает полученный текст с помощью базовой языковой модели Granite. Модель поддерживает входную речь на английском, французском, немецком, испанском и португальском языках. Она ориентирована на преобразование речи в текст и перевод между этими языками и английским, а также на перевод с английского на японский и китайский (мандарин). В редакции 3.3.2 применены дополнительные обучающие данные и более глубокий акустический энкодер, что улучшает точность транскрибации, особенно для английского языка. Модель рассчитана на корпоративные приложения, обрабатывающие речевые данные, и поддерживается библиотеками Transformers и vLLM. Ключевое ограничение — необходимость явно выполнять второй этап для обработки транскрибированного текста, поскольку распознавание речи и языковая обработка не объединены в один проход. Размер модели составляет около 8 миллиардов параметров согласно идентификатору и базовой модели, однако точная архитектура и максимальная длина контекста в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.
InternVL2_5-78B-MPO — мультимодальная модель OpenGVLab, построенная на архитектуре ViT-MLP-LLM и дообученная методом Mixed Preference Optimization на основе OpenGVLab/InternVL2_5-78B. Она предназначена для диалогов и генерации текста по изображениям, включая несколько изображений; семейство также поддерживает работу с видеокадрами. Зрительная часть использует динамическое разбиение изображений на фрагменты 448×448 и уменьшение числа визуальных токенов с помощью pixel unshuffle. Модель загружается через Transformers в формате safetensors. Модель подходит для визуальных вопросов и ответов, описания изображений, распознавания текста на изображениях и мультимодальных задач на понимание и рассуждение; её можно использовать в многотуровом диалоге и развёртывать через LMDeploy. Карточка описывает мультиязычное семейство, но не перечисляет отдельные языки или размер контекста именно этой модели. Лицензия указана как other, поэтому условия использования следует сверять с лицензией и документацией проекта. Вес модели требует многокарточного развёртывания для практического инференса.
LightOnOCR-2-1B-GGUF — набор GGUF-квантизаций модели LightOnOCR-2-1B, разработанной LightOnAI. Модель предназначена для преобразования изображений в текст, в частности для задач OCR и извлечения текстовой информации из визуальных документов. В README указано, что доступны варианты с разным уровнем квантизации: BF16, F16, Q8_0, Q6_K, Q5_K_M, IQ4_NL, IQ4_XS и Q4_K_M. Рекомендуется выбирать вариант максимально высокого качества, доступный в используемой системе; для мультимодального проектора mmproj предпочтителен формат F32. Более компактные варианты, вероятно, удобнее при ограниченных ресурсах, но README не содержит количественных сведений об их требованиях к памяти, точности, архитектуре, размере контекста, языках и поддерживаемых форматах изображений. Модель может быть полезна для локального распознавания текста на изображениях и работы с визуальными документами. Сильной стороной является наличие нескольких уровней квантизации, позволяющих выбирать компромисс между качеством и ресурсопотреблением. Ограничения и условия лицензирования в README не указаны.
LinTO STT French FastConformer — модель распознавания французской речи, разработанная LinAGORA и дообученная на базе NVIDIA FastConformer Hybrid Large. Она преобразует аудио в текст и подходит для пакетной и потоковой транскрибации, в том числе в составе сервиса LinTO STT. Модель содержит 115 млн параметров и обучена с использованием гибридных Transducer- и CTC-потерь; по умолчанию используется Transducer. Для обучения применено более 9500 часов французской речи: чтение, спонтанная речь, разговоры и встречи, различные акценты и условия записи. Модель выдаёт текст только строчными буквами, без пунктуации. Модель предназначена для транскрибации французской речи. Она может хуже распознавать редкую лексику, сильные акценты и речь нескольких людей, говорящих одновременно. Лицензия — CC-BY-4.0.
XTuner LLaVA — мультимодальная модель на 3,7 млрд параметров для диалога по изображениям. Она дообучена на языковой модели microsoft/Phi-3-mini-4k-instruct с визуальным энкодером CLIP ViT-Large patch14 336 и использует данные ShareGPT4V-PT и InternVL-SFT. Репозиторий содержит веса в формате XTuner LLaVA; контекст составляет 4096 токенов. Модель принимает изображение и текстовый запрос, а отвечает текстом: подходит для описания изображений, визуальных вопросов и ответов, а также задач по пониманию диаграмм и текста на изображениях. В карточке приведены результаты на наборах MMBench, MMMU, SEED-IMG, AI2D, ScienceQA, HallusionBench, POPE, GQA, TextVQA, MME и MMStar. Лицензия в предоставленных данных не указана.
Карточка модели swarnendu123/MERaLiON-2-10B на Hugging Face совпадает с карточкой MERaLiON/MERaLiON-2-10B, поэтому описание составлено по ней. MERaLiON-2-10B — мультимодальная языковая модель для речи и аудио, разработанная I2R, A*STAR в Сингапуре. Она объединяет локализованный аудиоэнкодер Whisper Large v3 с текстовым декодером Gemma 2 9B и содержит 8,1 млрд параметров. Модель дообучена на 120 000 часах аудио и речи для распознавания речи, вопросов и ответов по аудио, суммаризации диалогов, создания аудиоподписей и понимания звуковой сцены. Модель рассчитана на многоязычные сценарии Сингапура и Юго-Восточной Азии: распознаёт английскую, китайскую, малайскую, тамильскую, индонезийскую, тайскую и вьетнамскую речь, включая местные акценты, разговорные выражения и переключение языков. Принимает монофоническое аудио с частотой 16 кГц длительностью до 300 секунд; для транскрибации и перевода README рекомендует аудиофрагменты до 30 секунд. Основная задача в каталоге — автоматическое распознавание речи. Модель предназначена для понимания речи и аудио, а не для вызова инструментов, математических или программных задач. Распространяется по лицензии MERaLiON Public License; перед использованием следует проверить её условия для конкретного сценария.
MiniCPM-V 2.0 — мультимодальная языковая модель команды OpenBMB для анализа изображений и диалога по их содержимому. Она сочетает визуальный энкодер SigLIP-400M и языковую модель MiniCPM-2.4B через perceiver resampler; в репозитории указано 2,7 млрд параметров. Модель принимает изображения с произвольным соотношением сторон размером до 1,8 млн пикселей и текстовые запросы, а отвечает текстом. Контекст составляет 4096 токенов. Модель предназначена для ответов на вопросы по изображениям, распознавания текста на сценах и документах, описания визуального содержимого и решения задач на понимание изображений. Она поддерживает английский и китайский языки и рассчитана на эффективный запуск на GPU, персональных компьютерах и мобильных устройствах. В карточке заявлены высокие результаты на ряде визуально-языковых тестов и обучение с мультимодальным RLHF для снижения галлюцинаций; это заявления разработчиков, а не гарантия точности. Лицензия в предоставленных данных не указана.
MiniCPM-V 2.6 — мультимодальная модель OpenBMB для диалога и анализа изображений, нескольких изображений и видео. Она сочетает визуальный энкодер SigLIP-400M с языковой моделью Qwen2-7B и содержит 8 млрд параметров. Модель отвечает на вопросы по визуальному содержимому, сравнивает изображения, распознаёт текст и создаёт подробные описания видео с учётом пространственно-временной информации. Поддерживаются изображения с произвольным соотношением сторон размером до 1,8 млн пикселей; заявлены многоязычные возможности, включая английский, китайский, немецкий, французский, итальянский и корейский. Модель рассчитана на запуск через Transformers, а также на локальный инференс с llama.cpp и Ollama; README отмечает её эффективность при обработке изображений и видео. Заявлены сильные результаты на тестах понимания изображений, OCR и видео, однако приведённые сравнения основаны на оценках разработчиков и не гарантируют аналогичного качества в конкретных сценариях. Модель может ошибаться и галлюцинировать. Лицензия в предоставленных данных не указана.
Molmo-72B-0924 — модель «зрение–язык» семейства Molmo, разработанного Allen Institute for AI. Это плотная мультимодальная модель с 129,6 млрд параметров: текстовый компонент основан на Qwen2-72B, а визуальный использует OpenAI CLIP. Модель обучалась на наборе PixMo из миллиона тщательно отобранных пар изображение–текст и принимает изображения вместе с текстовыми запросами, выдавая текстовые ответы. В метаданных указан контекст 4096 токенов, библиотека Transformers и поддержка чата. Модель предназначена для диалога по изображениям, описания визуального содержимого и ответов на вопросы о нём. В карточке сообщается о высоких результатах на академических бенчмарках и в оценке людьми среди мультимодальных моделей сопоставимого размера. Это предварительная версия Molmo; README говорит о применении в исследованиях и образовании. Лицензия — Apache 2.0. Для базовой Qwen2-72B указана отдельная лицензия Tongyi Qianwen, поэтому условия использования базовой модели также следует учитывать.
North Micro Vision Instruct — компактная мультимодальная модель с открытыми весами от Cohere. Она объединяет обученный Cohere визуальный энкодер на 400 млн параметров с языковой моделью North Micro LLM на 2 млрд параметров; всего модель содержит 2,4 млрд параметров. Поддерживается обработка изображений в исходном разрешении с сохранением пропорций, нескольких изображений в одном запросе и диалоговый режим. Языковая основа поддерживает контекст до 128 тыс. токенов, однако мультимодальный режим проверен только до 8 тыс. токенов. Модель предназначена для прототипирования и настройки мультимодальных приложений. Она отвечает на вопросы об изображениях, составляет подписи, распознаёт текст, анализирует диаграммы и документы, извлекает структурированные сведения и определяет расположение объектов. Карточка перечисляет поддержку английского, немецкого, французского, испанского, итальянского, португальского, хинди, японского, корейского, китайского и арабского языков. Модель выпущена по лицензии Apache 2.0. Модель рассчитана на кастомизацию и эксперименты с развёртыванием; она не предназначена для замены более крупных универсальных чат-моделей. У неё ограничены математические способности и генерация кода, не поддерживаются вызов инструментов и агентные сценарии. Использование изображений высокого разрешения может повышать расход памяти и задержку.
omniASR-CTC-300M-v2 — модель автоматического распознавания речи на базе Wav2Vec2 с CTC-декодированием, преобразованная из чекпойнта OmniLingual fairseq2. Она принимает аудио и выдаёт последовательность логитов по словарю SentencePiece, предназначенную для транскрибации речи на нескольких языках. Модель содержит 413,2 млн параметров и доступна в формате Safetensors для библиотеки Transformers. Подходит для многоязычной транскрибации аудиозаписей и распознавания речи в приложениях. Сведения о поддерживаемых языках, точности и длине контекста в карточке не приведены. Лицензия — Apache 2.0.
PaliGemma 2 28B Mix 224 — разработанная Google мультимодальная модель на основе Gemma 2 и визуального энкодера SigLIP. Она принимает изображение и текст, а в ответ генерирует текст; вариант Mix поддерживает набор задач компьютерного зрения и языка, а разрешение изображений составляет 224 пикселя. Модель предназначена прежде всего для дообучения под задачи, связанные с изображениями: создания подписей, визуальных ответов на вопросы, распознавания текста, обнаружения и сегментации объектов. Также её можно адаптировать для анализа коротких видео, дистанционного зондирования, описания интерфейсов и других специализированных сценариев. Модель поддерживает несколько языков. Для надёжной работы нужны чёткие инструкции; это не многоходовый чат-бот, а качество без дообучения для общих задач может уступать специализированным моделям. Возможны фактические ошибки, проблемы с тонкими языковыми нюансами и предвзятые ответы. Лицензия Gemma; использование регулируется условиями и политикой допустимого использования Gemma.
Google PaliGemma 2 3B FT DOCCI 448 — мультимодальная модель на основе Gemma 2 и визуального энкодера SigLIP, дообученная на датасете DOCCI для изображений размером 448×448. Она принимает изображение и текстовый запрос и генерирует текст; семейство PaliGemma 2 поддерживает несколько языков. Репозиторий содержит веса в формате bfloat16 и использует библиотеку Transformers. Модель предназначена для описания изображений и других задач «изображение — текст». Её можно применять для генерации подписей к изображениям и ответов на вопросы о визуальном содержимом. Это однораундовая модель, а не чат-бот с многошаговым диалогом; качество зависит от ясности запроса, и ответы могут содержать фактические ошибки или отражать смещения обучающих данных. Лицензия — Gemma; авторы указывают исследовательское применение весов.
PaliGemma 3B FT COCO Caption — дообученная Google модель «зрение—язык», построенная на основе визуальной модели SigLIP и языковой модели Gemma. Вариант предназначен для создания текстовых подписей к изображениям по датасету COCO. Модель принимает изображение и текстовый запрос и генерирует текст; PaliGemma рассчитана на одношаговую обработку, а не на многоходовый диалог. Семейство PaliGemma также поддерживает визуальные вопросы и ответы, чтение текста на изображении, обнаружение и сегментацию объектов, однако этот чекпойнт настроен для подписей к изображениям. Модель лучше работает с чёткими запросами; она может ошибаться в распознавании содержания изображения и генерировать неверные ответы. Лицензия — Gemma.
Perception Language Model (PLM) — открытая мультимодальная модель компании Meta для понимания изображений и видео. Версия Perception-LM-1B использует визуальный энкодер и языковой декодер с примерно 1 млрд параметров; модель предназначена для исследования визуальных данных и разработана без дистилляции из проприетарных моделей. Модель отвечает на вопросы об изображениях и видео, разбирает визуальные детали, документы и диаграммы, распознаёт текст на изображениях и поддерживает пространственно-временные рассуждения о видеосценах. В карточке приведены результаты на наборах тестов для понимания изображений и видео. Указан английский язык; контекстное окно в доступных сведениях не описано. Репозиторий содержит веса в формате Safetensors для использования с библиотекой Transformers; исходные контрольные точки доступны отдельно в проекте perception_models. Карточка называет модель полностью открытой и воспроизводимой, однако в метаданных указана лицензия «other», поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.
Phi-3-Vision-128K-Instruct — компактная мультимодальная модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3VForCausalLM и 3,7 млрд параметров. Она принимает текст и изображения и предназначена для диалоговых сценариев с визуальным вводом, включая понимание изображений, OCR, а также разбор графиков и таблиц. Модель дообучена с помощью supervised fine-tuning и direct preference optimization; в карточке заявлен контекст до 128 тысяч токенов, хотя метаданные указывают native context в 4096 токенов. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и низкой задержки, а также на создание генеративных функций с визуальным вводом. Основной язык — английский; карточка предупреждает о снижении качества для других языков. Возможны фактические ошибки, стереотипные или оскорбительные ответы, поэтому результаты следует проверять, особенно в чувствительных и высокорисковых сценариях. Лицензия — MIT.
google/pix2struct-ocrvqa-large — крупная модель семейства Pix2Struct от Google для ответов на вопросы по изображениям. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст и настроенная для задачи visual question answering. Модель принимает изображение и вопрос на естественном языке и генерирует текстовый ответ. Предварительное обучение Pix2Struct использует восстановление упрощённого HTML по скриншотам веб-страниц с замаскированными фрагментами. Такой подход охватывает визуальное понимание текста и элементов страниц и подходит для вопросов о содержимом изображений, включая документы, иллюстрации, интерфейсы и фотографии. В карточке модели указаны английский, французский, румынский и немецкий языки; README описывает семейство шире, но не уточняет языковую поддержку именно этого чекпойнта. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Для запуска нужны изображение и вопрос; конкретные требования к памяти и качество на отдельных языках или типах изображений в карточке не описаны.
PP-OCRv5_mobile_rec_safetensors — мобильная модель распознавания текстовых строк из изображений, разработанная командой PaddleOCR и представленная в формате safetensors. Она предназначена для эффективного распознавания печатного и рукописного текста, включая сложные случаи: вертикальный и искажённый текст, пиньинь, редкие символы и художественные надписи. Модель поддерживает упрощённый и традиционный китайский, английский и японский языки. В README приведены метрики для нескольких типов текста; среднее значение составляет 0,8015 по метрике, где строка считается ошибочной при неверном распознавании хотя бы одного символа. Модель ориентирована на распознавание отдельных строк, поэтому для обработки целых страниц требуется предварительное обнаружение и выделение строк. Лицензия — Apache 2.0.
unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.
Qwen2-VL-7B-Instruct — мультимодальная модель компании Qwen с архитектурой Qwen2-VL и 7,1 млрд параметров. Это версия, дообученная для выполнения инструкций на основе Qwen/Qwen2-VL-7B; она принимает текст и изображения, а также анализирует видео по визуальным кадрам. Модель поддерживает динамическое разрешение изображений и использует M-ROPE для представления текстовых, двумерных визуальных и трёхмерных видеопозиций. Контекст — 32 768 токенов. Модель предназначена для диалога по изображениям и видео, визуального анализа и ответов на вопросы о содержимом, включая разбор документов и графиков. В README отмечена поддержка чтения текста на изображениях на многих языках, включая европейские языки, японский, корейский, арабский и вьетнамский; метаданные также указывают английский язык карточки. Модель не обрабатывает аудио в видео; её ограничения включают устаревание знаний об изображениях после июня 2023 года, неточный подсчёт объектов, слабое пространственное рассуждение и трудности со сложными многошаговыми инструкциями. Лицензия — Apache-2.0.
Это FP8-квантизированная версия Qwen3-ASR-1.7B, подготовленная vrfai с помощью NVIDIA ModelOpt для развёртывания через vLLM. Модель предназначена для распознавания речи и транскрибации аудио; базовая модель поддерживает потоковую обработку. В архитектуре Qwen3ASRForConditionalGeneration около 1,7 млрд параметров: языковая часть размером примерно 1,4 млрд параметров квантизирована в FP8, а audio_tower и lm_head оставлены в BF16. По данным README, на тесте из 760 образцов VIVOS частота ошибок слов составила 7,60% против 7,34% у версии BF16; сходство выходов LLM с BF16 на 50 образцах — 0,994. Замеры также показывают более высокую пропускную способность FP8 на указанном оборудовании и уровнях конкурентности. Репозиторий распространяется по лицензии Apache-2.0.
Карточка модели Koulano/Qwen3-Omni-30B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.