/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
4 741–4 770 из 8 953
shixuanleong
cv-vlm

shixuanleong/cv-vlm — модель компьютерного зрения с языковым интерфейсом, опубликованная Shi Xuan Leong на Hugging Face. По метаданным это Florence-2 объёмом около 0,3 млрд параметров, предназначенная для задач, где требуется анализ изображения и текстовый ответ. Поддерживаемые сценарии включают описание изображений, визуальные вопросы и ответы, OCR и сегментацию. Модель принимает изображение и текстовый запрос, а результат формирует в текстовом виде. Репозиторий использует веса PyTorch в формате Safetensors и распространяется по лицензии MIT. Для конкретной версии cv-vlm отдельные языковые характеристики, длина контекста и результаты оценки качества в доступных источниках не подтверждены. Florence-2 следует рассматривать как компактную модель для задач компьютерного зрения; точность зависит от изображения и типа запроса.

1.5K0окт. 2025ctx1K
textmithugging-face
mlx-community
DeepSeek-OCR-2-6bit

DeepSeek-OCR-2-6bit — мультимодальная vision-language модель для анализа изображений и генерации текста, ориентированная прежде всего на задачи OCR и понимания визуального содержимого. Модель преобразована сообществом mlx-community в формат MLX из prince-canuma/DeepSeek-OCR-2 с использованием mlx-vlm версии 0.3.10. Модель предназначена для распознавания и описания содержимого изображений, включая сценарии обработки документов и извлечения текста. Она поддерживает мультиязычный режим, принимает изображения и формирует текстовые ответы; в README приведён пример запроса на описание изображения через mlx-vlm. Точные сведения об архитектуре, количестве параметров, размере контекста и перечне языков не указаны. Ключевая особенность этой версии — 6-битное квантование и совместимость с MLX, что может снизить требования к памяти при локальном запуске на поддерживаемом оборудовании. Ограничениями являются отсутствие в карточке подробных данных о качестве распознавания, поддерживаемых форматах и аппаратных требованиях, а также возможная необходимость custom code. Модель распространяется по лицензии Apache-2.0.

5641янв. 2026ctx8.2K
textapache-2.0hugging-face
elliot-mllm
elliot-ov2-sft-9k

Elliot OV2 SFT 9k — исследовательский vision-language чекпойнт ElliotVL, экспортированный из 9-тысячного шага обучения Megatron в формат Hugging Face. Модель содержит 2 млрд параметров: языковая башня основана на Qwen3.5-2B с гибридным полным и линейным вниманием, а визуальная — на SigLIP2 NaViT с поддержкой изображений исходного разрешения. Модель принимает изображения вместе с текстовыми запросами и формирует текстовые ответы. Она предназначена для диалога по изображениям, распознавания текста на изображениях и документов, визуальных вопросов и ответов, а также анализа диаграмм и графиков. В README приведены результаты оценки на OCRBench, RealWorldQA и других наборах; автор отдельно указывает ограничения сопоставимости некоторых бенчмарков и особенности их подсчёта. Для запуска требуется Transformers 5.8.0.dev0, а также PyTorch, Pillow, Accelerate и Safetensors; в репозитории представлены веса safetensors, процессор, шаблон чата и модули удалённого кода. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели.

121июнь 2026
textimageotherhugging-face
Systran
faster-whisper-base.en

Systran подготовила конверсию английской версии Whisper base.en от OpenAI в формат CTranslate2. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Подробности об исходной модели приведены в карточке OpenAI Whisper base.en.

651K8нояб. 2023
textaudiomithugging-face
dhansmair
flamingo-mini

Модель dhansmair/flamingo-mini — модель семейства Flamingo, обученная для создания текстовых описаний изображений. Разработчик карточки указывает обучение на датасете Conceptual Captions 3M; в метаданных архитектура обозначена как FlamingoModel, а формат весов — PyTorch. Модель предназначена для генерации подписи к изображению. Данные подтверждают поддержку английского языка и лицензию Apache-2.0. Размер модели и длина контекста не указаны.

9413авг. 2022
textimageapache-2.0hugging-face
lmstudio-community
gemma-3n-E4B-it-MLX-4bit

gemma-3n-E4B-it-MLX-4bit — это 4-битная квантованная версия мультимодальной модели gemma-3n-E4B-it, разработанной Google. Квантование в формате MLX предоставлено командой LM Studio с использованием mlx_vlm; модель оптимизирована для работы на устройствах с Apple Silicon. Модель предназначена для задач преобразования изображений, аудио и видео в текст, включая автоматическое распознавание и перевод речи, а также сценарии audio-text-to-text и video-text-to-text. В README не указаны точные архитектурные параметры, число параметров, поддерживаемые языки и размер контекстного окна. Ключевые преимущества — сниженное потребление памяти и вычислительных ресурсов благодаря 4-битной квантовании и адаптация к экосистеме Apple Silicon. Возможные ограничения связаны с потерей точности из-за квантования, а также с отсутствием в предоставленных данных подробных характеристик качества и совместимости. Для доступа и использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в её тексте.

27K4июль 2025
textimagegemmahugging-face
mlx-community
GLM-OCR-4bit

mlx-community/GLM-OCR-4bit — это 4-битная версия модели GLM-OCR, преобразованная сообществом mlx-community из исходной модели zai-org/GLM-OCR в формат MLX с использованием mlx-vlm версии 0.3.10. Модель предназначена для преобразования изображений в текст и может применяться, например, для распознавания и описания содержимого изображений. Модель поддерживает китайский, английский, французский, испанский, русский, немецкий, японский и корейский языки. Она относится к классу image-to-text и предназначена для запуска через библиотеку mlx-vlm на совместимом с MLX оборудовании. Из доступных данных не указаны архитектура исходной модели, количество параметров, максимальная длина контекста, точные возможности распознавания документов и таблиц, а также количественные показатели качества. Ключевая особенность варианта — 4-битное квантование и формат MLX, что может снизить требования к памяти и упростить локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Лицензия модели — MIT. Для подробностей об архитектуре и ограничениях следует обращаться к карточке исходной модели zai-org/GLM-OCR.

20K5февр. 2026ctx655.4K
textimagemithugging-face
ibm-granite
granite-4.0-1b-speech

Granite-4.0-1b-speech — компактная речевая модель IBM на 1 млрд параметров, полученная адаптацией Granite-4.0-1b-base для работы с аудио. Она предназначена для многоязычного распознавания речи и перевода речи в текст, в том числе перевода между английским и французским, немецким, испанским, португальским и японским; также поддерживается перевод с английского на итальянский и китайский. Модель принимает аудио и выдаёт текст. Для распознавания имён и аббревиатур можно использовать списки ключевых слов; авторы также отмечают высокую скорость распознавания и пригодность для устройств с ограниченными ресурсами. Модель построена на архитектуре Granite Speech и распространяется в формате safetensors для Transformers. Лицензия — Apache 2.0. README описывает обучение на открытых корпусах для распознавания и перевода речи, включая синтетические данные для японского распознавания и распознавания с подсказками по ключевым словам. Модель рассчитана на английский, французский, немецкий, испанский, португальский и японский языки. Итальянский и китайский указаны для перевода только с английского. Результаты могут зависеть от языка, акустических условий и соответствия данных пользователя обучающим корпусам; ключевые слова помогают распознавать заданные имена и аббревиатуры.

145K252февр. 2026
textaudioapache-2.0hugging-face
ibm-granite
granite-speech-3.3-8b

Granite-speech-3.3-8b — компактная речевая языковая модель IBM, основанная на Granite 3.3 8B Instruct и выпущенная в редакции 3.3.2 19 июня 2025 года. Она предназначена для автоматического распознавания речи (ASR), автоматического перевода речи (AST), а также текстовых задач при работе без аудио. Модель использует двухэтапную схему: сначала преобразует аудио в текст, затем отдельным вызовом обрабатывает полученный текст с помощью базовой языковой модели Granite. Модель поддерживает входную речь на английском, французском, немецком, испанском и португальском языках. Она ориентирована на преобразование речи в текст и перевод между этими языками и английским, а также на перевод с английского на японский и китайский (мандарин). В редакции 3.3.2 применены дополнительные обучающие данные и более глубокий акустический энкодер, что улучшает точность транскрибации, особенно для английского языка. Модель рассчитана на корпоративные приложения, обрабатывающие речевые данные, и поддерживается библиотеками Transformers и vLLM. Ключевое ограничение — необходимость явно выполнять второй этап для обработки транскрибированного текста, поскольку распознавание речи и языковая обработка не объединены в один проход. Размер модели составляет около 8 миллиардов параметров согласно идентификатору и базовой модели, однако точная архитектура и максимальная длина контекста в предоставленных данных не указаны. Модель распространяется по лицензии Apache 2.0.

39K171апр. 2025
textapache-2.0hugging-face
OpenGVLab
InternVL2_5-78B-MPO

InternVL2_5-78B-MPO — мультимодальная модель OpenGVLab, построенная на архитектуре ViT-MLP-LLM и дообученная методом Mixed Preference Optimization на основе OpenGVLab/InternVL2_5-78B. Она предназначена для диалогов и генерации текста по изображениям, включая несколько изображений; семейство также поддерживает работу с видеокадрами. Зрительная часть использует динамическое разбиение изображений на фрагменты 448×448 и уменьшение числа визуальных токенов с помощью pixel unshuffle. Модель загружается через Transformers в формате safetensors. Модель подходит для визуальных вопросов и ответов, описания изображений, распознавания текста на изображениях и мультимодальных задач на понимание и рассуждение; её можно использовать в многотуровом диалоге и развёртывать через LMDeploy. Карточка описывает мультиязычное семейство, но не перечисляет отдельные языки или размер контекста именно этой модели. Лицензия указана как other, поэтому условия использования следует сверять с лицензией и документацией проекта. Вес модели требует многокарточного развёртывания для практического инференса.

12055дек. 2024ctx8.2K
textotherhugging-face
noctrex
LightOnOCR-2-1B-GGUF

LightOnOCR-2-1B-GGUF — набор GGUF-квантизаций модели LightOnOCR-2-1B, разработанной LightOnAI. Модель предназначена для преобразования изображений в текст, в частности для задач OCR и извлечения текстовой информации из визуальных документов. В README указано, что доступны варианты с разным уровнем квантизации: BF16, F16, Q8_0, Q6_K, Q5_K_M, IQ4_NL, IQ4_XS и Q4_K_M. Рекомендуется выбирать вариант максимально высокого качества, доступный в используемой системе; для мультимодального проектора mmproj предпочтителен формат F32. Более компактные варианты, вероятно, удобнее при ограниченных ресурсах, но README не содержит количественных сведений об их требованиях к памяти, точности, архитектуре, размере контекста, языках и поддерживаемых форматах изображений. Модель может быть полезна для локального распознавания текста на изображениях и работы с визуальными документами. Сильной стороной является наличие нескольких уровней квантизации, позволяющих выбирать компромисс между качеством и ресурсопотреблением. Ограничения и условия лицензирования в README не указаны.

2.6K30янв. 2026
textimagehugging-face
linagora
linto_stt_fr_fastconformer

LinTO STT French FastConformer — модель распознавания французской речи, разработанная LinAGORA и дообученная на базе NVIDIA FastConformer Hybrid Large. Она преобразует аудио в текст и подходит для пакетной и потоковой транскрибации, в том числе в составе сервиса LinTO STT. Модель содержит 115 млн параметров и обучена с использованием гибридных Transducer- и CTC-потерь; по умолчанию используется Transducer. Для обучения применено более 9500 часов французской речи: чтение, спонтанная речь, разговоры и встречи, различные акценты и условия записи. Модель выдаёт текст только строчными буквами, без пунктуации. Модель предназначена для транскрибации французской речи. Она может хуже распознавать редкую лексику, сильные акценты и речь нескольких людей, говорящих одновременно. Лицензия — CC-BY-4.0.

658май 2025
textaudiocc-by-4.0hugging-face
xtuner
llava-phi-3-mini-xtuner

XTuner LLaVA — мультимодальная модель на 3,7 млрд параметров для диалога по изображениям. Она дообучена на языковой модели microsoft/Phi-3-mini-4k-instruct с визуальным энкодером CLIP ViT-Large patch14 336 и использует данные ShareGPT4V-PT и InternVL-SFT. Репозиторий содержит веса в формате XTuner LLaVA; контекст составляет 4096 токенов. Модель принимает изображение и текстовый запрос, а отвечает текстом: подходит для описания изображений, визуальных вопросов и ответов, а также задач по пониманию диаграмм и текста на изображениях. В карточке приведены результаты на наборах MMBench, MMMU, SEED-IMG, AI2D, ScienceQA, HallusionBench, POPE, GQA, TextVQA, MME и MMStar. Лицензия в предоставленных данных не указана.

275апр. 2024ctx4.1K
texthugging-face
swarnendu123
MERaLiON-2-10B

Карточка модели swarnendu123/MERaLiON-2-10B на Hugging Face совпадает с карточкой MERaLiON/MERaLiON-2-10B, поэтому описание составлено по ней. MERaLiON-2-10B — мультимодальная языковая модель для речи и аудио, разработанная I2R, A*STAR в Сингапуре. Она объединяет локализованный аудиоэнкодер Whisper Large v3 с текстовым декодером Gemma 2 9B и содержит 8,1 млрд параметров. Модель дообучена на 120 000 часах аудио и речи для распознавания речи, вопросов и ответов по аудио, суммаризации диалогов, создания аудиоподписей и понимания звуковой сцены. Модель рассчитана на многоязычные сценарии Сингапура и Юго-Восточной Азии: распознаёт английскую, китайскую, малайскую, тамильскую, индонезийскую, тайскую и вьетнамскую речь, включая местные акценты, разговорные выражения и переключение языков. Принимает монофоническое аудио с частотой 16 кГц длительностью до 300 секунд; для транскрибации и перевода README рекомендует аудиофрагменты до 30 секунд. Основная задача в каталоге — автоматическое распознавание речи. Модель предназначена для понимания речи и аудио, а не для вызова инструментов, математических или программных задач. Распространяется по лицензии MERaLiON Public License; перед использованием следует проверить её условия для конкретного сценария.

100июнь 2026
textaudiootherhugging-face
openbmb
MiniCPM-V-2

MiniCPM-V 2.0 — мультимодальная языковая модель команды OpenBMB для анализа изображений и диалога по их содержимому. Она сочетает визуальный энкодер SigLIP-400M и языковую модель MiniCPM-2.4B через perceiver resampler; в репозитории указано 2,7 млрд параметров. Модель принимает изображения с произвольным соотношением сторон размером до 1,8 млн пикселей и текстовые запросы, а отвечает текстом. Контекст составляет 4096 токенов. Модель предназначена для ответов на вопросы по изображениям, распознавания текста на сценах и документах, описания визуального содержимого и решения задач на понимание изображений. Она поддерживает английский и китайский языки и рассчитана на эффективный запуск на GPU, персональных компьютерах и мобильных устройствах. В карточке заявлены высокие результаты на ряде визуально-языковых тестов и обучение с мультимодальным RLHF для снижения галлюцинаций; это заявления разработчиков, а не гарантия точности. Лицензия в предоставленных данных не указана.

9.0K506апр. 2024ctx4.1K
texthugging-face
openbmb
MiniCPM-V-2_6

MiniCPM-V 2.6 — мультимодальная модель OpenBMB для диалога и анализа изображений, нескольких изображений и видео. Она сочетает визуальный энкодер SigLIP-400M с языковой моделью Qwen2-7B и содержит 8 млрд параметров. Модель отвечает на вопросы по визуальному содержимому, сравнивает изображения, распознаёт текст и создаёт подробные описания видео с учётом пространственно-временной информации. Поддерживаются изображения с произвольным соотношением сторон размером до 1,8 млн пикселей; заявлены многоязычные возможности, включая английский, китайский, немецкий, французский, итальянский и корейский. Модель рассчитана на запуск через Transformers, а также на локальный инференс с llama.cpp и Ollama; README отмечает её эффективность при обработке изображений и видео. Заявлены сильные результаты на тестах понимания изображений, OCR и видео, однако приведённые сравнения основаны на оценках разработчиков и не гарантируют аналогичного качества в конкретных сценариях. Модель может ошибаться и галлюцинировать. Лицензия в предоставленных данных не указана.

34K1.1Kавг. 2024
textimagehugging-face
allenai
Molmo-72B-0924

Molmo-72B-0924 — модель «зрение–язык» семейства Molmo, разработанного Allen Institute for AI. Это плотная мультимодальная модель с 129,6 млрд параметров: текстовый компонент основан на Qwen2-72B, а визуальный использует OpenAI CLIP. Модель обучалась на наборе PixMo из миллиона тщательно отобранных пар изображение–текст и принимает изображения вместе с текстовыми запросами, выдавая текстовые ответы. В метаданных указан контекст 4096 токенов, библиотека Transformers и поддержка чата. Модель предназначена для диалога по изображениям, описания визуального содержимого и ответов на вопросы о нём. В карточке сообщается о высоких результатах на академических бенчмарках и в оценке людьми среди мультимодальных моделей сопоставимого размера. Это предварительная версия Molmo; README говорит о применении в исследованиях и образовании. Лицензия — Apache 2.0. Для базовой Qwen2-72B указана отдельная лицензия Tongyi Qianwen, поэтому условия использования базовой модели также следует учитывать.

9.5K299сент. 2024ctx4.1K
textapache-2.0hugging-face
CohereLabs
North-Micro-Vision-Instruct

North Micro Vision Instruct — компактная мультимодальная модель с открытыми весами от Cohere. Она объединяет обученный Cohere визуальный энкодер на 400 млн параметров с языковой моделью North Micro LLM на 2 млрд параметров; всего модель содержит 2,4 млрд параметров. Поддерживается обработка изображений в исходном разрешении с сохранением пропорций, нескольких изображений в одном запросе и диалоговый режим. Языковая основа поддерживает контекст до 128 тыс. токенов, однако мультимодальный режим проверен только до 8 тыс. токенов. Модель предназначена для прототипирования и настройки мультимодальных приложений. Она отвечает на вопросы об изображениях, составляет подписи, распознаёт текст, анализирует диаграммы и документы, извлекает структурированные сведения и определяет расположение объектов. Карточка перечисляет поддержку английского, немецкого, французского, испанского, итальянского, португальского, хинди, японского, корейского, китайского и арабского языков. Модель выпущена по лицензии Apache 2.0. Модель рассчитана на кастомизацию и эксперименты с развёртыванием; она не предназначена для замены более крупных универсальных чат-моделей. У неё ограничены математические способности и генерация кода, не поддерживаются вызов инструментов и агентные сценарии. Использование изображений высокого разрешения может повышать расход памяти и задержку.

77K154авг. 2026
textimageapache-2.0hugging-face
KevinKibe
omniASR-CTC-300M-v2

omniASR-CTC-300M-v2 — модель автоматического распознавания речи на базе Wav2Vec2 с CTC-декодированием, преобразованная из чекпойнта OmniLingual fairseq2. Она принимает аудио и выдаёт последовательность логитов по словарю SentencePiece, предназначенную для транскрибации речи на нескольких языках. Модель содержит 413,2 млн параметров и доступна в формате Safetensors для библиотеки Transformers. Подходит для многоязычной транскрибации аудиозаписей и распознавания речи в приложениях. Сведения о поддерживаемых языках, точности и длине контекста в карточке не приведены. Лицензия — Apache 2.0.

190июнь 2026
textaudioapache-2.0hugging-face
google
paligemma2-28b-mix-224

PaliGemma 2 28B Mix 224 — разработанная Google мультимодальная модель на основе Gemma 2 и визуального энкодера SigLIP. Она принимает изображение и текст, а в ответ генерирует текст; вариант Mix поддерживает набор задач компьютерного зрения и языка, а разрешение изображений составляет 224 пикселя. Модель предназначена прежде всего для дообучения под задачи, связанные с изображениями: создания подписей, визуальных ответов на вопросы, распознавания текста, обнаружения и сегментации объектов. Также её можно адаптировать для анализа коротких видео, дистанционного зондирования, описания интерфейсов и других специализированных сценариев. Модель поддерживает несколько языков. Для надёжной работы нужны чёткие инструкции; это не многоходовый чат-бот, а качество без дообучения для общих задач может уступать специализированным моделям. Возможны фактические ошибки, проблемы с тонкими языковыми нюансами и предвзятые ответы. Лицензия Gemma; использование регулируется условиями и политикой допустимого использования Gemma.

185нояб. 2024
textimagegemmahugging-face
google
paligemma2-3b-ft-docci-448

Google PaliGemma 2 3B FT DOCCI 448 — мультимодальная модель на основе Gemma 2 и визуального энкодера SigLIP, дообученная на датасете DOCCI для изображений размером 448×448. Она принимает изображение и текстовый запрос и генерирует текст; семейство PaliGemma 2 поддерживает несколько языков. Репозиторий содержит веса в формате bfloat16 и использует библиотеку Transformers. Модель предназначена для описания изображений и других задач «изображение — текст». Её можно применять для генерации подписей к изображениям и ответов на вопросы о визуальном содержимом. Это однораундовая модель, а не чат-бот с многошаговым диалогом; качество зависит от ясности запроса, и ответы могут содержать фактические ошибки или отражать смещения обучающих данных. Лицензия — Gemma; авторы указывают исследовательское применение весов.

19K15нояб. 2024
textimagegemmahugging-face
google
paligemma-3b-ft-cococap-448

PaliGemma 3B FT COCO Caption — дообученная Google модель «зрение—язык», построенная на основе визуальной модели SigLIP и языковой модели Gemma. Вариант предназначен для создания текстовых подписей к изображениям по датасету COCO. Модель принимает изображение и текстовый запрос и генерирует текст; PaliGemma рассчитана на одношаговую обработку, а не на многоходовый диалог. Семейство PaliGemma также поддерживает визуальные вопросы и ответы, чтение текста на изображении, обнаружение и сегментацию объектов, однако этот чекпойнт настроен для подписей к изображениям. Модель лучше работает с чёткими запросами; она может ошибаться в распознавании содержания изображения и генерировать неверные ответы. Лицензия — Gemma.

45K4май 2024
textimagegemmahugging-face
facebook
Perception-LM-1B

Perception Language Model (PLM) — открытая мультимодальная модель компании Meta для понимания изображений и видео. Версия Perception-LM-1B использует визуальный энкодер и языковой декодер с примерно 1 млрд параметров; модель предназначена для исследования визуальных данных и разработана без дистилляции из проприетарных моделей. Модель отвечает на вопросы об изображениях и видео, разбирает визуальные детали, документы и диаграммы, распознаёт текст на изображениях и поддерживает пространственно-временные рассуждения о видеосценах. В карточке приведены результаты на наборах тестов для понимания изображений и видео. Указан английский язык; контекстное окно в доступных сведениях не описано. Репозиторий содержит веса в формате Safetensors для использования с библиотекой Transformers; исходные контрольные точки доступны отдельно в проекте perception_models. Карточка называет модель полностью открытой и воспроизводимой, однако в метаданных указана лицензия «other», поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.

47745апр. 2025
textimageotherhugging-face
microsoft
Phi-3-vision-128k-instruct

Phi-3-Vision-128K-Instruct — компактная мультимодальная модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3VForCausalLM и 3,7 млрд параметров. Она принимает текст и изображения и предназначена для диалоговых сценариев с визуальным вводом, включая понимание изображений, OCR, а также разбор графиков и таблиц. Модель дообучена с помощью supervised fine-tuning и direct preference optimization; в карточке заявлен контекст до 128 тысяч токенов, хотя метаданные указывают native context в 4096 токенов. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и низкой задержки, а также на создание генеративных функций с визуальным вводом. Основной язык — английский; карточка предупреждает о снижении качества для других языков. Возможны фактические ошибки, стереотипные или оскорбительные ответы, поэтому результаты следует проверять, особенно в чувствительных и высокорисковых сценариях. Лицензия — MIT.

47K976май 2024ctx131.1K
textmithugging-face
google
pix2struct-ocrvqa-large

google/pix2struct-ocrvqa-large — крупная модель семейства Pix2Struct от Google для ответов на вопросы по изображениям. Это архитектура «визуальный энкодер — текстовый декодер», обученная на парах изображение–текст и настроенная для задачи visual question answering. Модель принимает изображение и вопрос на естественном языке и генерирует текстовый ответ. Предварительное обучение Pix2Struct использует восстановление упрощённого HTML по скриншотам веб-страниц с замаскированными фрагментами. Такой подход охватывает визуальное понимание текста и элементов страниц и подходит для вопросов о содержимом изображений, включая документы, иллюстрации, интерфейсы и фотографии. В карточке модели указаны английский, французский, румынский и немецкий языки; README описывает семейство шире, но не уточняет языковую поддержку именно этого чекпойнта. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Для запуска нужны изображение и вопрос; конкретные требования к памяти и качество на отдельных языках или типах изображений в карточке не описаны.

14134март 2023
textimageapache-2.0hugging-face
PaddlePaddle
PP-OCRv5_mobile_rec_safetensors

PP-OCRv5_mobile_rec_safetensors — мобильная модель распознавания текстовых строк из изображений, разработанная командой PaddleOCR и представленная в формате safetensors. Она предназначена для эффективного распознавания печатного и рукописного текста, включая сложные случаи: вертикальный и искажённый текст, пиньинь, редкие символы и художественные надписи. Модель поддерживает упрощённый и традиционный китайский, английский и японский языки. В README приведены метрики для нескольких типов текста; среднее значение составляет 0,8015 по метрике, где строка считается ошибочной при неверном распознавании хотя бы одного символа. Модель ориентирована на распознавание отдельных строк, поэтому для обработки целых страниц требуется предварительное обнаружение и выделение строк. Лицензия — Apache 2.0.

4643март 2026
textimageapache-2.0hugging-face
unsloth
Qwen2-VL-2B-Instruct-unsloth-bnb-4bit

unsloth/Qwen2-VL-2B-Instruct-unsloth-bnb-4bit — мультимодальная instruction-tuned модель, основанная на Qwen/Qwen2-VL-2B-Instruct и подготовленная Unsloth. Она предназначена для обработки изображений, видео и текстовых инструкций: визуального вопросно-ответного взаимодействия, анализа документов и сцен, распознавания текста на изображениях, а также мультимодальных диалогов и сценариев, где требуется интерпретация визуальной среды. Модель совместима с библиотекой Transformers и имеет тип pipeline image-text-to-text. Ключевая особенность версии — динамическое 4-битное квантование Unsloth BnB: отдельные параметры не квантуются, чтобы сохранить качество при сопоставимом снижении потребления VRAM. Архитектура Qwen2-VL поддерживает изображения произвольного разрешения благодаря динамическому числу визуальных токенов, использует мультимодальные позиционные embeddings M-ROPE для текстовых, двумерных визуальных и трёхмерных видеоданных и рассчитана на понимание видео длительностью более 20 минут. Заявлена многоязычная работа с текстом внутри изображений, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский. Сильные стороны модели — компактный размер 2B, сниженные требования к видеопамяти, поддержка нескольких модальностей, динамическая обработка изображений и широкий спектр визуальных задач. Ограничения, включая точные значения контекстного окна, производительность и качество для отдельных языков и сценариев, в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

2.1K7нояб. 2024ctx32.8K
textimageapache-2.0hugging-face
Qwen
Qwen2-VL-7B-Instruct

Qwen2-VL-7B-Instruct — мультимодальная модель компании Qwen с архитектурой Qwen2-VL и 7,1 млрд параметров. Это версия, дообученная для выполнения инструкций на основе Qwen/Qwen2-VL-7B; она принимает текст и изображения, а также анализирует видео по визуальным кадрам. Модель поддерживает динамическое разрешение изображений и использует M-ROPE для представления текстовых, двумерных визуальных и трёхмерных видеопозиций. Контекст — 32 768 токенов. Модель предназначена для диалога по изображениям и видео, визуального анализа и ответов на вопросы о содержимом, включая разбор документов и графиков. В README отмечена поддержка чтения текста на изображениях на многих языках, включая европейские языки, японский, корейский, арабский и вьетнамский; метаданные также указывают английский язык карточки. Модель не обрабатывает аудио в видео; её ограничения включают устаревание знаний об изображениях после июня 2023 года, неточный подсчёт объектов, слабое пространственное рассуждение и трудности со сложными многошаговыми инструкциями. Лицензия — Apache-2.0.

666K1.3Kавг. 2024ctx32.8K
textimageapache-2.0hugging-face
vrfai
Qwen3-ASR-1.7B-fp8

Это FP8-квантизированная версия Qwen3-ASR-1.7B, подготовленная vrfai с помощью NVIDIA ModelOpt для развёртывания через vLLM. Модель предназначена для распознавания речи и транскрибации аудио; базовая модель поддерживает потоковую обработку. В архитектуре Qwen3ASRForConditionalGeneration около 1,7 млрд параметров: языковая часть размером примерно 1,4 млрд параметров квантизирована в FP8, а audio_tower и lm_head оставлены в BF16. По данным README, на тесте из 760 образцов VIVOS частота ошибок слов составила 7,60% против 7,34% у версии BF16; сходство выходов LLM с BF16 на 50 образцах — 0,994. Замеры также показывают более высокую пропускную способность FP8 на указанном оборудовании и уровнях конкурентности. Репозиторий распространяется по лицензии Apache-2.0.

4.9K6март 2026ctx131.1K
textaudioapache-2.0hugging-face
Koulano
Qwen3-Omni-30B-A3B-Thinking

Карточка модели Koulano/Qwen3-Omni-30B-A3B-Thinking на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

240июль 2026ctx131.1K
textotherhugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей