/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
5 251–5 280 из 8 953
HotDog1123
whisperkit-coreml

Репозиторий HotDog1123/whisperkit-coreml содержит модель распознавания речи для WhisperKit — фреймворка для работы на устройствах Apple Silicon. Модель предназначена для преобразования аудио в текст и используется через библиотеку WhisperKit. Файлы представлены в формате Core ML, а метаданные указывают на задачу автоматического распознавания речи и поддержку аудиовхода. Карточка не сообщает размер модели, языки, длину контекста или лицензию, поэтому эти характеристики нельзя уточнить.

420февр. 2026
textaudiohugging-face
drewschaub
whisper-large-v3-japanese-4k-steps

drewschaub/whisper-large-v3-japanese-4k-steps — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации японской речи в текст и обучена на Common Voice 16.1; модель содержит 905,2 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. Обучение продолжалось 4000 шагов на Google Colab с A100. В README указаны оценка loss 0,4057 и WER 18,2149; автор также сообщает, что validation loss и WER росли в ходе обучения, что указывает на переобучение и может ограничивать качество распознавания. Модель принимает аудио и выдаёт текст.

587февр. 2024
textaudioapache-2.0hugging-face
yuriyvnv
whisper-large-v3-mixed-cv-nl

yuriyvnv/whisper-large-v3-mixed-cv-nl — модель распознавания речи на нидерландском языке, созданная Yuriy Vnv дообучением Whisper large-v3 от OpenAI. Это плотная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; обучение проводилось с помощью Transformers на записях Common Voice 17.0 и синтетической речи, отфильтрованной по качеству на уровне слов. Модель рассчитана на транскрибацию чистой нидерландской речи и заявляет результаты 4,48% WER на тесте Common Voice и 17,25% WER на MLS. Она может подойти для распознавания речи в аудиозаписях и голосовых сообщениях на нидерландском; результаты на других языках и акустических условиях не описаны. Лицензия — Apache-2.0.

200июль 2025
textaudioapache-2.0hugging-face
dsfsi-anv
whisper-large-v3-turbo-anv-tsn

Модель dsfsi-anv/whisper-large-v3-turbo-anv-tsn — дообученная версия Whisper large-v3-turbo от OpenAI, созданная на датасете dsfsi-anv/za-african-next-voices. Это плотная модель архитектуры Whisper с примерно 905,2 млн параметров, предназначенная для автоматического распознавания речи и преобразования аудио в текст. Модель работает с аудиовходом и выдаёт текст; в метаданных указана библиотека Transformers и формат весов safetensors. На оценочном наборе модель показала loss 0,1287 и WER 16,884. Карточка не описывает подробно целевые языки, сценарии применения или ограничения качества, поэтому эти результаты нельзя переносить на другие наборы данных. Лицензия — MIT.

1470окт. 2025
textaudiomithugging-face
sadrasa97
whisper-large-v3-turbo-fa

sadrasa97/whisper-large-v3-turbo-fa — модель автоматического распознавания речи, созданная дообучением OpenAI Whisper Large V3 Turbo на персидском языке (фарси). Она принимает аудио и преобразует речь в текст; архитектура — WhisperForConditionalGeneration, библиотека — Transformers. В метаданных также указана поддержка английского языка. Модель предназначена для транскрибации персидской речи и может применяться в системах преобразования аудиозаписей в текст. Базовая модель Whisper Large V3 Turbo — ускоренная мультиязычная модель распознавания речи. Модель распространяется по лицензии Apache-2.0.

1132сент. 2026
textaudioapache-2.0hugging-face
mikr
whisper-medium-czech-cv11

Whisper Medium Czech 2 CV11 — модель распознавания речи, дообученная автором mikr на openai/whisper-medium с использованием чешской части набора Mozilla Common Voice 11.0. Она преобразует чешскую речь в текст и предназначена для автоматической транскрибации аудио. Модель построена на архитектуре Whisper, содержит 455,8 млн параметров и распространяется в форматах PyTorch и Safetensors. На оценочной выборке указана ошибка слов WER 11,4086 и значение loss 0,2417. Лицензия — Apache-2.0. В README не описаны ограничения применения и условия оценки, кроме приведённых метрик.

884дек. 2022ctx1K
textaudioapache-2.0hugging-face
ychafiqui
whisper-medium-darija

ychafiqui/whisper-medium-darija — модель распознавания речи, созданная дообучением Whisper medium от OpenAI на датасете Darija Speech to Text. Она предназначена для преобразования речи на дариже в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров; для работы с ней используется библиотека Transformers. Карточка не приводит результатов оценки и подробных сведений об ограничениях. Модель распространяется по лицензии Apache-2.0.

3617сент. 2024ctx1K
textaudioapache-2.0hugging-face
lorenzoncina
whisper-medium-zh

lorenzoncina/whisper-medium-zh — модель распознавания речи, полученная дообучением Whisper Medium от OpenAI на китайской части набора Mozilla Common Voice 11.0 (zh-CN). Она предназначена для преобразования китайской речи в текст. В карточке приведены результаты оценки: loss 0,3226 и CER 10,9782. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в метаданных указан китайский язык. Весы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.

108апр. 2023ctx1K
textaudioapache-2.0hugging-face
amirsz8203
whisper-small-fa-finetuned

amirsz8203/whisper-small-fa-finetuned — версия Whisper Small, дообученная автором репозитория для автоматического распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка указывает оценку WER 24,1495 на наборе оценки, но не описывает сам набор данных и условия измерения. Модель использует архитектуру Whisper и библиотеку Transformers, веса представлены в формате safetensors. Лицензия — Apache 2.0. Поддерживаемый язык в карточке не подтверждён.

110июль 2026ctx1K
textaudioapache-2.0hugging-face
MKAlbani
whisper-small-ha

MKAlbani/whisper-small-ha — дообученная модель распознавания речи на базе openai/whisper-small, созданная на датасете Common Voice 16.1. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 153,1 млн параметров. В карточке приведены результаты оценки: WER 43,79 и WER Ortho 46,98. Модель принимает аудио и выдаёт текст. Базовый Whisper — мультиязычная модель, но карточка не уточняет языки, на которых проводилось дообучение; суффикс «ha» сам по себе не подтверждает язык. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.

110февр. 2024ctx1K
textaudioapache-2.0hugging-face
Blgn94
whisper-small-mn-v2

Blgn94/whisper-small-mn-v2 — дообученная модель на основе openai/whisper-small для автоматического распознавания речи на монгольском языке. Она использует архитектуру Whisper и предназначена для транскрибирования аудио; модель распространяется через Transformers в формате safetensors. Обучение проводилось на корпусе примерно из 77 часов монгольской речи с частотой 16 кГц, преимущественно на записях Common Voice. По результатам проверки на фиксированной выборке из 200 примеров модель показала WER 15,16% и CER 6,60%; полная оценка на валидационной выборке ещё не проводилась. Модель лучше подходит для чёткой подготовленной речи на кириллице и может быть полезна для транскрибирования записей и субтитров. По сравнению с разговорной, шумной или телефонной речью качество может быть ниже; Whisper также может ошибочно генерировать текст на тишине и неречевых фрагментах. Лицензия — Apache-2.0.

1540июль 2026ctx1K
textaudioapache-2.0hugging-face
ronnybscales
whisper-small-shona-waxal

ronnybscales/whisper-small-shona-waxal — дообученная модель автоматического распознавания речи на основе Whisper Small от OpenAI. Она предназначена для преобразования входящей речи в текст; название модели указывает на специализацию для языка шона. В карточке приведены результаты оценки: WER 52,01 и eval_loss 0,5100 после примерно 2 эпох обучения. Модель построена на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Лицензия — Apache 2.0. Подробности о данных обучения и условиях оценки в карточке не описаны.

91июль 2026ctx1K
textaudioapache-2.0hugging-face
futureProofGlitch
whisper-small-v2

FutureProofGlitch/whisper-small-v2 — дообученная разработчиком FutureProofGlitch модель распознавания речи на базе Whisper Small. Она предназначена для преобразования англоязычной речи в текст; для оценки указаны результаты на тестовой выборке GigaSpeech: WER 16,4524 и нормализованный WER 28,4362. Модель содержит 153,1 млн параметров и распространяется в формате safetensors. Модель подходит для транскрибирования англоязычных записей и аудио, включая материалы из домена GigaSpeech. Лицензия — Apache-2.0. README не приводит дополнительных сведений о сценариях применения или ограничениях качества.

101март 2024ctx1K
textaudioapache-2.0hugging-face
kiranpantha
10epochs-w2v-bert-2.0-nepali-unlabeled-1

Это модель автоматического распознавания непальской речи, разработанная Kiran Pantha. Она дообучена на базе kiranpantha/w2v-bert-2.0-nepali на сбалансированном наборе аудиоданных OpenSLR54-Balanced-Nepali и использует архитектуру Wav2Vec2-BERT с CTC-декодированием. Модель принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. В карточке приведены результаты оценки: WER 0,3612 и CER 0,0805. Модель подходит для транскрибирования записей на непальском языке. Указана лицензия MIT. README не описывает дополнительные сценарии, условия записи или известные ограничения.

100окт. 2024
textaudiomithugging-face
ACE-Step
acestep-transcriber

ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.

2.8K65янв. 2026ctx32.8K
textaudiomithugging-face
nuresens
ALL_PAD_MERGE_v4

Карточка модели nuresens/ALL_PAD_MERGE_v4 на Hugging Face совпадает с карточкой nuresens/ALL_PAD_MERGE_v2, поэтому описание составлено по ней. nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.

200июнь 2026ctx262.1K
textimageapache-2.0hugging-face
gheero-Leyu
amharic-omnivoice-tts

Карточка модели gheero-Leyu/amharic-omnivoice-tts на Hugging Face совпадает с карточкой Lab-et/omnivoice-amharic, поэтому описание составлено по ней. OmniVoice Amharic — модель синтеза речи, разработанная участниками инициативы Voices For All и дообученная на базе k2-fsa/OmniVoice. Она преобразует текст в естественную амхарскую речь и поддерживает клонирование голоса по аудиозаписи длительностью около 10 секунд. Модель использует нед autoregressive дискретную диффузионную архитектуру; заявленный размер — 612,6 млн параметров. Базовая OmniVoice также поддерживает английский и китайский, однако эта версия обучалась на амхарских аудиоданных и прежде всего предназначена для амхарского языка. Модель подходит для озвучивания текстов, создания речи голосом заданного говорящего и синтеза амхарской речи с учетом характерных согласных, геминации и интонации. В карточке перечислены данные из нескольких амхарских речевых корпусов и заявлена поддержка диалектных вариантов, хотя обучающие данные смещены в сторону аддис-абебского произношения. Лицензия — Apache 2.0. Известные ограничения: в обучающих данных преобладают мужские голоса, сельские акценты представлены слабее, а переключение между амхарским и английским, числительные и даты могут произноситься непредсказуемо. Эмоциональный диапазон ограничен нейтральной и новостной манерой; количественные результаты оценки в карточке пока не опубликованы.

1891авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
dark-pen
apodex-1.0-4B-SFT-rebased

Apodex-1.0-4B-SFT-rebased — мультимодальная модель семейства Qwen3.5 с плотной архитектурой и 4 млрд параметров. Её создал dark-pen, объединив с помощью LazyMergekit модели Qwen/Qwen3.5-4B-Base и apodex/Apodex-1.0-4B-SFT методом arcee_fusion; веса сохранены в формате safetensors и типе bfloat16. Модель предназначена для диалоговых сценариев с текстом и изображениями, включая ответы на вопросы по визуальному содержимому. Метаданные также указывают на интерфейс вызова инструментов. Модель доступна по лицензии Apache-2.0.

301июль 2026ctx262.1K
textimageapache-2.0hugging-face
zai-org
cogvlm2-llama3-chinese-chat-19B

CogVLM2 Chinese Chat — мультимодальная чат-модель компании Zhipu AI на архитектуре CogVLM2 с языковой основой Meta-Llama-3-8B-Instruct. Она принимает изображения и текст и генерирует текстовые ответы на вопросы о содержимом изображений, включая документы, диаграммы и сцены. Поддерживает китайский и английский языки, изображения с разрешением до 1344 × 1344 пикселей и контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, чтения текста на изображениях и анализа документов без внешних OCR-инструментов. README сообщает об улучшениях на бенчмарках TextVQA и DocVQA относительно предыдущего поколения CogVLM. В метаданных размер указан как 8,3 млрд параметров, тогда как README описывает семейство как модель на 19B; точный размер этой версии поэтому представлен источниками неоднозначно. Модель опубликована в формате safetensors. Лицензия указана как «other»; конкретные условия использования следует сверять с условиями репозитория и базовой модели.

32068май 2024ctx8.2K
textotherhugging-face
facebook
data2vec-audio-large-960h

Data2Vec-Audio-Large-960h — акустическая модель Facebook для автоматического распознавания английской речи. Это крупная Transformer-модель семейства data2vec с архитектурой Data2VecAudioForCTC и 402,7 млн параметров; она предварительно обучена и дообучена на 960 часах аудио из LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выводит текстовую транскрипцию. Модель предназначена для транскрибирования аудиозаписей и оценки систем распознавания речи на наборах LibriSpeech. В карточке приведены результаты WER 1,89 для раздела clean и 4,07 для other. Эти показатели относятся к указанной оценке на LibriSpeech и не гарантируют аналогичного качества на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Она рассчитана на английскую речь и требует аудио с частотой 16 кГц; карточка не описывает поддержку других языков или сценариев работы.

3.8K9апр. 2022
textaudioapache-2.0hugging-face
aoleg
gemma-4-31B-it-heretic-ORBA

aoleg/gemma-4-31B-it-heretic-ORBA — декензурированная версия мультимодальной инструкционной модели Google Gemma 4 31B IT. Автор сообщает, что модель создана с помощью Heretic v1.3.0 и собственного метода ORBA abliteration; метаданные также связывают её с google/gemma-4-31B-it как с базовой моделью и указывают архитектуру Gemma4ForConditionalGeneration в формате safetensors. Модель предназначена для диалогов и задач image-text-to-text: она принимает текст и изображения, анализирует визуальный ввод и генерирует текст. В README приведено сравнение отказов: 2 из 100 для этой версии против 98 из 100 у указанной автором модели сравнения; это результат оценки с LLM-судьёй, а не гарантия поведения во всех запросах. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.

130июнь 2026
textimagehugging-face
didula-wso2
gemma-4-E4B-rl70

didula-wso2/gemma-4-E4B-rl70 — дообученная модель на архитектуре Gemma 4 E4B, разработанная didula-wso2 на базе didula-wso2/gemma4_sft-julia_klgesft_16bit_vllm. Она предназначена для диалоговых задач с текстовыми запросами и изображениями и генерации текста по визуальному содержимому. Модель использует архитектуру Gemma4ForConditionalGeneration; веса опубликованы в формате safetensors. Модель поддерживает английский язык и мультимодальный ввод текста и изображений. В README указано, что при обучении использовались Unsloth и библиотека TRL от Hugging Face. Лицензия — Apache-2.0.

90июнь 2026ctx131.1K
textimageapache-2.0hugging-face
handy-computer
gigaam-v3-e2e-ctc-gguf

Модель представляет собой GGUF-конверсию GigaAM-v3 для библиотеки transcribe.cpp, подготовленную командой handy-computer на основе ai-sage/GigaAM-v3. Это офлайн-модель автоматического распознавания русской речи с жадным декодированием RNN-T. Она предназначена для преобразования 16 кГц моноаудио в текст и локального запуска без внешней языковой модели или подключения к интернету. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 имеет около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная конверсия выводит строчные русские тексты без пунктуации, использует словарь из 33 символов и поддерживает токенные временные метки. Потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. На полном тестовом наборе FLEURS ru из 775 высказываний показатель WER составляет около 8,07–8,12% в зависимости от квантизации. Модель ориентирована на русскую речь в различных доменах, включая естественную речь, колл-центры, фоновую музыку и речь с нетипичными характеристиками. Ограничения включают отсутствие пунктуации и нормализации текста, отсутствие потокового режима и ограничения базового декодирования для длинных аудиофайлов. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

32K0май 2026
textaudiomithugging-face
karanjaxyz
gikuyu-asr-v0

Модель karanjaxyz/gikuyu-asr-v0 — дообученная на наборе karanjaxyz/kikuyu-asr-data модель OpenAI Whisper Small для автоматического распознавания речи на кикуйю. Она принимает аудио и генерирует текстовую транскрипцию. В карточке указаны результаты оценки: WER 32,86 и CER 10,47; описание не содержит подробностей о сценариях применения или условиях записи, использованных при оценке. Модель построена на архитектуре Whisper и опубликована в формате safetensors для Transformers. Лицензия — Apache-2.0.

151авг. 2026ctx1K
textaudioapache-2.0hugging-face
patrickvonplaten
hubert-xlarge-ls960-ft-4-gram

patrickvonplaten/hubert-xlarge-ls960-ft-4-gram — модель распознавания английской речи, созданная на основе Facebook hubert-xlarge-ls960-ft и дополненная 4-граммной языковой моделью. Для языковой модели используются официальные n-граммы LibriSpeech. Архитектура — HuBERT-XLarge с CTC-выходом; число параметров по метаданным — 1,3 млрд. Модель принимает аудио и выдаёт распознанный текст, подходит для транскрибации речи и оценки на наборах LibriSpeech clean и other. В README приведены результаты WER 1,71 для clean и 3,06 для other. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.

1.7K5апр. 2022
textaudioapache-2.0hugging-face
minsu0567
IAD-X1-SFT-answer-last

IAD-X1-SFT-answer-last — мультимодальная модель диалога на базе Qwen/Qwen3.5-4B, дообученная на наборе данных PA_SFT_2_answer_last. Она предназначена для диалоговых задач с пониманием изображений и генерацией текстовых ответов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса в формате Safetensors. Модель работает с изображениями и текстом на входе и формирует текст на выходе. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели.

130июнь 2026ctx8.2K
textimageotherhugging-face
OpenGVLab
InternVL3_5-38B-Flash

InternVL3.5-38B-Flash — мультимодальная чат-модель OpenGVLab, созданная на основе InternVL3.5-38B. Это плотная архитектура InternVLChatModel с обработкой изображений и текста; репозиторий использует Transformers и формат safetensors. Модель дообучена на наборах OpenGVLab/MMPR-v1.2 и OpenGVLab/MMPR-Tiny и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов с изображениями и текстом, визуальных вопросов и рассуждений по изображениям, включая задачи понимания диаграмм, документов и визуальных сцен. Семейство InternVL3.5 также заявляет поддержку взаимодействия с графическим интерфейсом и воплощённых агентов; README описывает динамическое распределение разрешения визуальных токенов и раздельное развёртывание зрительной и языковой частей для повышения эффективности. Для запуска 38-миллиардной версии README указывает необходимость двух GPU A100; эти аппаратные требования могут ограничивать локальное развёртывание.

1528сент. 2025ctx14.6K
textapache-2.0hugging-face
fairy322
Llama-3.2-11B-Vision-Instruct-abliterated-8-bit

Это 8-битная версия модели Llama 3.2 11B Vision Instruct, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Llama-3.2-11B-Vision-Instruct-abliterated с помощью mlx-vlm 0.1.4. Модель принимает текст и изображения и предназначена для диалога и ответов на вопросы по изображениям. Модель основана на архитектуре mllama и содержит 11 млрд параметров. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Репозиторий содержит веса в формате safetensors; лицензия — llama3.2. Метаданные отмечают возможности чата, работы с изображениями и интерфейс вызова инструментов. Подробности о качестве и ограничениях автор отсылает к карточке исходной модели.

2480июнь 2026ctx131.1K
textimagellama3.2hugging-face
unsloth
Llama-4-Scout-17B-16E

Карточка модели unsloth/Llama-4-Scout-17B-16E на Hugging Face совпадает с карточкой meta-llama/Llama-4-Scout-17B-16E, поэтому описание составлено по ней. Llama 4 Scout — мультимодальная авторегрессионная модель Meta с архитектурой mixture-of-experts и ранним объединением модальностей. В модели 17 млрд параметров и 16 экспертов; она предназначена для работы с текстом и изображениями. Модель подходит для диалогового помощника, визуального рассуждения, распознавания содержимого изображений, создания подписей и ответов на вопросы об изображениях. Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. В README указано, что модель тестировалась на понимание до пяти изображений за один запрос. Модель распространяется по специальной коммерческой лицензии Llama 4 Community License Agreement с ограничениями Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; качество ответов и работу в конкретных сценариях следует проверять отдельно. Возможности понимания изображений сверх пяти изображений за запрос требуют дополнительного тестирования и настройки.

2733апр. 2025ctx262.1K
textimageotherhugging-face
llava-hf
llava-onevision-qwen2-72b-ov-chat-hf

LLaVA-OneVision Qwen2 72B Chat — мультимодальная модель семейства LLaVA-OneVision, разработанная командой LLaVA и представленная в карточке Hugging Face как дообученная версия Qwen2. Она сочетает визуальный энкодер SO400M с языковой моделью Qwen2 и предназначена для диалоговой работы с изображениями и видео. Модель отвечает на вопросы по одному или нескольким изображениям, описывает визуальные материалы и поддерживает понимание видео. Обучение включало этапы с синтетическими инструкциями, данными для одиночных и нескольких изображений, а также видеоданными; заявлен формат точности bfloat16. Для работы с изображениями и видео используется мультимодальный шаблон чата в Transformers. Карточка указывает поддержку английского и китайского языков. Репозиторий распространяет веса в safetensors и использует лицензию Apache-2.0. Это крупная модель на 72 млрд параметров, поэтому для локального запуска требуются значительные вычислительные ресурсы; README также описывает возможность 4-битной загрузки через bitsandbytes.

3763сент. 2024ctx131.1K
textimageapache-2.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей