/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
511–540 из 8 953
google
paligemma2-10b-mix-224

PaliGemma 2 10B Mix 224 — разработанная Google открытая модель зрения и языка, построенная на компонентах SigLIP и Gemma 2. Она принимает изображение и текст и генерирует текст; вариант 224 предназначен для работы с изображениями разрешением 224 пикселя. Модель рассчитана прежде всего на дообучение под конкретные задачи визуального языка и поддерживает несколько языков. Модель подходит для описания изображений и коротких видео, визуальных вопросов и ответов, распознавания текста на изображениях, поиска объектов с выдачей рамок и сегментации объектов. В карточке также показаны шаблоны запросов для генерации вопросов по изображению и локализации объектов. PaliGemma 2 лучше работает с чёткими инструкциями; без дообучения её результаты могут уступать моделям общего назначения, а сама модель не предназначена для многоходового диалога. Ответы могут содержать фактические ошибки, а анализ сложного контекста, нюансов и здравого смысла ограничен. Лицензия Gemma; при использовании необходимо соблюдать политику запрещённых применений Gemma.

16910нояб. 2024
textimagegemmahugging-face
mlx-community
Qwen2.5-VL-72B-Instruct-3bit

MLX-версия мультимодальной модели Qwen2.5-VL-72B-Instruct, подготовленная сообществом mlx-community. Репозиторий создан конвертацией исходной модели в формат MLX с помощью mlx-vlm 0.1.11 и содержит 3-битную квантизацию. Модель насчитывает 71,5 млрд параметров и поддерживает контекст длиной до 128 000 токенов. Модель принимает текст и изображения и формирует текстовые ответы. Она предназначена для диалогового анализа изображений и других задач визуально-языкового взаимодействия; доступны чат и интерфейс вызова инструментов. Карточка отсылает к описанию исходной Qwen2.5-VL-72B-Instruct за подробностями о возможностях. В метаданных указана лицензия other; конкретные условия следует сверить с карточкой исходной модели.

2135янв. 2025ctx128K
textimageotherhugging-face
mlx-community
Qwen3.5-9B-6bit

mlx-community/Qwen3.5-9B-6bit — модель, преобразованная сообществом mlx-community в формат MLX из Qwen/Qwen3.5-9B с использованием mlx-vlm версии 0.3.12. Базовая модель указана как Qwen/Qwen3.5-9B-Base, а исходная карточка модели размещена в репозитории Qwen/Qwen3.5-9B. Модель предназначена для задач, связанных с пониманием изображений и генерацией текста по визуальному содержимому, включая описание изображений. Она классифицируется как image-text-to-text и может использоваться через библиотеку mlx-vlm на устройствах, совместимых с MLX. В README не указаны архитектура, точный размер в параметрах, поддерживаемые языки и размер контекстного окна. Обозначение 6bit указывает на шестибитное представление модели, но дополнительные сведения о характеристиках квантования не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит подробностей о сильных сторонах, ограничениях и полном наборе сценариев применения; за ними предлагается обращаться к оригинальной карточке Qwen/Qwen3.5-9B.

1.3K6март 2026ctx262.1K
textimageapache-2.0hugging-face
mlx-community
Qwen3.8-27B-bf16

Qwen3.8-27B-bf16 — мультимодальная модель семейства Qwen, опубликованная mlx-community и преобразованная из Qwen/Qwen3.8-27B для формата MLX. Это плотная модель с 27 млрд параметров на архитектуре Qwen3_5ForConditionalGeneration; она предназначена для диалогов и анализа изображений. Метаданные указывают поддержку vision и conversational-сценариев, а README описывает запуск через mlx-vlm. Модель принимает текст и изображения и формирует текстовые ответы. Базовая карточка характеризует исходную модель как подходящую также для анализа видео, программирования и многошаговых задач, однако карточка этой сборки подтверждает прежде всего обработку изображений и диалог. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0.

6.0K24авг. 2026ctx262.1K
textimageapache-2.0hugging-face
Jinstudio
Qwen3-ForcedAligner-0.6B-hf

Карточка модели Jinstudio/Qwen3-ForcedAligner-0.6B-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-ForcedAligner-0.6B-hf, поэтому описание составлено по ней. Qwen3-ForcedAligner-0.6B-hf — модель принудительного выравнивания речи от команды Qwen. Она принимает аудио и готовую расшифровку, а затем предсказывает временные метки для её единиц; распознавать речь для получения текста может отдельная ASR-модель. Модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки и выравнивает аудио длительностью до пяти минут. Модель относится к семейству Qwen3-ASR и использует архитектуру Qwen3ASRForTokenClassification. Нерегрессионный режим выполнения делает её подходящей для пакетной обработки аудио; в README также описано ускорение с помощью torch.compile. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0. Для работы требуется аудио и текстовая транскрипция, полученная заранее, например, с помощью Qwen3-ASR или другой системы распознавания речи. Модель предназначена для разметки времени произнесённых слов или других единиц, а не для самостоятельного распознавания речи; в README также не заявлена поддержка иных типов аудио, кроме речи.

4020июль 2026ctx131.1K
textapache-2.0hugging-face
prithivMLmods
Qwen3-VL-4B-Thinking-Unredacted-MAX

Qwen3-VL-4B-Thinking-Unredacted-MAX — производная мультимодальная модель prithivMLmods на архитектуре Qwen3-VL-4B-Thinking. В README говорится об оптимизации упаковки модели и совместимости с Transformers; метаданные указывают дообучение на базе Qwen/Qwen3-VL-4B-Thinking. Модель принимает изображения и текст и выдаёт текстовые ответы с визуальным рассуждением. Модель предназначена для анализа изображений, генерации подписей и описаний, подготовки аннотаций и прототипирования систем, объединяющих текст и зрение. Поддерживает изображения с разными разрешениями и соотношениями сторон; в метаданных указан английский язык. Плотная архитектура насчитывает 4 млрд параметров по названию модели. Лицензия — Apache-2.0. Качество зависит от чёткости изображения и формулировки запроса; интерпретации сложных сцен могут быть неполными или непоследовательными. Для стабильного запуска требуется достаточный объём видеопамяти, а результаты зависят от настроек декодирования и оптимизации среды выполнения.

1641февр. 2026ctx262.1K
textimageapache-2.0hugging-face
facebook
s2t-small-librispeech-asr

S2T-SMALL-LIBRISPEECH-ASR — модель автоматического распознавания речи семейства Speech to Text Transformer (S2T), опубликованная в репозитории Facebook. Это последовательностная модель encoder-decoder на базе трансформера с 15,1 млн параметров: энкодер обрабатывает акустические признаки, а декодер авторегрессионно генерирует транскрипцию. Для обучения использовались признаки log-mel фильтрового банка и SentencePiece с регистронезависимым текстом. Модель предназначена для преобразования английской речи в текст, в частности для расшифровки записей, похожих на аудиокниги LibriSpeech. Обучение проводилось на корпусе LibriSpeech ASR, содержащем около 1000 часов английской речи с чтением вслух. В карточке приведены результаты WER 4,3 на тестовой части clean и 9,0 на other. Модель принимает аудио, представленное акустическими признаками, и выдаёт текстовую транскрипцию. Модель выпущена по лицензии MIT. Её специализация на английской речи с чтением вслух ограничивает применимость к другим языкам, спонтанной речи, шумным записям и сценариям, отличающимся от данных LibriSpeech.

50K35март 2022
textaudiomithugging-face
sil-ai
senga-LUK-aligned-degate60-speecht5

senga-LUK-aligned-degate60-speecht5 — дообученная Sil-AI модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5 и предназначена для преобразования текстового ввода в аудио. В README приведено значение Loss 0,1228 на наборе оценки, но обучающий и оценочный наборы не описаны. Модель распространяется в формате safetensors по лицензии MIT. Подробности о голосах, поддерживаемых языках и ограничениях применения не приведены.

110июль 2026ctx600
textaudiomithugging-face
UBC-NLP
Simba-TTS-tsn

Карточка модели UBC-NLP/Simba-TTS-tsn на Hugging Face совпадает с карточкой UBC-NLP/Simba-TTS-afr, поэтому описание составлено по ней. Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.

770май 2025
textaudiocc-by-4.0hugging-face
unsloth
Spark-TTS-0.5B

unsloth/Spark-TTS-0.5B — двуязычная модель синтеза речи, опубликованная Unsloth на основе Spark-TTS от SparkAudio. Она использует архитектуру на базе Qwen2.5 и генерирует аудио непосредственно из речевых токенов, предсказанных языковой моделью. Модель предназначена для синтеза речи по тексту, клонирования голоса без дополнительного обучения на голосе говорящего и настройки параметров виртуального голоса, включая тембр, высоту и скорость речи. Модель поддерживает английский и китайский языки, в том числе межъязыковое клонирование голоса и переключение языков в речи. Карточка описывает её как эффективную систему для исследовательских и прикладных сценариев, включая персонализированный синтез речи и вспомогательные технологии. Доступна по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов. README указывает, что код обучения и набор данных VoxBox ещё не опубликованы. Качество клонирования и синтеза может зависеть от входного текста и образца голоса; модель следует применять с учётом согласия человека, чей голос воспроизводится.

75118май 2025
textaudiocc-by-nc-sa-4.0hugging-face
Ghost3454
translynx-pakistani-punjabi-whisper-small

TransLynx Pakistani Punjabi Whisper Small — модель распознавания речи, разработанная командой TransLynx путём дообучения мультиязычной Whisper Small от OpenAI. Она преобразует речь на пакистанском пенджаби в текст на письме шахмукхи. Для языка внутри Whisper используется токен урду «ur»; параметры языка и задачи транскрибирования заданы в конфигурации генерации. Модель предназначена для транскрибации аудио, создания субтитров, голосовых интерфейсов и конвейеров обработки речевых данных на пакистанском пенджаби. В README указаны WER 7,07% на валидационной выборке и 11,50% на тесте с диктором, не участвовавшим в обучении. Обучение проводилось на 3 500 записях семи дикторов, произносивших один и тот же набор из 500 предложений. Модель ориентирована на текстовый вывод шахмукхи и не предназначена для распознавания восточного пенджаби на письме гурмукхи. Ограниченный набор предложений и дикторов может снижать качество на спонтанной речи, при шуме, иных диалектах и незнакомой лексике. Лицензия — Apache-2.0.

490июнь 2026ctx1K
textaudioapache-2.0hugging-face
maya-research
Veena

Veena — модель синтеза речи, разработанная Maya Research. Это авторегрессионный трансформер на архитектуре Llama примерно с 3,3 млрд параметров, который преобразует текст на хинди и английском в речь; поддерживаются также смешанные фразы с обоими языками. Для выбора голоса доступны четыре варианта: kavya, agastya, maitri и vinaya. Аудио генерируется с частотой 24 кГц с использованием кодека SNAC. В метаданных указан контекст 131 072 токена, тогда как README заявляет ограничение входа в 2048 токенов. Модель предназначена для озвучивания экранного текста, голосовых помощников и IVR, дубляжа, аудиокниг, учебных материалов и навигационных объявлений. README заявляет задержку менее 80 мс на H100-80GB, около 120 мс на A100-40GB и около 200 мс на RTX 4090. Эти показатели зависят от оборудования и условий запуска; для быстрого вывода рекомендуется GPU. Veena распространяется по лицензии Apache 2.0. Известные ограничения: модель заявлена только для хинди и английского, имеет четыре голоса и может отражать особенности и смещения закрытых обучающих данных; качество для других индийских языков не гарантируется. Заявления README о контексте расходятся с длиной контекста в метаданных.

3.7K240июнь 2025ctx131.1K
textapache-2.0hugging-face
infinitejoy
wav2vec2-large-xls-r-300m-armenian

infinitejoy/wav2vec2-large-xls-r-300m-armenian — модель распознавания речи на базе архитектуры wav2vec 2.0, дообученная на facebook/wav2vec2-xls-r-300m для армянского раздела HY-AM набора Mozilla Common Voice 7.0. Она принимает аудио и преобразует речь в текст; предназначена для автоматической транскрипции армянской речи. В метаданных указано 402,7 млн параметров, реализация на PyTorch и лицензия Apache-2.0. На оценочной выборке карточка сообщает Loss 0,9669 и WER 0,6942, что указывает на заметные ошибки распознавания; качество может зависеть от условий записи, диктора и словаря. Карточка не описывает дополнительные сценарии или ограничения.

145K0март 2022
textaudioapache-2.0hugging-face
xsway
wav2vec2-large-xlsr-georgian

xsway разработал wav2vec2-large-xlsr-georgian — модель распознавания речи на грузинском языке, полученную дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она принимает аудио и преобразует речь в текст; для распознавания входной сигнал должен иметь частоту дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведён результат 45,28% на тестовой части грузинского Common Voice, однако метрика не уточнена. Модель распространяется по лицензии Apache-2.0.

161K1март 2022
textaudioapache-2.0hugging-face
amoghsgopadi
wav2vec2-large-xlsr-kn

Wav2Vec2-Large-XLSR-53-Kannada — модель распознавания речи на каннада, созданная дообучением facebook/wav2vec2-large-xlsr-53 на наборе OpenSLR SLR79. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,8 млн параметров. Модель предназначена для автоматической транскрибации речи на каннада, в том числе записей из набора OpenSLR. В README приведён результат оценки 27,08% на тестовой части данных, но метрика не уточнена, поэтому это число нельзя напрямую трактовать как точность. Модель распространяется по лицензии Apache-2.0.

177K1март 2022
textaudioapache-2.0hugging-face
danurahul
wav2vec2-large-xlsr-pa-IN

danurahul/wav2vec2-large-xlsr-pa-IN — модель автоматического распознавания речи на панджаби, созданная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования панджабской речи в текст. Для входного аудио требуется частота дискретизации 16 кГц; доступны веса PyTorch и Flax. В карточке указан результат тестирования 100% на тестовых данных Common Voice, однако метрика не названа, а разделение данных описано неоднозначно: README сообщает об использовании наборов train и validation для обучения, валидации и тестирования. Поэтому результат не позволяет оценить обобщающую способность модели. Лицензия — Apache-2.0.

112март 2022
textaudioapache-2.0hugging-face
smutuvi
wav2vec2-large-xlsr-sw-common-voice-16

smutuvi/wav2vec2-large-xlsr-sw-common-voice-16 — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC. Она дообучена на facebook/wav2vec2-large-xlsr-53 с использованием Common Voice 16.0 и предназначена для преобразования речи в текст. Размер модели — 402,7 млн параметров; веса опубликованы в формате safetensors. Модель подходит для транскрибации аудиозаписей на суахили. В README приведён показатель WER 0,3082 на оценочной выборке; также указано значение loss inf, поэтому результат оценки следует интерпретировать с осторожностью. Лицензия — Apache-2.0.

200март 2024
textaudioapache-2.0hugging-face
krishnateja
wav2vec2-telugu

krishnateja/wav2vec2-telugu — модель распознавания речи на базе архитектуры wav2vec2, дообученная разработчиком на facebook/wav2vec2-large-xlsr-53 с использованием датасета OpenSLR. Модель преобразует входящую речь на телугу в текст; в метаданных указано 402,7 млн параметров и формат PyTorch. В README приведены результаты оценки: loss 0,2982 и WER 0,2885. Модель подходит для транскрибирования записей и построения систем распознавания речи на телугу. Репозиторий распространяется по лицензии Apache-2.0. Описание не уточняет условия записи аудио и область применимости результатов оценки, поэтому качество на других данных по указанным метрикам определить нельзя.

250нояб. 2022
textaudioapache-2.0hugging-face
BettySara
whisper-large-v3-malayalam-FT

BettySara/whisper-large-v3-malayalam-FT — модель распознавания речи на малаяламском языке, разработанная Bettilda Sara Santhosh и Gourinath HS в рамках академического проекта RSET и IHUB School of Learning. Это полноценно дообученная версия Whisper Large V3 Turbo от OpenAI с архитектурой Whisper и 905,2 млн параметров. Модель обучалась на малаяламской части набора AI4Bharat IndicVoices; аудио приводилось к частоте 16 кГц. Репозиторий содержит веса в формате safetensors. Модель предназначена для преобразования речи на малаялам в текст: для транскрибирования записей, голосовых интерфейсов и исследований распознавания речи для малообеспеченных ресурсами индийских языков. По описанию авторов, дообучение улучшило точность транскрипции на малаялам по сравнению с исходным вариантом без дообучения, однако точное итоговое значение WER в карточке не приведено. Модель специализирована на малаяламском и может хуже работать на других языках, разных диалектах, шумной речи, перекрывающихся голосах и длинных записях; длинное аудио рекомендуется разбивать на фрагменты. Возможны ошибки в написании и разделении слов в разговорной речи, поэтому результаты следует проверять, особенно перед использованием в чувствительных сферах. Лицензия — Apache-2.0.

1690март 2026
textaudioapache-2.0hugging-face
kpriyanshu256
whisper-small-as-500-64-1e-05-bn

Модель kpriyanshu256/whisper-small-as-500-64-1e-05-bn — дообученная версия Whisper small от OpenAI для автоматического распознавания речи на ассамском языке. Она основана на архитектуре WhisperForConditionalGeneration и содержит 153,1 млн параметров. Модель обучена на Common Voice 11.0; в карточке указаны значения Loss 1,3386 и WER 61,7578 на наборе оценки. Модель предназначена для преобразования аудиозаписей на ассамском языке в текст, например для расшифровки речи и подготовки текстовых субтитров. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Показатель WER на наборе оценки указывает на заметные ошибки распознавания; результаты на других данных могут отличаться.

60дек. 2022ctx1K
textaudioapache-2.0hugging-face
steja
whisper-small-marathi

steja/whisper-small-marathi — модель распознавания речи на основе Whisper Small, дообученная автором steja на наборе mozilla-foundation/common_voice_11_0 для маратхи. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи на маратхи. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch по лицензии Apache-2.0. В карточке приведён результат оценки на тестовом наборе: WER 18,5782 и loss 0,6231. Эти показатели относятся к указанному набору данных; карточка не описывает качество на других аудиозаписях и сценариях.

1191дек. 2022ctx1K
textaudioapache-2.0hugging-face
vasista22
whisper-telugu-large-v2

Whisper Telugu Large-v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на телугуязычных данных. Она разработана в рамках Whisper fine-tuning sprint с использованием нескольких общедоступных корпусов распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию на телугу. Архитектура — WhisperForConditionalGeneration, число параметров — около 905,2 млн. Доступны веса PyTorch и Flax; в карточке также упоминается использование whisper_jax для оценки модели. Для обучения использовались корпуса CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus (Indian Languages), Google/Fleurs и Babel. Оценка проводилась на тестовых данных Microsoft Speech Corpus, Google/Fleurs, OpenSLR и Babel. Модель предназначена для автоматической транскрипции речи на телугу. Карточка не приводит метрик качества или сведений о поддержке других языков. Лицензия — Apache-2.0.

73511дек. 2022ctx1K
textaudioapache-2.0hugging-face
FloatinggOnion
yoruba-cfm-dit

FloatinggOnion разработала модель синтеза речи на йоруба на основе Conditional Flow Matching и Diffusion Transformer (DiT). Она преобразует последовательности фонем йоруба в аудиолатенты, а декодер EnCodec 24 кГц восстанавливает из них звуковую волну. Для преобразования обычного текста в фонемы требуется библиотека YorubaG2P; можно также передать идентификаторы фонем напрямую. Архитектура включает 4-слойный текстовый Transformer, 10 блоков DiT с размерностью 512 и 8 головами внимания, а также декодер Meta EnCodec. При генерации метод Эйлера выполняет 24 шага. Модель обучена на данных йоруба и выпущена с лицензией Apache-2.0. Модель подходит для озвучивания текста на йоруба. Её ограничения включают небольшое разнообразие голосов из-за обучения на данных одного диктора, отсутствие явного управления длительностью и просодией, возможные артефакты декодирования и тишину или обрезание слишком коротких и длинных высказываний.

150май 2026
textaudioapache-2.0hugging-face
Awesome-x
aci-yoruba-phase3

Awesome-x разработала aci-yoruba-phase3 как дообученную модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием. Она принимает аудио и преобразует речь в текст; модель содержит 402,7 млн параметров и распространяется в формате Safetensors через библиотеку Transformers. Модель рассчитана на распознавание речи на йоруба, что следует из названия модели и базовой модели Awesome-x/aci-yoruba-phase2. Модель может подойти для транскрибации аудиозаписей и построения систем распознавания речи на йоруба. Лицензия Apache-2.0 разрешает её использование на условиях этой лицензии. Данные обучения и оценки, а также конкретные ограничения качества в карточке не описаны.

90июнь 2026
textaudioapache-2.0hugging-face
Salesforce
blip2-opt-6.7b

BLIP-2 OPT-6.7b — модель для генерации текста по изображению от Salesforce, опубликованная в рамках исследования BLIP-2. Она объединяет визуальный энкодер, Querying Transformer (Q-Former) и языковую модель OPT на 6,7 млрд параметров; энкодер изображения и OPT используют предварительно обученные замороженные веса, а Q-Former связывает визуальные признаки с языковой моделью. Репозиторий содержит предварительно обученную модель на PyTorch и Safetensors. Модель принимает изображение и необязательный текстовый запрос, а затем генерирует текст. Она подходит для создания подписей к изображениям, визуальных ответов на вопросы и диалогов об изображении. В карточке указан английский язык. Модель может галлюцинировать и наследует смещения и риски OPT и интернет-данных изображений и текстов; её качество, безопасность и справедливость не оценивались для реальных применений. Лицензия — MIT.

12K80февр. 2023
textimagemithugging-face
moranyanuka
blip-image-captioning-large-mocha

Это чекпойнт BLIP-Large, дообученный Мораном Янукой и соавторами на MS-COCO с помощью RL-фреймворка MOCHa. Работа посвящена снижению галлюцинаций при описании объектов с открытым словарём. Модель предназначена для условной и безусловной генерации текстовых описаний изображений. Её можно использовать для автоматического создания подписей к изображениям и проверки методов генерации описаний с меньшим числом неподтверждённых визуальных деталей. Архитектура — BLIP для генерации текста по изображению; веса доступны в форматах PyTorch и Safetensors. Лицензия — MIT. Число параметров, длина контекста и поддерживаемые языки в источниках не приведены; модель описана для генерации подписей к изображениям, поэтому её не следует считать универсальной системой визуального диалога.

1812дек. 2023ctx512
textimagemithugging-face
shreyask
bol-tts-marathi

shreyask/bol-tts-marathi — это дообученная модель синтеза речи на основе hexgrad/Kokoro-82M, разработанная для озвучивания текста на маратхи. Она использует архитектуру StyleTTS2 с декодером ISTFTNet, содержит 81,76 млн параметров и генерирует аудио с частотой дискретизации 24 кГц. Доступно 25 голосов, включая голоса, обученные на маратхи, и варианты голосов Kokoro. Модель предназначена для синтеза речи на маратхи, в том числе смешанного текста на маратхи и английском (Minglish). Для латинских английских слов в смешанном тексте README рекомендует предварительную транслитерацию в деванагари перед фонемизацией; доступны клиентская предобработка и таблица примерно из 19 500 соответствий. Модель построена на Kokoro-82M и дообучена с использованием данных AI4Bharat/Rasa, AI4Bharat/IndicVoices-R и SPRINGLab/IndicTTS-Marathi. Модель не подходит для предложений только на английском: декодер может произносить их с акустикой маратхи. Редкие английские заимствования могут не обрабатываться таблицей предобработки. Лицензия модели — Apache-2.0; лицензии и условия использования исходных датасетов различаются.

1470апр. 2026
textaudioapache-2.0hugging-face
baidu
ERNIE-4.5-VL-28B-A3B-Base-Paddle

ERNIE-4.5-VL-28B-A3B-Base-Paddle — базовая мультимодальная модель семейства ERNIE 4.5, разработанная Baidu. Она предназначена для понимания изображений и текста, генерации ответов по визуальному содержимому и межмодальных рассуждений. Модель принимает текст и изображения и выдаёт текст; поддерживает английский и китайский языки. Архитектура — мультимодальная MoE: в README указано 28 млрд параметров всего и около 3 млрд активируемых на токен, а метаданные каталога приводят 3,3 млрд параметров. Модель прошла предварительное обучение на текстовых и визуальных данных; веса этой версии предназначены для PaddlePaddle и опубликованы в формате safetensors. Указана лицензия Apache-2.0. Карточка сообщает, что полноценная поддержка ERNIE 4.5 в vLLM находится в разработке.

16923июнь 2025
textimageapache-2.0hugging-face
baidu
ERNIE-4.5-VL-424B-A47B-Base-Paddle

ERNIE-4.5-VL-424B-A47B-Base — базовая мультимодальная модель компании Baidu, предназначенная для понимания текста и изображений и генерации ответов с учётом визуального контекста. Модель построена на архитектуре Mixture of Experts (MoE): в README указано 424 млрд параметров всего и 47 млрд активируемых параметров на токен, а метаданные каталога приводят 47,1 млрд параметров. Она принимает текст и изображения и выдаёт текст; заявленная длина контекста — 131 072 токена. Модель предварительно обучена на текстовых и визуальных данных. Её можно применять для диалога по изображениям, визуальных вопросов и ответов, описания изображений и межмодального рассуждения. Карточка сообщает о поддержке китайского и английского языков. Для запуска используются веса PaddlePaddle; лицензия — Apache-2.0. README отмечает, что полная поддержка модели в vLLM ещё разрабатывается.

15868июнь 2025ctx131.1K
textimageapache-2.0hugging-face
mlx-community
gemma-3-12b-it-qat-4bit

Это мультимодальная чат-модель семейства Gemma 3, опубликованная mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит конверсию модели google/gemma-3-12b-it-qat-q4_0-unquantized; метаданные каталога при этом связывают её с OpenGVLab/InternVL3-1B-Instruct как с дообученной базовой моделью, поэтому происхождение по источникам расходится. Модель принимает изображения и текст и генерирует текст, поддерживает диалоговый режим и предназначена для вопросов об изображениях и других мультимодальных запросов. В метаданных указана мультиязычность; архитектура — плотная Gemma3ForConditionalGeneration. README указывает преобразование в MLX с помощью mlx-vlm версии 0.1.25. Лицензия в метаданных обозначена как other, а условия исходной модели следует сверить с её карточкой.

22K21апр. 2025
textimageotherhugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей