/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
1 741–1 770 из 8 953
facebook
mms-tts-yam

facebook/mms-tts-yam — модель синтеза речи для языка Yamba (yam), выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный контрольный набор VITS, обученный для данного языка; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для преобразования текста на Yamba в речь. Стохастический предиктор длительности позволяет получать варианты ритма для одного и того же текста; генерация недетерминирована, поэтому для воспроизводимого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-yre

facebook/mms-tts-yre — модель синтеза речи на языке яурé (Yaouré, yre), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер для синтеза аудио. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и выше. Для одинакового входа результат может меняться из-за стохастического предсказателя длительности; фиксированный seed позволяет воспроизводить генерацию. Модель рассчитана на яурé и не является многоязычным чекпойнтом: в проекте для каждого языка обучается отдельная модель. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

970сент. 2023
textaudiocc-by-nc-4.0hugging-face
MAGAer13
mplug-owl2-llama2-7b

mPLUG-Owl2-Llama2-7B — мультимодальная модель семейства mPLUG-Owl2, разработанная Alibaba и опубликованная в экосистеме DAMO Academy. Модель сочетает трансформерную архитектуру с языковой основой Llama 2 и предназначена для диалогового взаимодействия с мультимодальными данными. Модель рассчитана на англоязычные сценарии, в которых требуется анализ изображений и формирование ответов в формате диалога: описание визуального содержимого, ответы на вопросы по изображениям и интерпретация пользовательских запросов с учётом визуального контекста. Размер модели составляет 6,6 млрд параметров, а нативная длина контекста — 2048 токенов. Для работы используется PyTorch и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Карточка содержит ограниченное описание возможностей, поэтому конкретные показатели качества, поддерживаемые форматы входных данных и рекомендации по развёртыванию не определены.

32626нояб. 2023ctx2K
textapache-2.0hugging-face
array
Qwen2.5-VL-SAT

array разработала мультимодальную модель Qwen2.5-VL-SAT на основе Qwen/Qwen2.5-VL-7B-Instruct, дообучив её для пространственных и визуальных задач. Обучающая смесь состояла из 60% данных SAT и 40% ответов из Video-R1; модель содержит 7,1 млрд параметров и использует архитектуру Qwen2.5-VL с плотными слоями. Она принимает изображения и текстовые запросы и генерирует текстовые ответы; заявленная длина контекста — 128 000 токенов. Модель предназначена для анализа пространственных отношений и визуального рассуждения по изображениям и видео. В таблице результатов авторы приводят улучшения относительно базовой Qwen2.5-VL-7B на совокупном наборе оценок, включая BLINK, SAT-R и VSI. Для загрузки и запуска указана библиотека Transformers. Лицензия — MIT. В README сообщается об исправлении ошибки, из-за которой некоторые версии Transformers могли выдавать случайные ответы; для устранения проблемы рекомендуется заново загрузить модель. Подробности метрик и обучающих данных авторы отсылают к статье.

1082дек. 2025ctx128K
textimagemithugging-face
MMInstruction
Silkie

Silkie — мультимодальная языковая модель, разработанная командой MMInstruction. Это дообученная версия Qwen/Qwen-VL-Chat с архитектурой Qwen и 11,4 млрд параметров. Модель обучали методом direct preference optimization на наборе MMInstruction/VLFeedback, используя предпочтения, размеченные GPT-4V. Модель предназначена для диалоговых задач с изображениями: она принимает текстовые запросы и изображения и генерирует текстовые ответы. По данным авторов, относительно исходной модели Silkie улучшила результаты на бенчмарке MME для восприятия и когнитивных задач и получила оценку 3,02 на MMHal-Bench в оценке галлюцинаций. Контекст составляет 8192 токена. Авторы позиционируют Silkie для исследований выравнивания мультимодальных моделей. Карточка не приводит сведений о лицензии, поэтому условия использования по имеющимся данным описать нельзя.

8912дек. 2023ctx8.2K
texthugging-face
taskmaster141
SimplyParse-qwen3vl-merged

SimplyParse — дообученная taskmaster141 модель семейства Qwen3-VL, созданная на базе unsloth/Qwen3-VL-4B-Instruct-unsloth-bnb-4bit с использованием Unsloth и библиотеки TRL. Это плотная мультимодальная модель для диалога с изображениями и текстом; метаданные также указывают интерфейс вызова инструментов. Модель предназначена для сценариев, где нужно задавать вопросы об изображениях и получать текстовые ответы в чате. Доступна в формате safetensors и распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения или результаты оценки качества, поэтому применимость к конкретным типам изображений и задачам требует проверки.

160июль 2026ctx262.1K
textimageapache-2.0hugging-face
mlx-community
SmolVLM2-256M-Video-Instruct-mlx

Это конвертированная в формат MLX версия SmolVLM2-256M-Video-Instruct, подготовленная сообществом mlx-community с помощью mlx-vlm 0.1.13. Модель семейства SmolVLM предназначена для диалоговой работы с видео: она принимает видео и текстовые запросы и формирует текстовые ответы. В метаданных указаны архитектура SmolVLMForConditionalGeneration, базовые компоненты SigLIP и SmolLM2-360M-Instruct, поддержка английского языка и формат весов safetensors. Модель подходит для локального использования в задачах описания видеосодержимого и ответов на вопросы о видео. Репозиторий распространяется по лицензии Apache-2.0. Поскольку README отсылает к карточке исходной модели, подробные сведения о контекстном окне и дополнительных ограничениях здесь не приводятся.

64910февр. 2025ctx8.2K
textvideoapache-2.0hugging-face
internlm
Spatial-SSRL-3B

Spatial-SSRL-3B — мультимодальная модель InternLM для понимания пространственных отношений на изображениях. Она построена на Qwen2.5-VL-3B-Instruct и дообучена методом Spatial-SSRL — самонастраиваемым обучением с подкреплением без внешних инструментов. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для анализа изображений и ответов на вопросы о пространственном расположении объектов. По данным карточки, дообучение усиливает пространственные способности, сохраняя общие возможности базовой модели для анализа изображений. В README также описана направленность метода на задачи понимания изображений и видео, однако метаданные этой конкретной модели подтверждают задачу image-text-to-text. Модель принимает текст и изображения и выдаёт текстовые ответы; основным языком карточки указан английский. Распространяется по лицензии Apache-2.0. Количественные результаты по бенчмаркам в предоставленной карточке не приведены.

3227февр. 2026ctx128K
textimageapache-2.0hugging-face
omni-research
Tarsier-34b

Tarsier-34b — открытая крупная видеоязыковая модель, предназначенная прежде всего для описания видео и понимания его содержания. Модель обучена в июне 2024 года и рассчитана на исследователей и энтузиастов в области компьютерного зрения, обработки естественного языка и машинного обучения. Модель использует двухэтапное обучение: предварительное многозадачное обучение на 13 млн примеров и настройку по инструкциям на 500 тыс. примеров. При обучении замораживалась ViT, а проекционный слой и LLM обучались. В README заявлены результаты уровня SOTA на шести открытых бенчмарках; оценивание включало описание видео и видеовопросы-ответы. Метаданные указывают pipeline text-generation, поддержку чата и формат safetensors. Лицензия — Apache-2.0. Модель подходит для генерации описаний роликов и ответов на вопросы о видео. README обозначает её как исследовательскую, но не приводит ограничений по длительности видео, контексту или языкам, поэтому эти характеристики здесь не уточняются.

3019июль 2024
textapache-2.0hugging-face
0xAmey
tinyllava-1.1b-v0.1

0xAmey/tinyllava-1.1b-v0.1 — мультимодальная модель семейства LLaVA, обученная на базе TinyLlama с использованием репозитория BakLlava. Она принимает изображение вместе с текстовым вопросом и генерирует текстовый ответ; пример из карточки — спросить, что изображено на картинке. Модель содержит около 1 млрд параметров, имеет контекст длиной 2048 токенов и распространяется в формате PyTorch. Лицензия — Apache-2.0. Модель подходит для визуальных вопросов и описания содержимого изображений в интерактивном интерфейсе или прикладном приложении. Карточка не сообщает о поддерживаемых языках и специальных областях применения. Небольшой размер и контекст могут ограничивать качество сложных визуальных рассуждений и длину диалога.

2021нояб. 2023ctx2K
textapache-2.0hugging-face
jiajunlong
TinyLLaVA-OpenELM-450M-SigLIP-0.89B

TinyLLaVA-OpenELM-450M-SigLIP-0.89B — компактная мультимодальная модель семейства TinyLLaVA, созданная командой TinyLLaVA с помощью кодовой базы TinyLLaVA Factory. В её состав входят языковая модель OpenELM-450M-Instruct и визуальный энкодер siglip-so400m-patch14-384; для обучения использован набор данных LLaVA. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для вопросов по изображениям и визуального понимания, в том числе для сценариев, похожих на GQA, TextVQA, ScienceQA и VQAv2. В README приведены результаты оценки на этих и других бенчмарках; они показывают возможности модели, но не гарантируют точность в конкретном приложении. Как компактная модель, она может уступать более крупным мультимодальным системам; сведения о поддерживаемых языках и длине контекста в предоставленных источниках отсутствуют.

965апр. 2024ctx2K
textapache-2.0hugging-face
MCG-NJU
VideoChat3-4B

VideoChat3-4B — открытая мультимодальная модель с 4 млрд параметров от команды MCG-NJU для понимания видео. Она принимает видеокадры и текстовый запрос и формирует текстовый ответ; также поддерживает обработку изображений и потокового видео с проактивным ответом, при котором модель может дождаться дополнительных кадров перед выводом. Модель обучена для общих, длинных и потоковых видеосценариев и предназначена для вопросов о содержании и событиях в видео. Авторы сообщают о сильных результатах на распространённых бенчмарках понимания видео и публикуют веса, код обучения, стратегию и обучающие данные для воспроизводимых исследований. Архитектура — плотная VideoChat3ForConditionalGeneration; репозиторий содержит веса Safetensors. Модель поддерживает английский и китайский языки. Лицензия — Apache 2.0.

2.7K31июль 2026ctx262.1K
textapache-2.0hugging-face
speech-seq2seq
wav2vec2-2-bart-large-no-adapter-frozen-enc

Это модель распознавания речи с архитектурой SpeechEncoderDecoderModel: аудиокодировщик связан с текстовым декодером. По карточке, модель обучена с нуля на наборе LibriSpeech ASR. Она предназначена для преобразования речи в текст. В метаданных указаны входные аудиоданные и задача automatic-speech-recognition; размер модели, поддерживаемые языки и длина контекста не приведены. На оценочном наборе LibriSpeech указаны loss 18,7898 и WER 1,0, что указывает на крайне низкое качество распознавания в приведённой оценке. Модель опубликована в формате PyTorch. Сведения о лицензии и условиях использования в доступных данных отсутствуют.

220март 2022ctx1K
textaudiohugging-face
Maniac
wav2vec2-xls-r-60-urdu

Maniac/wav2vec2-xls-r-60-urdu — модель автоматического распознавания речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на урдуском подмножестве Mozilla Common Voice 7.0. Это плотная модель архитектуры wav2vec2 с выходной CTC-головой, содержащая 402,7 млн параметров; репозиторий содержит веса PyTorch. Модель принимает аудио и предназначена для преобразования урдуской речи в текст. В карточке приведён результат оценки на тестовой выборке: WER 0,9852 и loss 3,8433, что указывает на слабое качество распознавания в этой оценке. Модель распространяется по лицензии Apache-2.0. Подробности о рекомендованных сценариях применения и ограничениях в README не приведены.

171март 2022
textaudioapache-2.0hugging-face
YvesStudioSmelt
whispall-supertonic-3

Это зеркало модели SuperTonic 3 от Supertone, размещённое YvesStudioSmelt для стабильного доступа к снимку репозитория, который закреплён в приложении Whispall. Модель предназначена для синтеза речи из текста и используется Whispall для локального озвучивания на устройстве в приложении для диктовки и ассистента на macOS. SuperTonic 3 — модель синтеза речи на основе ONNX flow-matching; в репозитории доступен формат ONNX. Зеркало сохраняет конкретную ревизию upstream-репозитория Supertone/supertonic-3. Модель распространяется по лицензии OpenRAIL. В README не приведены сведения о языках, голосах и поддерживаемом контексте.

71июль 2026
textaudioopenrailhugging-face
sapinsapin
whisper-small-pld-ceb

whisper-small-pld-ceb — модель распознавания речи на основе Whisper Small от OpenAI, дообученная автором sapinsapin на части ceb датасета PLD с чтением вслух. Она предназначена для транскрибирования речи на себуано; при обучении качество выбирали по CER на отложенной выборке. В README приведены значения CER 0,0259 и WER 0,0510 для отложенного набора; метрики рассчитаны после приведения текста к нижнему регистру. Модель принимает аудио и выдаёт текстовую расшифровку. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Хотя базовый Whisper Small многоязычный, эта версия обучалась на себуанской части PLD, поэтому её пригодность для других языков из имеющихся данных не следует.

2000авг. 2026ctx1K
textaudioapache-2.0hugging-face
opsirygi
Azhale0.1

Azhale0.1 — дообученная модель семейства Gemma 4 от opsirygi, созданная с использованием Unsloth и библиотеки TRL от Hugging Face. Карточка указывает на поддержку изображений и диалогового режима, поэтому модель предназначена для ответов на текстовые запросы с учётом визуального содержимого и для разговорных сценариев. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает конкретные данные и цели дообучения, размер модели или длину контекста, поэтому специализацию и качество для отдельных задач определить нельзя.

310сент. 2026ctx131.1K
textimageapache-2.0hugging-face
ljnlonoljpiljm
florence-2-large-nsfw-pt

ljnlonoljpiljm/florence-2-large-nsfw-pt — модель семейства Florence-2, опубликованная на Hugging Face сторонним автором; карточка модели автоматически сгенерирована и не содержит сведений о разработчике. Модель предназначена для задач image-text-to-text, то есть преобразования изображения и текстового запроса в текстовый ответ, и может использоваться в сценариях визуального описания и анализа изображений через библиотеку Transformers. В метаданных модель помечена как Florence2 и not-for-all-audiences, что указывает на потенциально чувствительный или непредназначенный для всех аудиторий характер содержимого. Сведения о размере, архитектурных параметрах, поддерживаемых языках, длине контекста, лицензии, обучающих данных и результатах оценки отсутствуют, поэтому модель следует применять с осторожностью и предварительно проверять её ответы и допустимость контента.

1627сент. 2024ctx1K
texthugging-face
dmis-lab
Gemma3-4B-CVRR

Gemma3-4B-CVRR — исследовательский чекпойнт команды авторов работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary», дообученный на основе Google Gemma 3 4B IT. Модель предназначена для ответов на вопросы об изображениях с помощью метода Causal Visual Recurrent Reasoning (CVRR): она многократно уточняет состояние вопроса, сохраняя доступ к визуальным данным, а при формировании ответа передаёт декодеру итоговое состояние рассуждения без прямого доступа к исходным визуальным представлениям. В репозитории находятся веса базовой модели и объединённый рекуррентный переход; отдельная загрузка LoRA-адаптера не требуется. Доступны строгий режим считывания по первому токену ответа и детерминированная генерация с greedy-декодированием. Для запуска нужен специальный загрузчик Transformers и зависимости из README. Загрузчик не поддерживает автоматическое распределение модели по GPU, сохранение через обычный save_pretrained(), а также прямую загрузку в vLLM или SGLang; рекомендуется закреплять ревизию Hub для воспроизводимости. Лицензия — Gemma.

890сент. 2026
textimagegemmahugging-face
dmis-lab
Gemma4-12B-CVRR

Gemma4-12B-CVRR — мультимодальная модель для визуального рассуждения и ответов на вопросы по изображениям, разработанная авторами работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary». Она основана на инструкционной модели Google `google/gemma-4-12B-it` и использует метод Causal Visual Recurrent Reasoning (CVRR): состояние вопроса многократно обновляется с доступом к визуальным свидетельствам, а верхний декодер формирует ответ через итоговое состояние рассуждения. Рекуррентный переход адаптирован с помощью LoRA и включён в опубликованный чекпойнт; отдельная загрузка адаптера не нужна. Модель принимает изображение и текстовый вопрос и выдаёт текстовый ответ. Для воспроизводимого инференса предусмотрены строгий считыватель первого токена ответа и детерминированная генерация жадным декодированием; коэффициент рекуррентного обновления по умолчанию равен beta=0.5. Для загрузки требуется специальный Transformers loader и зависимости из README. Нужна полная копия модели на каждой GPU: автоматическое распределение по GPU, прямая загрузка через vLLM или SGLang и обычная повторная сериализация через `save_pretrained()` не поддерживаются. Лицензия — Apache-2.0.

1.0K0сент. 2026
textimageapache-2.0hugging-face
dillonlaird
hf-llava-v1.6-34b

dillonlaird/hf-llava-v1.6-34b — репозиторий с файлами для запуска LLaVA-1.6 34B через SGLang. Это авторегрессионная мультимодальная модель чат-бота на архитектуре Transformer, полученная дообучением NousResearch/Nous-Hermes-2-Yi-34B на данных следования мультимодальным инструкциям. Модель насчитывает 33,9 млрд параметров, использует формат Safetensors и имеет контекст длиной 4096 токенов. Модель предназначена для диалога по изображениям, визуальных вопросов и ответов, описания изображений и академических задач компьютерного зрения. В обучении использовались пары изображение–текст, данные VQA и наборы инструкций, включая данные ShareGPT и GPT-4V. Карточка описывает её как открытую модель для исследований и экспериментов исследователей и любителей в области компьютерного зрения и NLP. Репозиторий распространяется по лицензии Apache-2.0. В README отмечена проблема с форматированием чата при использовании интерфейса SGLang; автор рекомендует напрямую отправлять запросы серверу, самостоятельно формируя строку. В метаданных указана задача text-generation, поэтому это основной тег для каталога.

166февр. 2024ctx4.1K
textapache-2.0hugging-face
42MARU
ko-spelling-wav2vec2-conformer-del-1s

Модель 42MARU/ko-spelling-wav2vec2-conformer-del-1s — корейская система распознавания речи, разработанная TADev. Она основана на архитектуре wav2vec2-conformer и дообучена с помощью Wav2Vec2ConformerForCTC на наборе KsponSpeech; при подготовке данных использовалась фильтрация записей длительностью не более одной секунды. Модель содержит 113,3 млн параметров и предназначена для транскрибирования корейской речи с передачей орфографии; числа и английские слова записываются согласно принятой для них форме написания. Для оценки авторы использовали метрику WER и приводят результаты Beam-100: 22,01 для поднабора clean и 27,34 для other. Модель принимает аудио и выдаёт текст. Распознавание ориентировано на корейский язык и данные KsponSpeech, поэтому точность на других языках и доменах не подтверждена. Распространяется по лицензии Apache-2.0.

2.3K7окт. 2022
textaudioapache-2.0hugging-face
liuhaotian
LLaVA-13b-delta-v1-1

LLaVA-13b-delta-v1-1 — delta-чекпойнт мультимодального чат-бота LLaVA, разработанного командой LLaVA. Это авторегрессионная трансформерная модель семейства LLaVA с плотной архитектурой на 12,9 млрд параметров. Delta-файл нельзя использовать самостоятельно: его необходимо применить к исходным весам LLaMA, чтобы получить полные веса LLaVA. Модель предназначена для диалога по изображениям, описания визуального содержимого и ответов на вопросы, требующие визуального рассуждения. Она обучена на 595 тысячах пар изображение–текст из CC3M и 150 тысячах примеров мультимодального следования инструкциям, сгенерированных GPT. Контекст — 2048 токенов. Карточка описывает исследовательское применение; лицензия — Apache License 2.0. Модель демонстрировала результаты на предварительном наборе визуальных вопросов по изображениям COCO и на ScienceQA. При этом README предупреждает, что delta-чекпойнт не является готовой к запуску моделью и требует исходных весов LLaMA. В метаданных задача указана как text-generation, хотя практическое назначение LLaVA мультимодально.

8514май 2023ctx2K
textapache-2.0hugging-face
YanweiLi
MGM-13B-HD

MGM-13B-HD — открытый мультимодальный чат-бот семейства MGM, разработанный путём дообучения Vicuna-13B-v1.5 на наборе мультимодальных инструкций MGM-Instruction. Это плотная языковая модель с архитектурой MiniGeminiLlamaForCausalLM и примерно 12,9 млрд параметров; версия HD предназначена для понимания изображений высокого разрешения. Модель принимает текстовые запросы и изображения и формирует текстовые ответы, поддерживая диалог, визуальное понимание и рассуждение по изображениям. Модель подходит для исследовательских и любительских экспериментов с мультимодальными чат-ботами, вопросов по изображениям и анализа визуального содержимого. Контекст составляет 4096 токенов. В карточке не приведены сведения о поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.

8212март 2024ctx4.1K
texthugging-face
nmh19xx
mhtools-piper-voices

Репозиторий nmh19xx/mhtools-piper-voices содержит вьетнамские голоса для синтеза речи Piper, предназначенные для использования в приложении MHtools. Модель основана на архитектуре VITS и распространяется в формате ONNX; для каждого голоса требуются файлы `.onnx` и `.onnx.json`, которые приложение загружает в каталог `models/piper/` при выборе голоса. Модель преобразует текст на вьетнамском языке в речь и подходит для озвучивания текста в MHtools. Репозиторий распространяется по лицензии Apache-2.0. В README не приведены сведения о конкретных голосах, качестве синтеза или ограничениях по использованию; каталог голосов и способ загрузки зависят от приложения MHtools.

1.0K0июль 2026
textaudioapache-2.0hugging-face
facebook
mms-tts-blz

facebook/mms-tts-blz — модель синтеза речи на языке балантак (Balantak, blz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на балантаке в речевой аудиосигнал и предназначена для создания озвучки и интеграции синтеза речи в приложения для этого языка. Модель использует архитектуру VITS — сквозной генератор речи с вариационным автоэнкодером, потоковым модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Стохастический предсказатель может создавать разные варианты ритма для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель специализирована на балантаке; сведения о поддержке других языков для этого чекпойнта не приводятся. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

880сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bud

facebook/mms-tts-bud — модель синтеза речи для языка нтчам (Ntcham, код ISO 639-3: bud), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на нтчам. Для этого используется архитектура VITS: модель обучается сквозным образом, а стохастический предиктор длительности позволяет по-разному задавать ритм речи для одного и того же текста. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для воспроизводимого результата при генерации речи нужен фиксированный seed: без него стохастическая модель может выдавать разные варианты звучания. Модель рассчитана на один язык и не предназначена для синтеза речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-frd

facebook/mms-tts-frd — модель синтеза речи на языке фордата (Fordata, ISO 639-3: frd), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на фордата в речевую аудиоволну и предназначена для озвучивания текста и создания речевых выходов в приложениях. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, Transformer-кодировщиком текста, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе свёрточных слоёв. Разная длительность может приводить к вариациям ритма; для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-jiv

facebook/mms-tts-jiv — модель синтеза речи на языке шуар (Shuar, код jiv), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS для преобразования входного текста в речевую аудиоволну. Модель основана на VITS — сквозной архитектуре с вариационным автоэнкодером, потоковыми слоями и декодером, построенным по принципу HiFi-GAN; размер составляет 3,5 млн параметров. Модель предназначена для озвучивания текста на шуарском языке. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может различаться; для воспроизводимого вывода требуется фиксировать seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kbq

facebook/mms-tts-kbq — модель синтеза речи на языке Kamano (код kbq), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kamano. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: энд-ту-энд вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предиктором длительности и декодером, построенным по типу HiFi-GAN. Размер модели — 3,5 млн параметров. Случайный предиктор длительности делает генерацию недетерминированной; фиксированный seed позволяет воспроизводить тот же результат. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не приводит оценки качества или сведения о дополнительных настройках голоса.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей