/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
1 711–1 740 из 8 953
liuhaotian
LLaVA-Lightning-MPT-7B-preview

LLaVA-Lightning-MPT-7B-preview — исследовательская предварительная версия мультимодального чат-бота LLaVA, разработанная на базе контрольной точки MPT-7B-chat. Это авторегрессионная модель на архитектуре Transformer, дообученная на данных для следования мультимодальным инструкциям. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, в том числе описания изображений и ответы на вопросы о визуальном содержимом. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с визуальным рассуждением. Для обучения использованы 558 тысяч пар изображение–текст из LAION/CC/SBU с подписями BLIP и 80 тысяч примеров мультимодальных инструкций, сгенерированных GPT. В README описаны предварительные оценки на визуальных вопросах по COCO и ScienceQA; результаты на ScienceQA приведены для связки с GPT-4. Модель выпущена в мае 2023 года. Для использования не требуется преобразование delta-весов; репозиторий содержит веса PyTorch. Лицензия — CC-BY-NC-SA 4.0, а README указывает, что использование должно соответствовать лицензии и условиям MPT-7B-chat. Карточка представляет её как research preview, поэтому результаты предварительных оценок не следует трактовать как гарантию качества.

12255май 2023ctx2K
textcc-by-nc-sa-4.0hugging-face
jeiku
llavamistral1.6configedit

Карточка модели jeiku/llavamistral1.6configedit на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.

180апр. 2024ctx32.8K
textapache-2.0hugging-face
liuhaotian
llava-v1.5-13b-shard3gb

liuhaotian/llava-v1.5-13b-shard3gb — версия чекпойнта LLaVA-v1.5-13B, опубликованная с разбиением весов на файлы размером не более 3 ГБ для загрузки на машины с ограниченной оперативной памятью CPU. LLaVA — авторегрессионный чат-бот на архитектуре Transformer, созданный дообучением LLaMA/Vicuna на мультимодальных инструкциях, сгенерированных GPT. В репозитории указаны 12,9 млрд параметров и контекст 4096 токенов. Модель предназначена для диалога по изображениям и мультимодальных задач, включая визуальные вопросы и ответы, а также для исследований больших мультимодальных моделей. Обучение включало пары изображение–текст, инструкции по изображениям, наборы VQA и диалоги ShareGPT. Модель принимает текст и изображения и генерирует текст. README ориентирует её на исследователей и энтузиастов; подтверждённых сведений о лицензии в предоставленных данных нет.

8014окт. 2023ctx4.1K
texthugging-face
shabieh2
marketsector_fft_deviceauto_0831

Мультимодальная модель shabieh2, дообученная на unsloth/Muse-Glimmer-30B с использованием Unsloth. Она предназначена для диалоговых задач с изображениями: принимает текст и изображения и формирует текстовые ответы. Архитектура — плотная Muse Glimmer для условной генерации; репозиторий содержит веса в формате Safetensors. Модель подходит для вопросов по изображениям и визуального анализа в чате. Базовая Muse-Glimmer-30B описана как модель для локальных агентных задач, работы с инструментами, программирования и анализа изображений, однако карточка этого дообучения не уточняет, какие из этих возможностей улучшались или проверялись. Лицензия — Apache 2.0.

370сент. 2026ctx131.1K
textimageapache-2.0hugging-face
facebook
mms-tts-bcc-script_latin

facebook/mms-tts-bcc-script_latin — модель синтеза речи на южном белуджском языке, представленном латинским письмом. Она создана Meta в рамках проекта Massively Multilingual Speech (MMS); для каждого языка проекта обучается отдельный чекпойнт. Модель принимает текст и генерирует речевую аудиоволну. Это компактная модель VITS с 3,5 млн параметров, реализованная для PyTorch и доступная в формате safetensors. Архитектура объединяет вариационный автоэнкодер, потоковые слои, трансформерный текстовый энкодер и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты произношения и ритма; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для озвучивания текста на южном белуджском языке латинским письмом. Она распространяется по лицензии CC BY-NC 4.0, которая разрешает использование с указанием авторства, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bcl

facebook/mms-tts-bcl — модель синтеза речи на центральном бикольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на языке Bikol, Central в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых интерфейсов для этого языка. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем и декодером, подобным HiFi-GAN. Вариативный предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; поэтому для воспроизводимого результата требуется фиксировать случайное зерно. В чекпойнте около 3,5 млн параметров, доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на центральном бикольском языке и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1151сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-boj

facebook/mms-tts-boj — модель синтеза речи для языка анджам (код boj), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на анджам в речевую аудиоволну и подходит для озвучивания фраз и коротких текстов на этом языке. Модель построена на архитектуре VITS: это сквозная система синтеза с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, декодером HiFi-GAN и стохастическим предсказателем длительности. В репозитории указаны 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерчески. Модель обучена отдельно для одного языка и не предназначена для синтеза на других языках. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Карточка не приводит оценок качества или подробностей о голосе.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bpr

facebook/mms-tts-bpr — модель синтеза речи для языка Blaan диалекта Koronadal (код bpr), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная генеративная система с вариационным автоэнкодером, поточным модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для воспроизводимого результата генерации требуется фиксировать seed, поскольку предсказание длительности стохастическое. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для одного языка, поэтому её нельзя считать универсальным многоязычным синтезатором; качество зависит от соответствия входного текста языку Blaan диалекта Koronadal.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dts

facebook/mms-tts-dts — модель синтеза речи для языка Dogon, Toro So (dts), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер на основе транспонированных свёрток, похожий на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения той же генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель рассчитана на синтез речи на Dogon, Toro So. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gkn

facebook/mms-tts-gkn — модель синтеза речи на языке гокана (Gokana, gkn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельная языковая модель VITS с 3,5 млн параметров, которая преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на гокана. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; фиксированное случайное зерно позволяет воспроизводить тот же результат. Для запуска доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-guc

facebook/mms-tts-guc — модель синтеза речи на языке Wayuu (guc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Wayuu в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер создаёт аудиоволну. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; результат может меняться между запусками, поэтому для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ifu

facebook/mms-tts-ifu — модель синтеза речи на языке Ifugao, диалект Mayoyao, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, текстовым энкодером на основе Transformer и декодером на базе свёрточных слоёв в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка проекта MMS обучается отдельный чекпойнт; генерация стохастическая, поэтому для повторения результата нужен фиксированный seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель ориентирована на Ifugao (Mayoyao) и не предназначена для синтеза на других языках.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kby

facebook/mms-tts-kby — модель синтеза речи на языке канури, диалекте манга (код kby), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза применяются текстовый энкодер, предсказатель длительности и нейросетевой декодер аудио. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение генератора. Модель предназначена для канури манга и не заявлена как многоязычная.

1310сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-knj

facebook/mms-tts-knj — модель синтеза речи на языке акатеко, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на акатеко в речевую аудиоволну и подходит для озвучивания коротких фраз и создания речевого вывода в приложениях. Модель основана на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом, используя текстовый энкодер, вероятностный предиктор длительности и декодер HiFi-GAN-подобного типа. Предиктор длительности позволяет получать разные ритмы речи; результаты синтеза недетерминированы, поэтому для воспроизводимости требуется фиксировать seed. Модель доступна через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kri

facebook/mms-tts-kri — модель синтеза речи на языке крио (Krio, код kri), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на крио. Модель использует архитектуру VITS: вариационный автоэнкодер с состязательным обучением, поточным модулем, текстовым энкодером на основе Transformer, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. Для каждого языка MMS обучает отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может различаться между запусками; фиксированный seed нужен для воспроизводимого аудио. Модель предназначена для крио и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1460сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mee

facebook/mms-tts-mee — модель синтеза речи для языка Mengen (mee), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Mengen в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт: для каждого языка в проекте MMS обучается собственная модель. Синтез выполняется сквозным образом; стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста, поэтому для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит подробностей о качестве речи или ограничениях для конкретных вариантов написания и содержания текста.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfk

facebook/mms-tts-mfk — модель синтеза речи на языке Mofu, North (mfk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; он доступен через библиотеку Transformers. Генерация стохастическая: для повторения того же результата необходимо фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mfq

facebook/mms-tts-mfq — модель синтеза речи Moba (mfq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Moba в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предсказатель длительности и декодер в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же речевую волну. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1190сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mgo

facebook/mms-tts-mgo — модель синтеза речи Meta из проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для языка mgo; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. В метаданных указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на языке mgo, например для речевых интерфейсов и создания аудиоматериалов. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения, поэтому для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-myx

facebook/mms-tts-myx — модель синтеза речи на языке Masaaba (код myx), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Masaaba в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и обучена отдельно для Masaaba. Это компактный чекпойнт на 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте; фиксированный seed позволяет воспроизводить генерацию. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1190сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nim

facebook/mms-tts-nim — модель синтеза речи на языке ниламба (nim) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Для каждого языка MMS обучается отдельная модель; этот чекпойнт преобразует текст на ниламба в речевую аудиоволну. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech: текстовый энкодер и flow-модуль формируют акустические представления, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; из-за этого результат может меняться при одинаковом входе, а фиксированный seed обеспечивает воспроизводимость. Модель предназначена для синтеза речи на ниламба и использования через Transformers версии 4.33 или новее. Карточка указывает лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-qvc

facebook/mms-tts-qvc — модель синтеза речи для кечуа Кахамарка (qvc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для соответствующего языкового сообщества. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; модель использует стохастический предиктор длительности, поэтому при одинаковом тексте может создавать речь с разным ритмом. Для повторения результата требуется фиксировать seed. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Качество синтеза зависит от текста и обучающих данных; сведения о поддержке других языков или режимах генерации в карточке не заявлены.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rif-script_arabic

facebook/mms-tts-rif-script_arabic — модель синтеза речи из текста, созданная Meta в рамках проекта Massively Multilingual Speech. Она предназначена для озвучивания текстов на тарифитском языке, записанном арабским письмом. Для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она сквозным образом преобразует последовательность текста в речевую волну; стохастический предиктор длительности позволяет получать разные ритмические варианты речи. Модель доступна через библиотеку Transformers. Генерация недетерминирована: чтобы получить тот же аудиосигнал повторно, требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4562сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-spy

facebook/mms-tts-spy — модель синтеза речи на языке сабаот, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на сабаот. Для каждого языка в MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предсказателем длительности и декодером, похожим на HiFi-GAN. Размер модели — 3,5 млн параметров. Для воспроизводимого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Репозиторий содержит веса PyTorch и safetensors; модель доступна через Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-srn

facebook/mms-tts-srn — модель синтеза речи на языке сранан-тонго (srn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для приложений озвучивания и синтеза речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Использовать модель можно через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль, Transformer-энкодер текста, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Стохастический компонент позволяет получать разные ритмические варианты произношения одного текста; поэтому результаты могут различаться между запусками, и для воспроизводимой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческого использования.

1281сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tew

facebook/mms-tts-tew — модель синтеза речи на языке тева (Tewa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на тева в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может отличаться, а для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но не для коммерческих целей.

980сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tgp

facebook/mms-tts-tgp — модель синтеза речи на языке Tangoa (код tgp), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Tangoa. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; для разных языков MMS обучает отдельные чекпойнты. Для повторяемого результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1380сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-tlb

facebook/mms-tts-tlb — модель синтеза речи на языке тобело (tlb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на тобело. Модель использует архитектуру VITS: условный вариационный автоэнкодер с потоковым модулем, текстовым энкодером на основе Transformer, HiFi-GAN-подобным декодером и стохастическим предсказателем длительности. Размер — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель рассчитана на тобело. Из-за стохастического предсказателя результат может меняться между запусками, поэтому для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

860сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-udu

facebook/mms-tts-udu — модель синтеза речи на языке удук из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт для одного языка с архитектурой VITS: модель принимает текст и генерирует речевую аудиоволну. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста; из-за этого генерация недетерминирована, и для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для озвучивания текста на удук. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1120сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-xrb

facebook/mms-tts-xrb — модель синтеза речи для языка караборо, восточный (xrb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Размер модели — 3,5 млн параметров. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на восточном караборо. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

920сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей