I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиfacebook/mms-tts-gqr — модель синтеза речи на горском языке (Gor, код gqr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую волну и рассчитана на озвучивание текста на горском языке. Модель использует архитектуру VITS и обучена отдельно для этого языка. Она объединяет вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и safetensors; для работы подходит библиотека Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
facebook/mms-tts-grn — модель синтеза речи на гуарани из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на гуарани в речевую аудиоволну и предназначена для озвучивания текстов и создания синтетической речи на этом языке. Модель основана на архитектуре VITS: текстовый энкодер, потоковый модуль и декодер HiFi-GAN обучаются сквозным образом; стохастический предиктор длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированный seed. Модель рассчитана на гуарани; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
Facebook MMS-TTS-Haya — модель синтеза речи на языке хая (hay) из проекта Massively Multilingual Speech. Она преобразует текст на хая в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный в библиотеке Transformers. Стохастический предиктор длительности позволяет варьировать ритм речи; для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает о поддержке других языков или дополнительных задачах.
facebook/mms-tts-hoc — модель синтеза речи на языке хо, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на хо в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для этого языка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech со стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Для воспроизводимой генерации требуется фиксированное начальное значение случайного генератора. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель обучена отдельно для языка хо; качество для других языков не заявлено.
facebook/mms-tts-idd — модель синтеза речи для языка Ede Idaca, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на Ede Idaca в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, поточными слоями и декодером на основе HiFi-GAN. Для генерации с различным ритмом применяется стохастический предиктор длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель обучена отдельно для Ede Idaca и не предназначена для других языков. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kao — модель синтеза речи на языке Xaasongaxango (kao), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом: текстовый энкодер и потоковые слои формируют акустическое представление, а декодер создаёт аудиосигнал. Стохастический предиктор длительности позволяет варьировать ритм произнесения, поэтому при одинаковом тексте результат может различаться; фиксированное зерно генератора нужно для воспроизведения того же результата. Модель доступна через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kne — модель синтеза речи на языке канканаэй (Kankanaey, код kne), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на канканаэй. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта обучается отдельный чекпойнт. Вариативный предсказатель длительности может создавать разные ритмические варианты одной и той же фразы, поэтому результат зависит от случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kpy — модель синтеза речи на корякском языке, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой сигнал и предназначена для озвучивания корякских текстов. Для каждого языка в MMS обучается отдельная модель. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система на основе условного вариационного автоэнкодера с Transformer-энкодером текста, потоковым модулем и декодером, построенным по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста; поэтому для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения. Модель специализирована на корякском языке; сведения о качестве синтеза и дополнительных возможностях в карточке не приведены.
facebook/mms-tts-kqr — модель синтеза речи на языке кимараганг (kqr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена отдельно для кимараганга. В архитектуре объединены вариационный автоэнкодер, потоковый модуль, декодер на основе HiFi-GAN и стохастический предсказатель длительности, позволяющий варьировать ритм речи. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Transformers. Генерация недетерминирована: для повторения того же результата требуется фиксировать случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
facebook/mms-tts-krr — модель синтеза речи на языке крун, разработанная в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на крунском языке. Модель использует архитектуру VITS и содержит около 3,6 млн параметров; для MMS обучается отдельная модель для каждого языка. Генерация речи стохастическая: для повторяемого результата требуется фиксировать seed. Модель доступна в форматах PyTorch и Safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ktj — модель синтеза речи на языке Krumen, Plapo (код ktj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую форму и подходит для озвучивания текстов на этом языке. Это компактная модель VITS с 3,5 млн параметров; для запуска доступна через библиотеку Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль, декодер волновой формы и стохастический предиктор длительности позволяют генерировать речь с различным ритмом. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.
facebook/mms-tts-kwd — модель синтеза речи на языке квайо (Kwaio, код ISO 639-3: kwd), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS: по входному тексту модель генерирует речевую аудиоволну. Модель построена на архитектуре VITS — сквозном вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Размер модели — около 3,5 млн параметров; она доступна в формате PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на квайо, например для речевых интерфейсов и создания аудиоматериалов. Стохастический предсказатель длительности позволяет варьировать ритм речи; для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-mcb — модель синтеза речи на языке Matsigenka (mcb), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудио. Размер модели — 3,5 млн параметров; она доступна в Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на Matsigenka, например для синтеза речевых сообщений и аудиоверсий текстов. Из-за стохастического предиктора длительности генерация недетерминирована: для воспроизводимого результата нужно фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mco — модель синтеза речи для языка Mixe, Coatlán (код mco), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS обучается отдельная модель VITS; архитектура VITS выполняет синтез речи сквозным образом и использует стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел.
facebook/mms-tts-mfy — модель синтеза речи на языке Mayo (mfy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Mayo. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS: это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, flow-модулем и декодером на основе HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и выше. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза речи на Mayo; сведений о поддержке других языков или дополнительных возможностях карточка не приводит.
facebook/mms-tts-ndy — модель синтеза речи для языка Lutos (ndy), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Предсказатель длительности работает стохастически, поэтому при одинаковом тексте возможны разные ритм и результат; для повторяемой генерации нужен фиксированный seed. В метаданных указаны 3,5 млн параметров и форматы PyTorch и Safetensors. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-orm — модель синтеза речи на оромо, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на оромо в речевую аудиоволну; для каждого языка проекта обучена отдельная модель VITS. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм речи, поэтому генерация недетерминирована и для повторяемого результата нужен фиксированный seed. Модель содержит 3,5 млн параметров, доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Она предназначена для синтеза речи на оромо. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-pse — модель синтеза речи на центральном малайском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и подходит для озвучивания фраз и коротких текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка в проекте обучен отдельный чекпойнт. Длительность и ритм произношения задаются стохастически, поэтому для повторяемого результата требуется фиксировать seed. Модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Это модель синтеза речи на языке киче, диалект севера (K’iche’, quc-dialect_north), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на этом варианте языка. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер HiFi-GAN объединены в сквозную систему синтеза. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; его можно использовать через Transformers версии 4.33 и новее. Из-за стохастического предиктора одинаковый текст может давать разные варианты речи; для повторяемого результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-qvo — модель синтеза речи на языке кичуа Напо (qvo), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, обученные совместно. Веса представлены в форматах PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для повторяемого результата при генерации требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-qvz — модель синтеза речи на северном пастаса-кечуа (Quichua, Northern Pastaza), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке qvz в речевую аудиоволну и предназначена для создания озвучки и других систем синтеза речи на этом языке. Модель использует архитектуру VITS: это сквозная система на основе вариационного автоэнкодера, потоковых слоёв и декодера, напоминающего HiFi-GAN. В карточке указано 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель рассчитана на qvz. Генерация стохастическая: чтобы получать одинаковую речь при повторных запусках, требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.
facebook/mms-tts-qxn — модель синтеза речи для кечуа, северный вариант Кончукос-Анкаш (qxn), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речи в приложениях для носителей языка. Модель использует архитектуру VITS: текстовый энкодер, вероятностный модуль длительности и декодер, который формирует аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы подходит Transformers версии 4.33 и новее. Модель может генерировать разные ритмы для одного и того же текста, поэтому результат не детерминирован; фиксированный seed позволяет воспроизводить генерацию. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-srm — модель синтеза речи на языке сарамаккан, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на сарамаккане в речевой аудиосигнал и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS: она объединяет кодировщик текста, вероятностные компоненты и декодер, формирующий аудиоволну. Это отдельный контрольный набор весов для одного языка; размер модели — 3,5 млн параметров. Доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Генерация недетерминирована из-за стохастического предиктора длительности; для воспроизводимого результата нужно фиксировать seed. Качество и естественность речи README не оценивает.
facebook/mms-tts-tac — модель синтеза речи на западном тараумара, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Tarahumara, Western в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка; он доступен в формате PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Генерация зависит от случайного предсказателя длительности, поэтому для повторения того же результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-teo — модель синтеза речи на языке атесо (код teo) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текстов на атесо. Модель можно использовать через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров. Архитектура объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Из-за стохастического предиктора одинаковый текст может получать разный ритм и звучание; для воспроизводимого результата требуется фиксировать seed. Модель обучена для одного языка и не предназначена для синтеза речи на других языках. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-tpp — модель синтеза речи на языке тепехуа, диалект Писafлорес (Tepehua, Pisaflores; код tpp), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: энд-ту-энд генератор речи с вариационным автоэнкодером, поточным модулем, трансформерным текстовым энкодером и HiFi-GAN-подобным декодером. В репозитории указано 3,5 млн параметров; для запуска доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Предсказатель длительности стохастический, поэтому для повторяемого результата требуется фиксировать seed. Модель рассчитана на один язык и не предназначена для синтеза на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-unr — модель синтеза речи на языке мундарийская (код unr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на мундарийском языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, основанный на HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и новее. Из-за стохастического предиктора одинаковый текст может давать разные варианты произношения и ритма; фиксированный seed позволяет повторить генерацию. Модель обучена отдельно для мундарийского языка. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-way — модель синтеза речи на языке ваяна из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на языке ваяна в речевую аудиоволну; для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, основанный на HiFi-GAN. Веса содержат 3,5 млн параметров и доступны в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для повторяемого результата требуется фиксировать seed. Модель предназначена для синтеза речи на языке ваяна и подключается через Transformers версии 4.33 или новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но исключает коммерческое применение.
facebook/mms-tts-xsr — модель синтеза речи из текста проекта Massively Multilingual Speech, разработанного Meta (Facebook). Это отдельный языковой чекпойнт для языка Sherpa (xsr), предназначенный для преобразования входного текста в речевую волну. Модель использует архитектуру VITS — вариационный автоэнкодер с состязательным обучением и предсказателем длительности, который позволяет варьировать ритм речи. Чекпойнт содержит около 3,5 млн параметров и доступен для работы через Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-yal — модель синтеза речи на языке ялунка (yal) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер и стохастический предиктор длительности, который позволяет варьировать ритм речи. Модель подходит для озвучивания текста на ялунка и создания речевого вывода в приложениях. Она доступна через библиотеку Transformers версии 4.33 и новее, а веса представлены в форматах PyTorch и Safetensors. Чекпойнт содержит около 3,5 млн параметров и распространяется по лицензии CC BY-NC 4.0. Генерация недетерминирована: чтобы получать одинаковую аудиоволну при повторных запусках, необходимо фиксировать seed. Модель предназначена для одного языка и не заявлена как многоязычная.