I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиLLaVA-Lightning-MPT-7B-preview — исследовательская предварительная версия мультимодального чат-бота LLaVA, разработанная на базе контрольной точки MPT-7B-chat. Это авторегрессионная модель на архитектуре Transformer, дообученная на данных для следования мультимодальным инструкциям. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, в том числе описания изображений и ответы на вопросы о визуальном содержимом. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с визуальным рассуждением. Для обучения использованы 558 тысяч пар изображение–текст из LAION/CC/SBU с подписями BLIP и 80 тысяч примеров мультимодальных инструкций, сгенерированных GPT. В README описаны предварительные оценки на визуальных вопросах по COCO и ScienceQA; результаты на ScienceQA приведены для связки с GPT-4. Модель выпущена в мае 2023 года. Для использования не требуется преобразование delta-весов; репозиторий содержит веса PyTorch. Лицензия — CC-BY-NC-SA 4.0, а README указывает, что использование должно соответствовать лицензии и условиям MPT-7B-chat. Карточка представляет её как research preview, поэтому результаты предварительных оценок не следует трактовать как гарантию качества.
Карточка модели jeiku/llavamistral1.6configedit на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.
liuhaotian/llava-v1.5-13b-shard3gb — версия чекпойнта LLaVA-v1.5-13B, опубликованная с разбиением весов на файлы размером не более 3 ГБ для загрузки на машины с ограниченной оперативной памятью CPU. LLaVA — авторегрессионный чат-бот на архитектуре Transformer, созданный дообучением LLaMA/Vicuna на мультимодальных инструкциях, сгенерированных GPT. В репозитории указаны 12,9 млрд параметров и контекст 4096 токенов. Модель предназначена для диалога по изображениям и мультимодальных задач, включая визуальные вопросы и ответы, а также для исследований больших мультимодальных моделей. Обучение включало пары изображение–текст, инструкции по изображениям, наборы VQA и диалоги ShareGPT. Модель принимает текст и изображения и генерирует текст. README ориентирует её на исследователей и энтузиастов; подтверждённых сведений о лицензии в предоставленных данных нет.
Мультимодальная модель shabieh2, дообученная на unsloth/Muse-Glimmer-30B с использованием Unsloth. Она предназначена для диалоговых задач с изображениями: принимает текст и изображения и формирует текстовые ответы. Архитектура — плотная Muse Glimmer для условной генерации; репозиторий содержит веса в формате Safetensors. Модель подходит для вопросов по изображениям и визуального анализа в чате. Базовая Muse-Glimmer-30B описана как модель для локальных агентных задач, работы с инструментами, программирования и анализа изображений, однако карточка этого дообучения не уточняет, какие из этих возможностей улучшались или проверялись. Лицензия — Apache 2.0.
facebook/mms-tts-bcc-script_latin — модель синтеза речи на южном белуджском языке, представленном латинским письмом. Она создана Meta в рамках проекта Massively Multilingual Speech (MMS); для каждого языка проекта обучается отдельный чекпойнт. Модель принимает текст и генерирует речевую аудиоволну. Это компактная модель VITS с 3,5 млн параметров, реализованная для PyTorch и доступная в формате safetensors. Архитектура объединяет вариационный автоэнкодер, потоковые слои, трансформерный текстовый энкодер и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты произношения и ритма; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для озвучивания текста на южном белуджском языке латинским письмом. Она распространяется по лицензии CC BY-NC 4.0, которая разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-bcl — модель синтеза речи на центральном бикольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на языке Bikol, Central в речевую аудиоволну и подходит для озвучивания текстов и создания голосовых интерфейсов для этого языка. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем и декодером, подобным HiFi-GAN. Вариативный предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; поэтому для воспроизводимого результата требуется фиксировать случайное зерно. В чекпойнте около 3,5 млн параметров, доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для синтеза речи на центральном бикольском языке и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-boj — модель синтеза речи для языка анджам (код boj), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на анджам в речевую аудиоволну и подходит для озвучивания фраз и коротких текстов на этом языке. Модель построена на архитектуре VITS: это сквозная система синтеза с вариационным автоэнкодером, потоковым модулем, текстовым энкодером на основе Transformer, декодером HiFi-GAN и стохастическим предсказателем длительности. В репозитории указаны 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерчески. Модель обучена отдельно для одного языка и не предназначена для синтеза на других языках. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Карточка не приводит оценок качества или подробностей о голосе.
facebook/mms-tts-bpr — модель синтеза речи для языка Blaan диалекта Koronadal (код bpr), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевой сигнал и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная генеративная система с вариационным автоэнкодером, поточным модулем, декодером на основе свёрточных слоёв и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; доступны веса PyTorch и Safetensors. Для воспроизводимого результата генерации требуется фиксировать seed, поскольку предсказание длительности стохастическое. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для одного языка, поэтому её нельзя считать универсальным многоязычным синтезатором; качество зависит от соответствия входного текста языку Blaan диалекта Koronadal.
facebook/mms-tts-dts — модель синтеза речи для языка Dogon, Toro So (dts), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои и декодер на основе транспонированных свёрток, похожий на HiFi-GAN; предсказатель длительности позволяет варьировать ритм речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения той же генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель рассчитана на синтез речи на Dogon, Toro So. Для работы с ней подходит библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-gkn — модель синтеза речи на языке гокана (Gokana, gkn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельная языковая модель VITS с 3,5 млн параметров, которая преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на гокана. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; фиксированное случайное зерно позволяет воспроизводить тот же результат. Для запуска доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-guc — модель синтеза речи на языке Wayuu (guc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Wayuu в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер создаёт аудиоволну. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; результат может меняться между запусками, поэтому для повторяемого синтеза нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.
facebook/mms-tts-ifu — модель синтеза речи на языке Ifugao, диалект Mayoyao, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, поточным модулем, текстовым энкодером на основе Transformer и декодером на базе свёрточных слоёв в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка проекта MMS обучается отдельный чекпойнт; генерация стохастическая, поэтому для повторения результата нужен фиксированный seed. Модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель ориентирована на Ifugao (Mayoyao) и не предназначена для синтеза на других языках.
facebook/mms-tts-kby — модель синтеза речи на языке канури, диалекте манга (код kby), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза применяются текстовый энкодер, предсказатель длительности и нейросетевой декодер аудио. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Генерация недетерминирована: для повторения того же результата требуется фиксированное начальное значение генератора. Модель предназначена для канури манга и не заявлена как многоязычная.
facebook/mms-tts-knj — модель синтеза речи на языке акатеко, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на акатеко в речевую аудиоволну и подходит для озвучивания коротких фраз и создания речевого вывода в приложениях. Модель основана на архитектуре VITS и содержит 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS синтезирует речь сквозным образом, используя текстовый энкодер, вероятностный предиктор длительности и декодер HiFi-GAN-подобного типа. Предиктор длительности позволяет получать разные ритмы речи; результаты синтеза недетерминированы, поэтому для воспроизводимости требуется фиксировать seed. Модель доступна через Transformers и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kri — модель синтеза речи на языке крио (Krio, код kri), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на крио. Модель использует архитектуру VITS: вариационный автоэнкодер с состязательным обучением, поточным модулем, текстовым энкодером на основе Transformer, декодером в стиле HiFi-GAN и стохастическим предсказателем длительности. Для каждого языка MMS обучает отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна для PyTorch и safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может различаться между запусками; фиксированный seed нужен для воспроизводимого аудио. Модель предназначена для крио и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mee — модель синтеза речи для языка Mengen (mee), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Mengen в речевую аудиоволну и предназначена для озвучивания текста и создания синтетической речи на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт: для каждого языка в проекте MMS обучается собственная модель. Синтез выполняется сквозным образом; стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста, поэтому для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит подробностей о качестве речи или ограничениях для конкретных вариантов написания и содержания текста.
facebook/mms-tts-mfk — модель синтеза речи на языке Mofu, North (mfk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт проекта MMS-TTS; он доступен через библиотеку Transformers. Генерация стохастическая: для повторения того же результата необходимо фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства и ограничивающей коммерческое применение.
facebook/mms-tts-mfq — модель синтеза речи Moba (mfq), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на языке Moba в речевую волну и предназначена для озвучивания текста на этом языке. Для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предсказатель длительности и декодер в стиле HiFi-GAN. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности результат может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же речевую волну. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mgo — модель синтеза речи Meta из проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для языка mgo; модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. В метаданных указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на языке mgo, например для речевых интерфейсов и создания аудиоматериалов. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения, поэтому для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-myx — модель синтеза речи на языке Masaaba (код myx), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Masaaba в речевую аудиоволну и предназначена для создания озвучивания на этом языке. Модель построена на архитектуре VITS и обучена отдельно для Masaaba. Это компактный чекпойнт на 3,5 млн параметров; для использования доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может различаться при одинаковом тексте; фиксированный seed позволяет воспроизводить генерацию. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-nim — модель синтеза речи на языке ниламба (nim) из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Для каждого языка MMS обучается отдельная модель; этот чекпойнт преобразует текст на ниламба в речевую аудиоволну. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech: текстовый энкодер и flow-модуль формируют акустические представления, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; из-за этого результат может меняться при одинаковом входе, а фиксированный seed обеспечивает воспроизводимость. Модель предназначена для синтеза речи на ниламба и использования через Transformers версии 4.33 или новее. Карточка указывает лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-qvc — модель синтеза речи для кечуа Кахамарка (qvc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для соответствующего языкового сообщества. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; модель использует стохастический предиктор длительности, поэтому при одинаковом тексте может создавать речь с разным ритмом. Для повторения результата требуется фиксировать seed. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Качество синтеза зависит от текста и обучающих данных; сведения о поддержке других языков или режимах генерации в карточке не заявлены.
facebook/mms-tts-rif-script_arabic — модель синтеза речи из текста, созданная Meta в рамках проекта Massively Multilingual Speech. Она предназначена для озвучивания текстов на тарифитском языке, записанном арабским письмом. Для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она сквозным образом преобразует последовательность текста в речевую волну; стохастический предиктор длительности позволяет получать разные ритмические варианты речи. Модель доступна через библиотеку Transformers. Генерация недетерминирована: чтобы получить тот же аудиосигнал повторно, требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-spy — модель синтеза речи на языке сабаот, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на сабаот. Для каждого языка в MMS-TTS обучается отдельная модель. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предсказателем длительности и декодером, похожим на HiFi-GAN. Размер модели — 3,5 млн параметров. Для воспроизводимого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Репозиторий содержит веса PyTorch и safetensors; модель доступна через Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-srn — модель синтеза речи на языке сранан-тонго (srn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для приложений озвучивания и синтеза речи. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в MMS-TTS обучен отдельный чекпойнт. Использовать модель можно через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль, Transformer-энкодер текста, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. Стохастический компонент позволяет получать разные ритмические варианты произношения одного текста; поэтому результаты могут различаться между запусками, и для воспроизводимой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческого использования.
facebook/mms-tts-tew — модель синтеза речи на языке тева (Tewa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на тева в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может отличаться, а для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но не для коммерческих целей.
facebook/mms-tts-tgp — модель синтеза речи на языке Tangoa (код tgp), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Tangoa. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковые слои, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; для разных языков MMS обучает отдельные чекпойнты. Для повторяемого результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-tlb — модель синтеза речи на языке тобело (tlb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на тобело. Модель использует архитектуру VITS: условный вариационный автоэнкодер с потоковым модулем, текстовым энкодером на основе Transformer, HiFi-GAN-подобным декодером и стохастическим предсказателем длительности. Размер — 3,5 млн параметров. Для каждого языка MMS-TTS обучается отдельный чекпойнт; эта модель рассчитана на тобело. Из-за стохастического предсказателя результат может меняться между запусками, поэтому для воспроизводимой генерации нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
facebook/mms-tts-udu — модель синтеза речи на языке удук из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт для одного языка с архитектурой VITS: модель принимает текст и генерирует речевую аудиоволну. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста; из-за этого генерация недетерминирована, и для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для озвучивания текста на удук. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-xrb — модель синтеза речи для языка караборо, восточный (xrb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Размер модели — 3,5 млн параметров. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель предназначена для озвучивания текста на восточном караборо. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.