I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиLLaVA-UHD v2 Vicuna 7B — мультимодальная модель для диалога по изображениям, разработанная на основе Vicuna 7B и визуального энкодера CLIP. Архитектура LLaVA с иерархическим оконным трансформером строит и объединяет пирамиду визуальных признаков, чтобы обрабатывать изображения с разной детализацией, включая изображения высокого разрешения. В репозитории около 6,6 млрд параметров; модель использует Transformers и формат safetensors, а длина контекста составляет 4096 токенов. Модель предназначена для исследовательской работы и экспериментов с мультимодальными моделями и чат-ботами. Она принимает изображения и текстовые запросы и генерирует текстовые ответы: например, описывает содержимое изображения, отвечает на вопросы о нём и поддерживает визуальный диалог. Обучение включало данные MS-COCO, LLaVA-Pretrain и смешанный набор для дообучения. Поддерживаемые языки в карточке явно не перечислены. Базовые компоненты объединены в модель; указанные в метаданных базовые репозитории — lmsys/vicuna-7b-v1.5 и openai/clip-vit-large-patch14-336. Лицензия в предоставленных данных не указана.
LLaVA-v1.6-34B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA и дообученный на модели NousResearch/Nous-Hermes-2-Yi-34B. Это авторегрессионная плотная трансформерная модель семейства LLaVA с архитектурой LlavaLlamaForCausalLM и 33,9 млрд параметров. Она принимает изображения и текстовые инструкции и генерирует текстовые ответы; поддерживает диалоговый режим и контекст длиной до 4096 токенов. Модель предназначена для диалогов о содержимом изображений, визуальных вопросов и ответов, подписей к изображениям и академических задач компьютерного зрения. В обучении использовались пары изображение–текст, мультимодальные инструкции, наборы VQA и данные ShareGPT. Карточка ориентирует модель на исследования и эксперименты с мультимодальными языковыми моделями и чат-ботами. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Качество может различаться между задачами и изображениями; ответы модели могут содержать ошибки, поэтому их следует проверять. Языки и специальные предметные области в карточке не уточняются.
LLaVA-v1.6-Vicuna-13B — мультимодальный чат-бот, разработанный командой LLaVA и полученный дообучением языковой модели Vicuna-13B на инструкциях с изображениями. Это авторегрессионная трансформерная модель семейства LLaVA с плотной архитектурой и 12,9 млрд параметров; базовая языковая модель — lmsys/vicuna-13b-v1.5. Репозиторий содержит веса в формате safetensors, а контекст модели составляет 4096 токенов. Модель принимает изображения и текстовые инструкции, а отвечает текстом. Она предназначена для диалоговых сценариев с визуальными данными: ответов на вопросы об изображениях, описания их содержимого и выполнения академических задач визуально-языкового понимания. При обучении использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоги ShareGPT. Основные пользователи — исследователи и энтузиасты компьютерного зрения, обработки естественного языка и машинного обучения. Возможности и качество ответов могут зависеть от изображения и формулировки запроса; модель не гарантирует точность фактических выводов. Лицензия в предоставленных данных не указана.
OsaurusAI/Mistral-Medium-3.5-128B-JANGTQ — созданная Jinho Jang версия Mistral-Medium-3.5-128B для запуска на компьютерах Apple Silicon через MLX. Это плотная мультимодальная модель на 128 млрд параметров с декодером Ministral3 и визуальным энкодером Pixtral; она принимает текст и изображения, а контекст составляет 256 тысяч токенов. Основное назначение — диалог и ответы на вопросы об изображениях. Веса линейных слоёв текстового декодера сжаты методом TurboQuant до 2 бит с предварительным преобразованием Hadamard; токенные эмбеддинги хранятся в 8-битном формате, а нормализации, визуальная башня, мультимодальный проектор и выходной слой оставлены в FP16. Такое распределение позволяет запускать крупную модель на Apple Silicon, но 2-битное сжатие вносит погрешность в веса. README сообщает о проверке round-trip квантования, но не приводит независимых оценок качества ответов. Модель распространяется по лицензии Apache-2.0. Для запуска предназначен MLX-стек на Apple Silicon; README приводит пример обработки изображения с текстовым запросом.
facebook/mms-tts-asa — модель синтеза речи на языке асу (Asu, код asa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на асу. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен через библиотеку Transformers. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает оценок качества или подробностей о разнообразии голосов.
facebook/mms-tts-bbc — модель синтеза речи на языке батак-тоба (код bbc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на батак-тоба. Для разных языков проекта обучаются отдельные контрольные точки VITS. Модель использует архитектуру VITS: в её состав входят текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий речевую волну. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому синтез недетерминирован: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.
facebook/mms-tts-bod — модель синтеза речи на центральном тибетском языке, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на языке bod. Модель использует архитектуру VITS и обучена отдельно для центрального тибетского языка. Это компактный чекпойнт на 3,6 млн параметров; для работы поддерживается библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может меняться при одинаковом тексте, поэтому для повторяемой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-btt — модель синтеза речи на языке Bete-Bendi (btt), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль, стохастический предсказатель длительности и декодер, напоминающий HiFi-GAN, работают в сквозной системе синтеза. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы с ним доступна библиотека Transformers версии 4.33 и выше. Модель обучена отдельно для Bete-Bendi и входит в коллекцию MMS-TTS для множества языков. Из-за стохастического предсказателя длительности один и тот же текст может озвучиваться с разным ритмом; для повторения идентичного результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-btx — модель синтеза речи на языке батак-каро, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на батак-каро в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения результата генерации требуется фиксировать seed, поскольку предсказатель длительности работы модели стохастический. Модель предназначена для озвучивания текста на батак-каро. Для использования доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель facebook/mms-tts-dar разработана Facebook в рамках проекта Massively Multilingual Speech (MMS) для синтеза речи на языке даргва. Это отдельный чекпойнт VITS, обученный для одного языка. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN; размер модели — 3,5 млн параметров. Модель принимает текст на даргва и генерирует речевую аудиоволну. Стохастический предсказатель позволяет варьировать ритм произношения, поэтому для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-dgi — модель синтеза речи для языка Dagara, Northern (dgi), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на этом языке в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов для носителей языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; в VITS синтез выполняется сквозным способом, а стохастический предиктор длительности позволяет варьировать ритм речи. Для повторяемой генерации одного и того же аудио требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-ewe — модель синтеза речи на языке эве из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на эве в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза эве и не заявлена как многоязычная.
facebook/mms-tts-gmv — модель синтеза речи на языке гам (Gamo), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую волну; VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN, а стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель предназначена для преобразования текста на гам в речь. Её можно использовать для озвучивания текста и создания речевого вывода в приложениях, рассчитанных на этот язык. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-gub — модель синтеза речи на языке гуаджахара (Guajajára), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. Размер составляет 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель может давать разные ритм и звучание для одного текста; для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на гуаджахара, например для создания речевых материалов и доступных аудиоверсий текстов. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.
facebook/mms-tts-gux — модель синтеза речи на языке гурманчема, выпущенная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гурманчема в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель обучена для гурманчема. В VITS текстовый энкодер и потоковый модуль формируют акустическое представление, которое декодер преобразует в аудиосигнал. Стохастический предиктор длительности позволяет получать варианты ритма; для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка не приводит оценок качества синтеза.
facebook/mms-tts-hnn — модель синтеза речи на языке хануну, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и рассчитана на озвучивание текстов на хануну. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Веса представлены в форматах PyTorch и Safetensors; число параметров — около 3,5 млн. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kaa — модель синтеза речи на каракалпакском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура VITS объединяет текстовый энкодер, вероятностные потоки, предсказатель длительности и декодер HiFi-GAN для генерации речевой волны из текста. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания каракалпакского текста, например для голосовых интерфейсов и создания аудиоверсий текстовых материалов. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому при необходимости воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-kjb — модель синтеза речи на языке к’анхобаль (Q’anjob’al, код kjb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен для использования через библиотеку Transformers. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-kle — модель синтеза речи на языке кулунг (код kle), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на кулунг в речевую аудиоволну; для применения доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; генерация использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом, а для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Это модель синтеза речи для севернокурдского языка, предназначенная для текста на латинской письменности. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS); для каждого языка проекта обучается отдельная модель. Модель использует архитектуру VITS и преобразует последовательность текста в речевую волну. Размер модели — 3,5 млн параметров, веса доступны в форматах PyTorch и Safetensors. Модель подходит для озвучивания текстов и создания речевого вывода на севернокурдском языке с латинским письмом. Предсказатель длительности позволяет варьировать ритм речи; из-за стохастической генерации для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-ktb — модель синтеза речи на языке камбаата, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на камбаата в речевой сигнал и предназначена для создания озвучивания и других речевых приложений для этого языка. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер на основе свёрточных слоёв формируют аудиоволну сквозным образом. Вариативный предиктор длительности позволяет получать разные ритмические варианты речи для одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors. Модель рассчитана на текст и аудио на языке камбаата (ktb). Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kyb — модель синтеза речи на языке Kalinga, Butbut (kyb), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером в стиле HiFi-GAN. В метаданных указано 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на Kalinga, Butbut, например для речевых интерфейсов и создания аудиоверсий текстов. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-kyg — модель синтеза речи на языке кейагана (kyg), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кейагана в речевую аудиоволну и подходит для озвучивания коротких сообщений, объявлений и другого текста на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказанием длительности, поэтому один и тот же текст может звучать по-разному; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель обучена отдельно для одного языка и не предназначена для синтеза речи на других языках.
facebook/mms-tts-lif — модель синтеза речи на языке лимбу (код ISO 639-3: lif), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на лимбу в речевую аудиоволну и предназначена для озвучивания текстов и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для лимбу из семейства MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может звучать по-разному. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на синтез речи именно на лимбу; качество для иных языков не заявлено.
facebook/mms-tts-luc — модель синтеза речи на языке аринга (код luc), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, который преобразует текст в речевую аудиоволну. Модель основана на архитектуре VITS: использует вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на аринга. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-neb — модель синтеза речи для языка тура (Toura, код neb), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на тура в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка проекта MMS используется отдельный чекпойнт. Размер модели — 3,5 млн параметров. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка не описывает качество синтеза или другие поддерживаемые языки.
facebook/mms-tts-ngl — модель синтеза речи на языке ломве (Lomwe, ngl), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, предназначенный для преобразования текста на ломве в речевую волну. Модель использует архитектуру VITS и работает сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; для повторения результата требуется фиксированный seed. В метаданных указано 3,5 млн параметров, формат весов — PyTorch и safetensors. Модель подходит для озвучивания текста на ломве и создания речевых интерфейсов для этого языка. Она рассчитана на один язык, поэтому её нельзя считать универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.
facebook/mms-tts-nus — модель синтеза речи на языке нуэр (Nuer, код nus), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на нуэр в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем, стохастическим предсказателем длительности и декодером волновой формы. Размер модели — 3,5 млн параметров; для работы доступна через библиотеку Transformers. В наборе MMS для каждого языка обучается отдельный чекпойнт. Предсказатель длительности стохастический, поэтому результат синтеза может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-nyf — модель синтеза речи на языке кигирияма (nyf) из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, основанным на подходе HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка в проекте MMS обучена отдельная модель; вероятностный предиктор длительности может создавать разные ритмические варианты одной и той же фразы, поэтому результат генерации недетерминирован. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает на поддержку через библиотеку Transformers версии 4.33 и выше.
facebook/mms-tts-rol — модель синтеза речи на языке ромбломанон, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ромбломанон в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Для каждого языка проекта MMS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация речи недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для ромбломанон и лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.