I.15Доступность и ассистивные технологии

MiniCPM-V, также называемая OmniLMM-3B, — компактная мультимодальная модель от OpenBMB для понимания изображений и диалога по визуальному содержимому. Она сочетает визуальный энкодер SigLip-400M и языковую модель MiniCPM-2.4B через perceiver resampler; общее число параметров — 2,7 млрд. Результаты кодирования изображения сжимаются до 64 токенов, что снижает затраты памяти и ускоряет вывод. Модель рассчитана на локальный запуск на компьютерах и мобильных устройствах. MiniCPM-V отвечает на вопросы об изображениях и поддерживает мультимодальное взаимодействие на английском и китайском языках. В README описаны сравнительные результаты на мультимодальных бенчмарках, однако конкретные значения таблиц в доступном тексте отсутствуют. Контекст составляет 4096 токенов. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы; в репозитории указаны веса safetensors и использование Transformers. Условия лицензии в предоставленных данных не приведены.

facebook/mms-tts-abp — модель синтеза речи на языке айта-абеллен (код abp), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и подходит для озвучивания фраз и создания речевого вывода на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер для генерации аудиоволны. Чекпойнт содержит около 3,5 млн параметров, распространяется в форматах PyTorch и Safetensors и доступен через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Из-за стохастического предсказателя длительности генерация недетерминирована: для повторения того же результата требуется фиксированный seed. Качество синтеза может зависеть от соответствия входного текста языку и письменным нормам айта-абеллен.

facebook/mms-tts-arl — модель синтеза речи на языке арабела (Arabela, код arl), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал и предназначена для озвучивания текста на арабела. Модель использует архитектуру VITS: текстовый энкодер на базе Transformer, flow-модуль, стохастический предсказатель длительности и декодер волновой формы в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен для использования через Transformers версии 4.33 и выше. Отдельные чекпойнты MMS-TTS обучались для каждого языка. Предсказатель длительности стохастический, поэтому одинаковый текст может получать разный ритм и результат синтеза; для воспроизводимого аудио требуется фиксированное случайное зерно. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-bba — модель синтеза речи на баатонумском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на баатонумском языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка проекта. Стохастический предиктор длительности позволяет получать варианты речи с разным ритмом; из-за недетерминированной генерации для повторения результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-byr — модель синтеза речи для языка Yipma (код byr), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и обучена отдельно для одного языка; размер составляет 3,5 млн параметров. Для использования доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет текстовый энкодер, потоковый модуль и декодер на основе свёрточных слоёв, близкий по принципу к HiFi-GAN. Стохастический предсказатель длительности позволяет получать различный ритм речи; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-bzj — модель синтеза речи на Belize English Creole (код языка bzj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Архитектура VITS объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Чекпойнт предназначен для озвучивания текста на Belize English Creole и может применяться в голосовых интерфейсах, озвучке и создании речевого контента. Стохастический предиктор позволяет получать варианты ритма; для повторяемого результата README рекомендует фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-caa — модель синтеза речи на языке Ch’orti’ (caa), разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Ch’orti’. Модель построена на архитектуре VITS: объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, формирующий аудиоволну. Размер модели — 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста. Из-за этой стохастичности результат может меняться между запусками; для повторяемого синтеза требуется фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не допускает коммерческого использования. Для работы с чекпойнтом поддерживается библиотека Transformers версии 4.33 и новее.

facebook/mms-tts-car — модель синтеза речи на языке кариб, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке кариб. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер HiFi-GAN объединены в сквозную систему синтеза речи. Число параметров — 3,5 млн; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому результат недетерминирован; для повторяемого аудио требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ded — модель синтеза речи для языка Dedua (код ISO 639-3: ded), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на Dedua. Модель построена на архитектуре VITS и объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предиктор позволяет получать варианты ритма речи, поэтому для воспроизводимого результата требуется фиксированный seed. Модель предназначена для синтеза речи на одном языке и не является многоязычной сама по себе. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это модель синтеза речи на языке догри, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на догри в речевую аудиоволну и подходит для озвучивания текстов и создания голосового вывода в приложениях на этом языке. Модель построена на архитектуре VITS: она объединяет текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, близкий по принципу работы к HiFi-GAN. Размер модели — 3,6 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; эта версия предназначена для догри. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: один и тот же текст может звучать по-разному, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-dos — модель синтеза речи на догосе, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке догосе в речевую аудиоволну и предназначена для озвучивания текста и создания речи в приложениях, которым нужна поддержка этого языка. Модель использует архитектуру VITS для сквозного синтеза текста в речь; размер — 3,5 млн параметров. Для каждого языка в MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и новее. Генерация недетерминирована из-за стохастического предсказателя длительности; фиксированный seed позволяет повторить результат. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка описывает поддержку догосе; сведений о других языках для этого чекпойнта нет.

facebook/mms-tts-grt — модель синтеза речи на языке гаро, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный контрольный снимок для одного языка из семейства MMS-TTS. Модель построена на архитектуре VITS и преобразует текстовую последовательность в речевую звуковую волну. Она обучается сквозным образом; стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому при одинаковом тексте результат может меняться. Для повторяемой генерации требуется фиксированное случайное зерно. Модель доступна через библиотеку Transformers версии 4.33 и новее. Размер модели — 3,6 млн параметров. Она предназначена для синтеза речи на гаро и не описана как многоязычная сама по себе. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-hns — модель синтеза речи, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на хиндустани-сарнами в речевую аудиоволну и предназначена для создания озвучки на этом языке. Модель построена на архитектуре VITS: она объединяет текстовый энкодер на основе Transformer, условный вариационный автоэнкодер, модуль предсказания длительности и декодер, похожий на HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому при одинаковом тексте возможны разные варианты ритма и звучания; для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-hoy — модель синтеза речи на языке Holiya (код hoy), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Holiya в речевую аудиоволну и подходит для озвучивания коротких текстов и приложений с голосовым выводом на этом языке. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом, а стохастический предсказатель длительности позволяет получать варианты ритма речи. Для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства в рамках её условий, но ограничивает коммерческое применение. Модель предназначена для синтеза речи на Holiya; качество для других языков не заявлено.

facebook/mms-tts-ign — модель синтеза речи на языке игнасиано из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на игнасиано в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка в MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ilb — модель синтеза речи на языке Ila (код ISO 639-3: ilb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN; стохастический предсказатель длительности позволяет получать речь с разным ритмом. Чекпойнт доступен для использования через Transformers. Генерация недетерминирована: для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-izz — модель синтеза речи на языке Izii (izz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для повторяемого результата при генерации требуется фиксировать seed, поскольку предсказатель длительности работает стохастически. Модель доступна через библиотеку Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Карточка не приводит измерений качества или дополнительных ограничений применимости.

facebook/mms-tts-kek — модель синтеза речи на языке кекчи, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кекчи в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS — сквозную систему text-to-speech с вариационным автоэнкодером, потоковым модулем, трансформерным текстовым энкодером, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. Для каждой языковой версии MMS-TTS обучен отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Из-за стохастической генерации фиксированный seed нужен для повторного получения той же аудиозаписи. Модель рассчитана на синтез речи на кекчи и не является многоязычной универсальной системой. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kno — модель синтеза речи на языке коно (kno), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на коно в речевую аудиоволну и подходит для озвучивания фраз и текстовых материалов на этом языке. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для каждого языка проекта обучается своя модель. Генерация стохастическая: чтобы получить одинаковую речь при повторном запуске, нужно фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-kxm — модель синтеза речи на северном кхмерском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на северном кхмерском языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка MMS использует отдельный чекпойнт. Стоимость модели составляет 3,5 млн параметров. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результат может отличаться; фиксированный seed нужен для воспроизводимого синтеза. Модель доступна в Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-laj — модель синтеза речи на языке лао (Lango, код laj), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и обучена отдельно для одного языка; размер — 3,5 млн параметров. Использовать её можно через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Предсказатель длительности в VITS стохастический, поэтому при одинаковом тексте модель может генерировать варианты с разным ритмом; для воспроизводимого результата требуется фиксированное случайное зерно. Карточка не приводит оценок качества или характеристик голоса.

facebook/mms-tts-ncj — модель синтеза речи на языке науатль северной Пуэблы (ncj), выпущенная в рамках проекта Massively Multilingual Speech (MMS) компании Facebook. Она преобразует текст на этом языке в речевой сигнал и предназначена для создания озвучки и речевых интерфейсов. Модель основана на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковыми слоями и декодером на основе HiFi-GAN. Для каждой языковой разновидности MMS-TTS обучается отдельная модель; размер этого чекпойнта — 3,5 млн параметров. Он доступен через Transformers версии 4.33 и выше. Генерация зависит от случайного предсказателя длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nhy — модель синтеза речи на языке науатль северной Оахаки (nhy), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для создания озвучки на этом языке. Модель использует архитектуру VITS — сквозную вариационную модель с состязательным обучением и стохастическим предиктором длительности, который позволяет варьировать ритм речи. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Синтез недетерминирован: для повторения результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nyn — модель синтеза речи на языке ньянкоре, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на ньянкоре. Для каждого языка в MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вероятностным модулем длительности и декодером, формирующим аудиоволну; стохастическая длительность позволяет получать разные ритмические варианты произношения одного текста. Модель доступна через библиотеку Transformers версии 4.33 и выше. Для повторения одного и того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-pau — модель синтеза речи на палау из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на палау в речевой сигнал и предназначена для озвучивания текста в приложениях и сервисах. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и объединяет текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; использовать его можно через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторного получения того же аудио требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-quh — модель синтеза речи на южноболивийском кечуа (quh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевой сигнал и подходит для озвучивания фраз и создания речи в приложениях. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка MMS-TTS обучается отдельный чекпойнт. Репозиторий содержит веса PyTorch и Safetensors, модель доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной и той же фразы, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-qvs — модель синтеза речи на кечуа Сан-Мартин (qvs), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиозапись и подходит для озвучивания фраз и создания речевых интерфейсов на языке, для которого мало доступных речевых технологий. Модель основана на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, трансформерным текстовым энкодером, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. В карточке указано 3,5 млн параметров; модель поставляется в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предиктор длительности стохастический, поэтому генерация недетерминирована; для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-rmc-script_cyrillic — модель синтеза речи для карпатского романи с текстом на кириллической письменности, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Это отдельный языковой чекпойнт семейства VITS: энд-ту-энд архитектура использует вариационный автоэнкодер, Transformer-энкодер текста, потоковые слои, декодер на основе транспонированных свёрток и стохастический предсказатель длительности. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и safetensors; для работы с ней подходит Transformers версии 4.33 и новее. Стохастический предсказатель длительности делает генерацию недетерминированной, поэтому для воспроизводимого аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-taj — модель синтеза речи на восточном тамангском языке, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тамангском языке в речевую аудиоволну и подходит для озвучивания текстов и создания речи для приложений на этом языке. Модель основана на архитектуре VITS и содержит текстовый энкодер на базе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Для каждого языка MMS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tap — модель синтеза речи для языка таабва (Taabwa, tap), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на таабва. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, нормализующими потоками, стохастическим предсказателем длительности и декодером, построенным по принципу HiFi-GAN. Модель содержит 3,5 млн параметров и реализована для PyTorch в формате Safetensors; доступна через Transformers версии 4.33 и выше. Для получения одинаковой речи при повторном запуске требуется фиксировать seed. Для проекта MMS отдельный VITS-чекпойнт обучен для каждого языка. Модель рассчитана на синтез речи на таабва; сведения о поддержке других языков не приводятся. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.