I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиInternVL3.5-30B-A3B-HF — мультимодальная модель семейства InternVL, разработанного OpenGVLab. Этот вариант в формате Hugging Face дообучен на основе OpenGVLab/InternVL3_5-30B-A3B-MPO и рассчитан на диалоговую работу с изображениями и текстом; для загрузки используется библиотека Transformers. Модель принимает изображения вместе с текстовыми запросами и формирует текстовые ответы. Она предназначена для визуальных вопросов и ответов, анализа изображений и мультимодальных задач на рассуждение. В описании семейства также заявлены повышение эффективности инференса и поддержка взаимодействия с графическим интерфейсом и агентных сценариев, однако отдельные возможности этого варианта в карточке подробно не уточнены. Карточка сообщает о поддержке нескольких языков, но не перечисляет их по отдельности. Репозиторий использует формат safetensors и лицензию Apache-2.0. Ограничение для практического развёртывания — потребность в значительных вычислительных ресурсах: инструкция семейства указывает, что модели размером до 30 млрд параметров можно запускать на одной A100; точное число параметров этого варианта в переданных данных не приведено.
KARAKURI Inc. разработала karakuri-vl-2-8b-thinking-2603 — мультимодальную модель «текст–изображение–текст» семейства Qwen3-VL, дообученную на Qwen/Qwen3-VL-8B-Thinking. Она принимает текстовые запросы и изображения и предназначена для диалогового анализа визуального содержимого с текстовыми ответами. Модель поддерживает японский и английский языки; в метаданных указаны архитектура Qwen3VLForConditionalGeneration и формат весов safetensors. Для запуска используется библиотека Transformers. Лицензия — Apache 2.0. Подробности о размере, длине контекста и специализированных сценариях дообучения в карточке не приведены.
KomdigiITS-3B-PAD-SFT-Merged — дообученная мультимодальная модель ryfkn на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Она использует плотную архитектуру Mistral3 и предназначена для диалоговых задач с изображениями: принимает текст и изображения, формирует текстовые ответы. В карточке указаны формат safetensors и обучение с использованием Unsloth и библиотеки TRL; лицензия — Apache-2.0. Модель подходит для сценариев, где нужно задавать вопросы по изображению или вести диалог с визуальным контекстом. Карточка не описывает конкретные наборы данных, показатели качества, поддерживаемые языки помимо английского или длину контекста, поэтому оценить точность на отдельных задачах и языках по имеющимся сведениям нельзя.
LFM2.5-VL-450M-GGUF — мультимодальная vision-language модель, разработанная компанией Liquid AI. Она предназначена для задач «изображение—текст», включая анализ изображений и ответы на вопросы о визуальном содержимом, с ориентиром на edge AI и локальное развертывание на устройствах. Модель совместима с llama.cpp и поддерживает добавление изображений в диалог. Модель поставляется в формате GGUF и является версией базовой модели LiquidAI/LFM2.5-VL-450M. Заявлены высокая скорость работы и экономичное использование памяти, однако точные сведения об архитектуре, размере контекста, количестве параметров и поддерживаемых визуальных возможностях в карточке не приведены. Указаны языки: английский, японский, корейский, французский, испанский, немецкий, арабский и китайский. Модель распространяется по лицензии lfm1.0; подробные условия доступны в файле LICENSE. Для запуска рекомендуется использовать llama.cpp с параметрами, указанными в карточке модели.
MLX-версия мультимодальной модели LFM2-VL-1.6B, разработанной Liquid AI и конвертированной сообществом mlx-community из исходной модели LiquidAI/LFM2-VL-1.6B с помощью mlx-vlm 0.3.2. Модель предназначена для задач image-text-to-text, включая анализ и описание изображений по текстовым запросам, и ориентирована на запуск в экосистеме MLX, в том числе на периферийных устройствах. Известно, что модель поддерживает работу с изображениями и текстом, имеет размер 1,6 млрд параметров и представлена в 4-битном квантованном формате. Заявленный язык — английский. Формат MLX и квантование уменьшают требования к памяти и делают модель более удобной для локального инференса, однако могут ограничивать точность по сравнению с полной версией; конкретные показатели качества, размер контекста и перечень поддерживаемых сценариев в карточке не указаны. Модель распространяется по лицензии lfm1.0; подробные условия следует уточнять в файле LICENSE и оригинальной карточке модели.
mradermacher/llava-1.5-13b-hf-i1-GGUF — квантизированная версия мультимодальной модели LLaVA-1.5-13B-HF, подготовленная пользователем mradermacher на основе модели llava-hf. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальному и текстовому вводу. Заявленный язык — английский. Модель содержит 13 млрд параметров в базовой версии и распространяется в формате GGUF с несколькими вариантами квантизации от i1-IQ1_S до i1-Q6_K. Размер файлов составляет примерно от 3,0 до 10,8 ГБ; варианты различаются балансом между размером, скоростью и качеством. Для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория исходной модели. Размер контекста и подробности архитектуры в README не указаны. Сильной стороной является поддержка визуального ввода при возможности локального запуска через совместимые инструменты для GGUF. Ограничения включают зависимость качества от выбранного уровня квантизации: наиболее компактные варианты могут давать низкое качество, тогда как более крупные обычно обеспечивают лучшее сохранение возможностей исходной модели. Модель распространяется по лицензии Llama 2.
unsloth/llava-1.5-7b-hf-bnb-4bit — мультимодальная модель, опубликованная Unsloth и основанная на llava-hf/llava-1.5-7b-hf. LLaVA обучена дообучением LLaMA/Vicuna на мультимодальных данных для следования инструкциям, сгенерированных GPT. Модель предназначена для диалога по изображениям, ответов на вопросы о визуальном содержимом и генерации текста по текстовым и визуальным запросам. Это авторегрессионная модель на архитектуре Transformer размером 7B параметров, работающая с изображениями и текстом. В карточке указана поддержка английского языка, совместимость с библиотекой Transformers и сценарии с несколькими изображениями и промптами. Данная версия обозначена как bnb-4bit, что указывает на 4-битное представление с использованием bitsandbytes; это может снизить требования к памяти, однако конкретные характеристики производительности в карточке не приведены. Модель обучена в сентябре 2023 года. К сильным сторонам относятся мультимодальный диалог, поддержка нескольких изображений в одном запросе и интеграция с Transformers. Ограничения включают указанный английский язык и отсутствие в карточке подробных оценок качества, данных о максимальном контексте и гарантий точности ответов. Лицензия указана как llama2; условия её применения следует проверять по лицензионным документам базовой модели.
LLaVA-v1.5-7B — открытый мультимодальный чат-бот, разработанный командой LLaVA путём дообучения LLaMA/Vicuna на сгенерированных GPT данных для следования инструкциям с изображениями. Это авторегрессионная модель на архитектуре Transformer; в репозитории указано 6,6 млрд параметров, а нативный контекст составляет 4096 токенов. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для визуальных вопросов и ответов, описания изображений и диалоговых сценариев, связывающих зрительное содержимое с инструкциями. Обучение включало пары изображение—текст, мультимодальные инструкции, данные VQA и диалоги ShareGPT; модель ориентирована на исследования и эксперименты в области компьютерного зрения и обработки естественного языка. Карточка не указывает лицензию, поэтому условия использования по ней установить нельзя. Оценка приведена по набору из 12 тестов, включая академические VQA-бенчмарки; конкретные результаты и ограничения качества в карточке не приведены. Возможности модели ограничены изображениями и текстом, а контекст — 4096 токенами.
Карточка модели TitanML/llava-v1.6-mistral-7b на Hugging Face совпадает с карточкой liuhaotian/llava-v1.6-mistral-7b, поэтому описание составлено по ней. LLaVA-v1.6-Mistral-7B — мультимодальный чат-бот, разработанный командой LLaVA и обученный на базе Mistral-7B-Instruct-v0.2. Это авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для диалога по изображениям и текстовым инструкциям. Она принимает изображения и текст, а отвечает текстом; длина контекста составляет 32 768 токенов. Модель подходит для визуальных вопросов и ответов, описания изображений и выполнения инструкций, связанных с визуальным содержимым. Для обучения использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоговые данные. Карточка позиционирует её как открытую модель для исследований и экспериментов в области компьютерного зрения и обработки языка; лицензия — Apache 2.0. Модель может быть полезна для прототипирования мультимодальных чат-ботов и исследовательских задач, но не следует считать её ответы гарантированно точными. Указанное назначение ориентировано на исследователей и энтузиастов; карточка не заявляет специализированной отраслевой области.
MiniMax-M3-oQ3 — 3-битная версия модели семейства MiniMax-M3-VL, созданная Jundot. Модель получена смешанной квантизацией oQ с помощью oMLX v0.4.5.dev1; веса сохранены в формате MLX safetensors с размером группы 64. Семейство MiniMax-M3-VL и архитектура условной генерации указывают на поддержку визуально-языковых задач. Такая модель может принимать текст и изображения и формировать текстовые ответы. В карточке не приведены сведения о размере модели, контекстном окне, языках или результатах оценки качества. Квантизация до 3 бит уменьшает точность представления весов и предназначена для запуска в экосистеме MLX; она может повлиять на качество ответов. Условия лицензии в предоставленных данных не указаны.
arkananta27/Ministral-3B-All-PAD — дообученная модель семейства Mistral3, разработанная arkananta27 на основе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Она предназначена для диалоговых сценариев с изображениями и текстом: принимает мультимодальный ввод и формирует текстовый ответ. Модель имеет плотную архитектуру Mistral3ForConditionalGeneration; веса опубликованы в формате safetensors. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приведены оценки качества или подробности о поддерживаемых языках и ограничениях применения.
facebook/mms-tts-acn — модель синтеза речи на ачангском языке (acn), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка на архитектуре VITS: по входному тексту модель генерирует речевую волну, а стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на ачангском языке. Генерация недетерминирована, поэтому для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-adh — модель синтеза речи на языке джопадхола (Jopadhola, adh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, построенный по принципу HiFi-GAN. Отдельная контрольная точка обучена для каждого языка MMS-TTS; размер этой модели — 3,5 млн параметров. Случайный предиктор длительности позволяет получать варианты ритма, поэтому для повторения того же результата требуется фиксировать seed. Для работы доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-bqc — модель синтеза речи на языке Boko (bqc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, стохастический предиктор длительности и декодер на основе HiFi-GAN. Это отдельный чекпойнт для одного языка; в метаданных указано 3,5 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-bru — модель синтеза речи для языка bru, восточный бру, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модули и декодер на основе свёрточных слоёв в сквозной системе синтеза. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ddn — модель синтеза речи на языке денди (Dendi, код ddn), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и преобразующий входной текст в речевую аудиоволну. Модель доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, похожий на HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; результат может меняться между запусками, поэтому для воспроизводимости нужен фиксированный seed. Чекпойнт имеет 3,5 млн параметров и распространяется по лицензии CC-BY-NC-4.0, которая запрещает коммерческое использование.
facebook/mms-tts-dtp — модель синтеза речи на кадazan-дусунском языке (dtp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; отдельный чекпойнт обучен для каждого языка проекта MMS. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; для работы доступны веса PyTorch и safetensors. Модель предназначена для озвучивания текста на кадazan-дусунском языке, например для голосовых интерфейсов и создания речевого контента. Стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-inb — модель синтеза речи на языке инга (Inga, код inb), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: сочетает вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Чекпойнт содержит 3,5 млн параметров; доступен в форматах PyTorch и Safetensors и используется через Transformers версии 4.33 или новее. Модель обучена отдельно для языка инга. Генерация недетерминирована: для повторения того же аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-iqw — модель синтеза речи на языке икво (Ikwo, код iqw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения. Генерация недетерминирована: для воспроизводимого аудио нужен фиксированный seed. Модель обучена отдельно для одного языка, поэтому её применение к другим языкам не заявлено.
facebook/mms-tts-ixl-dialect_santamarianebaj — модель синтеза речи на языке иксиль, диалект Санта-Мария-Небах, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для этого языка. Архитектура VITS объединяет текстовый энкодер, потоковый модуль и декодер, построенный по принципу HiFi-GAN, а стохастический предиктор длительности позволяет варьировать ритм речи. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на указанном варианте иксильского, например для речевых интерфейсов и создания аудиоверсий коротких текстов. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-jam — модель синтеза речи на ямайском английском креольском языке из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания синтезированной речи. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, нормализующими потоками, декодером HiFi-GAN и стохастическим предсказателем длительности, позволяющим варьировать ритм произношения. Для одинакового результата при повторной генерации требуется фиксированное случайное зерно. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. Для работы с checkpoint подходит библиотека Transformers версии 4.33 и выше.
facebook/mms-tts-ken — модель синтеза речи на языке кеньянг (ken), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на кеньянге. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для каждого языка проекта обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и выше. VITS синтезирует речь сквозным образом, сочетая вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, предсказатель длительности и декодер, подобный HiFi-GAN. Стохастический предсказатель длительности позволяет получать разные ритмические варианты одной фразы; для повторяемого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kkj — модель синтеза речи на языке Kako (kkj), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для каждого языка проекта, основанный на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну, используя стохастический предиктор длительности и HiFi-GAN-подобный декодер. Число параметров — 3,5 млн; модель доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на языке Kako. Стохастический предиктор позволяет варьировать ритм речи, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства на некоммерческих условиях.
facebook/mms-tts-knk — модель синтеза речи на языке куранко (knk), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на куранко. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль, стохастический предсказатель длительности и декодер HiFi-GAN-подобного типа. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая требует указания авторства и запрещает коммерческое использование. Она обучена отдельно для куранко, поэтому не предназначена для синтеза речи на других языках.
facebook/mms-tts-kqy — модель синтеза речи на языке Koorete (код kqy), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на Koorete. Модель использует архитектуру VITS и содержит 3,6 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. Синтез выполняется сквозным способом: модель предсказывает акустические признаки и формирует аудиосигнал. Стохастический предиктор длительности позволяет получать варианты с разным ритмом; результат может меняться между запусками, поэтому для повторяемой генерации требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-mcp — модель синтеза речи на языке Makaa (код mcp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельная модель VITS обучена для каждого языка проекта MMS. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предиктор длительности и декодер, подобный HiFi-GAN. Параметров около 3,5 млн. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Подходит для озвучивания текста на Makaa. Стохастический предиктор может приводить к разным вариантам речи для одного текста; фиксированный seed позволяет воспроизводить результат. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-med — модель синтеза речи Melpa, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на языке Melpa в речевой аудиосигнал и предназначена для озвучивания текста и создания речи в приложениях, работающих с этим языком. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; библиотека Transformers поддерживает его с версии 4.33. Из-за стохастического предсказателя длительности синтез недетерминирован: для повторения результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-mzj — модель синтеза речи на языке Manya (код mzj), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и HiFi-GAN-подобный декодер. Стохастический предиктор длительности позволяет синтезировать текст с разным ритмом, поэтому результаты могут меняться между запусками; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-nko — модель синтеза речи на языке нкония (Nkonya), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на нкония в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для нкония из семейства MMS-TTS; он доступен через библиотеку Transformers. Стохастический предсказатель длительности может создавать разные ритмы для одного текста, поэтому для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи только на нкония; качество и применимость для других языков не заявлены.
facebook/mms-tts-npy — модель синтеза речи на языке напу (Napu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.