I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиfacebook/mms-tts-xta — модель синтеза речи для языка Mixtec, Alcozauca (xta), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучки и интеграции синтеза речи в приложения для носителей языка. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером, формирующим аудиоволну. Стохастический предсказатель позволяет получать разные ритмические варианты произношения одного текста; для повторяемого результата требуется фиксировать seed. Чекпойнт доступен в Transformers версии 4.33 и новее. Модель ориентирована на текст и речь на Mixtec, Alcozauca; сведений о поддержке других языков нет. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Качество и применимость зависят от языка и обучающих данных; в карточке не приведены количественные оценки качества.
facebook/mms-tts-yua — модель синтеза речи на юкатекском языке майя (yua), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на юкатекском языке. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Для каждой языковой версии MMS-TTS обучена отдельная модель. Повторяемая генерация требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
MQT-LLaVA-7b — открытый мультимодальный чат-бот, разработанный путём дообучения LLaMA/Vicuna на инструкционных данных, созданных GPT. Это авторегрессионная модель на архитектуре Transformer семейства LLaVA-LLaMA с 6,6 млрд параметров; она принимает изображения и текст и отвечает текстом. Длина контекста составляет 4096 токенов. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с компьютерным зрением и обработкой естественного языка. Обучающие данные включают пары изображение–текст, инструкции для мультимодальных задач, данные для визуальных вопросов и ответов и диалоги ShareGPT. Модель подходит для описания изображений и ответов на вопросы о них. В README указана открытая модель, но конкретная лицензия не приведена. Результаты зависят от обучающих данных и исследовательского характера модели; карточка не сообщает специальных гарантий качества или ограничений применения.
OpenSpatial-Qwen3-VL-8B — мультимодальная модель, дообученная командой OpenSpatial на базе Qwen/Qwen3-VL-8B-Instruct. Она предназначена для понимания пространственных отношений и рассуждений по изображениям в диалоге. Модель принимает текст и изображения и генерирует текстовые ответы; доступна в формате safetensors для запуска через Transformers. Модель подходит для вопросов о расположении объектов и пространственных сценах, а также для визуального анализа, где нужно описать отношения между элементами изображения. В карточке не приведены сведения о датасетах обучения, количественных оценках качества или дополнительных ограничениях. Лицензия репозитория — Apache-2.0.
QVQ-72B-Preview-GGUF — набор GGUF-квантизаций мультимодальной модели QVQ-72B-Preview, разработанной командой Qwen и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальным запросам, например подсчёта объектов или интерпретации содержимого изображения. Для запуска требуются инструменты llama.cpp для Qwen2-VL и отдельный multimodal projector. Модель имеет размер 72B параметров и поддерживает обработку изображений совместно с текстом. В README явно указан английский язык; сведения о контекстном окне, точной архитектуре базовой модели и дополнительных языках отсутствуют. Доступны варианты квантования от Q2 до Q8, различающиеся размером файла, требованиями к памяти и качеством: Q6_K и Q5 считаются вариантами высокого качества, Q4_K_M — сбалансированным вариантом, а форматы Q2 и Q3 экономят память за счёт заметного снижения качества. Основные преимущества — мультимодальные возможности, широкий выбор уровней квантования и возможность локального запуска через llama.cpp. Ограничения включают высокие требования к памяти даже у компактных вариантов, зависимость от совместимого multimodal projector и потенциальное снижение качества при использовании низкобитных квантов. В карточке указана лицензия other со ссылкой на лицензию Qwen; перед использованием следует проверить её условия.
SenseNova-SI-1.1-Qwen2.5-VL-7B — мультимодальная модель SenseNova, разработанная для развития пространственного мышления на основе Qwen2.5-VL-7B-Instruct. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает изображения вместе с текстовыми запросами, чтобы формировать текстовые ответы. Максимальная длина контекста по метаданным — 128 000 токенов. Модель предназначена для пространственного анализа изображений и визуальных вопросов, сохраняя возможности общего мультимодального понимания. Разработчики обучали семейство SenseNova-SI на специально собранном наборе из восьми миллионов примеров с таксономией пространственных способностей и сообщают о результатах на нескольких бенчмарках пространственного мышления. Проект продолжает развиваться; в README не приведены отдельные оценки именно этой версии 7B. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В карточке не перечислены поддерживаемые языки и не описаны ограничения безопасности или точности; результаты бенчмарков не гарантируют качество на прикладных данных.
TAID-VLM-2B — мультимодальная авторегрессионная модель Sakana AI для диалога по изображениям. Она создана методом дистилляции TAID: InternVL2-8B выступала учителем, а InternVL2-2B — учеником. В метаданных указаны архитектура InternVLChatModel, размер 2B и формат safetensors; модель предназначена для визуальных вопросов и ответов, а также текстовой генерации в чате. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. В карточке указан английский язык. Лицензия — MIT. Sakana AI характеризует модель как экспериментальный прототип для исследований и разработок и не рекомендует её для коммерческого применения или критически важных систем; качество результатов не гарантируется.
Tarsier-7b — открытая видеоязыковая модель семейства Tarsier, разработанная для описания видео и общего понимания видеосодержимого. Она основана на языковой модели liuhaotian/llava-v1.6-vicuna-7b и предназначена прежде всего для исследователей и энтузиастов компьютерного зрения, обработки естественного языка и машинного обучения. Модель обучалась в июне 2024 года в два этапа: многофункциональное предварительное обучение на 13 млн примеров и настройка по инструкциям с разной степенью детализации на 500 тыс. примеров. При обучении замораживался ViT, а обучались проекционный слой и языковая модель. Модель оценивается на наборах для описания видео и видеоответов на вопросы, включая DREAM-1K, MVBench и MSVD-QA. Tarsier-7b принимает видеоданные и формирует текстовые описания или ответы о содержимом видео. Карточка позиционирует её для исследований и экспериментов; результаты Tarsier-34b не следует автоматически переносить на версию 7b. Лицензия — Llama 2; веса доступны в формате safetensors.
ViTucano-2b8-v1 — мультимодальная модель семейства Tucano, разработанная TucanoBR на базе Tucano-2b4 с помощью TinyLLaVA Factory. Она объединяет языковую модель с визуальной башней SigLIP и предназначена для исследований и разработки мультимодальных моделей, изначально обученных на португальском языке. Модель содержит около 2,88 млрд параметров, использует архитектуру TinyLlavaForConditionalGeneration и поддерживает контекст до 4096 токенов. Модель может описывать изображения и отвечать на вопросы о них на португальском языке. Она обучалась на GigaVerbo, ViTucano-Pretrain и ViTucano-SFT. Лицензия — Apache 2.0. Авторы не позиционируют её как готовый продукт для взаимодействия с пользователями; для прикладного применения требуется собственная оценка рисков и качества.
jjnhuang/whisper-small-finetuned-iwslt-welsh — дообученная на наборе данных CoVoST 2 модель OpenAI Whisper small с архитектурой WhisperForConditionalGeneration. Она предназначена для распознавания речи; число параметров — 153,1 млн. Базовая модель мультиязычная и поддерживает транскрибирование речи и перевод аудио на английский язык. В README приведены результаты оценки: WER 82,1085, BLEU 14,0988, chrF++ 33,5907 и COMET 0,5541. Высокий WER указывает на ограниченную точность распознавания в указанной оценке. Модель распространяется по лицензии Apache-2.0.
Nagarariharshini/whisper-small-te — модель распознавания речи на телугу, созданная Nagarariharshini дообучением openai/whisper-small с помощью Mozilla.ai Blueprint speech-to-text-finetune. Она принимает аудио и преобразует речь в текст; обучение проводилось на 99 аудиозаписях на телугу из корпуса Common Voice. По приведённым в карточке метрикам дообучение снизило ошибку распознавания относительно базовой модели, однако значения WER и CER остаются высокими, поэтому качество может быть ограничено. Модель распространяется по лицензии Apache-2.0.
Карточка модели TULLUS/Aquila-VL-2B-llava-qwen на Hugging Face совпадает с карточкой BAAI/Aquila-VL-2B-llava-qwen, поэтому описание составлено по ней. Aquila-VL-2B — мультимодальная модель BAAI для диалога и ответов на вопросы по изображениям. Она построена на основе фреймворка LLaVA-OneVision: языковая часть использует Qwen2.5-1.5B-Instruct, а визуальная — SigLIP SO400M Patch14-384. Модель объединяет эти компоненты и дообучена на наборах Infinity-MM, Infinity-Instruct и Infinity-Preference; в Infinity-MM около 40 миллионов пар изображение–текст. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Поддерживает английский и китайский языки, использует архитектуру Qwen2 и имеет контекстное окно 32 768 токенов. В опубликованных тестах она показала результаты, сопоставимые с моделями сходного размера на бенчмарках MMBench на английском и китайском языках. Карточка не описывает поддержку видео или нескольких изображений; авторы указывают их как направление будущего обучения. Модель доступна по лицензии Apache-2.0. Как и другие компактные мультимодальные модели, она может ошибаться при распознавании деталей изображения и формировании ответов; результаты бенчмарков не гарантируют точность в конкретных сценариях.
Banano kirtis — литовская модель-разметчик ударений, созданная на базе XLM-RoBERTa-base и предназначенная для определения ударного слога и типа ударения в каждом слове с учётом контекста. Она использует архитектуру XLM-RoBERTa для классификации токенов, содержит 305,2 млн параметров и принимает последовательности длиной до 514 токенов. Модель обучена на предложениях из корпуса LIEPA-3 и формах из литовского лексикона. Модель рассчитана на разметку литовского текста, в том числе для синтеза речи и разрешения неоднозначности омографов по контексту. Она предсказывает позицию ударения и один из трёх типов: краткий, острый или циркумфлексный. README сообщает о 85,4% точности совпадения целого слова на отложенном наборе из 3000 предложений; авторы отмечают, что оценки отражают согласие с разметкой обучения, а не проверку по экспертной эталонной выборке. Ударения в безударных служебных словах соответствуют разговорной речи, тогда как нормативные инструменты могут размечать их иначе. Иностранные фамилии и слова вне обучающего словаря ненадёжны; уверенность модели не гарантирует правильность. Для преобразования предсказаний в диакритические знаки требуется отдельная обработка слогов и гласных. Модель выпущена под лицензией CC BY 4.0. В README указана более новая версия Banano kirtis v2, которая показывает лучшие результаты на нормативной письменной речи; эта версия может быть уместна для сценариев с безударными служебными словами разговорного литовского языка.
CompoDistill-SFT-2B — мультимодальная модель для диалога по изображениям, опубликованная как базовый SFT-чекпойнт для статьи CompoDistill. Она построена на Qwen1.5-1.8B и визуальном энкодере SigLIP-so400m и обучена стандартным способом visual instruction tuning в стиле LLaVA, без дистилляции. Модель предназначена для ответов на текстовые инструкции и вопросы об изображениях, в том числе для задач композиционного рассуждения, оцениваемых в работе. Репозиторий содержит веса в формате safetensors; размер параметров и длина контекста в предоставленных данных не указаны. Лицензия — Apache-2.0. Это исследовательский базовый чекпойнт для сравнения с вариантами CompoDistill; практическое качество зависит от задачи и может быть ограничено по сравнению с более крупными мультимодальными моделями.
Это квантизированная GGUF-версия Huihui-Qwen3.6-35B-A3B-abliterated — мультимодальной MoE-модели семейства Qwen, созданной Huihui AI на основе Qwen3.6-35B-A3B. Она предназначена для диалогов и анализа изображений; заявлена архитектура Qwen3.6 с экспертами, а также совместимость с llama.cpp. Квантизация MXFP4 уменьшает размер весов с 64,6 до 20,6 ГБ, сохраняя в BF16 отдельные чувствительные компоненты. Репозиторий также содержит варианты GGUF в BF16, F16 и F32. Модель может применяться для визуальных вопросов и ответов и мультимодального общения. В README отмечено, что у неё значительно снижена фильтрация безопасности, поэтому ответы могут включать нежелательный или небезопасный контент. Лицензия — Apache-2.0.
InternVL3-38B-CVRR — мультимодальная модель для ответов на вопросы об изображениях, разработанная авторами работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary» на базе OpenGVLab/InternVL3-38B. Она использует метод Causal Visual Recurrent Reasoning (CVRR): рекуррентно уточняет состояние вопроса с доступом к визуальным данным, а затем передаёт итоговое состояние декодеру ответа, ограничивая его прямой доступ к исходным визуальным данным. Модель предназначена для визуального рассуждения и генерации текстовых ответов на вопросы по изображениям. Рекуррентный переход адаптирован с помощью LoRA и включён в опубликованный пакет вместе с весами базовой модели и специальным загрузчиком. Размер базовой модели — 38 млрд параметров; формат весов — safetensors, библиотека запуска — Transformers. Репозиторий распространяется по лицензии Apache-2.0. Для запуска нужны зависимости из requirements.txt и Transformers 4.57.6. Загрузчик не поддерживает автоматическое разбиение модели по GPU, повторную сериализацию через стандартный save_pretrained(), а также прямой запуск через vLLM или SGLang; требуется полная копия модели на каждом GPU. Выпускаемая версия использует T=4 и beta=0.5; исторические результаты с beta=0.33 не подтверждены для этого пакета.
InternVL-Chat-ViT-6B-Vicuna-13B — мультимодальная чат-модель OpenGVLab для диалога по изображениям и ответов на визуальные вопросы. Она объединяет vision transformer InternViT-6B-224px с языковой моделью Vicuna-13B-v1.5 и использует авторегрессионную архитектуру LlavaLlamaForCausalLM; общий размер составляет 12,9 млрд параметров. Модель принимает изображения и текстовые инструкции, а отвечает текстом. Её обучали на парах изображение–текст, мультимодальных инструкциях, данных для визуальных вопросов и диалогах ShareGPT. README указывает на мультиязычный состав обучающих данных, но не перечисляет конкретные поддерживаемые языки. Контекст — 4096 токенов. Модель предназначена прежде всего для исследований и экспериментов с мультимодальными чат-ботами и задачами компьютерного зрения. Модель создана OpenGVLab и опубликована в декабре 2023 года. В метаданных указана лицензия — отсутствует, поэтому условия использования по имеющимся сведениям определить нельзя. Карточка описывает обучающие данные и назначение, но не приводит конкретных ограничений качества; фактические результаты могут зависеть от изображений, формулировки вопроса и сценария применения.
LLaVA-3D-7B — мультимодальная модель диалогового типа, разработанная в рамках проекта LLaVA-3D и дообученная на наборе LLaVA-3D-Instruct-1M на основе LLaVA-v1.5-7B. Это плотная архитектура LlavaLlamaForCausalLM примерно на 6,6 млрд параметров; репозиторий содержит веса safetensors, а длина контекста составляет 4096 токенов. Модель предназначена для вопросов и инструкций по одиночным изображениям в 2D-сценариях и по RGB-D изображениям с данными о позе для задач понимания 3D-сцен. Обучение включало подписи к сценам и их областям, а затем смесь из 1 млн инструкционных примеров 2D и 3D. Основной язык — английский. Модель принимает изображения и текст, а ответы формирует в виде текста. Модель подходит для описания визуальных сцен и ответов на вопросы о содержимом изображений, включая 3D-сцены. Карточка не приводит количественных оценок качества или детальных ограничений применения. Лицензия — Apache-2.0.
facebook/mms-tts-boa — модель синтеза речи для языка боа (Bora), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на языке боа. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом; генерация недетерминирована, поэтому для повторения результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Это модель синтеза речи для языка джола-фоньи (dyo), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт; для работы с ним доступна библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм синтезированной речи, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель рассчитана на джола-фоньи; качество синтеза для других языков не заявлено.
facebook/mms-tts-ese — модель синтеза речи на языке эсе-эхха (Ese Ejja, код ese), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для языка Ese Ejja, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0. Она предназначена для синтеза только на Ese Ejja; качество и поведение на других языках не подтверждены.
facebook/mms-tts-gjn — модель синтеза речи для языка гонжа (Gonja, gjn), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на гонжа в речевую аудиоволну и предназначена для озвучивания фраз и создания речевого аудио на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; при генерации стохастический предиктор длительности может выдавать разные варианты произношения и ритма для одного текста. Для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель специализирована на гонжа; качество синтеза для других языков не заявлено.
facebook/mms-tts-ifb — модель синтеза речи на языке Ifugao, Batad (ifb), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных для приложений на языке Ifugao, Batad. Модель построена на архитектуре VITS и обучена отдельно для этого языка. Это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и декодером на основе HiFi-GAN; предсказатель длительности позволяет варьировать ритм произношения. В репозитории указаны 3,5 млн параметров, а для загрузки доступны веса PyTorch и Safetensors. Модель поддерживается библиотекой Transformers версии 4.33 и новее. Модель предназначена для синтеза речи на Ifugao, Batad и не заявлена как многоязычная. Генерация недетерминирована: для получения одной и той же речевой волны требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.
facebook/mms-tts-ixl-dialect_sanjuancotzal — модель синтеза речи на языке Ixil, диалект Сан-Хуан-Коцаль, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на этом языке в речевой аудиосигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, поточным модулем, стохастическим предиктором длительности и декодером, формирующим аудиоволну. Модель доступна для использования через Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на указанном диалекте Ixil. Из-за стохастического предиктора длительности синтез может различаться при одинаковом входном тексте; для воспроизводимого результата нужен фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но не коммерческое.
facebook/mms-tts-khg — модель синтеза речи на тибетском языке кхамс (Khams, код khg), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую звуковую волну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит 3,6 млн параметров. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; для синтеза используется вариативный генератор длительности, поэтому один и тот же текст может звучать по-разному. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель специализирована на кхамсском тибетском и не предназначена для синтеза на других языках.
facebook/mms-tts-lew — модель синтеза речи на языке леда (Lew), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS: модель преобразует последовательность текста в речевую аудиоволну, используя вариационный автоэнкодер, потоковый модуль, декодер и стохастический предиктор длительности. Модель предназначена для озвучивания текста на языке леда; вариативность предиктора длительности позволяет получать разные ритмические варианты произношения, а для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mzi — модель синтеза речи на мазатекском языке варианта Икатлан, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный контрольный набор VITS, обученный для одного языка; модель преобразует входной текст в речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, подобный HiFi-GAN. В репозитории доступны веса PyTorch и Safetensors; размер модели — 3,5 млн параметров. Для работы с моделью подходит библиотека Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на мазатекском языке Икатлан. Стохастический предсказатель длительности позволяет получать варианты с разным ритмом, поэтому для воспроизводимого результата требуется фиксировать случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ndv — модель синтеза речи на языке ндут (Ndut, ndv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указан размер 3,5 млн параметров. Модель предназначена для синтеза речи на ндут, например для озвучивания текстов и создания речевого вывода в приложениях для этого языка. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-prk — модель синтеза речи на языке Wa (Parauk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Wa в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, нормализующими потоками, Transformer-энкодером текста, HiFi-GAN-декодером и стохастическим предсказателем длительности. Чекпойнт содержит 3,5 млн параметров; для каждого языка MMS-TTS обучается отдельная модель. Для повторения одинакового результата требуется фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка указывает поддержку Transformers версии 4.33 и новее.
facebook/mms-tts-pxm — модель синтеза речи для языка Mixe, Quetzaltepec (pxm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер, flow-модуль и декодер на основе HiFi-GAN. Стоимость модели составляет 3,5 млн параметров. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; фиксированный seed обеспечивает воспроизводимость. Для работы доступна библиотека Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на Mixe, Quetzaltepec и создания речевых интерфейсов для этого языка. Карточка не описывает дополнительные языки, голоса или ограничения качества. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.