Характеристики

Параметры: 3,5 млн
Лицензия: CC BY-SA 4.0
Архитектура: vits · dense
Базовая модель: mms-tts
Библиотека: transformers
Опубликована: 30 июл 2024

Ссылки

Hugging Face

SARA_TTS

BHOSAI

Синтез речиТекст → аудио3 профессии

SARA TTS — дообученная на азербайджанских данных модель VITS для преобразования текста в речь.

317скачиваний за 30 дней3лайкавеса обновлены31 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Синтез речи» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели сгенерируют результат по каждой задаче. Опубликованный тест появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

SARA TTS — синтезатор речи, разработанный Центром исследований и разработок в области ИИ Бакинской высшей школы нефти совместно с PRODATA. Модель создана на основе VITS и дообучена на базе facebook/mms-tts для азербайджанского языка. Она принимает текст и генерирует непрерывную речь; для подготовки обучающих данных команда объединяла пары речи и текста из открытых источников в последовательности по несколько предложений.

В карточке указано, что исходная MMS-модель хорошо передавала естественность речи, но чувствительно реагировала на входные токены: интонация могла меняться в зависимости от текста. Репозиторий содержит веса в формате safetensors и насчитывает 3,5 млн параметров. Модель распространяется по лицензии CC BY-SA 4.0.

Сценарии применения

синтез азербайджанской речи из текста
озвучивание предложений и связных текстов на азербайджанском языке
создание голосового сопровождения для азербайджаноязычных материалов

Ограничения

Авторы отмечают, что интонация может меняться в зависимости от входных токенов; специальных ограничений по качеству или условиям применения в карточке не описано.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Baku Higher Oil School Research and Development Center on AI introduce their new Text-to-Speech model in collaboration with PRODATA. Model is based on VITS architecture, referenced to Meta MMS on Azerbaijani.

image/jpeg

Meta MMS model has good performance in naturalness of the speech while it was not robust to the change in the input tokens. Intonation varied according to the input tokens.

Our team has built speech and text pairs from public sources and combined them with 2-3 sentences to create continuous speech in the input.

Thanks to Kavsar Huseynova, Elvin Mammadov, Qurban Quliyev and PRODATA for the the contributions to this project!

All rights are reserved!

Note: Team and collaborators are not responsible about the contents of the generated voices by different individuals!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры: VitsModel
Ревизия весов: 8541c9d