/ Модель

Характеристики

Контекст
1 024 токена
Параметры
456 млн
Лицензия
BSD 3-Clause
Архитектура
whisper · dense
Опубликована
18 фев 2024

PhoWhisper-medium

Распознавание речиАудио → текст8 профессий

Дообученная на вьетнамской речи модель Whisper для преобразования аудиозаписей с различными вьетнамскими акцентами в текст.

5 155скачиваний за 30 дней18лайковвеса обновлены12 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PhoWhisper-medium — версия модели распознавания речи PhoWhisper, разработанная авторами Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это дообученная многоязычная Whisper с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров; модель принимает аудио и преобразует вьетнамскую речь в текст.

Модель предназначена для автоматического распознавания вьетнамской речи с учётом разных акцентов. При дообучении использовался набор данных объёмом 844 часа; авторы сообщают о высоких результатах на тестах распознавания вьетнамской речи. Поддерживается задача automatic-speech-recognition, формат весов — PyTorch.

Модель распространяется по лицензии BSD 3-Clause. Карточка не приводит сведений о длине контекста или известных ограничениях качества; результаты могут различаться в зависимости от акцента и условий записи.

Сценарии применения

  • транскрибация вьетнамских аудиозаписей
  • распознавание вьетнамской речи с региональными акцентами
  • создание субтитров для вьетнамских аудио и видео
  • подготовка текстовых расшифровок телефонных разговоров на вьетнамском

Ограничения

Модель ориентирована на вьетнамскую речь; качество для других языков не установлено. Результаты могут зависеть от акцента и условий записи.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PhoWhisper: Automatic Speech Recognition for Vietnamese

We introduce PhoWhisper in five versions for Vietnamese automatic speech recognition. PhoWhisper's robustness is achieved through fine-tuning the multilingual Whisper on an 844-hour dataset that encompasses diverse Vietnamese accents. Our experimental study demonstrates state-of-the-art performances of PhoWhisper on benchmark Vietnamese ASR datasets. Please cite our PhoWhisper paper when it is used to help produce published results or is incorporated into other software:

@inproceedings{PhoWhisper,
  title     = {{PhoWhisper: Automatic Speech Recognition for Vietnamese}},
  author    = {Thanh-Thien Le and Linh The Nguyen and Dat Quoc Nguyen},
  booktitle = {Proceedings of the ICLR 2024 Tiny Papers track},
  year      = {2024}
}

For further information or requests, please go to PhoWhisper's homepage!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
55a7e3e

0 моделей