/ Модель

Характеристики

Контекст
1 024 токена
Параметры
153 млн
Лицензия
WTFPL
Архитектура
whisper · dense
Библиотека
transformers.js
Опубликована
9 апр 2024

PhoWhisper-small

Распознавание речиАудио → текст6 профессий

PhoWhisper-small распознаёт вьетнамскую речь и преобразует аудио в текст, в том числе при наличии региональных акцентов.

167скачиваний за 30 дней0лайковвеса обновлены13 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PhoWhisper-small — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, созданная дообучением многоязычной Whisper на 844-часовом наборе аудиозаписей с разными вьетнамскими акцентами; модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration.

Модель предназначена для преобразования вьетнамской речи в текст. Карточка сообщает о высоких результатах на тестовых наборах для распознавания вьетнамской речи. Репозиторий содержит веса PyTorch и ONNX, совместимые с Transformers.js, что позволяет использовать модель в приложениях на базе этой библиотеки. Лицензия — WTFPL.

Сценарии применения

  • транскрибация вьетнамских аудиозаписей
  • распознавание речи с региональными вьетнамскими акцентами
  • создание субтитров для вьетнамских видео
  • преобразование вьетнамских голосовых сообщений в текст

Ограничения

Модель предназначена для распознавания вьетнамской речи; карточка не подтверждает её пригодность для других языков. Заявления о высоких результатах относятся к тестовым наборам из исследования и не гарантируют качество на произвольных аудиозаписях.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

https://hf.co/vinai/PhoWhisper-small with ONNX weights to be compatible with Transformers.js.

Please check out this demo using the model: Open in Spaces

PhoWhisper: Automatic Speech Recognition for Vietnamese

We introduce PhoWhisper in five versions for Vietnamese automatic speech recognition. PhoWhisper's robustness is achieved through fine-tuning the multilingual Whisper on an 844-hour dataset that encompasses diverse Vietnamese accents. Our experimental study demonstrates state-of-the-art performances of PhoWhisper on benchmark Vietnamese ASR datasets. Please cite our PhoWhisper paper when it is used to help produce published results or is incorporated into other software:

@inproceedings{PhoWhisper,
  title     = {{PhoWhisper: Automatic Speech Recognition for Vietnamese}},
  author    = {Thanh-Thien Le and Linh The Nguyen and Dat Quoc Nguyen},
  booktitle = {Proceedings of the ICLR 2024 Tiny Papers track},
  year      = {2024}
}

For further information or requests, please go to PhoWhisper's homepage!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers.js

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js).

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
515c6b5

0 моделей