/ Модель

Характеристики

Контекст
1 024 токена
Параметры
51,7 млн
Лицензия
WTFPL
Архитектура
whisper · dense
Библиотека
transformers.js
Опубликована
9 апр 2024

PhoWhisper-base

Распознавание речиАудио → текст

PhoWhisper-base — дообученная на разнообразной вьетнамской речи модель Whisper для автоматической расшифровки аудио на вьетнамском языке.

133скачиваний за 30 дней0лайковвеса обновлены12 июн 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PhoWhisper-base — модель автоматического распознавания речи на вьетнамском языке, разработанная Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen. Это версия семейства PhoWhisper, полученная дообучением мультиязычной Whisper на 844 часах аудиозаписей с разными вьетнамскими акцентами; модель предназначена для преобразования вьетнамской речи в текст и тестирования систем распознавания речи на вьетнамских бенчмарках.

Модель основана на архитектуре Whisper и содержит 51,7 млн параметров. Репозиторий включает веса PyTorch и ONNX для использования с Transformers.js. Авторы сообщают о высоких результатах на наборах данных для оценки вьетнамского ASR. Лицензия репозитория — WTFPL; авторы просят цитировать статью PhoWhisper при публикации результатов или включении модели в программные продукты.

Сценарии применения

  • расшифровка записей разговоров на вьетнамском языке
  • создание субтитров для вьетнамских аудио- и видеозаписей
  • преобразование вьетнамской речи в текст в веб-приложениях на Transformers.js
  • оценка качества распознавания вьетнамской речи на бенчмарках

Ограничения

Модель предназначена для распознавания вьетнамской речи; README не сообщает о поддержке других языков или о количественных показателях качества именно этой версии base.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

https://hf.co/vinai/PhoWhisper-base with ONNX weights to be compatible with Transformers.js.

Please check out this demo using the model: Open in Spaces

PhoWhisper: Automatic Speech Recognition for Vietnamese

We introduce PhoWhisper in five versions for Vietnamese automatic speech recognition. PhoWhisper's robustness is achieved through fine-tuning the multilingual Whisper on an 844-hour dataset that encompasses diverse Vietnamese accents. Our experimental study demonstrates state-of-the-art performances of PhoWhisper on benchmark Vietnamese ASR datasets. Please cite our PhoWhisper paper when it is used to help produce published results or is incorporated into other software:

@inproceedings{PhoWhisper,
  title     = {{PhoWhisper: Automatic Speech Recognition for Vietnamese}},
  author    = {Thanh-Thien Le and Linh The Nguyen and Dat Quoc Nguyen},
  booktitle = {Proceedings of the ICLR 2024 Tiny Papers track},
  year      = {2024}
}

For further information or requests, please go to PhoWhisper's homepage!

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers.js

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js).

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
7623a80

0 моделей