/ Модель

Характеристики

Контекст
448 токенов
Параметры
51,7 млн
Лицензия
Apache 2.0
Архитектура
whisper · dense
Библиотека
transformers
Опубликована
15 янв 2023

whisper-base-bn

Распознавание речиАудио → текст6 профессий

Модель Whisper для преобразования аудиозаписей и речи с микрофона в текст, ориентированная прежде всего на бенгальский язык.

176скачиваний за 30 дней2лайкавеса обновлены18 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

shhossain/whisper-base-bn — модель распознавания речи на основе Whisper, предназначенная для транскрибации аудиофайлов и речи с микрофона. Карточка предлагает использовать её через библиотеку banglaspeech2text и указывает возможность ускорения вывода на GPU. В метаданных указаны архитектура WhisperForConditionalGeneration, 51,7 млн параметров и формат PyTorch.

Модель ориентирована на бенгальский язык; метаданные также отмечают английский. Для обучения или оценки указан Common Voice 11.0, а в README приведён результат WER 46 без дополнительных условий измерения. Лицензия — Apache-2.0.

Сценарии применения

  • транскрибация аудиофайлов на бенгальском языке
  • распознавание бенгальской речи с микрофона
  • преобразование речи в текст в приложениях на Python

Ограничения

В README указан WER 46, но условия оценки и набор данных для этого результата не уточнены. Карточка описывает распознавание речи, поэтому модель не предназначена для задач генерации текста по произвольному запросу.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Results

  • WER 46

Use with BanglaSpeech2text

Test it in Google Colab

  • Open In Colab

Installation

You can install the library using pip:

pip install banglaspeech2text

Usage

Model Initialization

To use the library, you need to initialize the Speech2Text class with the desired model. By default, it uses the "base" model, but you can choose from different pre-trained models: "tiny", "small", "medium", "base", or "large". Here's an example:

from banglaspeech2text import Speech2Text

stt = Speech2Text(model="base")

# You can use it wihout specifying model name (default model is "base")
stt = Speech2Text()

Transcribing Audio Files

You can transcribe an audio file by calling the transcribe method and passing the path to the audio file. It will return the transcribed text as a string. Here's an example:

transcription = stt.transcribe("audio.wav")
print(transcription)

Use with SpeechRecognition

You can use SpeechRecognition package to get audio from microphone and transcribe it. Here's an example:

import speech_recognition as sr
from banglaspeech2text import Speech2Text

stt = Speech2Text(model="base")

r = sr.Recognizer()
with sr.Microphone() as source:
    print("Say something!")
    audio = r.listen(source)
    output = stt.recognize(audio)

print(output)

Use GPU

You can use GPU for faster inference. Here's an example:


stt = Speech2Text(model="base",use_gpu=True)

Advanced GPU Usage

For more advanced GPU usage you can use device or device_map parameter. Here's an example:

stt = Speech2Text(model="base",device="cuda:0")
stt = Speech2Text(model="base",device_map="auto")

NOTE: Read more about Pytorch Device

Instantly Check with gradio

You can instantly check the model with gradio. Here's an example:

from banglaspeech2text import Speech2Text, available_models
import gradio as gr

stt = Speech2Text(model="base",use_gpu=True)

# You can also open the url and check it in mobile
gr.Interface(
    fn=stt.transcribe, 
    inputs=gr.Audio(source="microphone", type="filepath"), 
    outputs="text").launch(share=True)

Note: For more usecases and models -> BanglaSpeech2Text

Use with transformers

Installation

pip install transformers
pip install torch

Usage

Use with file

from transformers import pipeline

pipe = pipeline('automatic-speech-recognition','shhossain/whisper-base-bn')

def transcribe(audio_path):
  return pipe(audio_path)['text']

audio_file = "test.wav"

print(transcribe(audio_file))

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
188022f

0 моделей