/ Модель

Характеристики

Контекст
1 024 токена
Параметры
153 млн
Архитектура
whisper · dense
Базовая модель
whisper-small
Библиотека
transformers
Опубликована
11 ноя 2024

akan-whisper-model

Распознавание речиАудио → текст5 профессий

Дообученная на аудиозаписях акан модель Whisper Small для транскрибации речи на акан в текст.

261скачиваний за 30 дней12лайковвеса обновлены11 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель GiftMark/akan-whisper-model разработана Марком Атта Менсахом и представляет собой дообученную версию OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она предназначена для автоматического распознавания речи на языке акан, включая твийский вариант, и преобразования аудио в текст. Модель можно использовать в сервисах транскрибации, голосовых помощниках и приложениях, которым нужна поддержка акан; её также можно дополнительно адаптировать под конкретную область.

Модель дообучена на аудиозаписях акан с соответствующими транскрипциями из набора Lagyamfi/akan_audio_processed и распространяется в формате safetensors через Transformers. Лицензия в предоставленных данных не указана. Качество может снижаться на акцентах, диалектах и языковых вариантах, недостаточно представленных в обучающем наборе; модель не предназначена для распознавания других языков без дополнительного дообучения.

Сценарии применения

  • транскрибация речи на акан
  • распознавание твийской речи в голосовом помощнике
  • создание сервиса транскрибации для пользователей из Ганы
  • добавление распознавания акан в приложение
  • адаптация распознавания речи на акан под конкретную предметную область

Ограничения

Модель может хуже распознавать акценты, диалекты и варианты акан, которые недостаточно представлены в обучающих данных. Она не предназначена для других языков без дополнительного дообучения.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Card for Akan Whisper Model

Model Details

Model Description

This model is a fine-tuned version of OpenAI's Whisper model, designed for Automatic Speech Recognition (ASR) on the Akan language, a low-resource language spoken in Ghana. The model was trained on a dataset containing Akan audio clips and corresponding transcriptions, enabling it to transcribe spoken Akan into text.

  • Developed by: Mark Atta Mensah
  • Shared by: Mark Atta Mensah
  • Model type: Automatic Speech Recognition (ASR)
  • Language(s) (NLP): Akan (Twi)
  • Finetuned from model: openai/whisper-small

Uses

Direct Use

This model can be directly used for transcribing Akan speech into text. It is suitable for applications like voice assistants, transcription services, and other language-based solutions that require Akan language support.

Downstream Use

This model can be fine-tuned further or incorporated into larger applications that require multi-language ASR capabilities or specific domain adaptation for Akan.

Out-of-Scope Use

The model is not suitable for languages other than Akan (Twi) and may not perform well on other low-resource languages without additional fine-tuning.

Bias, Risks, and Limitations

As with any ASR model, this model may have biases based on the dataset it was trained on. Potential biases in the training data could lead to underperformance on accents, dialects, or language variations not well represented in the data.

Recommendations

Users should be aware of these limitations and assess the model’s performance on specific applications before deployment.

How to Get Started with the Model

from transformers import WhisperForConditionalGeneration, WhisperProcessor

model = WhisperForConditionalGeneration.from_pretrained("GiftMark/akan-whisper-model")
processor = WhisperProcessor.from_pretrained("GiftMark/akan-whisper-model")

def transcribe(audio_array):
    inputs = processor(audio_array, sampling_rate=16000, return_tensors="pt").input_features
    predicted_ids = model.generate(inputs)
    transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
    return transcription

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
9cbf187

0 моделей