/ Модель

Характеристики

Контекст
1 024 токена
Параметры
905 млн
Лицензия
GPL 3.0
Архитектура
whisper · dense
Библиотека
transformers
Опубликована
6 июл 2024

Arabic-Whisper-CodeSwitching-Edition

Распознавание речиАудио → текст4 профессии

Дообученная версия Whisper Large v2 для транскрибации арабской речи с английскими словами и переключением между арабским и английским.

867скачиваний за 30 дней37лайковвеса обновлены7 июл 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Arabic-Whisper-CodeSwitching-Edition — модель распознавания речи, разработанная العبد لله и дообученная на базе Whisper Large v2 от OpenAI на наборе данных арабско-английской речи с переключением языков. Она предназначена для транскрибации арабской речи, в которую включены английские слова, в том числе в многоязычной среде.

Модель построена на архитектуре Whisper и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; в карточке заявлена поддержка арабского и английского языков в контексте арабской речи. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — GPL-3.0.

Модель ориентирована на арабскую речь с английскими вставками. По карточке, она может хуже работать с одноязычной речью на других языках и с переключением языков, отличных от арабского и английского.

Сценарии применения

  • транскрибация арабской речи с английскими словами
  • распознавание арабско-английской речи с переключением языков
  • расшифровка многоязычных разговоров на арабском с английскими вставками

Ограничения

Модель может хуже распознавать одноязычную речь на языках, отличных от арабского и английского, а также переключение между другими языками. Для прочих ограничений в карточке недостаточно подробных сведений.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

👳 Arabic-Whisper-CodeSwitching-Edition

This model is a fine-tuned version of Whisper Large v2 by OpenAI, trained on an Arabic-English-code-switching dataset.

image/png

📝 Model Details

Model Description

The Arabic-Whisper-CodeSwitching-Edition is designed to handle Arabic audio with embedded English words. This model enhances the original Whisper Large v2 by improving its performance on Arabic-English code-switching speech

  • Developed by: العبد لله
  • Model type: Speech Recognition
  • Language(s) (NLP): Arabic, English (in the context of Arabic audio)
  • License: GPL-3.0

Model Sources [optional]

👷 Uses

Direct Use

The model can be used directly for transcribing Arabic speech that includes English words. It is particularly useful in multilingual environments where code-switching is common.

Out-of-Scope Use

The model may not perform well on monolingual speech in languages other than Arabic or English, or on speech with code-switching in languages other than Arabic and English.

😨 Bias, Risks, and Limitations

Recommendations

Users (both direct and downstream) should be made aware of the risks, biases, and limitations of the model. More information needed for further recommendations.

🔍 How to Get Started with the Model

Use the code below to get started with the model.

from transformers import WhisperForConditionalGeneration, WhisperProcessor

processor = WhisperProcessor.from_pretrained("MohamedRashad/Arabic-Whisper-CodeSwitching-Edition")
model = WhisperForConditionalGeneration.from_pretrained("MohamedRashad/Arabic-Whisper-CodeSwitching-Edition")

# Example usage
inputs = processor("path_to_audio_file.wav", return_tensors="pt")
generated_ids = model.generate(inputs["input_features"])
transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(transcription)

👨‍🎓 Citation

BibTeX:

@misc{rashad2024arabicwhisper,
  title={Arabic-Whisper-CodeSwitching-Edition},
  author={Mohamed Rashad},
  year={2024},
  url={https://huggingface.co/spaces/MohamedRashad/Arabic-Whisper-CodeSwitching-Edition},
}

APA:

Rashad, M. (2024). Arabic-Whisper-CodeSwitching-Edition. Retrieved from https://huggingface.co/spaces/MohamedRashad/Arabic-Whisper-CodeSwitching-Edition

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
WhisperForConditionalGeneration
Ревизия весов
dc726f3

0 моделей