Модель на основе Whisper Tiny классифицирует эмоциональную окраску аудио на бенгальском языке по семи категориям.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
shhossain/whisper-tiny-bn-emo — модель классификации аудио на основе Whisper Tiny, дообученная автором shhossain на модели shhossain/whisper-tiny-bn для распознавания эмоций в речи на бенгальском языке. Архитектура WhisperForAudioClassification содержит 29,4 млн параметров; модель распространяется в форматах PyTorch и Safetensors.
Модель относит аудио к одному из семи классов: гнев, отвращение, страх, радость, нейтральное состояние, грусть и удивление. В карточке указаны точность 0,9357 и loss 0,1842 на оценочном наборе. Её можно использовать для анализа эмоциональной окраски бенгальской речи в аудиозаписях.
Модель предназначена для бенгальской речи и классифицирует только семь перечисленных эмоций. Точность приведена для оценочного набора из карточки, поэтому качество на других данных может отличаться.
README от автора на Hugging Face, как он его опубликовал
This model is a fine-tuned on shhossain/whisper-tiny-bn for emotion classification. It achieves the following results on the evaluation set:
It detects 7 basic human emotions on Bengali Language.
ANGRYDISGUSTFEARHAPPYNEUTRALSADSURPRISEfrom transformers import pipeline
pipe = pipeline("audio-classification", model="shhossain/whisper-tiny-bn-emo")
pipe("audio_file.wav")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · audio-classification
Подбираем GPU…