/ Модель

Характеристики

Параметры
201 млн
Лицензия
MIT
Архитектура
wav2vec2_for_emotion_classification · dense
Библиотека
transformers
Опубликована
1 апр 2025

anime_speech_emotion_classification

Классификация аудиоАудио → label3 профессии

Модель на основе Wav2Vec2 классифицирует эмоциональную окраску речи в аудиозаписях.

136скачиваний за 30 дней6лайковвеса обновлены28 июн 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

litagin/anime_speech_emotion_classification — модель распознавания эмоций в речи, разработанная на основе Wav2Vec2 и обученная на датасете litagin/Galgame_Speech_SER_16kHz. Она принимает аудио и классифицирует эмоциональную окраску речи; для запуска в README приведён пример использования через Transformers на GPU.

Модель содержит 201,3 млн параметров и распространяется в формате safetensors. Она предназначена для анализа эмоциональных характеристик речи, в том числе реплик из визуальных новелл и аниме-игр. Лицензия — MIT. Состав классов эмоций и показатели качества в доступных сведениях не описаны.

Сценарии применения

  • определение эмоций в озвученных репликах
  • анализ эмоциональной окраски речи персонажей
  • классификация эмоций в аудио из визуальных новелл
  • разметка речевых аудиозаписей по эмоциям

Ограничения

Состав классов эмоций и показатели качества не приведены. Обучение на датасете с речью из визуальных новелл может ограничивать переносимость на другие типы речи.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Speech Emotion Recognition Model trained on litagin/Galgame_Speech_SER_16kHz.

Usage

from transformers import pipeline

REPO_ID = "litagin/anime_speech_emotion_classification"
pipe = pipeline(
    "audio-classification",
    model=REPO_ID,
    feature_extractor=REPO_ID,
    trust_remote_code=True,
    device="cuda",
)

audio_path = "path/to/audio.wav"
result = pipe(audio_path)
print(result)

Result:

[{'score': 0.5655683279037476, 'label': 'Angry'},
 {'score': 0.12489483505487442, 'label': 'Disgusted'},
 {'score': 0.11449059844017029, 'label': 'Embarrassed'},
 {'score': 0.06627542525529861, 'label': 'Surprised'},
 {'score': 0.06157735362648964, 'label': 'Sad'},
 {'score': 0.031055787578225136, 'label': 'Neutral'},
 {'score': 0.022820966318249702, 'label': 'Happy'},
 {'score': 0.00791135337203741, 'label': 'Fearful'},
 {'score': 0.00540440296754241, 'label': 'Sexual1'},
 {'score': 8.61035857724346e-07, 'label': 'Sexual2'}]

Label

  "id2label": {
    "0": "Angry",
    "1": "Disgusted",
    "2": "Embarrassed",
    "3": "Fearful",
    "4": "Happy",
    "5": "Sad",
    "6": "Surprised",
    "7": "Neutral",
    "8": "Sexual1",  # NSFW erotic voices such as 喘ぎ
    "9": "Sexual2"  # Blowjob Oral Slurp SFX チュパ音
  },

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · audio-classification

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
Wav2Vec2ForEmotionClassification
Ревизия весов
6b94a02

0 моделей