/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
7 мар 2025

kushinada-hubert-large

ЭмбеддингиТекст → embedding3 профессии

Японская предварительно обученная модель HuBERT Large для извлечения признаков из аудио и речи.

334скачиваний за 30 дней7лайковвеса обновлены7 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

imprt/kushinada-hubert-large — японская модель HuBERT Large, разработанная imprt и предварительно обученная на 62 215 часах аудио японских телевизионных передач. Для подготовки обучающих данных использовалось обнаружение голосовой активности; модель обучена с применением кода официального репозитория HuBERT.

Модель предназначена для извлечения признаков из японской речи и аудио и может служить основой для последующих задач обработки речи. В README показан пример загрузки AutoFeatureExtractor из Transformers для аудиофайла с частотой дискретизации 16 кГц. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

Сценарии применения

  • извлечение признаков из японской речи
  • подготовка аудиопредставлений для обучения моделей распознавания речи
  • анализ японских телевизионных аудиозаписей
  • подготовка аудиоданных для последующих задач обработки речи

Ограничения

Обучение проводилось на аудио японских телевизионных передач, поэтому перенос на другие языки и акустические условия может быть ограничен. В README показан приём аудио через feature extractor, но не заявлена готовность модели непосредственно распознавать речь.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

imprt/kushinada-hubert-large

This is a Japanese HuBERT Large model pre-trained using 62215 hours of audio extracted from large-scale Japanese TV broadcast audio data by voice activity detection.
This model was trained using code from the official repository.

Usage

import soundfile as sf
from transformers import AutoFeatureExtractor
model = "imprt/kushinada-hubert-large"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)
audio_file="/path/to/16k_audio_file"
audio_input, sr = sf.read(audio_file)
feature_extractor(audio_input, sampling_rate=sr)

References

@article{journals/corr/abs-2106-07447,
  added-at = {2021-06-16T00:00:00.000+0200},
  author = {Hsu, Wei-Ning and Bolte, Benjamin and Tsai, Yao-Hung Hubert and Lakhotia, Kushal and Salakhutdinov, Ruslan and Mohamed, Abdelrahman},
  biburl = {https://www.bibsonomy.org/bibtex/2435bd8c9ac37a4eab204ded15e9f8918/dblp},
  ee = {https://arxiv.org/abs/2106.07447},
  interhash = {c85407653eddc9c9256c261afe8d6954},
  intrahash = {435bd8c9ac37a4eab204ded15e9f8918},
  journal = {CoRR},
  keywords = {dblp},
  timestamp = {2024-04-08T22:55:35.000+0200},
  title = {HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units.},
  url = {http://dblp.uni-trier.de/db/journals/corr/corr2106.html#abs-2106-07447},
  volume = {abs/2106.07447},
  year = 2021
}

License

Apache License, Version 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
a402c6f

0 моделей