/ Модель

Характеристики

Лицензия
Apache 2.0
Опубликована
7 мар 2025

kushinada-hubert-base

ЭмбеддингиТекст → embedding3 профессии

HuBERT Base, предобученная на японской телевизионной речи модель для извлечения признаков аудио и построения систем обработки японской речи.

112скачиваний за 30 дней1лайквеса обновлены7 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

imprt/kushinada-hubert-base — предварительно обученная модель HuBERT Base для извлечения признаков из японской речи. Она обучена разработчиком imprt на 62 215 часах аудио японских телевизионных передач, отобранного с помощью определения речевой активности; обучение проводилось с использованием кода официального репозитория HuBERT.

Модель предназначена для получения речевых представлений из аудио и может служить основой для последующих задач обработки японской речи. Для использования в README приведён пример с Transformers AutoFeatureExtractor и аудиофайлом с частотой дискретизации 16 кГц. Модель принимает аудио и выдаёт признаки; конкретные результаты для задач распознавания или транскрипции в карточке не заявлены.

Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Обучение на телевизионных передачах может влиять на переносимость признаков на другие акустические условия и типы речи; таких оценок в карточке нет.

Сценарии применения

  • извлечение признаков из японской речи
  • получение речевых представлений для последующего дообучения
  • подготовка аудио для систем распознавания японской речи

Ограничения

Карточка не сообщает метрики качества для downstream-задач. Обучение основано на японских телевизионных записях, поэтому переносимость на иные акустические условия не подтверждена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

imprt/kushinada-hubert-base

This is a Japanese HuBERT Base model pre-trained using 62215 hours of audio extracted from large-scale Japanese TV broadcast audio data by voice activity detection.
This model was trained using code from the official repository.

Usage

import soundfile as sf
from transformers import AutoFeatureExtractor
model = "imprt/kushinada-hubert-base"
feature_extractor = AutoFeatureExtractor.from_pretrained(model)
audio_file="/path/to/16k_audio_file"
audio_input, sr = sf.read(audio_file)
feature_extractor(audio_input, sampling_rate=sr)

References

@article{journals/corr/abs-2106-07447,
  added-at = {2021-06-16T00:00:00.000+0200},
  author = {Hsu, Wei-Ning and Bolte, Benjamin and Tsai, Yao-Hung Hubert and Lakhotia, Kushal and Salakhutdinov, Ruslan and Mohamed, Abdelrahman},
  biburl = {https://www.bibsonomy.org/bibtex/2435bd8c9ac37a4eab204ded15e9f8918/dblp},
  ee = {https://arxiv.org/abs/2106.07447},
  interhash = {c85407653eddc9c9256c261afe8d6954},
  intrahash = {435bd8c9ac37a4eab204ded15e9f8918},
  journal = {CoRR},
  keywords = {dblp},
  timestamp = {2024-04-08T22:55:35.000+0200},
  title = {HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units.},
  url = {http://dblp.uni-trier.de/db/journals/corr/corr2106.html#abs-2106-07447},
  volume = {abs/2106.07447},
  year = 2021
}

License

Apache License, Version 2.0

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов
581f2f3

0 моделей