Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Audio2Hero — модель Matthew Banaag и Tim Gubski для преобразования аудио в файлы уровней Guitar Hero с последовательностью кнопок и временем нот. Это дообученный encoder-decoder Transformer семейства Pop2Piano с 26,4 млн параметров; карточка Hugging Face указывает обработку аудио и задачу automatic-speech-recognition, хотя README описывает генерацию музыкальных чартов, а не распознавание речи.
Модель предназначена для создания игровых уровней по аудиозаписям любимых песен. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
Сценарии применения
создание чарта Guitar Hero по аудиофайлу
генерация таймингов нот для музыкального уровня
подготовка файлов уровней для любимых песен
Ограничения
README описывает генерацию игровых чартов, тогда как метаданные маркируют модель задачей распознавания речи; фактическое качество и совместимость с конкретными форматами уровней не уточнены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Love Guitar Hero but don't have game files for your favorite song? Audio2Hero is an encoder-decoder transformer finetuned to generate Guitar Hero chart files (files which describe the level setup including buttons and note timings) from any audio!
Developed by: [Matthew Banaag & Tim Gubski]
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров