/ Модель

Характеристики

Контекст
1 024 токена
Параметры
26,4 млн
Лицензия
Apache 2.0
Архитектура
pop2piano · dense
Библиотека
transformers
Опубликована
15 мая 2024

Audio2Hero

Распознавание речиАудио → текст3 профессии

Audio2Hero преобразует аудиозапись песни в файл уровня Guitar Hero с кнопками и таймингами нот.

44скачиваний за 30 дней1лайквеса обновлены16 мая 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Распознавание речи» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Audio2Hero — модель Matthew Banaag и Tim Gubski для преобразования аудио в файлы уровней Guitar Hero с последовательностью кнопок и временем нот. Это дообученный encoder-decoder Transformer семейства Pop2Piano с 26,4 млн параметров; карточка Hugging Face указывает обработку аудио и задачу automatic-speech-recognition, хотя README описывает генерацию музыкальных чартов, а не распознавание речи.

Модель предназначена для создания игровых уровней по аудиозаписям любимых песен. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

Сценарии применения

  • создание чарта Guitar Hero по аудиофайлу
  • генерация таймингов нот для музыкального уровня
  • подготовка файлов уровней для любимых песен

Ограничения

README описывает генерацию игровых чартов, тогда как метаданные маркируют модель задачей распознавания речи; фактическое качество и совместимость с конкретными форматами уровней не уточнены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Love Guitar Hero but don't have game files for your favorite song? Audio2Hero is an encoder-decoder transformer finetuned to generate Guitar Hero chart files (files which describe the level setup including buttons and note timings) from any audio!

Developed by: [Matthew Banaag & Tim Gubski]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Pop2PianoForConditionalGeneration
Ревизия весов
0803cae

0 моделей