/ Модель

Характеристики

Контекст
131 072 токена
Параметры
7,5 млрд
Размер весов
18,8 ГБ
Лицензия
Apache 2.0
Архитектура
Soundwave · dense
Опубликована
4 мар 2025

Soundwave

Генерация текстаТекст → текст6 профессий

Soundwave — диалоговая модель для понимания аудио и преобразования речи в текст, включая перевод речи.

86скачиваний за 30 дней15лайковвеса обновлены16 мар 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Soundwave — модель семейства Soundwave от FreedomIntelligence для взаимодействия с речью и текстом. Она предназначена для преобразования аудиовхода в текстовые ответы, включая перевод речи и задачи понимания речи; также поддерживает диалоговые сценарии и сохраняет способности языковой модели в разговоре. По карточке, модель использует плотную архитектуру SoundwaveForCausalLM, содержит 7,5 млрд параметров и обучалась на 10 тысячах часов данных.

Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и интерфейс для вызова инструментов. Поддерживается английский язык. Модель распространяется по лицензии Apache-2.0. README заявляет высокие результаты на задачах перевода речи и AIR-Bench, но численные результаты и подробные ограничения в предоставленных материалах не приведены.

Сценарии применения

  • перевод речи из аудиозаписи
  • понимание содержания аудио
  • получение текстового ответа на речевой запрос
  • диалоговое взаимодействие с аудиовходом

Ограничения

В предоставленных материалах не указаны подробные ограничения по языкам, качеству распознавания или условиям эксплуатации. Заявления о высоких результатах приведены без численных показателей.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Model Description

Soundwave is a Speech-to-Text model that bridges the gap between speech and text. It is trained on just 10k hours of data and delivers exceptional performance in speech translation and AIR-Bench speech tasks.

Key Features

Usage

Load the Soundwave model and run inference with your audio files as shown in the GitHub repository.

📖 Citation

@article{zhang2025soundwave,
  title={Soundwave: Less is More for Speech-Text Alignment in LLMs},
  author={Zhang, Yuhao and Liu, Zhiheng and Bu, Fan and Zhang, Ruiyu and Wang, Benyou and Li, Haizhou},
  journal={arXiv preprint arXiv:2502.12900},
  year={2025}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Архитектура Soundwave неизвестна transformers в образе рантайма.

Класс архитектуры
SoundwaveForCausalLM
Ревизия весов
b638111

0 моделей