Характеристики

Контекст: 131 072 токена
Параметры: 3,2 млрд
Размер весов: 6,5 ГБ
Архитектура: llama · dense
Опубликована: 17 дек 2024

Ссылки

Hugging Face arXiv 2408.05211

salt-asr_wav-uni_1_tts_wav-uni_1-12k

Vikhrmodels

Генерация текстаТекст → текст3 профессии

Экспериментальная модель Vikhrmodels на базе Llama для распознавания речи и синтеза коротких аудиофраз.

70скачиваний за 30 дней8лайковвеса обновлены23 янв 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vikhrmodels/salt-asr_wav-uni_1_tts_wav-uni_1-12k — экспериментальная унифицированная модель распознавания и синтеза речи, разработанная Vikhrmodels. По README, авторы расширили предварительно обученную LLM аудиотокенами и дообучили её для ASR и TTS; для представления речи использовался SpeechTokenizer. Модель имеет плотную архитектуру LlamaForCausalLM с 3,2 млрд параметров и контекстом 131 072 токена.

Модель предназначена для преобразования аудио в текст и генерации коротких речевых фраз. README указывает поддержку генерации на английском, немецком и французском языках. В карточке приведены метрики качества речи и описано обучение на 150 часах вычислений A100, однако данных недостаточно, чтобы надёжно установить качество распознавания или синтеза в практических сценариях. Лицензия не указана в предоставленных источниках.

Сценарии применения

распознавание речи из аудиозаписей
преобразование английской речи в текст
генерация коротких фраз на английском
генерация коротких фраз на немецком
генерация коротких фраз на французском

Ограничения

В README описана генерация только коротких фраз на английском, немецком и французском; практическое качество распознавания и синтеза не подтверждено достаточными результатами. Лицензия не указана в предоставленных источниках.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923модели I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.15Универсальные способностиДоступность и ассистивные технологииAI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями.17 задач8 953модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

English Version 🇬🇧

Model Performance Overview

Metrics:

PESQ@200: Perceptual Evaluation of Speech Quality (higher = better).
STOI@200: Short-Time Objective Intelligibility (closer to 1 = better).
SI-SDR@200: Scale-Invariant Signal-to-Distortion Ratio (higher = better).
SIM-O@200: Similarity to ground truth (higher = better).

Model	PESQ@200	STOI@200	SI-SDR@200	SIM-O@200
Original (LibriSpeech)	4.15	0.997	27.45 ±1.09	—
Parler TTS Mini v1	1.29 ±0.49	0.15 ±0.12	25.0 ±2.9	0.88 ±0.03
Fish Speech 1.5	1.26 ±0.38	0.17 ±0.12	25.0 ±3.2	0.91 ±0.02
Salt-ASR Wav-Uni 1-12k	1.27 ±0.40	0.18 ±0.09	20.3 ±3.69	0.88 ±0.02

Our Solution

Method: Extends a pre-trained LLM with audio tokens and fine-tunes on TTS and ASR tasks.
Training:
- SpeechTokenizer (semantic + audio tokens) outperformed Encodec (loss explosions resolved with TF32 precision).
- Training time: 150 A100 GPU hours.
Advantages: Unified LM loss for dual tasks, minimal training overhead.

Resources

Code: GitHub Repo
Inference Demo: Google Colab
Reference Papers: Vitta, Valle

Русская Версия 🇷🇺

Сравнение моделей

Метрики:

PESQ@200: Качество речи (чем выше, тем лучше).
STOI@200: Разборчивость речи (ближе к 1 = лучше).
SI-SDR@200: Соотношение сигнал-шум (выше = лучше).
SIM-O@200: Сходство с эталоном (выше = лучше).

Модель	PESQ@200	STOI@200	SI-SDR@200	SIM-O@200
Original (LibriSpeech)	4.15	0.997	27.45 ±1.09	—
Parler TTS Mini v1	1.25 ±0.49	0.15 ±0.12	25.0 ±2.9	0.88 ±0.03
Fish Speech 1.5	1.26 ±0.38	0.17 ±0.12	25.0 ±3.2	0.91 ±0.02
Salt-ASR Wav-Uni 1-12k	1.27 ±0.40	0.18 ±0.09	20.3 ±3.69	0.88 ±0.02

Наше решение

Метод: Расширение словаря LLM аудиотокенами + дообучение на TTS и ASR.
Обучение:
- SpeechTokenizer (семитические + аудиотокены) показал лучшие результаты, чем Encodec.
- Время обучения: 150 часов на A100.
Преимущества: Единая функция потерь для двух задач, минимальные затраты.

Ресурсы

Код: GitHub
Демо: Google Colab

Примечание: Модель поддерживает генерацию коротких фраз на английском, немецком и французском.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: c2d8e8d