Многоязычная CTC-модель OWSM-CTC v4 распознаёт речь и поддерживает перевод речи и определение языка.

Подходит для: распознавание речи в аудиозаписях · перевод речи между языками · определение языка по аудиозаписи

Предварительно обученная модель ESPnet для обработки аудио в рамках конкурса URGENT 2024.

Подходит для: эксперименты с аудио в сценариях конкурса URGENT 2024 · оценка базового решения на данных URGENT 2024 · запуск аудио-модели через ESPnet2

Набор моделей Whisper в формате Core ML для локального распознавания речи и транскрибации на устройствах Apple Silicon.

Подходит для: локальная транскрибация аудиозаписей на устройствах Apple · преобразование речи в текст в приложениях для Apple Silicon · распознавание речи без отправки аудио на сервер

Англоязычная модель ESPnet JETS в формате ONNX для преобразования текста в речь.

Подходит для: озвучивание английского текста в приложении · создание аудиоверсий текстового контента · добавление синтеза речи в конвейер txtai

Англоязычная модель ESPnet для преобразования речи из аудиозаписей в текст.

Подходит для: расшифровка англоязычных аудиозаписей · транскрибация речи из монофонических записей с частотой 16 кГц · распознавание речи на наборе Mini-AN4

Открытая мультиязычная модель ESPnet для распознавания речи, определения языка и перевода аудио в текст.

Подходит для: транскрибация мультиязычных аудиозаписей · определение языка речи · перевод речи в текст

Модель на основе ECAPA и WavLM для распознавания и проверки личности говорящего по аудиозаписям.

Подходит для: проверка, принадлежат ли две аудиозаписи одному говорящему · идентификация говорящего по голосу · извлечение признаков голоса для сравнения говорящих

Модель RawNet3 для проверки, принадлежат ли аудиозаписи одному и тому же говорящему.

Подходит для: проверка совпадения говорящего в двух аудиозаписях · верификация личности по голосу · сравнение голосовых фрагментов при контроле доступа

HiFi-GAN-вокодер ESPnet преобразует акустические представления FastSpeech2Conformer в аудио для синтеза речи и преобразования голоса.

Подходит для: генерация аудиоречи из акустических представлений FastSpeech2Conformer · восстановление аудиосигнала в конвейере синтеза речи · преобразование голоса в связке с моделями FastSpeech2Conformer

Конверсия Whisper base.en в формат CTranslate2 для распознавания английской речи, в том числе через faster-whisper.

Подходит для: расшифровка английских аудиозаписей · создание субтитров к англоязычному видео · преобразование английской речи в текст в приложениях на CTranslate2

Многоязычный речевой энкодер Conformer для извлечения признаков из аудио и последующей настройки моделей распознавания речи или классификации звука.

Подходит для: извлечение речевых эмбеддингов из аудиозаписей · подготовка энкодера для дообучения распознавания речи · подготовка признаков для классификации аудио

Модель pyannote извлекает голосовые эмбеддинги для распознавания, идентификации и верификации говорящих.

Подходит для: сравнение голосов для проверки личности говорящего · идентификация говорящего по аудиозаписи · извлечение признаков голоса для последующей кластеризации говорящих

Дообученная Wav2Vec2-модель для преобразования эстонской речи в текст.

Подходит для: транскрибирование записей на эстонском языке · распознавание эстонской речи из аудиофайлов · создание субтитров к эстонской речи

Нерекуррентная англоязычная модель FastSpeech2Conformer быстро синтезирует речь из текста.

Подходит для: синтез английской речи из текста · озвучивание коротких текстовых сообщений · создание речевых дорожек для приложений

Модель на архитектуре Wav2Vec2 распознаёт испанскую речь и преобразует аудио с частотой 16 кГц в текст.

Подходит для: транскрибирование испанской речи из аудиозаписей · распознавание испанской речи без языковой модели · оценка качества распознавания речи на Common Voice

Модель ESPnet выделяет речь целевого говорящего из двухголосой смеси на аудио с частотой 16 кГц.

Подходит для: выделение выбранного говорящего из смеси двух голосов · извлечение речи заданного диктора из аудиозаписи · подготовка целевой речи для последующего распознавания

Мультиязычная модель Facebook AI для извлечения речевых представлений, предназначенная для дообучения под распознавание речи, перевод и классификацию.

Подходит для: дообучение системы распознавания речи · дообучение перевода речи · классификация речевых сигналов

Англоязычная модель FastSpeech2Conformer с HiFi-GAN для быстрого преобразования текста в речь.

Подходит для: озвучивание англоязычных текстов · создание речевых аудиофайлов из текста · генерация голоса для приложений и демонстраций

Многоязычная модель wav2vec2 для преобразования речи в текст на более чем тысяче языков.

Подходит для: транскрибация аудиозаписей на малоресурсных языках · распознавание речи для многоязычных приложений · создание текстовых расшифровок устных высказываний

Большая предварительно обученная Wav2Vec2-модель Facebook AI для распознавания испанской речи после тонкой настройки.

Подходит для: дообучение распознаванию испанской речи · создание системы транскрибации аудио на испанском языке · адаптация распознавания речи к целевому корпусу

Нейросетевой аудиокодек Meta AI для сжатия и восстановления речи, музыки и других звуков в реальном времени.

Подходит для: сжатие речи при низком битрейте · сжатие и передача музыки · восстановление аудио после кодирования

BETO — испаноязычная модель BERT для предсказания пропущенных слов и адаптации к задачам анализа текста на испанском языке.

Подходит для: подстановка пропущенного слова в испанском предложении · дообучение модели для разметки частей речи на испанском языке · дообучение для распознавания именованных сущностей в испанском тексте

Базовая англоязычная модель Microsoft для извлечения речевых признаков из аудио и последующей настройки под задачи обработки речи.

Подходит для: извлечение признаков из англоязычной речи · подготовка речевых представлений для дообучения ASR · дообучение на классификацию аудиозаписей

Потоковая модель NVIDIA для разметки аудиозаписи по говорящим в разговорах с максимум четырьмя участниками.

Подходит для: диаризация речи в онлайн-разговорах · определение говорящих в записях встреч · разметка длинных аудиозаписей по участникам