/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
511–540 из 26 923
texdata
nemotron-3.5-asr-streaming-slovenian

Модель texdata/nemotron-3.5-asr-streaming-slovenian разработана MediaAtlas на основе NVIDIA Nemotron-3.5 ASR Streaming 0.6B. Это потоковая модель распознавания речи на архитектуре FastConformer-CacheAware RNNT; базовая модель насчитывает 638 млн параметров. Она предназначена для низколатентной транскрибации словенской речи, включая чтение и спонтанную разговорную речь. Модель можно запускать на GPU через NeMo или на CPU через parakeet.cpp, используя поставляемые контрольную точку NeMo и файл GGUF с квантизацией q8_0. В README приведены результаты на отложенных тестовых наборах: WER 25,07% для Common Voice, 23,42% для многодоменного ARTUR и 21,66% для парламентской спонтанной речи ARTUR. Авторы отмечают компромисс: модель рассчитана на потоковую работу и спонтанную речь, тогда как сравниваемая непотоковая модель точнее на чистой прочитанной речи. Лицензия — CC BY-SA 4.0.

2413июль 2026
textaudiocc-by-sa-4.0hugging-face
nvidia
nemotron-speech-streaming-en-0.6b

Nemotron-ASR-Streaming — англоязычная модель автоматического распознавания речи, разработанная NVIDIA. Она преобразует аудиосигнал в текст и предназначена для потоковой транскрибации с низкой задержкой, а также для высокопроизводительной пакетной обработки аудио. Модель содержит около 600 миллионов параметров и использует архитектуру Cache-Aware FastConformer-RNNT. Кэширование контекста позволяет обрабатывать только новые фрагменты аудио без повторных вычислений для перекрывающихся участков. Поддерживаются настраиваемые размеры потоковых фрагментов 80, 160, 560 и 1120 мс, а также пунктуация и капитализация. Модель распознаёт английскую речь и формирует текст с использованием английских букв, пробелов и апострофов. Она обучалась преимущественно на американской английской речи объёмом около 250 000 часов. Сильными сторонами модели являются потоковая обработка, низкая задержка, вычислительная эффективность и заявленная устойчивость к разнообразным акустическим условиям. В README приведены значения WER на нескольких наборах данных: от 2,32% на LibriSpeech test-clean до 12,52% на Earnings22 при размере фрейма 1,12 секунды. Ограничение модели — поддержка только английского языка; характеристики для других языков не заявлены. Модель распространяется по лицензии NVIDIA Open Model License.

250K638дек. 2025
textaudiootherhugging-face
animaslabs
nemotron-speech-streaming-en-0.6b-mlx

animaslabs/nemotron-speech-streaming-en-0.6b-mlx — версия модели распознавания речи NVIDIA Nemotron Speech Streaming EN 0.6B, конвертированная в формат MLX. Репозиторий предназначен для запуска распознавания английской речи на совместимом ПО Apple MLX; в метаданных указана архитектура FastConformer с RNNT и поддержка потокового ASR. Модель принимает аудио и преобразует речь в текст. Её можно использовать для потоковой транскрибации и распознавания английской речи из аудиофайлов через parakeet-mlx или mlx-audio. В README приведён пример запуска через parakeet-mlx. Это производная модель на базе nvidia/nemotron-speech-streaming-en-0.6b; README описывает конвертацию в MLX, а метаданные указывают связь finetune. Файлы представлены в safetensors. Лицензия указана как other; подробности следует сверять с карточкой исходной модели.

1677янв. 2026
textaudiootherhugging-face
cstr
paraformer-zh-GGUF

Paraformer-zh-GGUF — это квантованная и перепакованная в формат GGUF версия модели автоматического распознавания речи funasr/paraformer-zh, разработанной Alibaba и распространяемой в экосистеме FunASR. Данная сборка предназначена для работы с backend paraformer проекта CrispASR и преобразует аудиозаписи в текст, прежде всего на китайском языке с поддержкой английского. Модель использует неавторегрессионную архитектуру Paraformer примерно на 220 млн параметров: аудио 16 кГц преобразуется в mel-признаки, затем обрабатывается 50 блоками SANM-энкодера, CIF-предиктором и 16 блоками SANM-декодера. Полный транскрипт формируется за один проход, без последовательной генерации токенов. В репозитории доступны варианты F16 размером около 421 МБ, Q8_0 около 227 МБ и рекомендуемый Q4_K около 123 МБ. Словарь содержит 8404 символа. Сильной стороной является отсутствие заметной потери результатов при квантовании: в приведённых тестах варианты Q4_K и Q8_0 дали побайтно идентичные транскрипты версии F16 и исходной PyTorch-модели на китайских и английских аудиоклипах. Ограничения включают отсутствие пунктуации и регистра, а для китайского текста — слитную выдачу символов; восстановление пунктуации требует отдельной модели. Контекстное окно, поддержка других языков и количественные метрики качества в карточке не указаны. Код upstream-пакета funasr распространяется по Apache-2.0, однако веса используют лицензию FunASR Model License Alibaba; коммерческое использование разрешено при указании авторства. GGUF-файлы наследуют лицензионные условия весов, поэтому в производных продуктах необходимо атрибутировать Alibaba и FunAudioLLM.

1.9K0май 2026
textaudiootherhugging-face
nvidia
parakeet-ctc-0.6b

Parakeet CTC 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она предназначена для преобразования английской речи в текст, например для расшифровки записей и обработки аудио в больших пакетах. Модель построена на архитектуре FastConformer CTC и содержит около 600 млн параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку; выход оформляется строчными буквами английского алфавита. Обучение проводилось на 64 тысячах часов английской речи из частных и открытых наборов данных. Для работы предусмотрены NVIDIA NeMo и Transformers. Модель рассчитана на английский язык; в README приведены результаты оценки по Word Error Rate для нескольких наборов данных, но фактическое качество зависит от аудио и предметной области. Лицензия — CC BY 4.0.

62K30дек. 2023
textaudiocc-by-4.0hugging-face
nvidia
parakeet-ctc-1.1b

Parakeet CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует аудиозаписи в текст на английском языке, выдавая результат строчными буквами, и предназначена для транскрибации речи, локального вывода и последующего дообучения на других наборах данных. Модель построена на архитектуре FastConformer CTC и содержит около 1,1 млрд параметров. Поддерживается английский язык; основная модальность — аудио с речью, выход — текстовая транскрипция. Модель доступна для использования через NVIDIA NeMo, Transformers и лёгкий нативный C++ runtime NeMo-Speech.cpp. В README приведены результаты оценки на различных англоязычных наборах данных: WER составляет от 1,83% на LibriSpeech clean до 15,62% на AMI Meetings. Сильной стороной модели являются крупный размер и хорошие показатели распознавания на ряде стандартных тестов, а также возможность инференса и fine-tuning. Ограничения включают поддержку только английского языка и отсутствие в предоставленных данных сведений о максимальной длине контекста, устойчивости к шуму и требованиях к вычислительным ресурсам. Лицензия — CC BY 4.0.

189K64дек. 2023
textaudiocc-by-4.0hugging-face
mlx-community
parakeet-rnnt-0.6b

mlx-community/parakeet-rnnt-0.6b — преобразованная в формат MLX версия модели NVIDIA parakeet-rnnt-0.6b. Это модель распознавания речи на архитектуре FastConformer с RNN-T, предназначенная для получения текстовой расшифровки из аудио. Базовая модель рассчитана на английскую речь; репозиторий содержит веса safetensors для использования с библиотекой MLX на совместимом оборудовании Apple. Модель подходит для транскрибирования записей и аудиопотоков на английском языке. В README приведены варианты запуска через parakeet-mlx и mlx-audio. Лицензия — CC BY 4.0. Данные о размере и длине контекста для этой версии в предоставленных источниках отсутствуют.

900май 2025
textaudiocc-by-4.0hugging-face
theoracleguy
parakeet-tdt-0.6b-v3

Это версия модели распознавания речи NVIDIA Parakeet TDT 0.6B V3, подготовленная theoracleguy для совместимости с MLX и рабочих процессов преобразования речи в текст на устройствах Apple. Она предназначена для локальной транскрибации аудио через OpenVox и совместимые инструменты, включая mlx-audio и parakeet-mlx. Модель использует кодировщик FastConformer и декодер Token-and-Duration Transducer (TDT), имеет размер 0,6 млрд параметров и поддерживает 25 европейских языков, включая русский, английский, испанский, французский и немецкий. Репозиторий распространяет веса в формате safetensors; библиотека MLX рассчитана на устройства Apple Silicon. Карточка характеризует модель как быструю и точную для многоязычного распознавания, но подробные показатели качества и языковые ограничения следует оценивать по карточке исходной модели NVIDIA. Лицензия репозитория — CC BY 4.0.

2140авг. 2026
textaudiocc-by-4.0hugging-face
cstr
parakeet-tdt-0.6b-v3-GGUF

Parakeet TDT 0.6B v3 GGUF — это мультиязычная модель автоматического распознавания речи, разработанная командой NVIDIA NeMo и преобразованная в формат GGUF со средой выполнения ggml сообществом CrispStrobe для CrispASR. Модель предназначена для транскрибации аудио и поддерживает автоматическое определение языка без специального префикса или параметра выбора языка. Модель содержит около 600 млн параметров и использует 24-слойный FastConformer-энкодер, двухслойный LSTM-предиктор и TDT-декодер (Token-and-Duration Transducer). Она обрабатывает монофонический звук с частотой 16 кГц, использует 8192 SentencePiece-токена и поддерживает 25 европейских языков: болгарский, чешский, датский, немецкий, греческий, английский, испанский, эстонский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, мальтийский, нидерландский, польский, португальский, румынский, русский, словацкий, словенский, шведский и украинский. TDT-декодер предоставляет временные метки на уровне слов без отдельной модели выравнивания. Заявленная средняя ошибка распознавания составляет 6,34% по данным HuggingFace Open ASR Leaderboard. Доступны варианты F16, Q8_0, Q5_0 и Q4_K; последний рекомендуется как вариант по умолчанию благодаря меньшему размеру. Ограничения включают ориентацию на поддерживаемые европейские языки, необходимость специализированного runtime CrispASR и отсутствие заявленных характеристик для других языков или модальностей. Модель и GGUF-файлы распространяются по лицензии CC-BY-4.0, требующей указания авторства.

6.6K13апр. 2026
textaudiocc-by-4.0hugging-face
VoiceScribe
parakeet-tdt-0.6b-v3-mlx

Карточка модели VoiceScribe/parakeet-tdt-0.6b-v3-mlx на Hugging Face совпадает с карточкой mlx-community/parakeet-tdt-0.6b-v3, поэтому описание составлено по ней. Это версия модели NVIDIA Parakeet-TDT-0.6B-v3, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель основана на архитектуре FastConformer с Transducer-подходом и предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст. Размер модели — около 0,6 млрд параметров; репозиторий содержит веса Safetensors и распространяется по лицензии CC BY 4.0. Модель поддерживает распознавание речи на нескольких европейских языках, включая английский, испанский, французский, немецкий, русский и другие. Её можно применять для транскрибации аудиозаписей и диктовки; для запуска доступны библиотеки parakeet-mlx и mlx-audio. Это конвертированная версия исходной модели NVIDIA, поэтому её характеристики распознавания определяются базовой моделью, а совместимость и производительность зависят от MLX и оборудования Apple.

430июнь 2026
textaudiocc-by-4.0hugging-face
NielsPeter
parakeet-tdt-0.6b-v3-mlx-bf16

Это версия модели распознавания речи NVIDIA Parakeet TDT 0.6B v3, подготовленная NielsPeter для MLX. Веса с плавающей точкой сохранены в формате bfloat16 вместо float32; архитектура, словарь и токенизатор не изменены. Модель принимает аудио и выдаёт распознанный текст, включая речь на английском, датском и шведском языках. Формат bfloat16 уменьшает размер файлов весов с 2,34 до 1,25 ГБ и снижает пиковое потребление памяти при транскрибировании примерно с 2,6 до 1,6 ГБ. В описанных сравнениях результат совпал с float32-версией на примерно 7 300 словах на трёх языках. Модель предназначена для использования с MLX; лицензия — CC-BY-4.0.

740июль 2026
textaudiocc-by-4.0hugging-face
nvidia
parakeet-tdt-1.1b

Parakeet TDT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст, записанный строчными буквами, и рассчитана на транскрибирование отдельных аудиозаписей и пакетную обработку файлов. Модель построена на архитектуре FastConformer-TDT и содержит около 1,1 млрд параметров. Она принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт текстовую строку. Предсказание длительности токенов в TDT позволяет пропускать часть пустых кадров и ускорять инференс. Модель обучали на 64 тысячах часов английской речи из частных и открытых наборов данных. В опубликованных результатах приведены показатели WER для нескольких тестовых наборов; например, 1,39% на LibriSpeech test-clean при жадном декодировании без внешней языковой модели. Модель доступна через NVIDIA NeMo для инференса и дообучения. Лицензия — CC BY 4.0.

2.2K141янв. 2024
textaudiocc-by-4.0hugging-face
nvidia
parakeet-tdt_ctc-110m

Parakeet TDT-CTC 110M — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст с пунктуацией и заглавными буквами и подходит для транскрибирования аудиофайлов, в том числе длинных записей и больших наборов файлов. Модель построена на гибридной архитектуре FastConformer-TDT-CTC примерно со 114 млн параметров и обучена в NVIDIA NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и может обрабатывать до 20 минут аудио за один проход. Для декодирования доступны варианты TDT и CTC; разработчики сообщают о высокой скорости работы, но результаты зависят от оборудования и условий запуска. Модель обучена на англоязычных речевых данных, включая публичные наборы LibriSpeech, Fisher, VCTK, VoxPopuli, Europarl-ASR, Multilingual LibriSpeech и Common Voice, а также частную выборку. Карточка указывает лицензию CC-BY-4.0. Модель предназначена для английской речи; качество на других языках и в условиях, отличающихся от обучающих данных, не подтверждено.

5.5K57сент. 2024
textaudiocc-by-4.0hugging-face
nvidia
parakeet-tdt_ctc-1.1b

Parakeet TDT-CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует англоязычную речь в текст с пунктуацией и заглавными буквами. Модель принимает монофонические аудиозаписи WAV с частотой 16 кГц и возвращает текстовую расшифровку. В основе лежит гибридная архитектура FastConformer-TDT-CTC примерно с 1,1 млрд параметров. Модель дообучена на базе parakeet-tdt-1.1 и обучалась на 36 тысячах часов английской речи из частных и открытых наборов данных. Благодаря локальному вниманию и глобальным токенам она может обрабатывать до 11 часов аудио за один проход. Модель предназначена для транскрибации речи в разных акустических и тематических условиях; в карточке приведены оценки WER на нескольких наборах, включая LibriSpeech, GigaSpeech и Common Voice. Ограничения: заявлена поддержка английского языка, а работа с другими языками не подтверждена; модель не поддерживается NVIDIA Riva согласно карточке. Лицензия — CC-BY-4.0.

1.1K24май 2024
textaudiocc-by-4.0hugging-face
amagzari
pegasus-cnn_dailymail-finetuned-samsum-v2

Модель amagzari/pegasus-cnn_dailymail-finetuned-samsum-v2 — дообученная версия google/pegasus-cnn_dailymail, созданная для суммаризации диалогов из набора SAMSum. Она принимает текст разговора и генерирует краткое изложение; в README приведены результаты оценки на тестовой выборке SAMSum: ROUGE-1 45,30, ROUGE-2 21,76, ROUGE-L 35,86 и ROUGE-Lsum 41,66. Модель построена на архитектуре PegasusForConditionalGeneration, содержит около 366,8 млн параметров, работает с PyTorch и имеет контекст до 1024 токенов. В карточке не указана лицензия, поэтому условия использования определить нельзя.

100нояб. 2022ctx1K
texthugging-face
Immich
pipeline-error-propagation-dialogue-summarization-bigbird-baseline-seed73

Экспериментальный чекпойнт Immich на архитектуре BigBird-Pegasus, дообученный для суммаризации диалогов и совещаний. Модель обучена на подходящей части AMI Meeting Corpus с seed 73; указанный размер — 366,8 млн параметров, контекст — 4096 токенов. Модель предназначена для создания кратких итогов совещаний по полной записи диалога либо в иерархическом конвейере сегментации, извлечения информации и генерации. Для загрузки используются Transformers и формат safetensors. Карточка указывает лицензию MIT. Язык корпуса в предоставленных данных не обозначен.

160авг. 2026ctx4.1K
textmithugging-face
Immich
pipeline-error-propagation-dialogue-summarization-bigbird-pipeline-seed73

Это контрольная точка BigBird-Pegasus от Immich для суммаризации совещаний. Модель обучена на подходящей части AMI Meeting Corpus с seed 73; вариант pipeline рассчитан на суммаризацию всей встречи или на иерархический процесс с сегментацией, извлечением ключевой информации и генерацией итогового текста. Модель содержит 366,8 млн параметров, принимает текст и поддерживает контекст до 4096 токенов. Репозиторий содержит веса в формате safetensors; README показывает загрузку через Transformers как Seq2Seq-модель. Лицензия — MIT. Модель подходит для подготовки кратких итогов совещаний и суммирования диалогов. Карточка не приводит результатов оценки качества, поэтому качество на других типах разговоров и языках не подтверждено; сведения указывают на обучение на AMI, но не называют язык корпуса.

160авг. 2026ctx4.1K
textmithugging-face
KRAFTON
Raon-Speech-9B

Raon-Speech-9B — 9-миллиардная мультимодальная SpeechLM от KRAFTON, построенная на Qwen3. Модель объединяет языковую модель Qwen3, аудиоэнкодер-декодер Qwen3Omni, кодек Mimi и энкодер голоса ECAPA-TDNN. Она предназначена для распознавания и понимания речи, ответов на вопросы по аудио и тексту, а также синтеза речи на английском и корейском языках. Модель поддерживает преобразования аудио в текст и текста в аудио, ответы на вопросы с текстовым и аудиовходом и диалоговые сценарии с речью. Для синтеза можно передавать образец голоса, а также продолжать речь с заданного аудиофрагмента. В README заявлена оптимизация для потоковой генерации с низкой задержкой; приведены результаты скорости синтеза на RTX 6000 Pro и L40S. Для запуска README указывает Transformers версии от 4.57.1 до 5.0 и PyTorch; для обусловливания голоса требуется SpeechBrain. Репозиторий содержит веса Safetensors. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Модель требует значительных вычислительных ресурсов, а заявленные возможности и скорость не гарантируют одинакового качества на всех данных и конфигурациях.

2.4K58март 2026ctx131.1K
textcc-by-nc-4.0hugging-face
SwagMessiah100
s1-mini

S1-mini от Superwhisper — компактная причинная языковая модель на 507,9 млн параметров, дообученная на базе Qwen/Qwen3-0.6B для нормализации английских транскриптов речи. Она преобразует сырой вывод ASR в связный письменный текст: удаляет слова-паразиты, исправляет повторы и самоисправления, добавляет пунктуацию и заглавные буквы, а также записывает числа, даты, время, валюты и адреса электронной почты в текстовой форме. Режимы управления позволяют задавать стиль, оформление списков и формат электронного письма. Модель принимает текст транскрипта вместе с системным промптом и строкой управления и выдаёт очищенный текст. Для набора из 7 519 английских примеров автор сообщает точность токенов 94,8%. Модель рассчитана на одну задачу, не предназначена для общего диалога и поддерживает только английский язык. Для надёжной работы требуется соблюдать обученный формат промпта и использовать предусмотренные значения параметров управления. Лицензия указана как other; перед использованием в приложении следует проверить её условия.

770авг. 2026ctx41K
textotherhugging-face
drewThomasson
segmentation

Карточка модели drewThomasson/segmentation на Hugging Face совпадает с карточкой pyannote/segmentation, поэтому описание составлено по ней. pyannote/segmentation — открытая модель семейства pyannote-audio для сегментации речи по говорящим, разработанная командой pyannote. Она предназначена для обнаружения речевых фрагментов, речи нескольких говорящих одновременно и уточнения временных границ сегментов, в том числе при повторной сегментации результатов VBx. Модель принимает аудио и выдаёт оценки по временным участкам, используемые для этих задач. Модель реализована на PyTorch и используется через pyannote.audio; README указывает версию 2.1.1. Карточка описывает воспроизводимые эксперименты на наборах AMI Mix-Headset, DIHARD3 и VoxConverse. Для загрузки требуется принять условия доступа на Hugging Face и использовать токен. Лицензия — MIT. README предупреждает, что для промышленного применения pyannoteAI предлагает более быстрые и качественные варианты. Приведённые параметры обработки зависят от набора данных, поэтому качество на других записях может отличаться.

880июль 2025
audiomithugging-face
pyannote
segmentation

pyannote/segmentation — открытая модель семейства pyannote-audio для сегментации речи по говорящим, разработанная командой pyannote. Она предназначена для обнаружения речевых фрагментов, речи нескольких говорящих одновременно и уточнения временных границ сегментов, в том числе при повторной сегментации результатов VBx. Модель принимает аудио и выдаёт оценки по временным участкам, используемые для этих задач. Модель реализована на PyTorch и используется через pyannote.audio; README указывает версию 2.1.1. Карточка описывает воспроизводимые эксперименты на наборах AMI Mix-Headset, DIHARD3 и VoxConverse. Для загрузки требуется принять условия доступа на Hugging Face и использовать токен. Лицензия — MIT. README предупреждает, что для промышленного применения pyannoteAI предлагает более быстрые и качественные варианты. Приведённые параметры обработки зависят от набора данных, поэтому качество на других записях может отличаться.

619K703март 2022
audiomithugging-face
FunAudioLLM
SenseVoiceSmall

SenseVoiceSmall — компактная мультиязычная модель понимания речи из экосистемы FunASR, разработанная командой FunAudioLLM. Она распознаёт речь, определяет язык и эмоции говорящего, а также обнаруживает звуковые события. Для каталога Hugging Face указана основная задача automatic-speech-recognition; модель принимает аудио и формирует текст с результатами распознавания. Модель использует сквозную неавторегрессионную архитектуру и предназначена для распознавания речи с низкой задержкой, в том числе в потоках и на периферийных устройствах. В README заявлена поддержка более 50 языков; среди языков, названных для версии Small, — китайский, кантонский, английский, японский и корейский. Авторы сообщают о высокой скорости вывода и результатах, превосходящих Whisper в ряде сравнений, особенно для китайского и кантонского. Помимо транскрипции, модель умеет распознавать эмоции и распространённые звуковые события, однако классификация событий уступает специализированным моделям. В карточке Hugging Face указана лицензия other; конкретные условия использования следует сверить с лицензией репозитория. Репозиторий также описывает экспортные и развёртываемые варианты, но опубликованные здесь метаданные указывают формат PyTorch.

19K496июль 2024
textaudiootherhugging-face
nrshoudi
speech_ocean_hubert_mdd

nrshoudi/speech_ocean_hubert_mdd — модель автоматического распознавания речи, полученная дообучением HuBERT-Large facebook/hubert-large-ll60k. Она принимает аудио и преобразует речь в текст; архитектура на основе HuBERT с CTC-головой содержит 402,8 млн параметров. В README приведены результаты на тестовой выборке: WER 0,0517, CER 0,0499 и loss 0,2027. Модель подходит для транскрибации аудиозаписей и распознавания речи в речевых интерфейсах. Язык и тематика обучающих данных не описаны, поэтому область языкового применения по имеющимся сведениям определить нельзя. Модель опубликована в формате safetensors по лицензии Apache-2.0.

780апр. 2024
textaudioapache-2.0hugging-face
nrshoudi
speech_ocean_wav2vec_mdd

Модель nrshoudi/speech_ocean_wav2vec_mdd разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для автоматического распознавания речи. Это аудиомодель архитектуры Wav2Vec2 с примерно 402,8 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. В карточке приведены результаты оценки: WER 0,0863, CER 0,0692 и loss 0,3663. Данные обучения и языки распознавания не описаны, поэтому применимость к конкретным языкам и условиям записи по карточке установить нельзя.

970апр. 2024
textaudioapache-2.0hugging-face
microsoft
speecht5_asr

microsoft/speecht5_asr — модель SpeechT5 от Microsoft, дообученная для автоматического распознавания речи на наборе LibriSpeech. Она преобразует монофоническую речь с частотой дискретизации 16 кГц в текст и предназначена для задач speech-to-text. SpeechT5 использует архитектуру кодировщика-декодировщика с общей сетью и специализированными компонентами для обработки речи и текста. Это часть унифицированной мультимодальной системы, предварительно обученной на речевых и текстовых данных; данный вариант настроен именно на распознавание речи. Для работы используются PyTorch и Transformers. Модель рассчитана на распознавание английской речи из LibriSpeech; README приводит входной формат моно, 16 кГц. Другие языки и условия записи в карточке не описаны. Лицензия — MIT.

39K49февр. 2023ctx450
textaudiomithugging-face
stepfun-ai
Step-Audio-Chat

Step-Audio-Chat — мультимодальная языковая модель семейства Step1 от StepFun, компонент системы Step-Audio. Она предназначена для понимания и генерации человеческой речи и объединяет распознавание речи, семантическое понимание аудио, диалоговое управление, клонирование голоса и синтез речи. Архитектура — плотная Step1ForCausalLM; метаданные указывают 155,4 млрд параметров, а README — 130 млрд. Модель принимает аудио и текст и предназначена для диалоговых сценариев с речью. Для модели опубликованы веса в формате safetensors. Лицензия — Apache-2.0. Карточка упоминает оценки на аудиотестах, но доступные сведения не содержат конкретных результатов, поэтому качество отдельных функций по ним оценить нельзя.

450461февр. 2025ctx65.5K
textapache-2.0hugging-face
OpenVoiceOS
stt_en_quartznet15x5_onnx

OpenVoiceOS/stt_en_quartznet15x5_onnx — англоязычная модель автоматического распознавания речи, подготовленная OpenVoiceOS как ONNX-экспорт исходной модели NVIDIA stt_en_quartznet15x5, обученной с использованием NVIDIA NeMo. Модель предназначена для преобразования английской речи в текст, включая офлайн-распознавание аудиофайлов и интеграцию в голосовые системы OpenVoiceOS. Исходный вариант использует архитектуру QuartzNet15x5 с символьным CTC-декодированием. Модель содержит ONNX-граф в формате FP32 с энкодером и CTC-головой, словарь токенов и конфигурацию для onnx-asr. Используются 64 мел-фильтра, коэффициент прореживания 2 и входные 16 кГц PCM WAV-файлы. Для запуска требуется ONNX Runtime; PyTorch и NeMo не нужны. Экспорт проверен сравнением с исходной NeMo-моделью: на эталонном фрагменте получены идентичные транскрипции. Основные ограничения — отсутствие готового варианта int8 и необходимость поддержки препроцессора nemo64 в используемом runtime; для этого могут потребоваться форк onnx-asr или runtime backfill OpenVoiceOS. Данные о точности, обучающих корпусах и известных ограничениях перенесены в карточку исходной модели и здесь не приведены. Лицензия — CC BY 4.0.

1.8K1авг. 2026
textaudiocc-by-4.0hugging-face
microsoft
VibeVoice-ASR-BitNet

VibeVoice-ASR-BitNet — сжатая версия модели VibeVoice-ASR, разработанная участниками Microsoft Research. Это модель автоматического распознавания речи, предназначенная для локальной транскрипции аудио в реальном времени на периферийных устройствах и обычных CPU без GPU. Модель использует VAE-токенизатор и LM-декодер с гетерогенной квантизацией: компоненты представлены в форматах I8_S, I2_S и Q6_K. Размер уменьшен с 4,62 до 1,58 ГБ, а для вычислений применяются оптимизированные SIMD-ядра в рамках ggml для платформ x86 с AVX2 и ARM с NEON. При использовании от трёх потоков достигается коэффициент реального времени менее 1; заявленная скорость выше Whisper.cpp в 1,6–2,3 раза в зависимости от конфигурации. Поддерживаются английский, китайский, французский, итальянский, корейский, португальский и вьетнамский языки, а также другие языки согласно описанию проекта. Сильные стороны модели — компактность, работа на CPU, пригодность для edge-сценариев и низкая задержка. Ограничение — небольшое ухудшение точности по сравнению с исходной VibeVoice-ASR и заметно различающиеся результаты на разных языках и наборах данных; производительность зависит от числа потоков и аппаратных SIMD-инструкций. Проект распространяется по лицензии MIT.

66K206июль 2026ctx32.8K
textaudiomithugging-face
jadasdn
wav2vec2-2

jadasdn/wav2vec2-2 — дообученная модель распознавания речи на базе jadasdn/wav2vec2-1. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Модель принимает аудио и преобразует речь в текст; README сообщает результат оценки WER 0,3593 и loss 0,8353. Модель подойдёт для распознавания речи в аудиозаписях и интеграции в системы автоматической транскрибации. Данные о поддерживаемых языках, обучающем наборе и целевых сценариях в карточке не приведены. Распространяется по лицензии Apache-2.0.

70нояб. 2023
textaudioapache-2.0hugging-face
chrisvinsen
wav2vec2-final-1-lm-1

wav2vec2-final-1-lm-1 — модель распознавания речи на базе Wav2Vec2, дообученная автором репозитория chrisvinsen на основе facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; предназначена для преобразования аудиоречи в текст. В README приведены значения WER 0,283 и WER 0,129 с 2-грамотной языковой моделью, а также результаты оценки: loss 0,6305 и WER 0,4499. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. Данные не позволяют установить обучающий датасет и поддерживаемый язык, поэтому область применения по языку не уточняется. Распространяется по лицензии Apache-2.0.

200июнь 2022
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей