/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
1 411–1 440 из 26 923
marianbasti
distil-whisper-large-v3-es

marianbasti/distil-whisper-large-v3-es — дистиллированная модель распознавания речи на основе Whisper large-v3, созданная при сотрудничестве SandboxAI и Национального университета Рио-Негро. Модель обучена на наборе Mozilla Common Voice 16.1 и предназначена для транскрибации испанской речи; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Модель принимает аудио и выдаёт текст на испанском языке. Она поддерживает распознавание коротких записей и обработку длинных аудио с разбиением на фрагменты; в README также описан режим speculative decoding в связке с Whisper, который ускоряет генерацию при сохранении совпадения результатов с основной моделью. Для запуска используется библиотека Transformers версии 4.35 или новее. В карточке приведён результат 5,11% WER (10,15% orthogonal WER). Модель распространяется по лицензии MIT. Качество вне испанского языка и на аудио, отличающемся от данных Common Voice, в карточке не охарактеризовано.

2910янв. 2024
textaudiomithugging-face
adventists-ai
DuplexJev-32B

DuplexJev-32B — исследовательская модель adventists-ai для извлечения решений из речи. Она принимает аудио вместе с текстовым вопросом и выдаёт распределение вероятностей по вариантам ответа, закодированным отдельными токенами. Это позволяет задавать несколько вопросов об одном аудиофрагменте, например, завершил ли говорящий реплику, кто говорит и какое настроение выражает голос. Модель объединяет аудиоэнкодер Qwen3-ASR-0.6B, обученный коннектор и языковую модель из Qwen3-VL-32B-Instruct; всего 33 млрд параметров в формате bf16. Энгодер обрабатывает 12,5 кадров в секунду, коннектор объединяет их попарно, формируя 6,25 аудиотокена в секунду. Модель рассчитана на короткую речь; карточка описывает китайский и английский языки. Для запуска предусмотрена интеграция с vLLM, а веса занимают около 62 ГБ и требуют GPU с достаточной памятью. В тестах модель показывает сильные результаты на речевых вопросах с выбором ответа, определении состояния очередности реплик, пола и эмоции говорящего. Оценка эмоций основана на актёрских корпусах, а распознавание речи и ответы на устные вопросы уступают работе с текстовой расшифровкой. Модель не оценивалась на потоковом аудио; выводы об эмоциях не следует применять для принятия решений о людях. Репозиторий архивирован и заменён версией DuplexJev-32B-Para. Лицензия CC BY-NC 4.0 допускает использование только на некоммерческих условиях.

400сент. 2026ctx262.1K
textaudiocc-by-nc-4.0hugging-face
RyeAI
ekko-pnc

Ekko PnC v2 — модель RyeAI для восстановления пунктуации, границ предложений и заглавных букв в датских транскриптах речи. Она сохраняет исходные слова и их порядок, поэтому подходит для обработки расшифровок с временными метками слов, диктовок и записей совещаний. Модель построена на ELECTRA и дообучена на jonfd/electra-small-nordic; размер — 37,2 млн параметров, контекст — до 512 токенов. Доступны веса Safetensors и ONNX, включая вариант ONNX с квантованием int8 для локального запуска. Модель принимает текст и предсказывает разметку токенов, на основе которой расставляет запятые, точки, вопросительные и восклицательные знаки, а также восстанавливает регистр. По данным карточки, версия v2 заметно лучше предыдущей обрабатывает длинную непрерывную речь и границы предложений, но на очень коротких фрагментах может добавлять лишние точки. Вопросительные знаки остаются слабым классом; модель не использует паузы или интонацию и не восстанавливает внутренний регистр слов вроде iPhone из строчной записи. Лицензия — CC BY 4.0.

8305авг. 2026ctx512
textcc-by-4.0hugging-face
stillerman
fdt-disfluency-distilbert-66m

stillerman/fdt-disfluency-distilbert-66m — модель разметки слов для удаления речевых запинок в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она присваивает каждому слову один из тегов: KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE; простая реконструкция по тегам формирует очищенный текст. Модель основана на DistilBERT base cased и содержит 65,8 млн параметров. Она рассчитана на текстовые транскрипты: README описывает синтетические запинки, добавленные к разговорным корпусам, но не указывает языки обучения. Контекст — до 512 токенов. Для проверки на русском тексте пригодность не подтверждена. На валидации указаны exact-match 0,9760 и F1 для класса DELETE 0,9935. Ограничение задачи — модель удаляет или локально форматирует слова и не предназначена для перефразирования; качество зависит от соответствия транскрипта данным обучения. Репозиторий включает квантованную ONNX-модель int8 для запуска в браузере через transformers.js; заявленное время обработки — около 10–50 мс на высказывание. Лицензия репозитория — Apache-2.0, однако данные обучения частично включали DailyDialog по CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не использовать её для коммерческого развёртывания без дополнительной проверки прав.

150июль 2026ctx512
textapache-2.0hugging-face
h-gajdov
full_moonshine_tiny_wup1_ep3_lr1e-4

Модель h-gajdov/full_moonshine_tiny_wup1_ep3_lr1e-4 — полное дообучение Moonshine Tiny, выполненное h-gajdov для преобразования македонской речи в текст. Это модель распознавания речи с архитектурой encoder-decoder Moonshine и 27,1 млн параметров. Она принимает аудиосигнал в виде необработанной волновой формы; вычислительные затраты зависят от фактической длительности записи, что подходит для распознавания на устройствах с ограниченными ресурсами. Модель обучена на наборе vezilka-asri в течение трёх эпох. В README указаны результаты на отложенном тестовом наборе из 44 аудиофрагментов: WER 14,24 и CER 6,42; оценка точного совпадения целых высказываний неинформативна для длинных клипов. Декодер ограничен длиной 192 токена, а вызовы generate() не должны передавать параметры language или task. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.

2.1K0авг. 2026ctx194
textaudiohugging-face
handy-computer
gigaam-v3-e2e-ctc-gguf

Модель представляет собой GGUF-конверсию GigaAM-v3 для библиотеки transcribe.cpp, подготовленную командой handy-computer на основе ai-sage/GigaAM-v3. Это офлайн-модель автоматического распознавания русской речи с жадным декодированием RNN-T. Она предназначена для преобразования 16 кГц моноаудио в текст и локального запуска без внешней языковой модели или подключения к интернету. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 имеет около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная конверсия выводит строчные русские тексты без пунктуации, использует словарь из 33 символов и поддерживает токенные временные метки. Потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. На полном тестовом наборе FLEURS ru из 775 высказываний показатель WER составляет около 8,07–8,12% в зависимости от квантизации. Модель ориентирована на русскую речь в различных доменах, включая естественную речь, колл-центры, фоновую музыку и речь с нетипичными характеристиками. Ограничения включают отсутствие пунктуации и нормализации текста, отсутствие потокового режима и ограничения базового декодирования для длинных аудиофайлов. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

32K0май 2026
textaudiomithugging-face
futo-org
gravel-ctc-440m

futo-org разработала Gravel CTC 440M — англоязычную модель автоматического распознавания речи на архитектуре Conformer. Она использует 440-миллионный аудиоэнкодер, выделенный из ibm-granite/granite-speech-4.1-2b-nar, и отдельную CTC-голову с BPE-256; адаптация LoRA объединена с весами модели. На вход подаётся необработанный аудиосигнал PCM с частотой 16 кГц. Модель предназначена для транскрибации английской речи и используется как учитель для дистилляции потоковых ASR-моделей FUTO. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Для загрузки в README указан trust_remote_code=True.

100июль 2026
textaudioapache-2.0hugging-face
mickekringai
kb-whisper-coreml

Это конверсия моделей KBLab/kb-whisper в формат Core ML, выполненная Micke Kring для использования через WhisperKit в приложениях macOS и iOS. Модель предназначена для автоматического распознавания речи из аудио; в карточке указан шведский язык. В репозитории не указано, какая именно версия исходной модели KBLab/kb-whisper была конвертирована. Файлы представлены в формате Core ML, библиотека — WhisperKit. Лицензия — Apache-2.0. Подробности об архитектуре и характеристиках исходной модели README предлагает смотреть в карточках оригинальных моделей.

1.1K3сент. 2025
textaudioapache-2.0hugging-face
ICTNLP
Llama-3.1-8B-Omni

LLaMA-3.1-8B-Omni — речевая языковая модель, разработанная авторами проекта LLaMA-Omni на базе Meta-Llama-3.1-8B-Instruct. Она принимает речевые инструкции и одновременно формирует текстовый и речевой ответы, поддерживая интерактивные диалоги с низкой задержкой; авторы заявляют задержку до 226 мс. Модель содержит 7,5 млрд параметров и использует архитектуру OmniSpeech2S Llama. Для запуска предусмотрены библиотека llama-omni и формат safetensors. В метаданных указано окно контекста 131 072 токена; карточка указывает английский язык. Лицензия обозначена как other, а README предлагает обращаться к авторам за коммерческой лицензией.

826421сент. 2024ctx131.1K
textotherhugging-face
Menlo
llama3-s-instruct-v0.2

llama3-s-instruct-v0.2 — разработанная Homebrew Research плотная модель семейства Llama-3 с 7,5 млрд параметров. Она принимает текст и аудио и выдаёт текст; модель обучали улучшать понимание речи и звука, используя WhisperVQ как аудиотокенизатор и набор Instruction Speech WhisperVQ v2. Заявленный родной контекст — 131 072 токена. Модель предназначена для диалоговых сценариев и исследований понимания аудио на английском языке. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Карточка не приводит количественной оценки качества и подробных результатов тестирования.

2545авг. 2024ctx131.1K
textapache-2.0hugging-face
csikasote
mms-1b-all-bigc_mini-train-drodat-gdro-1.15e-5-dat-0.207-no-sd-0.00-62

Это модель распознавания речи, дообученная csikasote на базе facebook/mms-1b-all на наборе BIGC_MINI - BEM. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указаны результаты оценки на тестовой выборке: Loss 34,8514 и CER 0,1197. Модель подходит для автоматической расшифровки аудио в сценариях, соответствующих данным BIGC_MINI - BEM. Базовая MMS-1B-All поддерживает более тысячи языков, однако README не уточняет, какие языки охватывает это дообучение. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

2070окт. 2026
textaudiocc-by-nc-4.0hugging-face
divinetribe
Nemotron-3-Nano-Omni-30B-Abliterated-MM-bf16

Nemotron-3-Nano-Omni-30B-Abliterated-MM-bf16 — мультимодальная модель Matt Macosko на базе NVIDIA Nemotron-3-Nano-Omni-30B, подготовленная для запуска на Apple Silicon через MLX. Это сборка с directional ablation: автор удалил направление отказа из языковой части, оставив визуальную и аудиочасти без изменений. В README заявлены полноточные веса объёмом около 62 ГБ; тензоры совпадают с базовой моделью по именам и включают языковые, визуальные, звуковые и проекционные компоненты. Модель принимает текст и изображения и работает с аудио: она описывает изображения и транскрибирует речь. Основной сценарий по метаданным — image-text-to-text; для запуска README рекомендует mlx-vlm версии 0.6.12 или новее с поддержкой Omni. Базовая модель — mlx-community/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-bf16. Автор сообщает о проверке удаления отказов на тестовом наборе из шести примеров. Это не доказывает надёжность поведения на более широком наборе запросов. README прямо предупреждает, что защитное выравнивание удалено. Лицензия указана как other, поэтому конкретные условия следует проверять в репозитории модели.

1961авг. 2026ctx262.1K
textimageotherhugging-face
handy-computer
parakeet-rnnt-0.6b-gguf

Parakeet RNNT 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Эта версия представляет собой конвертацию базовой модели nvidia/parakeet-rnnt-0.6b в формат GGUF для использования с transcribe.cpp, подготовленную handy-computer. Модель предназначена для офлайн-транскрибации английской речи в текст. Она использует архитектуру FastConformer-Large примерно на 600 млн параметров с декодером RNN-T и жадным декодированием без внешней языковой модели. Поддерживается английский язык; результат выводится в нижнем регистре без пунктуации. Доступны варианты F32, F16 и квантованные версии Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 476 МБ до 2,47 ГБ. Сильная сторона модели — высокая точность на английской речи: показатель WER на LibriSpeech test-clean составляет 1,62% для большинства вариантов и 1,66% для Q4_K_M. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка, поэтому рассчитана на пакетную обработку заранее записанных аудиофайлов. Лицензия — CC-BY-4.0, унаследованная от базовой модели.

8.9K0май 2026
textaudiocc-by-4.0hugging-face
BuzzASR
polish

BuzzASR Polish — одноязычная модель автоматического распознавания польской речи, разработанная в рамках набора BuzzASR и дообученная полным циклом на основе openai/whisper-large-v3. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 907,3 млн параметров; для польского заменён токенизатор, а при дообучении применялись речевые и текстовые данные. Модель предназначена для преобразования польской речи в текст, например для транскрибации записей и аудио. В README приведены результаты на тестовых выборках FLEURS и Common Voice 25.0; на объединённой выборке указаны CER 7,75% и WER 23,31%. Лицензия модели — MIT. Модель рассчитана только на польский язык. README предупреждает, что качество на других предметных областях и диалектах может отличаться от результатов на использованных тестовых наборах.

1012сент. 2026
textaudiomithugging-face
ErtasAI
qmsum-locator-minilm-l6-w900

Ertas AI разработала QMSum locator — англоязычный cross-encoder на базе BERT MiniLM L6 для первого этапа двухэтапного конвейера суммаризации встреч с учётом вопроса. Модель оценивает релевантность пар «запрос — фрагмент стенограммы» и помогает выбрать фрагменты для передачи суммаризатору. Она обучена на парах запросов и окон стенограмм из обучающей части QMSum; размер модели — 25,9 млн параметров, максимальный контекст — 512 токенов. Лицензия — Apache 2.0. Эта версия настроена на окна длиной 900 слов в соответствии с зафиксированным протоколом оценки. Поскольку окно обычно токенизируется примерно в 1 150 токенов, модель читает лишь начальную часть большинства окон: около 97,3% окон обрезаются, в среднем обрабатывается 47,7% текста окна. Поэтому оценки могут не учитывать важное содержимое в конце фрагмента. Модель проверялась на англоязычных стенограммах встреч QMSum в академической сфере, проектировании продуктов и парламентских комитетах; перенос на другие типы документов не проверен. Релевантность определяется перекрытием с размеченными эталонными фрагментами QMSum.

231авг. 2026ctx512
textapache-2.0hugging-face
moorlee
qwen3-asr-0.6b-hinglish

Srota — модель автоматического распознавания речи, созданная командой проекта susrota.com. Она транскрибирует разговорную и учебную речь на хинглише, сохраняя естественное смешение письма: слова на хинди выводит деванагари, а английские слова — латиницей. Модель представляет собой полнопараметрическую донастройку Qwen/Qwen3-ASR-0.6B и объединяет аудиокодировщик AuT примерно на 180 млн параметров, проектор и языковую часть Qwen3-0.6B; общий размер составляет около 780 млн параметров. Для инференса указана библиотека Transformers, веса опубликованы в формате Safetensors. Srota предназначена для транскрибации разговоров, рассказов, вопросов и ответов, а также технических уроков и лекций на хинди с английскими вставками. В тестах на наборах HiACC и OpenSLR-104 модель показала меньшую частоту ошибок слов, чем базовая модель, в обоих доменах. Она рассчитана прежде всего на хинди-английскую речь с переключением языков, а не на чисто хинди или английский. Лицензия — Apache-2.0. Качество распознавания на учебной речи остаётся ограниченным: модель может ошибаться в командах, путях и номерах версий. Результаты на HiACC получены на данных с пересекающимися между обучением и тестом дикторами, поэтому качество на новых голосах может быть ниже. Ограниченное разнообразие акцентов, диалектов и доменов также может влиять на переносимость; для медицинских и юридических транскрипций требуется проверка человеком.

7861май 2026ctx131.1K
textaudioapache-2.0hugging-face
moorlee
qwen3-asr-0.6b-hinglish-hiacc-v1

Srota-Conv — модель автоматического распознавания речи, созданная командой susrota.com на основе Qwen/Qwen3-ASR-0.6B. Она дообучена всеми параметрами на корпусе HiACC для транскрибации спонтанной разговорной речи на хинглише, где в одном высказывании смешиваются хинди и английский. В транскрипте модель сохраняет естественное написание: слова на хинди передаёт письмом деванагари, а английские — латиницей. Модель использует архитектуру Qwen3-ASR с аудиоэнкодером AuT, проектором и языковой моделью Qwen3; общий размер — около 780 млн параметров. В тесте HiACC авторы сообщают WER 14,23% против 24,53% у базовой модели. Модель предназначена прежде всего для разговорной речи, а не для технических обучающих материалов. Она распространяется по лицензии Apache-2.0. Обучающая часть HiACC содержит около пяти часов речи, а в разбиениях корпуса пересекаются дикторы. Поэтому тестовый результат не подтверждает качество на новых дикторах и может не переноситься на другие акценты, диалекты и варианты хинглиша. Метрика также рассчитана с нормализацией, отличающейся от применявшейся в некоторых опубликованных базовых результатах.

1594май 2026ctx131.1K
textaudioapache-2.0hugging-face
whnf
Qwen3-ASR-1.7B-JA-MLX

Qwen3-ASR-1.7B-JA MLX — конвертированная в формат MLX версия модели neosophie/Qwen3-ASR-1.7B-JA для распознавания японской речи. Репозиторий подготовлен для библиотеки mlx-qwen3-asr; веса сохранены в bfloat16 без квантизации. Модель принимает аудио и выдаёт текстовую транскрипцию, в том числе с оформлением результата в формате VTT через соответствующую утилиту. Базовая модель дообучена для более точного распознавания японских имён, названий компаний и редких кандзи. Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает конвертацию весов для MLX, а не отдельное дообучение этой копии.

270июль 2026ctx131.1K
textaudioapache-2.0hugging-face
Aye10032
Qwen3-ASR-Refiner-1.7B

Qwen3 ASR Refiner 1.7B — языковая модель автора Aye10032 для приведения китайских транскриптов автоматического распознавания речи и другой разговорной речи к краткому, естественному письменному китайскому с сохранением исходного смысла. Модель дообучена на наборе Aye10032/WenetSpeech-Formal-Text на базе Qwen/Qwen3-1.7B; адаптер LoRA объединён с базовой моделью. Это плотная авторегрессионная модель Qwen3 с 1,7 млрд параметров, рассчитанная на генерацию текста и диалоговый интерфейс. Модель принимает текст и выдаёт отредактированный текст. В карточке указано контекстное окно 40 960 токенов. Репозиторий содержит полные веса BF16 в формате Transformers и загружается без PEFT. Лицензия модели — Apache-2.0; для исходного датасета указана CC BY 4.0 с требованием учитывать атрибуцию и цитирование согласно его карточке. Модель предназначена для постобработки китайской ASR-расшифровки: преобразования разговорных формулировок в письменные, более краткие и естественные фразы. Карточка не приводит отдельные оценки качества или подробные ограничения; преобразование следует проверять на предмет случайного изменения смысла.

460авг. 2026ctx41K
textapache-2.0hugging-face
reazon-research
reazonspeech-nemo-v2

reazonspeech-nemo-v2 — модель автоматического распознавания речи, разработанная Reazon Research и обученная на корпусе ReazonSpeech v2.0. Она преобразует японскую речь из аудиозаписей в текст и предназначена в том числе для расшифровки длинных записей продолжительностью до нескольких часов. Модель основана на улучшенной архитектуре Conformer из Fast Conformer с линейно масштабируемым механизмом внимания. Это субсловная RNN-T-модель с 619 млн параметров: кодировщик использует Longformer attention с локальным контекстом 256 и одним глобальным токеном, а словарь декодера содержит 3000 токенов SentencePiece unigram. Для использования разработчик рекомендует библиотеку reazonspeech. Модель ориентирована на японскую речь и длительные аудиозаписи. Лицензия Apache-2.0.

3.5K41янв. 2024
textaudioapache-2.0hugging-face
SLPL
Sharif-wav2vec2

SLPL/Sharif-wav2vec2 — модель распознавания речи на основе архитектуры Wav2Vec2, дообученная авторами для персидского языка (фарси). Для адаптации использованы 108 часов персидских записей Common Voice 6.1 с частотой дискретизации 16 кГц. Модель принимает аудио и преобразует речь в текст; для повышения точности в сценариях распознавания авторы также обучили 5-граммную языковую модель KenLM и подключили её через процессор декодирования. Модель предназначена для транскрибации персидской речи. В оценке на Common Voice 6.1 указана частота ошибок слов WER 0,06 на очищенной выборке и 0,16 на выборке other. Для входной речи требуется частота дискретизации 16 кГц. Весовая модель опубликована в формате PyTorch, содержит около 402,7 млн параметров и распространяется по лицензии MIT.

11117июнь 2022
textaudiomithugging-face
skit-ai
speechllm-2B

SpeechLLM-2B — мультимодальная модель Skit AI для анализа аудио речи в разговоре. Она объединяет аудиоэнкодер HubertX и языковую модель TinyLlama; общий размер модели составляет 2,1 млрд параметров. Модель дообучена на основе этих компонентов с адаптерами и принимает аудио, а также формирует текстовые предсказания о речевом фрагменте. Модель определяет наличие речи, распознаёт её текст, а также классифицирует пол говорящего, возрастную группу, широкий регион акцента и эмоцию. В карточке указаны английский язык и результаты на LibriSpeech и Common Voice; показатели на Common Voice ниже, чем на тестовых наборах LibriSpeech, особенно для распознавания текста. Метаданные Hugging Face задают задачу feature-extraction. Модель распространяется по лицензии Apache-2.0.

4318июнь 2024
textembeddingapache-2.0hugging-face
ctaguchi
ssc-aln-mms-model-mix-adapt-max

ssc-aln-mms-model-mix-adapt-max — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC, разработанная автором репозитория. По README, модель обучена с нуля на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: CER 0,2065, WER 0,5208 и loss 1,0180. Модель содержит 1,3 млрд параметров, сохранена в формате safetensors и использует библиотеку Transformers. Язык распознавания, состав обучающих данных и условия лицензии в предоставленных материалах не раскрыты. Поэтому приведённые метрики нельзя переносить на конкретные языки или сценарии без дополнительной проверки.

1140дек. 2025
textaudiohugging-face
ctaguchi
ssc-bew-mms-model

ctaguchi/ssc-bew-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all. Это модель wav2vec2 с архитектурой Wav2Vec2ForCTC, примерно 1,3 млрд параметров, принимающая аудио и выдающая текст. Базовая модель поддерживает более тысячи языков, однако язык и область применения именно этого дообучения не указаны. В README приведены результаты на тестовой выборке: loss 0,7747, CER 0,2038 и WER 0,6111. Оценки относятся к неизвестному набору данных, поэтому их недостаточно для вывода о качестве на других данных. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1270дек. 2025
textaudiocc-by-nc-4.0hugging-face
TODBERT
TOD-BERT-JNT-V1

TOD-BERT-JNT-V1 — предобученная модель семейства BERT, разработанная Chien-Sheng Wu, Steven Hoi, Richard Socher и Caiming Xiong для понимания диалогов, ориентированных на выполнение задач. Модель обучалась на корпусах многоходовых task-oriented диалогов и использует совместно цели masked language modeling (MLM) и response contrastive learning (RCL). Модель предназначена для последующей адаптации к распознаванию намерений, отслеживанию состояния диалога, классификации диалоговых актов и ранжированию или выбору ответов. В метаданных Hugging Face указаны архитектура BERT, задача fill-mask, около 136,7 млн параметров и максимальная длина контекста 512 токенов; поддерживаются Transformers, PyTorch, TensorFlow и JAX. Репозиторий разработчиков распространяется под лицензией BSD-2-Clause.

2294март 2022ctx512
texthugging-face
ylacombe
w2v-bert-2.0-600m-turkish-colab

Это модель автоматического распознавания речи на турецком языке, созданная дообучением ylacombe/w2v-bert-2.0 на наборе данных Common Voice 16.0. Она использует архитектуру Wav2Vec2-BERT с CTC-выходом и принимает аудио, преобразуя его в текст. В оценке на тестовой выборке указаны loss 0,1441 и WER 0,1373. Модель подходит для транскрибирования турецкой речи, например записей и аудиофрагментов. Размер — около 402,7 млн параметров; веса опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.

160янв. 2024
textaudiohugging-face
ayymen
w2v-bert-2.0-waxal_lin_sna-1epoch

ayymen/w2v-bert-2.0-waxal_lin_sna-1epoch — дообученная модель распознавания речи на основе facebook/w2v-bert-2.0. Она обучена на наборе WAXAL_LIN_SNA - NA и предназначена для преобразования речи в текст. В архитектуре используется Wav2Vec2BertForCTC; модель содержит 402,8 млн параметров и принимает аудио. На оценочном наборе указаны WER 0,3383, CER 0,1054 и loss 0,3524. Модель распространяется по лицензии MIT.

50авг. 2026
textaudiomithugging-face
Alvenir
wav2vec2-base-da-ft-nst

Alvenir/wav2vec2-base-da-ft-nst — модель распознавания датской речи, разработанная Alvenir. Это версия wav2vec2-base, дообученная на открытом датасете NST для преобразования аудио в текст; архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров. Модель ожидает аудио с частотой дискретизации 16 кГц и поддерживает датский язык. В README приведены результаты оценки на датских наборах данных: WER 15,8% на тестовой части NST и 26,3% на тесте Common Voice 80; применение 3-граммовой языковой модели снижает эти показатели до 11,9% и 19,2% соответственно. Модель подходит для транскрибации датской речи, однако качество зависит от набора данных и может улучшаться внешней языковой моделью. Лицензия — Apache-2.0.

7873март 2022
textaudioapache-2.0hugging-face
NbAiLab
wav2vec2-large-danish-npsc-nst

NbAiLab/wav2vec2-large-danish-npsc-nst — модель распознавания речи на основе архитектуры wav2vec2, разработанная как дообучение chcaa/xls-r-300m-danish. Она преобразует аудиоречь в текст и предназначена для автоматической транскрипции. В карточке приведены результаты оценки: WER 0,0669 и loss 0,0587; состав обучающего набора данных не раскрыт. Модель содержит около 402,7 млн параметров, использует Wav2Vec2ForCTC и распространяется в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Доступные сведения указывают на датский вариант модели; другие поддерживаемые языки не подтверждены.

2.8K2авг. 2022
textaudioapache-2.0hugging-face
UrizenB
wav2vec2-large-spanish

Карточка модели UrizenB/wav2vec2-large-spanish на Hugging Face совпадает с карточкой jonatasgrosman/wav2vec2-large-xlsr-53-spanish, поэтому описание составлено по ней. jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.

750авг. 2025
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей