/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
2 131–2 160 из 26 923
akisviete
azuolas-whisper-lt

Ąžuolas — модель распознавания литовской речи из аудиозаписей, созданная akisviete на основе Whisper large-v3 и дообученная методом SFT на корпусе LIEPA-3. В обучении использовано около 9,8 тысячи часов литовской речи: чтение, спонтанная речь и фонетические записи. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и доступна в формате safetensors для Transformers. Модель предназначена для транскрибации литовской речи, в том числе длинных записей и выступлений. В описанных тестах она показала более низкий WER, чем сравниваемые литовские модели, но работала медленнее. Лицензия — CC BY 4.0. Известное ограничение: модель может генерировать связные литовские фразы на участках тишины или фонового шума. Для длинных записей автор рекомендует использовать обработку с фильтром тишины и нарезкой аудио на паузах.

2295сент. 2026
textaudiocc-by-4.0hugging-face
dominguesm
bert-restore-punctuation-ptbr

Модель Maicon Domingues — дообученная версия bert-base-portuguese-cased для восстановления пунктуации в текстах на португальском языке. Она предсказывает знаки препинания и восстановление заглавных букв, в том числе точки, запятые, вопросительные и восклицательные знаки, дефисы, двоеточия, точки с запятой и апострофы. Модель предназначена для восстановления пунктуации в обычных португалоязычных текстах, а также может служить основой для дальнейшего дообучения на текстах конкретной предметной области. Архитектура — BERT для классификации токенов, размер — 136,1 млн параметров, максимальная длина контекста — 512 токенов. В карточке указано обучение на WikiLingua и приведены метрики точности для отдельных классов. Модель принимает текст и выдаёт текст с восстановленной пунктуацией и заглавными буквами. Лицензия — CC BY 4.0.

20514июль 2022ctx512
textcc-by-4.0hugging-face
zaakirio
gemma-4-12b-it-uncensored-GGUF

zaakirio/gemma-4-12b-it-uncensored-GGUF — набор GGUF-квантизаций модели zaakirio/gemma-4-12b-it-uncensored, разработанной на основе Google Gemma 4 12B Instruct. Это декензурированная версия, полученная методом Heretic-abliteration, ориентированная на диалоговые сценарии и запуск через llama.cpp. Модель предназначена для генерации текста, общения, анализа изображений и аудио, а также обработки видео через выборку кадров и аудиодорожку. Модель представляет собой encoder-free unified multimodal decoder-only transformer с 12 млрд параметров и контекстным окном до 256K токенов. Поддерживаются текст, изображения, аудио и видео; для мультимодального ввода требуется отдельный проектор mmproj-gemma-4-12B-it-bf16.gguf. Доступны варианты от Q2_K до Q8_0 и f16 размером примерно от 4,50 до 22,20 ГБ. Опциональный MTP-драфтер может ускорить генерацию на GPU. Поддерживается reasoning-режим, а также системная роль. Сильные стороны модели — сочетание мультимодальности, большого контекста, различных уровней квантизации и совместимость с llama.cpp. Обработка аудио в llama.cpp отмечена как экспериментальная, поэтому качество распознавания может быть сниженным; обработка видео зависит от клиента, выполняющего извлечение кадров. Языки модели явно не перечислены, однако в README подтверждена точная многоязычная транскрипция речи. Лицензия указана как gemma.

87K70июнь 2026
textimagegemmahugging-face
zeromodels
gemma-4-e2b-it

zeromodels публикует версию Gemma 4 E2B IT в формате Keras 3. Это конверсия весов Google Gemma 4, реализованная для запуска с TensorFlow, Torch и JAX; в репозитории веса хранятся в bfloat16. По README, модель принимает изображения, аудио и текст и выдаёт текст, а также поддерживает текстовый диалог через Gemma4Processor и инструменты генерации текста. Указан размер 5,1 млрд параметров с эмбеддингами и 2,3 млрд эффективных параметров; базовая модель — google/gemma-4-E2B-it. Семейство Gemma 4 использует скользящее окно внимания на 512 токенов для варианта E2B, но полный контекст модели в карточке не уточнён. Модель подходит для диалогов, ответов по изображениям и аудио и генерации текста. README отсылает к карточке Google за подробностями о модели и условиях использования; лицензия репозитория — Apache 2.0.

60авг. 2026
textapache-2.0hugging-face
Vishva007
gemma-4-E4B-it-W4A16-AutoRound-GPTQ

Vishva007/gemma-4-E4B-it-W4A16-AutoRound-GPTQ — это 4-битная GPTQ-квантизованная версия мультимодальной модели Google Gemma 4 E4B Instruct, созданная на базе google/gemma-4-E4B-it. Модель предназначена для генерации и понимания текста, работы с изображениями и аудио, включая мультимодальные диалоги, описание изображений и анализ визуальных материалов. Заявлена поддержка английского и многоязычных сценариев. Модель распространяется для использования через Transformers и vLLM; в README рекомендована совместимая сборка vLLM для сервинга и OpenAI-совместимого API. Архитектура включает 42-слойную текстовую часть Gemma4TextModel с размерностью скрытого состояния 2560 и смешанным локальным и глобальным вниманием, 16-слойную vision-модель с размерностью 768 и 12-слойную audio-модель с conformer-подобными слоями. Размер словаря составляет 262 144 токена. Линейные слои языковой модели квантизованы по схеме W4A16: веса INT4, активации BF16, размер группы 128, симметричная квантизация. Визуальная и аудиобашни, а также мультимодальные проекторы сохраняются в полной точности, что помогает поддерживать мультимодальное качество. В рекомендованной конфигурации vLLM указан максимальный размер контекста 18 432 токена, а число визуальных токенов на изображение можно настраивать. Главные преимущества — снижение требований к памяти и возможность эффективного развёртывания при сохранении мультимодальных возможностей. Ограничения связаны с использованием RTN-режима AutoRound без полной оптимизации, возможным небольшим снижением точности из-за пропуска слоёв, размеры которых не кратны 32, а также более низкой эффективностью speculative decoding по сравнению с исходной неквантизованной моделью. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Google Gemma.

5.9K4апр. 2026
textimagegemmahugging-face
Atotti
llm-jp-4-8b-speech-asr

Atotti разработала llm-jp-4-8b-speech-asr — модель семейства LLM-jp-4, специализированную для автоматического распознавания речи. Она принимает аудио и генерирует текстовую расшифровку; для запроса на японском рекомендуется инструкция «音声を書き起こしてください。」. Архитектура — плотная LlamaForSpeechLM; модель объединяет компоненты LLM-jp-4 и Whisper large-v3 и использует формат safetensors. Основной язык — японский, также в метаданных указаны японский и английский. Модель подходит для транскрибации японской речи. Карточка предупреждает, что качество может снижаться на шумной записи, длинных аудио и спонтанной речи, а расшифровки могут содержать ошибки. Лицензия — Apache-2.0.

576февр. 2026
textaudioapache-2.0hugging-face
moonshine-ai
moonshine-streaming-small

Moonshine Streaming Small — англоязычная модель распознавания речи от Useful Sensors. Это последовательная encoder-decoder модель: лёгкий аудиофронтенд формирует признаки, потоковый Transformer-энкодер с ограниченным локальным вниманием обрабатывает скользящие окна, а авторегрессионный Transformer-декодер выдаёт транскрипт. В карточке указано 123 млн параметров для варианта Small; метаданные репозитория сообщают 58,7 млн параметров, поэтому размер следует считать противоречивым. Модель предназначена для низколатентной транскрипции на устройствах с ограниченными ресурсами, включая живые субтитры, голосовые команды и преобразование речи в текст в реальном времени. Обучена и оценивалась для английского языка; использует аудио на входе и текст на выходе. Локальное внимание энкодера ограничивает объём контекста, а авторегрессионная генерация увеличивает задержку полного результата по мере роста транскрипта. Реализация в Transformers пока не обеспечивает полностью эффективную потоковую обработку и опирается на flash-attention для скользящего внимания. Модель может галлюцинировать слова и повторять фразы, особенно на коротких или зашумлённых записях; её не следует применять для задач за пределами английского ASR без отдельной оценки. Лицензия — MIT.

38K15янв. 2026ctx4.1K
textaudiomithugging-face
NbAiLab
nb-whisper-small-beta

NB-Whisper Small (beta) — модель распознавания речи, выпущенная NB AI-Lab Национальной библиотекой Норвегии. Она построена на архитектуре OpenAI Whisper и дообучена на 20 000 часах размеченных аудиоданных; в карточке указано 153,1 млн параметров. Модель предназначена для распознавания речи и транскрибирования аудио, особенно на норвежском языке. Поддерживаются норвежский букмол, норвежский нюношк и английский. Модель подходит для черновой расшифровки речей, парламентских выступлений, телепередач и аудиокниг. Авторы отмечают высокое качество для норвежского языка среди ASR-моделей сопоставимого размера, но предупреждают о галлюцинациях, пропусках фрагментов и расхождении транскрипта с дословной речью: модель может нормализовать устную речь в грамматически правильный письменный текст или опускать части высказывания. Это публичная бета-версия, не предназначенная для производственного применения без оценки рисков. Лицензия — CC BY 4.0.

4817июнь 2023ctx1K
textaudiocc-by-4.0hugging-face
damerajee
Oot-v2_lll

Oot-v2_lll — языковая модель для генерации текста и диалогов, созданная слиянием моделей mlabonne/Marcoro14-7B-slerp и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp с помощью Mergekit. Она предназначена для ответов в чате и решения общих языковых задач. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README описан метод слияния SLERP и приведены результаты оценок на тестах рассуждений и понимания текста. Модель распространяется в формате safetensors по лицензии Apache-2.0.

720янв. 2024ctx32.8K
textapache-2.0hugging-face
theharshithh
open-sarika

Open-Sarika — модель распознавания и перевода речи, созданная как открытая реализация по мотивам Sarika от Sarvam AI. Она дообучена на базе Whisper large-v3 от OpenAI и предназначена для транскрибации речи на хинди, гуджарати и маратхи, а также перевода речи между этими языками. Модель использует архитектуру Whisper и содержит около 905,2 млн параметров; для запуска применяется библиотека Transformers, веса доступны в формате safetensors. При обучении использовались набор IndicVoices от AI4Bharat, проект Project Vaani и другие записи на индийских языках. Для более быстрой обработки рекомендуется GPU; в README указано минимальное требование в 8 ГБ RAM и размер модели около 1,5 ГБ. Лицензия — MIT. Описание не приводит оценок качества или подробностей о поддержке перевода в текстовом режиме.

8734апр. 2025
textaudiomithugging-face
Parakon
Parakon-30B

Parakon 30B — сжатая версия Qwen3-30B-A3B-Instruct-2507, подготовленная Parakon. Модель предназначена для диалогов и генерации текста; карточка сообщает о сохранении качества на тестах рассуждений, математики, знаний и использования инструментов. На коде и строгом следовании формату инструкций качество снижается сильнее. Модель использует формат хранения Parakon и запускается через Parakon runtime. Опубликован runtime для CUDA; README приводит измерения скорости также для Metal и CPU на внутренних сборках, которые пока не опубликованы. В тестах указаны сжатие с 61 ГБ до 5,94 ГБ, медианное сохранение качества 88% и контекст до 262 144 токенов. Лицензия в метаданных обозначена как other.

251сент. 2026
textotherhugging-face
vadimbelsky
qwen3-asr-arabic-ksa

vadimbelsky выпустил дообученную версию Qwen3-ASR-1.7B для распознавания речи на саудовском диалекте арабского языка (KSA). Модель основана на последовательном дообучении базовой Qwen3-ASR-1.7B через версию для диалекта ОАЭ и предназначена для транскрибации аудио с речью из Саудовской Аравии. По оценке на 849 примерах валидационной выборки модель показала WER 11,49% и CER 5,78%, улучшив результаты базовой версии на этом наборе. Она лучше обрабатывает местные выражения и лексику, придерживается неформального написания и реже добавляет лишнюю пунктуацию. Модель принимает аудио и выдаёт текст; репозиторий использует архитектуру Qwen3-ASR и формат safetensors. Лицензия — Apache-2.0.

1812апр. 2026ctx131.1K
textaudioapache-2.0hugging-face
OpenVoiceOS
qwen3-forced-aligner-0.6b-q4-k-m

OVOS Qwen3 Forced Aligner 0.6B Q4_K_M — квантизированный экспорт модели Qwen/Qwen3-ForcedAligner-0.6B в формате GGUF, подготовленный для использования на периферийных устройствах и в средах с CPU-инференсом. Модель предназначена для принудительного выравнивания речи и текста, а также используется в связке с системой автоматического распознавания речи для получения транскрипции и временных соответствий между текстом и аудиосигналом. Модель поддерживает широкий набор языков, включая китайский, английский, кантонский, арабский, немецкий, французский, испанский, португальский, русский, японский, корейский, хинди и другие языки, перечисленные в карточке. Архитектура и размер исходной модели указаны как 0.6B, а вариант Q4_K_M использует квантизацию для снижения требований к памяти и вычислительным ресурсам, что может быть преимуществом для CPU и edge-устройств, но потенциально ограничивает точность по сравнению с полной версией. Для работы рекомендуется пакет py-qwen3-asr-cpp; модель распространяется по лицензии Apache 2.0.

2.9K1февр. 2026
textaudiohugging-face
ferdinandl007
REAL-TSE-BSRNN-CoreML

REAL-TSE BSRNN Target Speaker Extraction — Core ML FP16 — это конверсия базовой модели REAL-TSE Challenge `spk_emb_100` в формат Core ML. Модель извлекает из монофонической речи голос заранее записанного целевого говорящего, подавляя перекрывающуюся речь других людей и сохраняя временную структуру аудио. Она включает кодировщик голоса ECAPA-TDNN с эмбеддингом размерности 192 и разделитель non-causal BSRNN с шестью повторяющимися блоками рекуррентной обработки по двум осям. На вход подаются аудио с частотой 16 кГц и запись для регистрации целевого голоса длительностью не менее 0,5 секунды; несколько секунд чистой речи рекомендуются для лучшего результата. В Core ML графах обработка разделена на получение эмбеддинга и выделение голоса из STFT-сигнала. Граф разделителя рассчитан на фрагменты по 8 секунд, поэтому длинные записи нужно обрабатывать с перекрытием и объединением фрагментов. Модель предназначена для работы на Apple silicon и macOS 15 или новее; автор рекомендует CPU-only для разделителя. В проверочном примере оценивалась речь на английском с помехой на немецком, однако это не устанавливает полный перечень поддерживаемых языков. В метаданных указана лицензия `other`; README отмечает, что отдельная лицензия исходного чекпойнта не предоставлена, и требует самостоятельно проверить условия upstream-моделей и данных.

1350июль 2026
audiootherhugging-face
CoRal-project
roest-v1-wav2vec2-315m

Røst-Wav2Vec2-315m-v1 — модель распознавания датской речи, разработанная Alexandra Institute в рамках проекта CoRal. Это дообученная для распознавания речи модель Wav2Vec2ForCTC на основе facebook/wav2vec2-xls-r-300m; метаданные указывают 402,7 млн параметров, а в README версия названа 315-миллионной. Модель принимает аудио и выдаёт текстовые транскрипции. Для декодирования используется отдельная n-граммная языковая модель, обученная на датской Википедии, Common Voice и Reddit. Модель предназначена для автоматической транскрипции датской речи, в том числе чтения вслух с разными диалектами, акцентами и голосами. В оценке CoRal она показала CER 6,6% и WER 17,0%; на тесте Danish Common Voice 17 — CER 6,6% и WER 16,7%. README сообщает о более новой версии v2. Лицензия — OpenRAIL; биометрическая идентификация с использованием CoRal и производных моделей запрещена условиями лицензии.

11712сент. 2024ctx512
textaudioopenrailhugging-face
RefalMachine
RuadaptQwen2.5-32B-QWQ-Beta

RuadaptQwen2.5-32B-QWQ-Beta — русскоязычная инструктивная версия Qwen/QwQ-32B от RefalMachine. Модель семейства Qwen2 с плотной архитектурой и 32 млрд параметров дообучена продолжением предобучения на русскоязычном корпусе; авторы также заменили токенизатор и применили LEP (Learned Embedding Propagation). Репозиторий содержит веса в формате safetensors. Модель предназначена для диалогов, генерации текста и решения задач с рассуждениями. По заявлению авторов, новый токенизатор повышает скорость генерации русскоязычного текста до 60% относительно исходной Qwen/QwQ-32B при сравнении одинаковых последовательностей. Поддерживается контекст до 131 072 токенов; модель рассчитана в первую очередь на русский язык. Указана лицензия Apache-2.0. В README перечислены оценки на Ru-Arena-General, MERA и llmtf_open, однако результаты не приведены, поэтому качество по этим тестам оценить нельзя. Авторы также предупреждают, что ответы отражают данные обучения и могут содержать их предубеждения.

217март 2025ctx131.1K
textapache-2.0hugging-face
Reza2kn
Shenava-Koochik-v1.0

Shenava Koochik v1.0 — модель распознавания персидской речи из семейства Shenava-1, разработанная автором репозитория Reza2kn. Это исходный чекпойнт NeMo в формате FP32 с 114 млн параметров, основанный на NVIDIA stt_fa_fastconformer_hybrid_large и дообученный для персидского автоматического распознавания речи. Архитектура FastConformer Hybrid RNNT/CTC; в опубликованных вариантах развёртывания используется CTC-голова. Модель принимает одноканальную персидскую речь с частотой дискретизации 16 кГц и выдаёт текст на персидском языке. Поддерживаются режимы с несколькими настройками контекста; модель предназначена для оценки, дальнейшей тонкой настройки и экспорта. В опубликованных тестах указаны WER 7,49% на visualears-golden-6669 и 10,64% на FLEURS-fa при контексте [70,13] и принятой авторами нормализации текста. Качество распознавания может снижаться из-за акцента, шума, наложения речи, особенностей канала записи и переключения языков; важные по смыслу расшифровки следует проверять. Лицензия — Apache-2.0.

1.0K30июнь 2026
textaudioapache-2.0hugging-face
aufklarer
SpeechBrain-ECAPA-VoxLingua107-21M-MLX

SpeechBrain-ECAPA-VoxLingua107-21M-MLX — экспорт модели SpeechBrain `lang-id-voxlingua107-ecapa`, подготовленный для нативного запуска через MLX на Apple Silicon. Это модель на архитектуре ECAPA-TDNN с классификатором на 107 меток разговорных языков; содержит 21,25 млн параметров, веса в формате Safetensors с точностью FLOAT16. На вход принимает аудиофрагмент речи и ранжирует языковые метки по вероятности. Модель предназначена для автоматического определения языка устной речи, например, в аудиозаписях и голосовых приложениях. Экспорт включает нормализацию по среднему значению на уровне предложения и воспроизводимый log-mel фронтенд; README сообщает о совпадении выходов экспорта с реализацией SpeechBrain при валидации. Модель опубликована под лицензией Apache-2.0. Это классификатор с закрытым набором классов, а не детектор неизвестного языка. Указанная для исходной модели ошибка 6,7% получена на небольшом наборе разработки из 33 языков и не является полной оценкой по всем 107 классам. Качество следует проверять на целевых языках, акцентах, устройствах записи, уровнях шума и коротких репликах.

551авг. 2026
audioapache-2.0hugging-face
prasadvittaldev
svanita-0.6b

Svanita v0.2 — модель распознавания речи, созданная Прасадом Витталдевом на базе NVIDIA Parakeet TDT. Она принимает аудио и преобразует разговорную речь на телугу и хинди в текст, сохраняя вставленные английские слова латиницей, а слова на индийских языках — в родной письменности. Архитектура включает энкодер FastConformer из 24 слоёв и декодер TDT; модель содержит около 622 млн параметров и предназначена для работы в реальном времени на обычном CPU без GPU. В карточке указана лицензия CC BY 4.0. Модель подходит для транскрибирования разговоров и аудио телефонных линий, особенно как компонент голосового агента, которому нужны транскрипты с код-свитчингом для последующего распознавания намерений, поиска или заполнения форм. При известном языке рекомендуется задавать `--lang`: это предотвращает вывод слов на телугу или хинди в другой индийской письменности. Распознавание быстрее реального времени на приведённой конфигурации, однако точность уступает лучшим открытым распознавателям; модель хуже справляется с чтением вслух и чисто английской речью и не предназначена для дословных транскриптов для чтения человеком.

3482сент. 2026
textaudiocc-by-4.0hugging-face
Kaousheik
tempo-ablation-loss

Kaousheik разработал TEMPO — экспериментальный чекпойнт аудиоязыковой модели для определения временных границ речи, звуков и музыки. Это вариант абляции из Table 3, обученный с distance-aware Gaussian timestamp loss без time-aware projector; он основан на NVIDIA Audio Flamingo 3. Базовая архитектура сочетает замороженный аудиоэнкодер Whisper-large, Qwen2-7B и проектор; модель принимает аудио и формирует текст с временными метками. Модель предназначена для диаризации с распознаванием реплик, привязки текстовых запросов к интервалам аудио, сегментации записей с описанием событий и анализа временных отрезков музыки. В README приведены результаты этой абляции: DER 86,2, diarization mIoU 37,5, dense-captioning eF1 49,9 и grounding F1 38,0. Поддерживается английский язык. Временные метки ограничены 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты; распознавание речи нескольких говорящих и определение аккордов остаются неточными. Метаданные указывают лицензию other, конкретные условия следует проверять в карточке модели.

230авг. 2026ctx32.8K
textaudiootherhugging-face
17slever17
translate-gemma-4-sub-e4b

Translate Gemma 4 Sub E4B — мультимодальная модель Google Gemma 4 E4B Instruct, дообученная автором репозитория для обычного перевода и перевода субтитров с учётом контекста предыдущих реплик. Она предназначена прежде всего для потоковой и разговорной речи: может учитывать предыдущие исходные и переведённые сегменты, стиль, сведения о говорящих, терминологию и глоссарии. Модель стремится сохранять смысл, тон, сленг, повторы, неопределённость и незавершённые фразы. Это плотная модель семейства Gemma 4 с поддержкой текста и изображений; в карточке указаны возможности диалога и vision. Переводная настройка охватывает 11 языков: английский, русский, испанский, немецкий и японский отнесены к наиболее освоенным, французский, португальский, китайский, нидерландский, итальянский и корейский — к следующей группе. Для других языков Gemma 4 качество перевода специально не оценивалось. В README приведены результаты сравнительной оценки, но они не гарантируют качество для каждого направления и сценария. Лицензия — Apache-2.0.

953июль 2026ctx131.1K
textimageapache-2.0hugging-face
typhoon-ai
typhoon-asr-qwen-1.7b-ctx

typhoon-asr-qwen-1.7b-ctx — модель распознавания тайской речи от Typhoon AI, созданная дообучением Qwen/Qwen3-ASR-1.7B-hf с LoRA. Она преобразует аудио в текст и поддерживает контекстное смещение распознавания: список имён и терминов передаётся в системном сообщении, а модель старается записать произнесённые элементы в указанном написании и игнорировать отвлекающие элементы. В README указано 2,07 млрд параметров; архитектура — плотная Qwen3-ASR, веса опубликованы в safetensors. Модель предназначена для транскрибации тайской речи, в том числе разговоров с именами и специальными терминами. В приведённых тестах она улучшает распознавание относительно исходной Qwen3-ASR-1.7B, особенно при контекстном смещении; результаты зависят от тестового набора и длины списка. Для контекстного режима формат строгий: список через пробелы в системном сообщении, затем отдельной строкой «Thai»; без списка достаточно указать «Thai». По README, до 50 элементов — предпочтительная длина списка. Лицензия — Apache-2.0.

1.2K1сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
facebook
wav2vec2-base-10k-voxpopuli-ft-it

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: модель предварительно обучили на 10 тысячах неразмеченных фрагментов корпуса VoxPopuli, а затем дообучили на расшифрованных аудиозаписях этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку на итальянском языке. Модель предназначена для автоматического распознавания итальянской речи, например для транскрибации записей и подготовки текстовых субтитров. В README приведён пример инференса на образце Common Voice. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1580март 2022
textaudiocc-by-nc-4.0hugging-face
ccoreilly
wav2vec2-large-100k-voxpopuli-catala

Модель Wav2Vec2-Large-100k-VoxPopuli-Català разработана ccoreilly и дообучена на базе facebook/wav2vec2-large-100k-voxpopuli для распознавания каталонской речи и преобразования её в текст. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров; принимает аудио с частотой дискретизации 16 кГц. Для обучения использованы Common Voice и ParlamentParla. В описанных автором оценках частота ошибок слов составила 5,98% на тестовой выборке CV+ParlamentParla, 12,14% на Google Crowdsourced Corpus и 12,02% на аудиокниге «La llegenda de Sant Jordi». Модель распространяется по лицензии Apache-2.0. При оценке важно учитывать, что использованное разбиение не совпадает полностью с Common Voice 6.1: 1144 аудиофайла из тестовой выборки Common Voice попали в обучение или оценку модели, поэтому оценка на стандартном тесте CV будет смещённой. Автор отдельно сообщает результат на тестовом файле, который не использовался при обучении и оценке.

612март 2022
textaudioapache-2.0hugging-face
ravirajoshi
wav2vec2-large-xls-r-300m-marathi

Модель ravirajoshi/wav2vec2-large-xls-r-300m-marathi — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на маратхи. Она принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки: WER 0,2156 и loss 0,5656. Модель построена на архитектуре wav2vec2 с CTC-выходом, содержит 402,7 млн параметров и распространяется в формате PyTorch. Модель подходит для расшифровки записей и речи на маратхи. Лицензия Apache-2.0 разрешает использование, изменение и распространение с соблюдением её условий. Результаты распознавания могут содержать ошибки, особенно на аудио, отличающемся от условий оценки.

461март 2022
textaudioapache-2.0hugging-face
infinitejoy
wav2vec2-large-xls-r-300m-slovak

Модель infinitejoy/wav2vec2-large-xls-r-300m-slovak — дообученная версия facebook/wav2vec2-xls-r-300m для распознавания словацкой речи. Она использует архитектуру Wav2Vec2ForCTC и обучена на словацкой части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; в карточке приведены результаты оценки на тестовой выборке: WER 0,2481 и loss 0,2915. Модель подходит для транскрибирования записей и голосовых высказываний на словацком языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи и оценки подробно, поэтому качество на других типах аудио по указанным метрикам определить нельзя.

700март 2022
textaudioapache-2.0hugging-face
tomascufaro
wav2vec2-large-xls-r-300m-spanish-small-v3

tomascufaro/wav2vec2-large-xls-r-300m-spanish-small-v3 — дообученная модель распознавания речи на базе jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Она использует архитектуру wav2vec2 с классификационной головой CTC и предназначена для преобразования испанской речи в текст. Модель обучалась на Common Voice; в карточке указаны значения Loss 0,3986 и WER 0,1980 на наборе оценки. Репозиторий содержит веса PyTorch и насчитывает около 402,7 млн параметров. Лицензия в доступных данных не указана.

150март 2022
textaudiohugging-face
ozcangundes
wav2vec2-large-xlsr-53-turkish

Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания речи, дообученная автором ozcangundes на базе facebook/wav2vec2-large-xlsr-53 на турецких данных Common Voice. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель предназначена для автоматической транскрибации турецкой речи. В карточке приведён результат 29,62 % на тестовых данных Common Voice, но метрика не уточнена. Веса доступны в формате PyTorch, лицензия — Apache-2.0.

9951март 2022
textaudioapache-2.0hugging-face
lgris
wav2vec2-large-xlsr-open-brazilian-portuguese-v2

Wav2vec 2.0 With Open Brazilian Portuguese Datasets v2 — модель распознавания речи на базе Wav2Vec2, дообученная автором lgris для бразильского варианта португальского языка. Чекпойнт содержит 402,7 млн параметров и предназначен для преобразования аудиозаписей речи в текст. Для обучения объединили корпуса CETUC, Multilingual Librispeech, VoxForge, Common Voice 6.1 и Lapsbm; исходная модель дообучалась с помощью fairseq, а веса для этой версии конвертированы из исходного формата. В README приведены результаты WER 10,69% на тестовой выборке Common Voice и 34,53% на аудио TEDx вне обучающего домена. Автор отмечает возможное пересечение дикторов между обучающей и тестовой выборками Common Voice, поэтому первый результат может быть завышен; на записи вне домена качество заметно ниже. Модель распространяется по лицензии Apache-2.0.

38821март 2022
textaudioapache-2.0hugging-face
ivrit-ai
whisper-large-v3-ct2

Это версия весов ivrit-ai/whisper-large-v3 в формате CTranslate2 для использования с Faster Whisper. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст; карточка указывает иврит как язык модели, а базовая мультиязычная модель Whisper large-v3 также поддерживает транскрибацию и перевод аудио в текст. Модель основана на openai/whisper-large-v3 и подготовлена в формате CTranslate2. Формат позволяет запускать её через Faster Whisper. Репозиторий распространяется по лицензии Apache-2.0.

3.8K23март 2025
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей