/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
2 251–2 280 из 26 923
BSC-LT
whisper-3cat-cv21-valencian

BSC-LT/whisper-3cat-cv21-valencian — акустическая модель распознавания речи, созданная лабораторией Language Technologies Laboratory Барселонского суперкомпьютерного центра. Это дообучение Whisper large-v3 с 905,2 млн параметров на 397 часах 55 минутах аудиозаписей из Corts Valencianes и Common Voice v21, отобранных для валенсийского акцента каталанского языка. Модель предназначена для транскрибации аудио на каталанском языке, особенно с валенсийским акцентом, в обычный текст без пунктуации. Она принимает аудио и выдаёт текст; использует архитектуру Whisper и библиотеку Transformers. Лицензия — Apache-2.0.

1110июль 2025
textaudioapache-2.0hugging-face
Byne
whisper-large-v3-arabic

Byne/whisper-large-v3-arabic — дообученная Byne версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors. Название указывает на специализацию на арабской речи. В README приведены результаты оценки: loss 0,1384 и WER 9,3775; описание набора данных, условий оценки и подробные сценарии использования не раскрыты. Модель распространяется по лицензии Apache-2.0.

986апр. 2025
textaudioapache-2.0hugging-face
BSC-LT
whisper-large-v3-ca-punctuated-3370h

whisper-large-v3-ca-punctuated-3370h — акустическая модель распознавания каталонской речи, дообученная Лабораторией языковых технологий Барселонского суперкомпьютерного центра в рамках проекта AINA. Она основана на openai/whisper-large-v3 и предназначена для преобразования каталонских аудиозаписей в текст с пунктуацией и заглавными буквами. Модель с архитектурой Whisper содержит 905,2 млн параметров и обучалась на 3369 часах и 53 минутах каталогских аудиоданных из Common Voice 17.0 и набора 3CatParla. Обучение на тщательно расшифрованных данных помогает сохранять пунктуацию и регистр в транскрипциях. Для работы доступны веса PyTorch и библиотека Transformers; модель принимает аудио и выдаёт текст. Модель рассчитана на распознавание каталонской речи и может уступать при работе с другими языками или акустическими условиями, не представленными в обучающих данных. Лицензия — Apache-2.0.

3992май 2025
textaudioapache-2.0hugging-face
benmajor27
whisper-large-v3-hu_full

Модель benmajor27/whisper-large-v3-hu_full — дообученная на Common Voice 17.0 версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в первую очередь ориентирована на венгерскую речь. Модель содержит около 905,2 млн параметров и опубликована в формате safetensors. В карточке приведён результат оценки на тестовом наборе: WER 8,8609 и loss 0,0911. Модель распространяется по лицензии Apache-2.0. Показатель качества относится к указанному набору оценки; README не описывает другие условия тестирования или ограничения применения.

1760июнь 2024
textaudioapache-2.0hugging-face
Sagicc
whisper-large-v3-sr-cmb

Sagicc/whisper-large-v3-sr-cmb — дообученная модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; при дообучении использовались Common Voice 13, Google Fleurs и набор данных JuzneVesti-SR v1.0. В карточке приведены результаты оценки: WER 0,0415, WER Ortho 0,1339 и loss 0,1111. Модель ориентирована на сербскую речь, однако подробные сведения о вариантах языка и условиях оценки не описаны. Распространяется по лицензии Apache-2.0.

2384дек. 2023
textaudioapache-2.0hugging-face
ele-sage
whisper-large-v3-turbo-fr-quebecois

Это дообученная модель OpenAI Whisper Large V3 Turbo от ele-sage для автоматического распознавания речи на канадском французском, включая квебекский диалект. Она преобразует аудио в текст и рассчитана на транскрибацию медиа, подкастов, интервью, формальных выступлений и повседневной речи с региональными акцентами. Модель построена на архитектуре Whisper с последовательным преобразованием аудио в текст и содержит около 905,2 млн параметров. Для дообучения использовали примерно 69 часов записей: выступления в Национальной ассамблее Квебека и данные Common Voice на канадском и других вариантах французского. В README указана частота дискретизации 16 кГц; фрагменты длиннее 30 секунд исключались или сегментировались. На валидационном наборе автор сообщает WER 6,65%. Модель предназначена прежде всего для французской речи из Квебека; обучение на формальных выступлениях и краудсорсинговых записях призвано охватить разные регистры. Это не гарантия точности на других акцентах, шумных записях или темах, не представленных в обучающих данных. Лицензия — MIT.

1.3K6нояб. 2025
textaudiomithugging-face
jstoone
whisper-medium-da

jstoone/whisper-medium-da — дообученная модель распознавания датской речи, созданная на основе openai/whisper-medium. Это модель архитектуры Whisper с 455,8 млн параметров; она принимает аудио и преобразует речь в текст. Дообучение проводилось на датских данных Common Voice 11.0 и FLEURS. На указанном наборе оценки модель показала WER 13,7086 и loss 0,5814. Модель предназначена для автоматической расшифровки датской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к различным акцентам и шуму или ограничения качества за пределами приведённой оценки.

175дек. 2022ctx1K
textaudioapache-2.0hugging-face
bayartsogt
whisper-medium-mn-10

Модель bayartsogt/whisper-medium-mn-10 — дообученная версия Whisper Medium, разработанная на основе openai/whisper-medium для распознавания речи. Она принимает аудио и генерирует текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 455,8 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. На оценочном наборе указаны WER 21,26 и CER 6,88. Модель предназначена прежде всего для автоматической транскрипции речи, в том числе монгольской. В README отсутствуют подробности о составе обучающих данных, рекомендуемых сценариях и ограничениях; показатели оценки сами по себе не гарантируют точность на других аудиозаписях.

2551дек. 2022ctx1K
textaudioapache-2.0hugging-face
ARTPARK-IISc
whisper-medium-vaani-kannada

Whisper Medium Vaani Kannada — модель распознавания речи, дообученная ARTPARK-IISc на базе openai/whisper-medium с использованием датасета ARTPARK-IISc/Vaani. Модель предназначена для преобразования аудиозаписей на каннада в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в карточке указана поддержка задачи automatic-speech-recognition и тег языка kn. Модель опубликована в формате safetensors под лицензией MIT.

512дек. 2024ctx448
textaudiomithugging-face
Viraj008
whisper-small-mr_v5

Viraj Patil дообучил Whisper Small MR v4 для автоматического распознавания речи на маратхи. Модель принимает аудио и преобразует речь в текст; в метаданных указана архитектура Whisper с 153,1 млн параметров. Для обучения использовались данные Common Voice 17.0 и Google FLEURS; метаданные также связывают модель с наборами Common Voice 19.0 и Google Marathi. На оценочном наборе указаны Loss 0,2496 и WER 34,1242. Модель распространяется под лицензией Apache-2.0.

110окт. 2024ctx1K
textaudioapache-2.0hugging-face
steja
whisper-small-persian

steja/whisper-small-persian — модель автоматического распознавания речи на основе архитектуры Whisper small, дообученная на персидской части набора Mozilla Common Voice 11.0. Веса содержат около 153,1 млн параметров; модель принимает аудио и генерирует текстовую расшифровку на персидском языке. Модель предназначена для транскрибирования персидской речи. В карточке указаны результаты оценки на тестовой выборке: Loss 0,4924 и WER 32,8995. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.

545дек. 2022ctx1K
textaudioapache-2.0hugging-face
p208p2002
zh-wiki-punctuation-restore

zh-wiki-punctuation-restore — модель на базе BERT для восстановления пунктуации в китайском тексте. Она классифицирует токены и поддерживает шесть знаков: запятую ,、перечислительную запятую 、, точку 。, вопросительный знак ?, восклицательный знак ! и точку с запятой ;. Модель предназначена для обработки текста без пунктуации, например после распознавания речи или при подготовке китайских текстов. Архитектура — BertForTokenClassification, размер — 129,5 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и safetensors. README предлагает установку пакета zhpr. Лицензия в предоставленных данных не указана.

68K12янв. 2023ctx512
texthugging-face
desert-ant-labs
clips

Clips — модель Desert Ant Labs для отбора и ранжирования коротких фрагментов по расшифровке разговорного видео или аудио: подкастов, интервью и встреч. Она оценивает кандидаты в клипы, выбирает моменты с высокой значимостью и не допускает перекрытия фрагментов. Обработка выполняется на устройстве, без загрузки материалов на сервер; заявлена поддержка 100 языков. Модель поставляется в виде int8-пакета Core ML размером 284 МБ для платформ Apple и двух файлов LiteRT примерно по 283 МБ для других платформ. Селектор обрабатывает предложения пакетами по 16, а ограничение длины ролика задаётся временем обработки, а не окном контекста. Выходные данные включают оценки значимости и границ фрагментов; заголовки клипов модель не создаёт. Модель подходит для автоматического создания подборок ярких моментов и чернового монтажа разговорных записей. Оценки не калиброваны между видео, края клипов могут обрезать контекст или объединять темы, а короткие расшифровки могут дать мало фрагментов или не дать их вовсе. Нелатинские письменности протестированы ограниченно. Указана лицензия other; конкретные условия распространения в карточке не раскрыты.

65719июль 2026
textotherhugging-face
IbrahimAmin
code-switched-egyptian-arabic-whisper-small

Модель Ibrahim Amin — дообученная версия OpenAI Whisper Small для автоматической транскрибации аудио с переключением между египетским арабским и английским языками. Она использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку. Обучение включало наборы MohamedRashad/arabic-english-code-switching и FLEURS ar_eg, а также пользовательскую подборку аудио с YouTube. Модель предназначена прежде всего для расшифровки неформальной речи, интервью и подкастов, где собеседники чередуют египетский арабский и английский. В карточке приведены результаты оценки WER на FLEURS ar_eg, ESCWA и MGB-3; на этих наборах дообученная модель показала более низкий WER, чем базовый Whisper Small. Лицензия — Apache-2.0. Точность может снижаться на речи только на одном языке и при переключении на языки, отличные от египетского арабского и английского. Результаты также зависят от качества аудио, акцента говорящего и фонового шума.

3605май 2025ctx1K
textaudioapache-2.0hugging-face
aixonlab
Eurydice-24b-v3.5

Eurydice 24b v3.5 — диалоговая причинно-следственная языковая модель от Aixon Lab, основанная на архитектуре Mistral и дообученная на пользовательском наборе данных. В метаданных указано 23,4 млрд параметров, контекст до 131 072 токенов и формат весов safetensors. Модель предназначена для многосторонних диалогов, генерации текста, ответов на вопросы, анализа и творческого письма, включая рассказывание историй. Разработчик отмечает понимание контекста, творческие ответы и естественный разговор; основной язык — английский. Лицензия — Apache 2.0. Качество не подтверждено опубликованными метриками оценки. Модель может наследовать смещения из обучающих данных, поэтому её ответы следует критически проверять.

4511май 2025ctx131.1K
textapache-2.0hugging-face
rdhorner
gemma-4-E4B-it-OBLITERATED-GGUF

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.

9713апр. 2026
textimageapache-2.0hugging-face
BuzzASR
japanese

BuzzASR/japanese — монолингвальная модель автоматического распознавания японской речи, разработанная в рамках набора BuzzASR. Она создана полным дообучением openai/whisper-large-v3 с заменой токенизатора на японский и текстовым мультитасковым дообучением. Модель содержит около 907,3 млн параметров, использует архитектуру Whisper и библиотеку Transformers. Модель предназначена для транскрибации японской речи в текст. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25.0: нормализованный CER составляет 14,49% и 26,58% соответственно; на объединённом наборе CER — 21,08%. По заявлению авторов, на объединённом тесте это примерно на 1,1 раза ниже CER, чем у Whisper-large-v3 в режиме zero-shot. Языковая и задачная подсказка задана в конфигурации генерации. Модель рассчитана только на японский язык; качество на других предметных областях, диалектах и условиях записи может отличаться. Она лицензирована по MIT.

2590сент. 2026
textaudiomithugging-face
zelk12
MT1-BB-gemma-2-RIv0.1RAt0.25v0.1-9B

zelk12/MT1-BB-gemma-2-RIv0.1RAt0.25v0.1-9B — слитая модель на архитектуре Gemma 2, созданная разработчиком zelk12 с помощью mergekit и метода SLERP. Она объединяет zelk12/recoilme-gemma-2-Ifable-9B-v0.1 и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25; в конфигурации базовой указана первая модель, а параметр смешивания t равен 0,5. Модель содержит 9 млрд параметров, рассчитана на диалоговую генерацию текста и работу через Transformers. Контекст — до 8192 токенов. Подходит для ведения беседы, выполнения инструкций и творческой генерации текста; более конкретная специализация в карточке не описана. Это производная модель, сохранённая в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

211окт. 2024ctx8.2K
texthugging-face
NbAiLab
nb-wav2vec2-300m-bokmaal-v2

NbAiLab/nb-wav2vec2-300m-bokmaal-v2 — модель распознавания речи, разработанная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует аудиозаписи на норвежском букмоле в текст и предназначена, в частности, для транскрибирования речи из парламентского корпуса NPSC. Модель основана на архитектуре wav2vec 2.0 с CTC-выходом и содержит около 402,7 млн параметров. В репозитории также доступны файлы языковой модели 5-граммного типа для декодирования. Модель принимает аудио и выдаёт текст; лицензия — Apache-2.0.

26K0февр. 2024
textaudioapache-2.0hugging-face
cisco-ai
pase

PASE — генеративная модель улучшения речи, разработанная Cisco Systems. Она очищает речь от шума и реверберации, стараясь сохранить разборчивость, содержание и особенности голоса говорящего. Модель рассчитана на монофонический звук с частотой 16 кГц. Архитектура объединяет DeWavLM, дообученную для подавления шума версию WavLM-Large с дистилляцией представлений, и двухпоточный вокодер, который восстанавливает аудио по фонетическим и акустическим признакам. Размер модели — около 382 млн параметров; вычислительная стоимость инференса — около 21,4 GMAC/s. Модель обучалась преимущественно на английской речи с шумами и реверберацией, синтезированными из перечисленных в карточке наборов данных. PASE предназначена для очистки записей разговоров и других речевых сигналов в шумной или реверберирующей среде. В тестах авторов модель показала низкий WER, высокую близость голоса к исходному и хорошее качество звучания; результаты релизной версии были близки к опубликованным в статье. Репозиторий распространяется по лицензии Apache 2.0. Качество может снижаться для языков, отличных от английского, при очень сильном шуме или реверберации, отличающейся от обучающих условий; возможны артефакты, а сохранение характеристик голоса не гарантируется. Модель не предназначена для обработки неречевого аудио, преобразования голоса или критически важных медицинских, юридических и безопасностных решений.

649дек. 2025
audioapache-2.0hugging-face
reelva
Reelva-12B

Reelva 12B — разговорная модель-компаньон с 12 млрд параметров, разработанная VVO Labs / Hagoiteknologi Indonesia в Паланкарае, Индонезия. Она построена на архитектуре Gemma4 Unified и распространяется в формате safetensors; веса получены посредством supervised fine-tuning с QLoRA и последующего слияния адаптера с моделью.

522июль 2026
textapache-2.0hugging-face
RUPunct
RUPunct_small

RUPunct_small — компактная модель семейства RUPunct для восстановления пунктуации в русском тексте. В карточке она названа самой маленькой моделью семейства и предназначенной для несложных текстов, где важна высокая скорость работы на CPU. Модель построена на архитектуре BERT и решает задачу классификации токенов; её размер — 29 млн параметров, контекст — до 2048 токенов. Модель подходит для автоматической расстановки знаков препинания в текстах без пунктуации, например в результатах распознавания речи или коротких пользовательских сообщениях. Она распространяется с лицензией MIT. Карточка рекомендует её для простых текстов; качество на сложных текстах не описано.

1.9K1май 2024ctx2K
textmithugging-face
facebook
s2t-medium-mustc-multilingual-st

S2T-MEDIUM-MUSTC-MULTILINGUAL-ST — модель Facebook на базе Speech2Text, обученная для сквозного перевода речи. Это трансформер encoder-decoder с 55,5 млн параметров: свёрточный модуль сокращает длину речевых входов, а декодер авторегрессионно генерирует текст. Модель принимает речевые признаки и обучена на корпусе MuST-C с выступлениями TED на английском языке и переводами на немецкий, нидерландский, испанский, французский, итальянский, португальский, румынский и русский. Основной сценарий — перевод английской речи в текст на одном из восьми языков. Архитектура S2T также предназначена для распознавания речи, однако карточка описывает эту конкретную модель прежде всего как систему речевого перевода. В тестах MuST-C BLEU составил от 16,0 для перевода на русский до 34,9 для перевода на французский. Модель доступна в форматах PyTorch и TensorFlow по лицензии MIT; показатели на тестовом корпусе не гарантируют такую же точность на других темах и условиях записи.

1307март 2022
textaudiomithugging-face
Reza2kn
Shenava-Koochik-0.9

Shenava-Koochik 0.9 — потоковая модель распознавания персидской речи, разработанная в рамках проекта VisualEars. Это дообученная модель FastConformer-Hybrid размером 114 млн параметров с головами RNNT и CTC, рассчитанная на аудио с частотой 16 кГц. Она принимает поток речи и выдаёт текстовую расшифровку; один чекпойнт позволяет выбирать задержку от 0 до 1040 мс без повторного обучения. Модель предназначена для офлайн-распознавания в реальном времени на устройстве, включая субтитры и транскрибацию. В README приведены результаты оценки на 6 669 персидских аудиофрагментах: WER составляет 8,57% при нулевой задержке и 7,60% при задержке 1040 мс для RNNT. Для потоковой работы через WebGPU рекомендована голова CTC, а RNNT подходит для более точного распознавания или перескоринга. Модель обучалась на псевдоразмеченных персидских данных с последующей настройкой на проверенных человеком примерах. Модель распространяется по лицензии Apache-2.0. Версия 0.9 обучена на 300 проверенных человеком примерах; README сообщает, что более крупный раунд разметки планируется для версии 1.0. Оценка качества приведена для конкретного набора данных и нормализатора, поэтому её не следует считать гарантией точности на других источниках речи.

8133июнь 2026
textaudioapache-2.0hugging-face
shuttleai
shuttle-2.5-mini

Shuttle-2.5-mini — языковая модель компании ShuttleAI Inc., созданная дообучением Mistral-Nemo-Base-2407. Модель построена на плотной архитектуре Mistral с 12,1 млрд параметров по метаданным; в README указано 13 млрд. Она предназначена для сложного диалога, многоязычного общения, рассуждений, ролевых сценариев и агентных задач. Поддерживает чат и использует формат запросов ChatML. Модель доступна в формате Safetensors и распространяется по лицензии Apache 2.0. README указывает контекстное окно базовой модели 128 тысяч токенов, тогда как метаданные каталога приводят 1 024 000 токенов нативного контекста; это расхождение требует проверки перед использованием длинного контекста. Shuttle-2.5-mini обозначена как бета-версия; заявленные многоязычные и агентные возможности описаны без подробных результатов оценки.

257июль 2024ctx1M
textapache-2.0hugging-face
Sunbird
SunflowerASR-51-african-languages

SunflowerASR-51-african-languages — модель распознавания речи от Sunbird AI, адаптация Whisper large-v3 для 51 широко используемого в Африке языка, включая английский и французский с африканскими акцентами. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для транскрибации аудио: мониторинга СМИ, анализа звонков и отзывов граждан, голосовых интерфейсов и использования в конвейерах перевода речи. Обучение включало дообучение всех параметров на 7 412 часах африканской речи и этап GRPO, оптимизирующий частоту ошибок символов. Авторы сообщают о сильных результатах на трёх бенчмарках, однако качество заметно различается между языками. Для каждого аудиофрагмента язык нужно задать при декодировании — автоматического определения языка нет. Модель не переводит, не выдаёт временные метки или метки говорящих. Фрагменты длиннее 30 секунд необходимо разбивать. На шумной, спонтанной, перекрывающейся или смешанной по языкам речи точность может снижаться; результаты транскрибации для важных решений требуют проверки человеком.

2.0K26июль 2026
textaudioapache-2.0hugging-face
dinesh480
telugu-whisper-finetuned

dinesh480/telugu-whisper-finetuned — модель распознавания речи на телугу, разработанная на основе Swecha Gonthuka ASR и дообученная на пользовательском наборе телугуязычных аудиозаписей. Она использует архитектуру Wav2Vec2ForCTC и преобразует речь в текст на телугу в Unicode. Модель подходит для транскрибации, голосовых помощников, создания субтитров, образовательных приложений и анализа речи. Модель принимает монофонический звук WAV с частотой дискретизации 16 кГц; размер составляет 113,3 млн параметров. Репозиторий использует Transformers и хранит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Качество может снижаться при сильном фоновом шуме, нескольких говорящих, низком качестве записи и региональных акцентах, отсутствовавших в обучающих данных. README не приводит количественных результатов оценки.

60июль 2026
textaudioapache-2.0hugging-face
bengaliAI
tugstugi_bengaliai-asr_whisper-medium

bengaliAI/tugstugi_bengaliai-asr_whisper-medium — модель распознавания речи, опубликованная Bengali.AI. Она предназначена для преобразования аудиозаписей в текст и доступна для запуска через Transformers как задача automatic-speech-recognition. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит около 455,8 млн параметров. В репозитории указана лицензия Apache-2.0. Карточка модели практически не содержит описания обучения и результатов, поэтому нельзя подтвердить её качество на конкретных вариантах бенгальского языка или других языках. Конфигурация ограничивает декодирование 448 токенами; модель принимает аудио и выдаёт текст.

1.5K2июнь 2024
textaudioapache-2.0hugging-face
oyemade
w2v-bert-2.0-hausa-CV17.0

oyemade/w2v-bert-2.0-hausa-CV17.0 — модель распознавания речи, дообученная на Hausa из Common Voice 17.0 на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT с CTC-декодированием и содержит около 402,7 млн параметров. Предназначена для преобразования аудиозаписей на хауса в текст; в README указана оценка WER 0,0695 на наборе оценки. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — MIT. Оценка качества приведена для набора оценки Common Voice 17.0 и не гарантирует такой же результат на других акцентах, условиях записи или предметных областях.

392июнь 2024
textaudiomithugging-face
skydheere
wav2vec2-large-mms-1b-somalia

skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

152дек. 2024
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей