/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
931–960 из 26 923
masumcsepust
whisper-small-alif

whisper-small-alif — дообученная на датасете audiofolder модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио в текст; карточка сообщает о результате WER 0,0 на оценочном наборе, но не описывает его состав, поэтому этот показатель нельзя переносить на другие данные. Модель построена на архитектуре WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Базовая Whisper поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии не уточняет языки и сценарии дообучения. Модель распространяется по лицензии Apache-2.0. Состав обучающих данных и ограничения применения в карточке подробно не раскрыты.

80июнь 2026ctx1K
textaudioapache-2.0hugging-face
Jeremy-p
whisper-small-qc-fr

Jeremy-p/whisper-small-qc-fr — дообученная версия мультиязычной модели OpenAI Whisper-small для распознавания речи, с повышенным весом квебекского французского в обучающей смеси французского и английского языков. Это плотная encoder-decoder модель WhisperForConditionalGeneration; в данном репозитории опубликованы веса fp32 для Transformers, а отдельная версия CTranslate2 int8 предназначена для faster-whisper. Обучающая смесь использовала французские данные с вероятностью выборки 0,90 и английские — 0,10. Модель предназначена для транскрибирования аудио на квебекском французском и английском. В приведённой оценке она улучшила показатели исходной Whisper-small по WER на обоих языках и превзошла Qwen3-ASR-0.6B на французской выборке, но уступила ей на английской; размеры выборок составили 100 французских и 324 английских примера. Максимальная длина целевых последовательностей при обучении была ограничена 448 токенами. Лицензия — MIT.

161июль 2026ctx1K
textaudiomithugging-face
onnx-community
whisper-small_timestamped

onnx-community/whisper-small_timestamped — это веб-совместимая версия модели openai/whisper-small, подготовленная сообществом ONNX Community. Репозиторий содержит ONNX-веса, предназначенные для использования с библиотекой Transformers.js, а исходная модель разработана OpenAI. Модель предназначена для задач автоматического распознавания речи в приложениях, работающих через Transformers.js, включая веб-сценарии. Архитектура, размер, поддерживаемые языки, модальности и размер контекста в предоставленных данных отдельно не указаны; известно только, что базовой моделью является whisper-small. Ключевое преимущество — наличие ONNX-весов, упрощающих запуск модели в средах, совместимых с Transformers.js. Ограничение состоит в том, что README не содержит подробностей о производительности, точности, требованиях к ресурсам и фактическом наборе поддерживаемых сценариев. Лицензия в предоставленных данных не указана.

17K2июль 2024ctx1K
textaudiohugging-face
eai6
whisper-tiny.en

eai6/whisper-tiny.en — дообученная модель распознавания речи на основе openai/whisper-tiny.en, созданная сообществом eai6 и обученная на наборе данных Azure-dataset. Модель использует архитектуру Whisper и содержит 29,4 млн параметров; она предназначена для преобразования английской речи в текст. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. В README приведены результаты оценки на тестовой выборке: loss 0,0680 и WER 44,3486. Весовые файлы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

8.2K0сент. 2023ctx1K
textaudioapache-2.0hugging-face
mlx-community
whisper-tiny.en-8bit

mlx-community/whisper-tiny.en-8bit — компактная модель распознавания речи на основе Whisper tiny.en от OpenAI, преобразованная в формат MLX сообществом mlx-community с помощью mlx-audio-plus версии 0.1.4. Она предназначена для преобразования англоязычной речи в текст и подходит для транскрибирования аудиозаписей и голосового ввода. Репозиторий содержит веса в формате safetensors; модель использует архитектуру Whisper и библиотеку mlx-audio-plus. Лицензия — Apache-2.0. Карточка не приводит отдельных оценок качества или известных ограничений.

1.6K0дек. 2025
textaudioapache-2.0hugging-face
nagorebravo
whisper-tiny-en-minds14

nagorebravo/whisper-tiny-en-minds14 — компактная модель распознавания речи на архитектуре Whisper, дообученная на openai/whisper-tiny разработчиком nagorebravo на датасете PolyAI/minds14. Она преобразует аудио в текст и предназначена для транскрибации речи, в том числе аудиозаписей из сценариев, представленных в этом датасете. На оценочном наборе указаны Loss 0,5909 и WER 0,3241 (WER Ortho 0,3288). Модель распространяется в формате safetensors по лицензии Apache-2.0.

40июль 2026ctx1K
textaudioapache-2.0hugging-face
akimbabananan
whisper-tiny-ru-en-only

Это компактная модель автоматического распознавания речи на базе OpenAI Whisper Tiny, дообученная автором репозитория akimbabananan для русского и английского языков. Она принимает аудио и преобразует речь в текст; автор описывает её как эксперимент с полным дообучением, направленный на специализацию модели в двуязычном режиме. В карточке указаны архитектура Whisper, библиотека Transformers, формат safetensors и лицензия MIT. По заявлению автора, обучение шло 4000 шагов на датасете Common Voice 22.0, а знания языков помимо русского и английского намеренно вытеснялись. Поэтому модель подходит для транскрибации речи на этих двух языках, но может молчать или транслитерировать речь на других языках. Заявления о высокой точности в README не подкреплены приведёнными метриками; для практического применения качество стоит проверять на целевых аудиозаписях.

241июнь 2026ctx1K
textaudiomithugging-face
ihanif
whisper-turbo-ar-v2

ihanif/whisper-turbo-ar-v2 — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo, созданная Hanif Rahman. Она предназначена для преобразования аудио в текст; обучение проводилось на наборе Common Voice 17.0. В карточке приведены результаты оценки: WER 39,2011 и орфографический WER 39,8068. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors для Transformers. Лицензия — MIT. В карточке нет сведений о целевом языке или специальной области применения; суффикс ar в имени репозитория сам по себе этого не подтверждает.

90окт. 2024
textaudiomithugging-face
hypaai
wspr_small_2025-11-11_12-12-17

Модель hypaai/wspr_small_2025-11-11_12-12-17 — дообученная версия мультиязычной Whisper Small от OpenAI, разработанная hypaai. Она предназначена для автоматического распознавания речи и транскрибирования аудио. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors для библиотеки Transformers. В тегах карточки указаны йоруба, английский и хауса; метаданные также отмечают игбо. Эти языки можно считать поддерживаемыми, хотя описание обучения не раскрывает данные и результаты оценки. Модель распространяется по лицензии Apache-2.0.

3840нояб. 2025ctx1K
textaudioapache-2.0hugging-face
Backup-bdg
Xoron-Dev-MultiMoe

Xoron-Dev-MultiMoe — мультимодальная модель семейства Xoron, опубликованная командой Xoron-Dev и представленная в репозитории Backup-bdg. В метаданных указаны архитектура MoE, 256,5 млн параметров, библиотека Transformers и контекст до 131 072 токенов. README заявляет обработку текста, изображений, видео и аудио, а также генерацию изображений, видео и речи. Для изображений описаны SigLIP-2 и сжатие TiTok, для видео — VidTok с обработкой до 32 кадров, для аудио — обработка сырого PCM и голосовой синтез. Модель позиционируется для мультимодального диалога, понимания визуального и аудиовизуального содержимого, работы с речью, генерации медиа и агентных сценариев с использованием инструментов. Среди заявленных характеристик — разреженная смесь экспертов и контекстное окно 128K. README также заявляет клонирование голоса по короткому образцу, но не приводит независимых оценок качества; описанные возможности и показатели следует считать заявлениями автора. Лицензия репозитория — MIT. В метаданных основной задачей указана генерация текста, тогда как авторский pipeline-тег — any-to-any; для каталога основной задачей выбрана any-to-any, поскольку карточка описывает модель для мультимодального ввода и вывода.

488янв. 2026ctx131.1K
textmithugging-face
MohamedRashad
Arabic-Whisper-CodeSwitching-Edition

Arabic-Whisper-CodeSwitching-Edition — модель распознавания речи, разработанная العبد لله и дообученная на базе Whisper Large v2 от OpenAI на наборе данных арабско-английской речи с переключением языков. Она предназначена для транскрибации арабской речи, в которую включены английские слова, в том числе в многоязычной среде. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; в карточке заявлена поддержка арабского и английского языков в контексте арабской речи. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — GPL-3.0. Модель ориентирована на арабскую речь с английскими вставками. По карточке, она может хуже работать с одноязычной речью на других языках и с переключением языков, отличных от арабского и английского.

86137июль 2024ctx1K
textaudiogpl-3.0hugging-face
TencentARC
ARC-Qwen-Video-7B-Narrator

ARC-Qwen-Video-7B-Narrator — дообученная мультимодальная модель TencentARC на базе Qwen2.5-VL-7B-Instruct для анализа коротких видео. Она формирует описания с временными метками, различает говорящих и передаёт распознанную речь, помогая разбирать события и диалоги в роликах. Архитектура — плотная модель семейства Qwen2.5-VL с 7,1 млрд параметров; она обрабатывает видео и аудио и выдаёт текст. В метаданных указан контекст длиной до 128 000 токенов. Модель подходит для создания временной расшифровки ролика, краткого описания сцен и анализа последовательности событий. В README также показан сценарий, где результат модели передают внешней LLM для получения более подробного структурированного разбора. Для развёртывания описаны проверенные конфигурации с NVIDIA H20 и A100; установка зависит от соответствующих библиотек и окружения. Модель распространяется по лицензии Apache-2.0.

11812сент. 2025ctx128K
textvideoapache-2.0hugging-face
Jacaranda-Health
ASR-STT

Jacaranda Health разработала модель распознавания речи на базе Whisper medium, дообученную для транскрибирования речи на суахили и английском языках. Модель принимает аудио и выдаёт текст; число параметров — 455,8 млн. В метаданных указано объединение моделей openai/whisper-medium и openai/whisper-small, а README описывает дообучение whisper-medium на Common Voice 17.0. Поэтому точный способ получения чекпойнта по источникам расходится. Модель подходит для расшифровки записей и смешанной речи на суахили и английском. README сообщает WER 14,7 на оценочном наборе и улучшение по сравнению с базовой моделью, особенно для суахили, но подробности протокола оценки не приведены. Лицензия в метаданных — CC BY-SA 4.0; README ограничивает назначение исследованиями, общественно полезными и внутренними сценариями, а коммерческое использование и распространение предлагает согласовывать с Jacaranda Health.

1.5K2май 2025ctx1K
textaudiocc-by-sa-4.0hugging-face
akisviete
azuolas-whisper-lt-ct2

Ąžuolas Whisper LT CT2 — литовская модель распознавания речи, созданная akisviete на основе Ąžuolas Whisper LT и преобразованная в формат CTranslate2 для работы с faster-whisper. В репозитории доступны варианты float16 и int8_float16; второй занимает около 1,5 ГБ вместо 2,9 ГБ, при этом в приведённых тестах качество почти не меняется. Исходная модель основана на Whisper large-v3 и обучена на литовской речи из корпуса LIEPA-3. Модель предназначена для транскрибации литовской речи с временными метками сегментов. В тестах указаны WER 9,05% на FLEURS LT и 4,60% на Common Voice 26.0 LT. Для практического использования автор рекомендует включать фильтр тишины VAD и делить длинные записи на фрагменты до 22 секунд. Модель выдаёт текст строчными буквами без пунктуации и может генерировать текст на участках тишины без VAD. Лицензия — CC BY 4.0.

1070сент. 2026
textaudiocc-by-4.0hugging-face
baichuan-inc
Baichuan-Omni-1d5

Baichuan-Omni-1.5 — открытая мультимодальная модель команды Baichuan, представленная в карточке репозитория baichuan-inc/Baichuan-Omni-1d5. Это плотная модель с 7,1 млрд параметров и контекстом 65 536 токенов, предназначенная для диалогов и взаимодействия с текстом, изображениями, видео и аудио. Модель принимает эти четыре типа входных данных и формирует текстовые и аудиовыходы; заявлены потоковая обработка аудио и видео и голосовое общение в реальном времени. Модель рассчитана на понимание изображений и видео, распознавание и понимание речи, генерацию речи, а также мультимодальные диалоги. В README отдельно отмечены двуязычные голосовые сценарии на китайском и английском, управление стилем голоса и понимание медицинских изображений. Заявления о сравнительных результатах приведены разработчиками и здесь не подтверждены независимой проверкой. Репозиторий содержит веса в формате safetensors; метаданные указывают Apache-2.0. Для развёртывания и оценки медицинских выводов необходима отдельная проверка качества в целевом сценарии; README также предостерегает от использования в интернет-сервисах без соответствующих проверок и согласований.

25348янв. 2025ctx65.5K
textapache-2.0hugging-face
ingeniumacademy
bart-cnn-samsum-finetuned

Модель ingeniumacademy/bart-cnn-samsum-finetuned — дообученная версия facebook/bart-large-cnn на наборе данных SAMSum. Она предназначена для создания кратких пересказов диалогов, например бесед из чатов. Модель построена на архитектуре BART и содержит 252,8 млн параметров; принимает текст длиной до 1024 токенов и генерирует текст. В README приведено значение loss 0,1344 на оценочной выборке, но описание не уточняет методику оценки или другие показатели качества. Лицензия — MIT.

290сент. 2023ctx1K
textmithugging-face
Advaith1612
bart_convo-summarizer

bartconvo-summarizer — дообученная Advaith1612 модель BART для краткого пересказа диалогов. Она создана на основе facebook/bart-large-cnn и обучена на датасете SAMSum, содержащем диалоги и их краткие сводки. Модель принимает текст диалога и генерирует его краткое текстовое изложение; её контекст составляет 1024 токена, размер — 252,8 млн параметров. Модель подходит для суммирования переписок и разговоров на английском языке. Она распространяется в формате safetensors по лицензии MIT. README не содержит результатов оценки качества или дополнительных сведений об ограничениях.

90июнь 2024ctx1K
textmithugging-face
slauw87
bart_summarisation

slauw87/bart_summarisation — англоязычная модель суммаризации диалогов, разработанная на основе BART и обученная с помощью Amazon SageMaker. Она предназначена для создания краткого пересказа беседы; в README приведён пример диалога и оценки ROUGE. Модель имеет архитектуру BART с 252,8 млн параметров, принимает текст и выдаёт текст. Максимальная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для краткого изложения переписок и разговоров на английском языке. В карточке указано обучение на датасете SAMSum. Приведённые метрики относятся к оценке на наборе, использованном автором; README не описывает отдельные проверки на других типах текста.

5959март 2022ctx1K
textapache-2.0hugging-face
lgris
bp400-xlsr

bp400-xlsr — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского португальского языка. Карточка описывает её как демонстрационную модель, обученную на объединённых корпусах CETUC, Common Voice, LaPS BM, MLS, TEDx, SID и VoxForge; веса представлены в формате PyTorch. Размер модели — около 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и предназначена для транскрибирования бразильского португальского, в том числе записей из перечисленных корпусов. В README приведены результаты WER на отдельных тестовых наборах: без языковой модели среднее значение составляет 0,124, а с 4-граммовой языковой моделью — 0,105. Качество зависит от корпуса; для TEDx ошибки заметно выше, чем для некоторых других наборов. Для использования указана лицензия Apache-2.0.

203март 2022
textaudioapache-2.0hugging-face
brazley
Brazley-Nemotron-3.5-Lightning-Omni

Brazley Nemotron 3.5 Lightning Omni — неофициальная мультимодальная модель, созданная Ником Брэзли путём слияния компонентов двух опубликованных чекпойнтов NVIDIA. Текстовая часть основана на Nemotron 3.5 Lightning, а аудио- и визуальные энкодеры и проекторы взяты из Nemotron 3 Nano Omni V2. Обучение не проводилось; веса объединены на уровне модулей и представлены в формате safetensors с ModelOpt-квантизацией. NVIDIA не выпускала эту мультимодальную версию и не проверяла её. Модель принимает текст, изображения, аудио и видео, а отвечает текстом. Она предназначена для понимания документов и изображений, распознавания речи, ответов на вопросы по аудио и видео, включая описание событий во времени. Поддерживает английский язык и контекст до 262 144 токенов; общий размер составляет около 34 млрд параметров, примерно 3 млрд активны на токен. Для запуска автор указывает DGX Spark как минимальную GPU-платформу. Модель доступна для коммерческого использования на условиях лицензий исходных моделей; применяются обе лицензии, а лицензия репозитория обозначена как other.

361авг. 2026ctx262.1K
textotherhugging-face
1Developer
cali-whisper-tiny.en-drop-006-production

cali-whisper-tiny.en-drop-006-production — дообученная модель распознавания речи на базе 1Developer/cali-whisper-tiny.en-drop-005-production. Она использует архитектуру WhisperForConditionalGeneration семейства Whisper и предназначена для преобразования входящего аудио в текст; обучение проводилось на датасете audiofolder. В карточке приведены результаты оценки: Loss 0.0000, Wer Ortho 0.0 и Wer 0.0. Эти значения не сопровождаются описанием оценочного набора и методики, поэтому по ним нельзя судить о качестве на других данных. Модель ориентирована на английскую речь, как и базовая версия tiny.en. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не описывает дополнительные ограничения или сценарии использования.

70авг. 2026ctx1K
textaudioapache-2.0hugging-face
coco-research
coco-voice-models

coco-research/coco-voice-models — репозиторий-зеркало моделей распознавания речи, используемых приложением Coco Voice. Владелец репозитория указывает, что файлы побайтно скопированы из проекта Handy и не переконвертировались и не перепаковывались при переносе в это зеркало. В репозитории собраны модели разных разработчиков, включая OpenAI, MediaTek Research, Useful Sensors и NVIDIA; среди примеров — Whisper, Breeze ASR и Moonshine. Модели предназначены для преобразования речи в текст. В репозитории есть файлы GGUF-квантований Q5_K_M и Q8_0, однако конкретный формат, размер и лицензия зависят от отдельной модели и указаны рядом с её файлами. Лицензии различаются; README рекомендует сверяться с лицензией и атрибуцией каждой модели. Репозиторий предоставляется без гарантий.

2450сент. 2026
textaudiootherhugging-face
handy-computer
cohere-transcribe-03-2026-gguf

Cohere Transcribe — открытая модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Эта GGUF-версия представляет собой квантованные конвертации базовой модели CohereLabs/cohere-transcribe-03-2026 для запуска с помощью transcribe.cpp. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой дискретизации 16 кГц. Она поддерживает 14 языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский, польский, греческий, арабский, японский, китайский, вьетнамский и корейский. Архитектура основана на Conformer-энкодере и Transformer-энкодер-декодере с cross-attention и связанными эмбеддингами токенов; размер модели составляет около 2 млрд параметров, декодирование выполняется авторегрессионно. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,56 до 4,11 ГБ. На тесте LibriSpeech test-clean заявленная ошибка распознавания составляет около 1,24–1,27% в зависимости от квантования, что указывает на высокую точность для английской речи. Ограничения включают отсутствие потокового режима, встроенного перевода, автоматического определения языка и временных меток; модель предназначена именно для распознавания, а не для перевода речи. Для работы требуется transcribe.cpp, а аудио при необходимости нужно предварительно привести к формату 16 кГц, mono WAV. Модель и конвертации распространяются по лицензии Apache-2.0, унаследованной от базовой модели.

1.1M8апр. 2026
textaudioapache-2.0hugging-face
cstr
cohere-transcribe-03-2026-GGUF

cstr/cohere-transcribe-03-2026-GGUF — набор весов в формате GGUF для модели автоматического распознавания речи CohereLabs/cohere-transcribe-03-2026, разработанной Cohere. Конвертация предназначена для высокопроизводительного запуска на CPU через C++-среду CrispASR. Модель содержит около 2 млрд параметров и, согласно README, занимала первое место в Open ASR Leaderboard со средним WER 5,42 на март 2026 года. Архитектура включает 48-слойный Conformer-энкодер и 8-слойный каузальный Transformer-декодер; максимальный контекст декодера составляет 1024 токена, словарь — 16 384 SentencePiece-токена. На вход подаётся монофоническое аудио 16 кГц с 128 mel-признаками. Заявлена поддержка 14 языков: английского, французского, немецкого, испанского, итальянского, португальского, нидерландского, польского, греческого, арабского, японского, китайского, вьетнамского и корейского. Модель предназначена для транскрибации аудиозаписей и потоков речи; доступны варианты от F16 до Q4_K, позволяющие выбирать между качеством, размером и скоростью. Сильные стороны — мультиязычность, высокая заявленная точность и возможность эффективного CPU-инференса. Ограничения включают зависимость от CrispASR, необходимость корректной языковой настройки и отсутствие заявленной поддержки русского языка, несмотря на наличие соответствующего токена в токенизаторе: README предупреждает, что модель может выдавать ошибочную русскоязычную транскрипцию без явного сигнала об ошибке. Лицензия — Apache 2.0, унаследованная от исходной модели.

5.4K8март 2026
textaudioapache-2.0hugging-face
tencent
Covo-Audio-Chat

Covo-Audio-Chat — аудиоязыковая модель Tencent с 7 млрд параметров, построенная на единой плотной архитектуре CovoAudioForCausalLM. Она принимает непрерывный аудиосигнал и генерирует аудио, объединяя акустические признаки, дискретные речевые токены и текст в общей последовательности. Модель предназначена для речевого диалога, понимания речи и аудио, а также голосового взаимодействия на английском и китайском языках. В семействе Covo-Audio также описана версия Covo-Audio-Chat-FD с полнодуплексным взаимодействием и низкой задержкой; карточка этого репозитория не подтверждает, что полнодуплексность доступна именно в данной версии. Автор заявляет конкурентные результаты среди моделей сравнимого размера и использование обучения на нескольких голосах с разделением характеристик говорящего и диалогового интеллекта. Возможны неточные, неподходящие, предвзятые, устаревшие или фактически неверные ответы, поэтому важные сведения следует проверять. Модель выпущена для исследований и экспериментов; лицензия в предоставленных данных не указана.

636104март 2026ctx131.1K
texthugging-face
distil-whisper
distil-small.en

distil-whisper/distil-small.en — англоязычная модель распознавания речи, созданная командой Distil-Whisper как дистиллированная версия Whisper small.en. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели, а декодер сокращён до четырёх слоёв и обучен на псевдоразметке и дистилляции знаний. В метаданных указано 153,1 млн параметров; README приводит 166 млн. Репозиторий содержит веса PyTorch, SafeTensors и ONNX. Модель предназначена для транскрибации английской речи, в том числе на устройствах с ограниченной памятью. README сообщает об ускорении до 6 раз относительно Whisper и качестве, близком к нему на тестах вне обучающего распределения; также модель можно использовать как вспомогательную для ускоренного спекулятивного декодирования Whisper. Поддерживается библиотекой Transformers версии 4.35 и новее. Лицензия — MIT. Модель работает только с английской речью. README отмечает, что distil-small.en медленнее некоторых более крупных вариантов Distil-Whisper и уступает Whisper large-v2 по WER; для большинства сценариев авторы рекомендуют distil-medium.en или distil-large-v2.

9.3K119дек. 2023ctx1K
textaudiomithugging-face
Aspik101
distil-whisper-large-v3-pl

Aspik101 разработал польскую версию Distil-Whisper large-v3 — сжатую дистиллированную модель распознавания речи на основе Whisper large-v3. Она принимает аудио и преобразует речь в текст на польском языке; предназначена для транскрибации коротких записей и длинных аудиофайлов с обработкой по чанкам. Модель содержит около 905,2 млн параметров и распространяется в формате PyTorch; для работы поддерживается библиотекой Transformers версии 4.35 и новее. По данным карточки, Distil-Whisper в три раза быстрее и на 49% меньше исходной модели. Для обработки длинных записей README рекомендует чанки по 15 секунд; указанный в карточке прирост скорости для чанковой обработки — до девяти раз относительно последовательного алгоритма из статьи Whisper. Модель выпущена под лицензией MIT.

6619нояб. 2023
textaudiomithugging-face
BuzzASR
dutch

BuzzASR/dutch — одноязычная модель автоматического распознавания речи на нидерландском языке, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Это дообученная версия Whisper large-v3 от OpenAI: модель использует архитектуру Whisper и токенизатор исходной модели, а настройка выполнена для распознавания речи. Веса доступны в формате Safetensors; размер модели — около 905,2 млн параметров. Модель предназначена для транскрибации нидерландской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25; авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения на объединённом тесте. Модель поддерживает только нидерландский язык. Качество на других доменах и диалектах может отличаться от результатов на указанных тестовых наборах. Модель распространяется по лицензии MIT.

2010сент. 2026
textaudiomithugging-face
charsiu
en_w2v2_ctc_libris_and_cv

charsiu/en_w2v2_ctc_libris_and_cv — модель автоматического распознавания речи, опубликованная пользователем charsiu на Hugging Face. Она предназначена для преобразования английской речи в текст и может использоваться через Transformers как модель AutoModelForCTC или в pipeline automatic-speech-recognition. Модель основана на архитектуре wav2vec2, использует PyTorch и библиотеку Transformers. Название указывает на обучение на данных LibriSpeech и Common Voice, однако точные размер, конфигурация архитектуры, параметры контекста, поддерживаемые варианты английского языка, метрики качества и ограничения в карточке модели не описаны. Лицензия также не указана, поэтому условия использования по доступным данным установить нельзя.

6691март 2022
textaudiohugging-face
Tejveer12
Indian-Accent-English-Whisper-Finetuned

Tejveer12 разработал эту модель как дообученную версию openai/whisper-large-v3-turbo для распознавания английской речи с индийским акцентом. Это модель WhisperForConditionalGeneration на 905,2 млн параметров, предназначенная для преобразования аудио в текст; основное применение — транскрибация записей и речи на английском языке с индийским акцентом. Модель работает с аудио на входе и выдаёт текст. В README приведены результаты оценки: loss 0,2065 и WER 7,5056; описание методики оценки и единиц измерения WER не приведено. Модель распространяется по лицензии MIT.

884март 2025
textaudiomithugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей