/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
2 041–2 070 из 26 923
navai-uz
whisper-base-uzbek

NavAI · whisper-base-uzbek — модель автоматического распознавания узбекской речи, разработанная NavAI на основе openai/whisper-base и дообученная на 753 часах аудио с человеческими расшифровками. Архитектура — WhisperForConditionalGeneration; в метаданных указано 51,7 млн параметров. Модель принимает аудио и выдаёт текст, преимущественно на узбекском языке латиницей. Модель предназначена для транскрибации узбекской речи. В тестировании на четырёх отложенных наборах её макро-WER составляет 15,13%, а микро-WER — 14,05%; значения измерены при жадном декодировании с общей нормализацией текста. Для лучших результатов рекомендуется явно задавать язык «uz»; длинное аудио обрабатывается окнами по 30 секунд. Слабее модель справляется с редкими иностранными именами, шумной и дальнеполевой записью, а также сильными диалектными особенностями. Она обучена для узбекского языка в латинской графике. Лицензия модели — Apache-2.0.

2150июль 2026ctx1K
textaudioapache-2.0hugging-face
bofenghuang
whisper-large-v2-cv11-german

Модель bofenghuang/whisper-large-v2-cv11-german — дообученная версия Whisper Large v2, созданная для распознавания немецкой речи. Её обучили на немецкой части набора Mozilla Common Voice 11.0; модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Модель преобразует аудио в текст, включая регистр букв и пунктуацию. Для входной речи требуется частота дискретизации 16 кГц. В карточке для Common Voice 11.0 указана оценка WER 5,76; результат получен на этом наборе и не гарантирует такую же точность на других данных. Модель распространяется по лицензии Apache-2.0.

1517дек. 2022ctx1K
textaudioapache-2.0hugging-face
gcoli
whisper-large-v3-swiss-german-mlx-fp16

Это модель автоматического распознавания речи на швейцарском немецком, созданная слиянием Whisper large-v3 от OpenAI и LoRA-адаптера Flurin17, а затем преобразованная в формат MLX. Чекпойнт FP16 на базе safetensors предназначен для Apple Silicon и совместим с mlx-whisper, mlx-audio и oMLX; он принимает аудио и выдаёт транскрипцию текстом. Модель подходит для транскрибации записей на швейцарском немецком, включая обработку через локальный сервер oMLX. В метаданных указан немецкий язык; адаптер нацелен на швейцарский немецкий. Лицензия репозитория обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов.

451июль 2026
textaudiootherhugging-face
juancopi81
whisper-medium-es

juancopi81/whisper-medium-es — модель автоматического распознавания речи, созданная Juan Carlos Piñeros дообучением OpenAI Whisper Medium на наборе Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую расшифровку; карточка указывает испанский язык. Архитектура — WhisperForConditionalGeneration, размер — 455,8 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для транскрибирования испанской речи. В README приведены результаты оценки: WER 5,4218 на оценочном наборе и WER 5,88 на Google FLEURS. Модель распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные ограничения или условия, кроме лицензии.

136дек. 2022ctx1K
textaudioapache-2.0hugging-face
medyas
FarukSTT

FarukSTT — модель распознавания речи и преобразования аудио в текст для тунисского арабского диалекта Derja. Она разработана на основе Whisper Large v3 с дообучением на 54 156 парах аудио и транскрипций реальной разговорной речи. Модель обрабатывает переключение между арабским, французским и английским языками в одной фразе; размер — 905,2 млн параметров. В тесте на валидационной выборке FARUKxAUTO/tunisian-asr-cleaned версия v2 показала WER 31,99% против более 50% у исходной Whisper Large v3. Модель предназначена для транскрибации тунисской речи из разговоров, интервью, подкастов и встреч, а также для подготовки текста Derja к последующей обработке. Она ориентирована на диалект, а не на литературный арабский; заявленная точность подходит для транскрибации с проверкой человеком, а в сильном шуме качество может снижаться. В карточке указана лицензия MIT.

791май 2026
textaudiohugging-face
FunAudioLLM
Fun-ASR-Nano-2512

Fun-ASR-Nano-2512 — компактная модель распознавания речи от Tongyi Lab, входящая в экосистему FunASR. По карточке модели, она содержит 800 млн параметров и обучена на десятках миллионов часов реальной речи. Модель предназначена для преобразования речи в текст, включая потоковую транскрипцию с низкой задержкой. Она распознаёт китайский, английский и японский языки; для китайского заявлена поддержка семи диалектов и 26 региональных акцентов. Также карточка описывает распознавание пения и рэпа, работу с фоновой музыкой, дальним звуком и шумными условиями, а метаданные указывают многоязычную поддержку. Репозиторий использует FunASR и формат PyTorch. Лицензия — Apache 2.0. В карточке упомянута точность до 93% для дальнего звука и шумной среды, но методика и условия этого показателя в доступном тексте не раскрыты. Возврат временных меток и диаризация говорящих перечислены как TODO, поэтому эти возможности не следует считать поддерживаемыми этой версией.

2.6K237дек. 2025
textaudioapache-2.0hugging-face
WhiskyAKM
Gemma-4-E4B-it-qat-NVFP4-GGUF

Это NVFP4-квантизованная сборка в формате GGUF модели Gemma 4 E4B IT от Google DeepMind, подготовленная для запуска через llama.cpp и другие совместимые движки. В основе указана QAT-версия Gemma 4 E4B IT; архитектура — Gemma4ForConditionalGeneration, с 4,3 млрд эффективных параметров (7,5 млрд с эмбеддингами) и 42 слоями. В репозитории есть варианты весов NVFP4 и BF16, а также MTP-модель для ускорения генерации. Модель принимает текст, изображения и аудио и генерирует текст. Она предназначена для диалога, анализа изображений и аудио, рассуждений, программирования и локального запуска; заявлены контекст до 128 тыс. токенов, поддержка более 140 языков и структурированного вызова инструментов. Для мультимодального ввода требуется файл mmproj.gguf. NVFP4 уменьшает требования к памяти, а QAT призван сохранить качество, однако качество конкретной квантизованной сборки может отличаться от исходных весов. Лицензия — Apache 2.0.

1.4K2июль 2026
textapache-2.0hugging-face
NbAiLab
nb-whisper-base-beta

NB-Whisper Base beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper и дообученная от openai/whisper-small. Она предназначена для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Модель относится к семейству Whisper; в метаданных указано 51,7 млн параметров. Она принимает аудио и выдаёт текст, поддерживается библиотекой Transformers и доступна в форматах PyTorch, TensorFlow, Flax, ONNX и safetensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежские речевые базы, парламентские выступления, телесубтитры и аудиокниги. Разработчики сообщают о высоком качестве для норвежской транскрибации среди ASR-моделей сопоставимого размера. Это публичная бета с лицензией CC BY 4.0. Разработчики предупреждают, что модель может галлюцинировать, пропускать фрагменты и нормализовать устную речь в грамматически правильный письменный текст; поэтому результат может не быть дословной транскрипцией.

541июль 2023ctx448
textaudiocc-by-4.0hugging-face
Ishowbackup
Nemotron-3-Nano-Omni-30B-A3B-JANGTQ-CRACK

Nemotron-3-Nano-Omni-30B-A3B-JANGTQ-CRACK — мультимодальная модель dealignai на базе NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это вариант с дообучением CRACK v2 и смешанной низкоразрядной схемой JANGTQ: 8-битными весами внимания и 2-битными маршрутизируемыми экспертами. В архитектуре сочетаются Mamba-2, внимание и MoE; базовая модель содержит 30B параметров с 3B активных, а в метаданных этой модели указано 1,9B параметров. Для запуска заявлена библиотека MLX; README рекомендует vMLX или jang-tools. Модель предназначена для диалогов, рассуждений и мультимодальной работы с текстом, изображениями и аудио, включая речь. В карточке заявлена поддержка видео при использовании отдельного мультимодального дополнения. Контекст составляет 262 144 токена. README приводит результаты 81,5% на MMLU-200 и 91,6% на HarmBench-320, а также сообщает об удалении обучения отказам: модель может выдавать вредные ответы и требует собственного защитного слоя перед применением. Лицензия указана как other; конкретные условия следует проверять в репозитории.

620авг. 2026ctx262.1K
textotherhugging-face
mukowaty
punctuate-16

Модель mukowaty/punctuate-16 восстанавливает пунктуацию в тексте, выполняя поклассовую разметку токенов. Она основана на XLM-RoBERTa и работе Oliver Guhr; в модели около 305,2 млн параметров, а максимальный контекст составляет 514 токенов. В метаданных указана поддержка болгарского, английского, немецкого, французского, испанского, итальянского, польского, нидерландского, чешского, португальского, словенского, греческого, шведского, венгерского, румынского, словацкого и датского языков. Модель подходит для автоматического восстановления знаков препинания в текстах, где пунктуация была удалена или утрачена, например при подготовке распознанной речи к чтению. Она выпущена в формате PyTorch. Сведения о лицензии в доступных источниках отсутствуют.

7610апр. 2024ctx514
texthugging-face
kredor
punctuate-all

kredor/punctuate-all — модель классификации токенов на базе дообученной XLM-RoBERTa-base. Она восстанавливает пунктуацию в тексте, предсказывая для токенов знаки препинания, включая точку, запятую, вопросительный знак, дефис и двоеточие. Модель рассчитана на английский, немецкий, французский, испанский, болгарский, итальянский, польский, нидерландский, чешский, португальский, словацкий и словенский языки. В отчёте указаны общая точность 0,98 и F1 0,95 для точки, 0,86 для запятой и 0,86 для вопросительного знака; качество распознавания дефиса и двоеточия ниже. Модель содержит около 305,2 млн параметров, использует контекст до 514 токенов и распространяется по лицензии MIT.

620K31апр. 2022ctx514
textmithugging-face
88plug
Qwen2.5-Omni-7B-W4A16

88plug/Qwen2.5-Omni-7B-W4A16 — это INT4-квантованная версия базовой модели Qwen/Qwen2.5-Omni-7B, подготовленная 88plug методом посттренировочной квантализации. Модель предназначена для генерации текста и диалоговых сценариев с мультимодальным вводом: поддерживает обработку текста, изображений и аудио, а исходная архитектура также включает генерацию речи в реальном времени. Модель имеет архитектуру Thinker с языковой моделью, аудиобашней, визуальным модулем и компонентами синтеза речи Talker и Token2Wav. Квантованы линейные слои 28 трансформерных блоков языкового ядра в формате W4A16 с INT4-весами, BF16-активациями и размером группы 128. Аудио-, визуальные и речевые компоненты, эмбеддинги, LM head и нормализации сохранены в BF16. Размер весов составляет около 3,5 ГБ; заявлена работа на одной видеокарте с 8 ГБ памяти, например RTX 3080 с 10 ГБ. В конфигурациях запуска указан контекст до 32768 токенов, а заявленным языком является English. Главное преимущество модели — существенное снижение требований к памяти при сохранении мультимодальных возможностей базовой 7B-модели. Она подходит для локального развертывания через vLLM, включая обработку аудио и изображений; для полноценного вывода речи рекомендуется vLLM-Omni. Основные ограничения связаны с поддержкой окружений: TGI не поддерживает используемый формат compressed-tensors, обычный vLLM возвращает только текст, SGLang не поддерживает этот формат нативно, а интеграция с Hugging Face Inference Widget может работать нестабильно. Модель распространяется по лицензии Apache-2.0.

5600май 2026ctx32.8K
textapache-2.0hugging-face
kangkys
Qwen3-0.6B-JSON-SFT-GRPO

Модель kangkys/Qwen3-0.6B-JSON-SFT-GRPO — дообученная на базе NotoriousH2/Qwen3-0.6B-JSON-SFT компактная языковая модель семейства Qwen3 с архитектурой Qwen3ForCausalLM и примерно 507,9 млн параметров. Она предназначена для генерации текста в диалоговом режиме; базовая модель специализируется на извлечении метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в формате JSON. Модель принимает текст и генерирует текст; в метаданных также отмечен интерфейс вызова инструментов. Контекст составляет до 40 960 токенов. Для дообучения использовались Unsloth и библиотека Hugging Face TRL. Модель разработал kangkys, лицензия — Apache-2.0.

160сент. 2026ctx41K
textapache-2.0hugging-face
nvidia
stt_en_citrinet_256_ls

NVIDIA Citrinet CTC 256 Librispeech — компактная модель распознавания английской речи, разработанная NVIDIA и распространяемая для NeMo. Это extra-small вариант архитектуры Citrinet-CTC примерно с 10 млн параметров; модель использует CTC-декодирование и обучена на 960 часах английской речи из LibriSpeech. Она принимает монофоническое аудио WAV с частотой дискретизации 16 кГц и возвращает транскрипцию в виде строки: строчными буквами английского алфавита, с пробелами и апострофами. Модель подходит для транскрибирования отдельных записей и пакетов аудиофайлов, а также как предварительно обученный чекпойнт для дальнейшего дообучения. Для развёртывания в производственных системах README указывает совместимость с NVIDIA Riva. В приведённых результатах WER составляет 3,8% на LibriSpeech test-clean и 9,8% на test-other при жадном декодировании. Качество может снижаться на технической лексике, разговорных вариантах речи и речи с акцентом, недостаточно представленных в обучающих данных. Модель выпущена под лицензией CC BY 4.0.

5923июль 2022
textaudiocc-by-4.0hugging-face
Yehor
w2v-bert-uk-v2.1

Yehor/w2v-bert-uk-v2.1 — модель автоматического распознавания украинской речи, разработанная на основе facebook/w2v-bert-2.0 и дообученная на датасете Yehor/openstt-uk. Она принимает аудио и преобразует речь в текст; опубликована в формате safetensors и рассчитана на использование через библиотеку Transformers. Размер модели — 402,7 млн параметров. В карточке приведены метрики на тестовом наборе: WER 17,34% и CER 3,33%. Модель распространяется по лицензии Apache-2.0.

7173авг. 2024
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-large-xlsr-53-greek

Модель jonatasgrosman/wav2vec2-large-xlsr-53-greek — система автоматического распознавания греческой речи, созданная дообучением facebook/wav2vec2-large-xlsr-53. Она принимает аудио и преобразует речь в текст; для входной записи требуется частота дискретизации 16 кГц. Модель основана на архитектуре wav2vec2, использует CTC-выход и содержит около 402,7 млн параметров. Для дообучения использовались обучающая и валидационная части Common Voice 6.1 и CSS10. В оценке на греческой тестовой выборке Common Voice указаны WER 11,62% и CER 3,36%; результаты могут отличаться при других настройках оценки. Модель распространяется по лицензии Apache-2.0.

1.8M10март 2022
textaudioapache-2.0hugging-face
GetmanY1
wav2vec2-xlarge-fi-150k-finetuned

GetmanY1/wav2vec2-xlarge-fi-150k-finetuned — модель автоматического распознавания финской речи, разработанная Ярославом Гетманом и Тамашем Гросом. Это дообученная на распознавании версия GetmanY1/wav2vec2-xlarge-fi-150k, основанная на архитектуре Wav2Vec2 и классе Wav2Vec2ForCTC; число параметров по метаданным — 1,3 млрд. Модель преобразует финскую речь в текст. Для её обучения использовали 4600 часов аудио с частотой дискретизации 16 кГц: разговорную речь из Lahjoita puhetta и записи заседаний финского парламента. На вход следует подавать аудио с частотой дискретизации 16 кГц. Модель предназначена для транскрибации финской речи, включая разговорную речь и парламентские выступления. Выпускается по лицензии Apache-2.0.

1571сент. 2024
textaudioapache-2.0hugging-face
facebook
wav2vec2-xls-r-2b-21-to-en

Модель Facebook Wav2Vec2-XLS-R-2b-21-EN переводит речь с 21 языка на английский. Это модель SpeechEncoderDecoderModel: энкодер инициализирован чекпойнтом facebook/wav2vec2-xls-r-2b, декодер — facebook/mbart-large-50; связка дообучена на парах перевода из набора CoVoST 2. Модель принимает аудио и генерирует текстовый перевод на английском языке. Она предназначена для перевода устной речи, например аудиозаписей и голосовых сообщений. Поддерживаются французский, немецкий, испанский, каталанский, итальянский, русский, китайский, португальский, персидский, эстонский, монгольский, нидерландский, турецкий, арабский, шведский, латышский, словенский, тамильский, японский, индонезийский и валлийский языки как исходные; целевой язык — английский. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README указывает на результаты оценки на CoVoST 2 и описывает модель как стандартную последовательностную модель с методом generate.

3375март 2022
textaudioapache-2.0hugging-face
facebook
wav2vec2-xls-r-300m-21-to-en

Wav2Vec2-XLS-R-300M-21-EN — модель Facebook для перевода речи с 21 языка на английский. Это модель типа SpeechEncoderDecoderModel: кодировщик основан на facebook/wav2vec2-xls-r-300m, декодер — на facebook/mbart-large-50; модель дообучена на парах перевода из набора CoVoST 2. Она принимает аудио на французском, немецком, испанском, каталанском, итальянском, русском, китайском, португальском, персидском, эстонском, монгольском, нидерландском, турецком, арабском, шведском, латышском, словенском, тамильском, японском, индонезийском и валлийском языках и генерирует перевод на английском. Модель подходит для перевода устной речи и аудиозаписей, например для создания английской версии многоязычного аудиоконтента. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. В карточке приведена ссылка на оценку качества на CoVoST 2, но конкретные численные результаты здесь не указаны.

1065март 2022
textaudioapache-2.0hugging-face
robinhad
wav2vec2-xls-r-300m-uk

robinhad/wav2vec2-xls-r-300m-uk — модель распознавания украинской речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в метаданных указан Common Voice как набор данных. Для оценки приведены WER 0,1222 и CER 0,0204. Модель предназначена для автоматической транскрипции украинской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Подробности о тренировочных данных, условиях записи и известных ограничениях в карточке не раскрыты.

1546март 2022
textaudiomithugging-face
oddadmix
whisper-medium-arabic-dialectal-v2

Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.

370июль 2026ctx1K
textaudioapache-2.0hugging-face
SungBeom
whisper-small-ko

SungBeom разработал модель распознавания речи на основе Whisper Small и дообучил её на нескольких крупных наборах данных AI Hub с корейской речью. Она преобразует аудио в текст и рассчитана на распознавание речи в разных сценариях, включая клиентские обращения, разговоры и общую корейскую речь. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch через библиотеку Transformers. Обучение на нескольких наборах данных призвано повысить устойчивость к различиям между речевыми доменами. При этом качество ASR зависит от домена, а карточка указывает, что распознавание диалектов, детской и пожилой речи может требовать дополнительной адаптации. Лицензия — Apache-2.0.

44121июнь 2023ctx1K
textaudioapache-2.0hugging-face
IonGrozea
whisper-small_ro-80mel

IonGrozea/whisper-small_ro-80mel — модель распознавания румынской речи, созданная дообучением openai/whisper-small на объединённом корпусе румынских аудиозаписей объёмом около 445 часов. Модель Whisper содержит 153,1 млн параметров и принимает аудио в виде мел-спектрограмм с 80 полосами; на выходе формирует текстовую транскрипцию. В метаданных указана поддержка румынского языка и лицензия Apache 2.0. Модель предназначена для транскрибирования румынской речи. В README сообщается о WER 0,0925 и CER 0,0293 на валидационной выборке из 25 348 примеров, оценённой с beam=5. Эти результаты относятся к описанному протоколу оценки; качество на других наборах данных и акустических условиях может отличаться.

1070июль 2026ctx1K
textaudioapache-2.0hugging-face
navai-uz
whisper-small-uzbek

NavAI Whisper Small Uzbek — это модель автоматического распознавания речи, созданная NavAI на основе дообучения openai/whisper-small. Она принимает аудио и генерирует текстовую транскрипцию на узбекском языке. По карточке модели, обучение проведено на 753 часах речи с человеческими расшифровками из открытых корпусов; размер в метаданных — 153,1 млн параметров. Модель реализована на архитектуре Whisper и распространяется в формате safetensors через библиотеку Transformers. Модель предназначена для транскрибирования узбекской речи, в том числе пакетной обработки записей. Для лучших результатов рекомендуется явно указывать язык uz; длинные записи обрабатываются окнами по 30 секунд. В тестировании на четырёх отложенных наборах whisper-small показала макро-WER 11,57% и микро-WER 10,69%; результаты зависят от набора и условий записи. Выход рассчитан на узбекский язык в латинской графике. Слабее распознаются редкие иностранные имена и речь с дальнего расстояния, шумом или выраженным диалектом. Модель унаследует возможные смещения обучающих данных. В метаданных указана лицензия Apache-2.0; карточка также приводит требования атрибуции для одного из использованных обучающих корпусов.

4600июль 2026ctx1K
textaudioapache-2.0hugging-face
MediaCatch
xls-r-300m-danish-mc-v2

MediaCatch/xls-r-300m-danish-mc-v2 — модель распознавания речи, разработанная MediaCatch и дообученная на базе MediaCatch/xls-r-300m-danish-mc на предварительно обработанном датасете. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель предназначена для автоматического преобразования датской речи в текст. На указанном в карточке наборе оценки показала WER 0,0875 и loss 0,1570. Принимает аудио и выдаёт текст; библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав и условия записи обучающих данных, ограничения по акустическим условиям или рекомендуемую область применения.

1550сент. 2025
textaudioapache-2.0hugging-face
ai4bharat
Cadence

Cadence — мультиязычная модель AI4Bharat для восстановления пунктуации в тексте, в том числе в расшифровках речи. Она основана на Gemma 3 1B: модель преобразована в двунаправленный энкодер и дообучена на больших текстовых корпусах. В Hugging Face она представлена с задачей token-classification и весами Safetensors; лицензия — MIT. Модель обрабатывает английский и 22 индийских языка, учитывая особенности разных письменностей. Она предсказывает точки, запятые, вопросительные и восклицательные знаки, кавычки, скобки и другие знаки. Один экземпляр работает с разными языками без отдельного указания языка; доступны пакетная обработка и скользящее окно для длинных текстов. Cadence подходит для восстановления пунктуации в текстах и речевых транскриптах на поддерживаемых языках. Для длинных входов поведение зависит от настройки скользящего окна: без неё текст длиннее максимальной длины обрезается. Токенизатор плохо поддерживает письмо мейтей; для манипури README рекомендует транслитерацию в бенгальское письмо. Для языков вне официального списка качество может различаться.

2.0K20май 2025
textmithugging-face
distil-whisper
distil-medium.en

Distil-Whisper distil-medium.en — англоязычная модель распознавания речи, разработанная как дистиллированный вариант Whisper medium.en. Она предназначена для транскрибирования коротких и длинных аудиозаписей и может использоваться как ускоренная замена Whisper в системах распознавания речи, а также как вспомогательная модель для спекулятивного декодирования. Модель использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели и заморожен, а декодер сокращён до двух слоёв. В README заявлено ускорение в 6 раз при размере на 49% меньше и качестве в пределах 1% WER от Whisper на тестах вне обучающего распределения. Репозиторий содержит 455,8 млн параметров; доступны форматы PyTorch, Safetensors, ONNX и Flax. Модель принимает аудио и генерирует текст, поддерживает только распознавание английской речи. Для Hugging Face Transformers требуется версия 4.35 или новее. Лицензия — MIT.

6.5K129окт. 2023ctx1K
textaudiomithugging-face
sanchit-gandhi
distil-whisper-large-v3-de-kd

Distil-Whisper large-v3 German — модель распознавания речи, созданная Sanchit Gandhi как версия с дистилляцией знаний модели openai/whisper-large-v3. Она предназначена для транскрибации немецкой речи в текст и обучена на немецкой части Common Voice 15.0. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. В ней сохранён и заморожен энкодер исходной модели, а декодер сокращён до двух слоёв. При обучении использовались дистилляция по распределению выходов модели-учителя и функция потерь по размеченным аудиоданным. В оценке на наборе Common Voice модель показала WER 6,324 после нормализации и 8,233 по орфографической метрике. Модель принимает аудио и выдаёт текст. Карточка описывает поддержку немецкого языка; результаты и назначение подтверждены для немецкой речи. Модель распространяется по лицензии MIT.

599дек. 2023
textaudiomithugging-face
WhiskyAKM
Gemma-4-E2B-it-qat-NVFP4-GGUF

Gemma 4 E2B IT QAT NVFP4 GGUF — мультимодальная разговорная модель на основе контрольной точки Gemma 4 E2B IT с QAT-оптимизацией и преобразованием весов в формат GGUF с квантованием NVFP4. Модель разработана Google DeepMind; этот вариант подготовлен WhiskyAKM для запуска через llama.cpp и другие совместимые с GGUF движки. Эффективный размер составляет 2,3 млрд параметров, или 5,1 млрд с учётом встраиваний; архитектура — Gemma4ForConditionalGeneration, 35 слоёв. Модель принимает текст, изображения и аудио и формирует текстовые ответы. Она предназначена для диалогов, анализа изображений и аудио, локального запуска и сценариев с вызовом инструментов; заявлены контекст до 128 тыс. токенов и поддержка более 140 языков. QAT и NVFP4 снижают требования к памяти, а файлы GGUF позволяют использовать модель в llama.cpp. Для обработки изображений и аудио нужен движок с мультимодальной поддержкой. Лицензия — Apache-2.0.

2.0K0июль 2026
textapache-2.0hugging-face
openbmb
MiniCPM-o-4_5

MiniCPM-o 4.5 — мультимодальная модель с 7,6 млрд параметров от OpenBMB. Она объединяет языковую модель Qwen3-8B с компонентами для зрения и речи в сквозной архитектуре MiniCPMO и предназначена для диалога с изображениями, аудио и видео, включая обработку потоков в реальном времени. Модель принимает изображения высокого разрешения, аудио и видео, а также может одновременно обрабатывать непрерывные аудио- и видеопотоки и выдавать текст и речь. Поддерживает распознавание документов, двуязычный речевой диалог на английском и китайском языках, настройку голоса, клонирование голоса по образцу и проактивные комментарии к происходящему. Контекст — до 40 960 токенов; заявлена поддержка более 30 языков. В README описаны режимы instruct и thinking, обработка изображений до 1,8 млн пикселей и видео до 10 кадров в секунду. Модель подходит для мультимодальных помощников, анализа изображений и видео, OCR и голосового взаимодействия в реальном времени. Возможности и скорость зависят от способа запуска и оборудования; README рекомендует для базового вывода PyTorch на GPU NVIDIA и предупреждает о возможной несовместимости версий Transformers. Лицензия — Apache-2.0.

618K1.5Kфевр. 2026ctx41K
textapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей