/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
31–60 из 26 923
mlx-community
Voxtral-Mini-4B-Realtime-2602-4bit

Voxtral Mini 4B Realtime — потоковая модель распознавания речи, разработанная Mistral AI и представленная в 4-битной MLX-конвертации сообществом mlx-community. Модель предназначена для преобразования аудио в текст в реальном времени и пакетной транскрипции, включая сценарии с низкой задержкой и последовательной обработкой длинных аудиозаписей. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки. Модель содержит около 4 млрд параметров: примерно 0,6 млрд приходится на причинный аудиоэнкодер, а около 3,4 млрд — на языковой декодер на базе Ministral-3B. Аудиоэнкодер использует скользящее оконное внимание и обеспечивает потоковую обработку, а оба компонента поддерживают обработку аудио неограниченной длины за счёт sliding window attention. Между энкодером и декодером применяется четырёхкратное уменьшение частоты кадров до 12,5 Гц. Рекомендуется жадное декодирование с температурой 0 и задержкой транскрипции 480 мс; меньшая задержка ускоряет вывод, но может снижать точность. К сильным сторонам относятся поддержка потоковой транскрипции, низкая задержка, многоязычность и сниженное потребление памяти благодаря int4-квантизации. Ограничениями являются возможная потеря точности по сравнению с полноточной версией и компромисс между задержкой и качеством распознавания; заявленные показатели зависят от языка, набора данных и выбранной задержки. Модель распространяется по лицензии Apache 2.0 и рассчитана на запуск через библиотеку mlx-audio.

1.4K17февр. 2026
textaudioapache-2.0hugging-face
mistralai
Voxtral-Small-24B-2507

Voxtral Small 1.0 (24B) 2507 — мультимодальная модель Mistral, дообученная на базе mistralai/Mistral-Small-24B-Base-2501 для работы с аудио и сохранения возможностей текстовой языковой модели. Она принимает аудио и текстовые инструкции и генерирует текст: распознаёт речь, переводит её, отвечает на вопросы по аудиозаписям и составляет их краткие структурированные сводки. Модель поддерживает автоматическое определение языка речи и восемь языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди. Контекст модели составляет 32 тыс. токенов; согласно карточке, она обрабатывает аудио до 30 минут при транскрибации и до 40 минут при анализе. Также заявлена экспериментальная поддержка вызова функций по голосовым инструкциям. Для запуска рекомендуются vLLM или Transformers; обработка на GPU требует около 55 ГБ видеопамяти в bf16 или fp16. Модель распространяется по лицензии Apache-2.0.

24K539окт. 2025ctx32.8Kprice$0.00 / $0.00/ 1M
textapache-2.0openrouter
openai
whisper-large

Whisper Large — мультиязычная модель распознавания речи OpenAI на базе Transformer encoder-decoder (sequence-to-sequence), опубликованная на Hugging Face в форматах PyTorch, TensorFlow и Flax. Модель содержит около 905,2 млн параметров и обучена на 680 тыс. часов размеченных аудиоданных с использованием слабого контроля. Модель предназначена для транскрибации речи на языке исходного аудио и перевода речи на другой язык; в частности, поддерживает перевод речи на английский. Она рассчитана на широкий круг аудиозаписей и может обрабатывать длинные записи с помощью разбиения на фрагменты. Базовый режим рассчитан на аудиофрагменты до 30 секунд; для более длинных записей требуется чанкинг. Whisper Large хорошо обобщает на разные наборы данных, акценты, фоновые шумы и техническую лексику без дообучения. Возможны галлюцинации — появление слов, которых нет в записи, повторения и неодинаковая точность между языками, акцентами и группами говорящих; качество часто ниже для языков с малым объёмом обучающих данных. Модель распространяется по лицензии Apache 2.0.

23K560сент. 2022ctx1K
textaudioapache-2.0hugging-face
versae
whisper-large-v3

versae/whisper-large-v3 — версия Whisper Large v3 от OpenAI, опубликованная versae в формате Hugging Face с использованием скрипта конвертации. Это предобученная модель для автоматического распознавания речи и перевода устной речи; Whisper обучалась на 680 тысячах часов размеченных данных и рассчитана на работу с разными наборами данных и предметными областями без дообучения. Модель относится к семейству Whisper, имеет около 905,2 млн параметров и принимает аудио, выдавая текст. Метаданные указывают поддержку многих языков, включая русский и английский. Модель подходит для транскрибирования аудиозаписей и перевода речи. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Это конверсия версии Whisper Large v3, а не отдельное дообучение; длина контекста в предоставленных данных не описана.

2318нояб. 2023ctx1K
textaudioapache-2.0hugging-face
deepdml
whisper-large-v3-turbo

deepdml/whisper-large-v3-turbo — многоязычная модель распознавания речи семейства Whisper, основанная на Whisper large-v3 от OpenAI. Это Transformer encoder-decoder с 905,2 млн параметров; в версии Turbo число слоёв декодера сокращено с 32 до 4, что ускоряет генерацию транскрипции с небольшим снижением качества. Модель принимает аудио и преобразует речь в текст, поддерживая распознавание на языке оригинала; семейство Whisper также умеет переводить речь, однако метаданные этой модели указывают только задачу автоматического распознавания речи. Модель подходит для транскрибирования записей, интервью, встреч и других аудиоматериалов на многих языках. Для длинных записей README описывает последовательную обработку скользящим окном и разбиение на перекрывающиеся фрагменты; стандартное окно восприятия составляет 30 секунд. По заявлению карточки, Whisper устойчив к акцентам, фоновому шуму и технической лексике, но точность неодинакова между языками, диалектами и группами говорящих. Возможны повторы и галлюцинации — текст, отсутствующий в аудио. Модель распространяется под лицензией Apache-2.0. README указывает поддержку библиотеки Transformers; файлы репозитория представлены в формате safetensors.

6717окт. 2024
textaudioapache-2.0hugging-face
openai
whisper-large-v3-turbo

Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

6.3M3.4Kокт. 2024
textaudiomithugging-face
Edge0
ARK-ASR-3B

ARK-ASR-3B — мультиязычная модель автоматического распознавания речи от Edge0. Это авторегрессионная модель на базе Transformers с архитектурой arkasr: Whisper-подобный аудиоэнкодер, MLP-адаптер и декодер Qwen. Модель содержит около 3,1 млрд параметров, принимает аудио с частотой дискретизации 16 кГц и генерирует текстовую расшифровку; указанная длина контекста — 32 768 токенов. Модель предназначена для транскрибации речи на китайском, английском, немецком, японском, французском, корейском, испанском, польском, итальянском, румынском, венгерском, чешском, нидерландском, финском, хорватском, словацком, словенском, эстонском и литовском языках. В README приведены результаты на англоязычном коротком аудио: средний WER 5,04% на наборах AMI, Earnings22, GigaSpeech, LibriSpeech, SPGISpeech и VoxPopuli; также приведены результаты CER для китайского. Для загрузки используется Transformers и пользовательский код модели. Лицензия — Apache-2.0.

2.6K109июнь 2026ctx32.8K
textapache-2.0hugging-face
nvidia
canary-1b-v2

Canary-1b-v2 — мультиязычная модель NVIDIA для распознавания речи и перевода устной речи. Это модель примерно с 1 млрд параметров на архитектуре encoder-decoder: FastConformer извлекает признаки из аудио, а Transformer Decoder генерирует текст. Модель работает с 25 европейскими языками: болгарским, хорватским, чешским, датским, нидерландским, английским, эстонским, финским, французским, немецким, греческим, венгерским, итальянским, латышским, литовским, мальтийским, польским, португальским, румынским, словацким, словенским, испанским, шведским, русским и украинским. Модель предназначена для транскрибации речи на этих языках, а также перевода речи между английским и каждым из остальных 24 языков. Она автоматически расставляет знаки препинания и заглавные буквы, поддерживает временные метки на уровне слов и сегментов, в том числе для переведённого текста, и обрабатывает длинные записи с динамическим разбиением на фрагменты. NVIDIA заявляет о высокой скорости и качестве относительно моделей сопоставимого размера; результаты зависят от языка и условий записи. Модель можно использовать для голосовых помощников, субтитров, транскрибации разговоров и голосовой аналитики. Для работы предусмотрен NVIDIA NeMo; карточка также описывает использование через Transformers. Лицензия — CC BY 4.0, допускающая коммерческое и некоммерческое использование с соблюдением её условий.

131K436авг. 2025
textaudiocc-by-4.0hugging-face
nyralabs
CrisperWhisper2.0_large

CrisperWhisper 2.0 Large — модель распознавания речи от Nyra Labs на архитектуре Whisper, содержащая 905,3 млн параметров. Она преобразует аудио в текст и позволяет выбирать между дословной расшифровкой с заполнителями пауз, повторами, обрывами слов и вокальными событиями и отредактированным вариантом, передающим намеренный смысл. Модель поддерживает английский и немецкий языки; семейство CrisperWhisper 2.0 рассчитано на работу с большинством языков, поддерживаемых Whisper. Модель предназначена для транскрибации разговорной речи, обработки длинных записей и получения временных границ отдельных слов. В README также описан режим Verbatimize: по аудио и готовой чистой расшифровке он восстанавливает присутствующие в записи речевые особенности. Указаны точность временных границ около 30 мс на подготовленной речи и 41 мс на разговорной, а также поддержка PyTorch и ускоренного инференса через CTranslate2. Стандартные модели выпускаются по некоммерческой исследовательской лицензии; коммерческое лицензирование доступно отдельно. Указанные в README результаты бенчмарков относятся к оценочным наборам разработчика и сами по себе не гарантируют такое же качество на любых записях.

42K120июль 2026ctx1K
textaudiootherhugging-face
nyralabs
CrisperWhisper2.0_small

CrisperWhisper 2.0 small — модель распознавания речи от Nyra Labs, основанная на архитектуре Whisper и содержащая 153,1 млн параметров. Она преобразует аудио в текст и поддерживает режимы verbatim, сохраняющий повторы, слова-паразиты, обрывы и вокальные события, и intended, который передаёт предполагаемый смысл в отредактированной записи. Модель также может выдавать временные границы отдельных слов и обрабатывать длинные записи с продолжением транскрипции между фрагментами. Модель предназначена для точной дословной расшифровки речи, подготовки транскриптов для анализа и создания речевых наборов данных. README описывает возможности семейства CrisperWhisper 2.0, включая мультиязычную работу, но метаданные этой версии явно указывают английский и немецкий языки. Для выбранной модели доступны веса safetensors и библиотека crisperwhisper. В README стандартные модели семейства обозначены как распространяемые по некоммерческой исследовательской лицензии с возможностью получить коммерческую лицензию; метаданные указывают лицензию other.

3.4K10июль 2026ctx1K
textaudiootherhugging-face
nvidia
diar_streaming_sortformer_4spk-v2

Streaming Sortformer Diarizer 4spk v2 — модель NVIDIA для потоковой диаризации речи, то есть определения, кто и когда говорит в аудиозаписи. Она предназначена для онлайн-обработки разговоров и может использоваться в голосовых агентах и сценариях анализа встреч. Модель доступна в NVIDIA NeMo для инференса и дообучения; архитектура сочетает 17-слойный энкодер NEST на базе Fast-Conformer, 18-слойный Transformer и кэш акустических представлений уже встречавшихся говорящих. Для каждого кадра формируются четыре сигмоидальных выхода. Репозиторий содержит вариант GGUF с квантизацией Q8_0. Модель принимает аудио и размечает речь по говорящим в потоковом режиме. Она рассчитана максимум на четырёх говорящих. Обучение проводилось преимущественно на публичных англоязычных наборах данных, включая Fisher English, LibriSpeech и AMI Meeting Corpus. Лицензия — CC BY 4.0.

32K147июнь 2025
textaudiocc-by-4.0hugging-face
BUT-FIT
Dixtral

Dixtral — модель распознавания речи, разработанная группой BUT Speech@FIT Брненского технического университета. Она сочетает речевую модель Voxtral-Mini-3B-2507 с энкодером DiCoW v3 large, учитывающим информацию о диаризации, чтобы распознавать речь целевого говорящего в многоголосых записях. Модель предназначена для транскрибации разговоров и записей совещаний с несколькими участниками. Для ответов на вопросы по аудио разработчики рекомендуют отдельную модель Dixtral_QA. Модель дообучена на NOTSOFAR-1, AMI Meeting Corpus и LibriMix/LibriSpeechMix; опубликована в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

490июнь 2026
textaudioapache-2.0hugging-face
erax-ai
EraX-WoW-Turbo-V1.1

EraX-WoW-Turbo V1.1 — модель распознавания речи команды EraX, дообученная на основе openai/whisper-large-v3-turbo. Это мультиязычная архитектура Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст. По данным карточки, обучение включало около 600 тысяч примеров и 1000 часов аудио на 11 языках: вьетнамском, английском, китайском, кантонском, индонезийском, корейском, японском, русском, немецком, французском и нидерландском. Модель рассчитана на транскрибацию в реальном времени, создание субтитров, расшифровку встреч и голосовые интерфейсы. В README заявлены скорость обработки 30 секунд аудио примерно за 350 мс и предварительный WER около 12%, однако авторы отмечают, что результаты бенчмарков ещё уточняются. Модель поддерживает входное аудио и выдаёт текст; карточка отдельно указывает возможные трудности с детской речью и тихим шёпотом. Лицензия — MIT.

6114март 2025
textaudiomithugging-face
luolixiehui
faster-whisper-large-v3

Карточка модели luolixiehui/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

150июль 2026
textaudiomithugging-face
mijuanlo
faster-whisper-large-v3

Карточка модели mijuanlo/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

121июль 2026
textaudiomithugging-face
SihJJJ
faster-whisper-medium

Карточка модели SihJJJ/faster-whisper-medium на Hugging Face совпадает с карточкой Systran/faster-whisper-medium, поэтому описание составлено по ней. Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

120июль 2026
textaudiomithugging-face
ibm-granite
granite-speech-4.1-2b-plus

Granite-Speech-4.1-2B-Plus — плотная модель IBM для распознавания речи, построенная на базе ibm-granite/granite-4.0-1b-base и дообученная на речевых корпусах с разметкой диаризации и временных меток. Она предназначена для корпоративных сценариев преобразования речи в текст на английском, французском, немецком, испанском и португальском языках. Модель поддерживает обычную транскрипцию, разметку реплик по говорящим и временные метки конца каждого слова. Режимы выбираются формулировкой запроса; также можно передавать список ключевых слов для улучшения распознавания имён и терминов, а предыдущую расшифровку — как контекст при инкрементальном декодировании. В версии Plus обычная транскрипция не включает пунктуацию и заглавные буквы. Метки времени кодируются в сотых долях секунды и циклически повторяются каждые 10 секунд, поэтому при восстановлении времени нужно учитывать счётчик циклов. Возможны ошибки распознавания, смещения или нежелательные результаты. Модель распространяется по лицензии Apache-2.0.

63K94апр. 2026
textaudioapache-2.0hugging-face
framadhita
INT8-nemotron-3.5-asr-streaming-0.6b

Карточка модели framadhita/INT8-nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

920июль 2026
textaudiootherhugging-face
Jetlink
JetlinkSTT-v1.0-7B

JetlinkSTT-v1.0-7B — многоязычная модель распознавания речи, размещённая Jetlink как управляемая организацией копия модели семейства Qwen3-ASR. Метаданные указывают на дообучение Qwen/Qwen3-ASR-1.7B; модель принимает аудио и предназначена для преобразования речи в текст и определения языка. Модель поддерживает потоковую и офлайн-обработку, длинные записи, пакетный запуск и сценарии транскрибации. В README заявлена устойчивость к шуму, сложным речевым паттернам и пению, в том числе под музыку. Указана поддержка 52 языков и диалектов исходным семейством, включая русский, английский, китайский и другие перечисленные языки. Модель подходит для транскрибации звонков и встреч, создания субтитров, голосовых помощников и аналитики речи. Практическая производительность и требования к памяти зависят от оборудования, длительности аудио, пакетного размера, конкуренции запросов и выбранного серверного ПО. Для юридических, медицинских и критически важных сценариев README рекомендует проверку человеком. Лицензия — Apache-2.0.

231май 2026ctx131.1K
textaudioapache-2.0hugging-face
kotoba-tech
kotoba-whisper-v2.2

Kotoba-Whisper-v2.2 — японская модель распознавания речи от Kotoba Technologies, разработанная совместно с Asahi Ushio. Она основана на kotoba-tech/kotoba-whisper-v2.0 и объединяет распознавание речи с конвейером постобработки, который добавляет диаризацию говорящих и пунктуацию к транскрипту. Модель построена на архитектуре Whisper, содержит около 905,2 млн параметров и принимает аудио, выдавая текстовую расшифровку. Она предназначена для транскрибирования японской речи с разделением реплик по говорящим и восстановлением пунктуации. Репозиторий использует формат safetensors; для работы через Transformers требуется версия 4.39 или новее. Лицензия — Apache-2.0. В README рекомендованы Flash Attention 2 при наличии совместимого GPU и добавление тишины в начале или конце аудио для потенциального улучшения качества. Для диаризации используются дополнительные пакеты, включая pyannote.audio. Карточка не сообщает длину контекста или подробные ограничения точности; качество диаризации и пунктуации зависит от аудио и компонентов конвейера.

14K133окт. 2024
textaudioapache-2.0hugging-face
TracNetwork
mayhem-catalog-nvidia-parakeet-tdt-0-6b-v3-Transformers

NVIDIA Parakeet TDT 0.6B v3 — многоязычная модель распознавания речи на 600 млн параметров, доступная в формате Transformers. Она использует архитектуру FastConformer-TDT и предназначена для преобразования речи в текст с автоматическим определением языка аудио. Поддерживает 25 европейских языков, включая русский и английский. Модель подходит для транскрибации разговоров и длинных записей, создания субтитров, голосовых помощников и аналитики речи. Она добавляет пунктуацию и заглавные буквы, а также может выдавать временные отметки на уровне слов и сегментов. Принимает монофоническое аудио 16 кГц; в README заявлена обработка записей до 24 минут с full attention на A100 80 ГБ или до 3 часов с local attention. Модель выпущена NVIDIA под лицензией CC BY 4.0, допускающей коммерческое и некоммерческое использование при соблюдении её условий. README отмечает оптимизацию для систем с GPU NVIDIA. Среди ограничений указаны отсутствие мер по снижению смещения и возможное влияние различий между европейским и бразильским вариантами португальского на результаты оценки.

210июль 2026
textaudiocc-by-4.0hugging-face
vanch007
mlx-MOSS-Transcribe-Diarize-8bit

Это 8-битная версия модели MOSS-Transcribe-Diarize, подготовленная для запуска через MLX. В README указано, что квантизован текстовый блок модели методом affine quantization с bits=8 и group_size=64; аудиоэнкодер Whisper и VQ-адаптер не квантизованы. По метаданным архитектура обозначена как плотная модель MossTranscribeDiarizeForConditionalGeneration, библиотека — MLX. Модель предназначена для распознавания речи и диаризации говорящих в аудиозаписях. Пример запуска из README принимает WAV-файл и сохраняет результаты в указанную папку. Метаданные также указывают поддержку генерации текста. Модель распространяется по лицензии Apache-2.0. Квантизация затрагивает только текстовый блок; README не приводит измерений качества или требований к ресурсам.

1610июль 2026ctx131.1K
textapache-2.0hugging-face
OpenASR
moss-transcribe-diarize

OpenASR/moss-transcribe-diarize — модель MOSS-Transcribe-Diarize, разработанная командой OpenMOSS-Team и адаптированная OpenASR для локального запуска. Она объединяет автоматическое распознавание речи и диаризацию говорящих в одном проходе: формирует расшифровку, определяет говорящих и указывает временные интервалы их реплик. Модель предназначена для обработки аудиозаписей встреч, интервью, разговоров и других многоголосых сценариев, где важно понимать, кто и когда говорил. Модель содержит около 0,9 млрд параметров. Её архитектура сочетает аудиоэнкодер масштаба Whisper Medium, адаптер на базе MLP и LayerNorm и декодер масштаба Qwen3-0.6B. Основной фокус — китайский и английский языки; также заявлена поддержка ещё более 15 языков. Контекстное окно в README не указано. Для OpenASR доступны варианты fp16, q8_0 и q4_k в формате .oasr, позволяющие выбирать между качеством, размером и требованиями к памяти. Заявлены показатели 2,52% CER для китайского и 2,23% WER для английского на фиксированных оценочных наборах OpenASR. К сильным сторонам относятся совместная транскрипция и диаризация без отдельного конвейера, локальная работа на CPU и GPU без Python во время инференса и несколько уровней квантования. Ограничения включают отсутствие подробных данных о качестве на других языках и неуказанный контекст; приведённые метрики не следует автоматически распространять на любые аудиозаписи. Распространение выполняется по лицензии Apache-2.0, унаследованной от исходной модели; OpenASR выполняет конвертацию формата, квантование и адаптацию для локального инференса.

6.0K1июль 2026
textaudioapache-2.0hugging-face
nvidia
multitalker-parakeet-streaming-0.6b-v1

Multitalker Parakeet Streaming 0.6B v1 — потоковая модель NVIDIA для распознавания речи отдельных участников в многоголосой аудиозаписи. Она основана на Nemotron-Speech-Streaming и архитектуре Parakeet с энкодером Fast-Conformer, входящим в NeMo Encoder for Speech Tasks (NEST). Механизм speaker kernel injection использует сведения об активности речи каждого участника, поступающие от системы диаризации, чтобы направлять распознавание на конкретного говорящего; предварительная запись голоса или speaker embeddings не требуются. Для каждого участника запускается отдельный экземпляр модели, все экземпляры получают один и тот же монофонический аудиопоток с частотой 16 кГц и независимо формируют транскрипцию своего говорящего, в том числе при сильном перекрытии речи. Модель поддерживает потоковую обработку с настраиваемым компромиссом между задержкой и точностью; результат сохраняется в формате SegLST. Для работы требуются NVIDIA NeMo и сведения о речевой активности участников от системы диаризации. Модель доступна как предобученный чекпойнт для инференса и дообучения. Лицензия в метаданных указана как other; конкретные условия следует сверять с карточкой модели NVIDIA.

1.2K138окт. 2025
textaudiootherhugging-face
BasedBoba2
nemotron-3.5-asr-streaming-0.6b

Карточка модели BasedBoba2/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

380июль 2026
textaudiootherhugging-face
FILM6912
nemotron-3.5-asr-streaming-0.6b

Карточка модели FILM6912/nemotron-3.5-asr-streaming-0.6b на Hugging Face совпадает с карточкой Aliados/nemotron-3.5-asr-streaming-0.6b, поэтому описание составлено по ней. Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

490июль 2026
textaudiootherhugging-face
Arsh9210
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

Карточка модели Arsh9210/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой lactroiii/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

250июль 2026ctx262.1K
textotherhugging-face
lactroiii
Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16

NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

260авг. 2026ctx262.1K
textotherhugging-face
mlx-community
parakeet-tdt-0.6b-v2

Это конвертированная в формат MLX версия модели распознавания речи NVIDIA Parakeet-TDT 0.6B v2, подготовленная сообществом mlx-community на основе nvidia/parakeet-tdt-0.6b-v2. Модель предназначена для преобразования аудиозаписей в текст; для запуска предлагаются библиотеки parakeet-mlx и mlx-audio. В основе — архитектура FastConformer/Conformer и метод TDT; исходная модель содержит около 0,6 млрд параметров. По описанию базовой модели, она транскрибирует английскую речь, расставляя пунктуацию и заглавные буквы, а также выдаёт временные метки слов. Репозиторий использует safetensors и библиотеку MLX. Лицензия — CC BY 4.0.

721K47май 2025
textaudiocc-by-4.0hugging-face
Soul-AILab
SoulX-Transcriber

SoulX-Transcriber — аудиоязыковая модель, разработанная Soul AI Lab совместно с группой ASLP Северо-Западного политехнического университета. Она выполняет распознавание речи и диаризацию в многосторонних диалогах в единой сквозной системе: определяет говорящих, сегментирует аудио с временными отметками и формирует согласованную с говорящими расшифровку, в том числе при быстрых сменах реплик и наложении речи. Модель построена на архитектуре Qwen3-Omni-30B-A3B-Instruct и предназначена для расшифровки разговоров с несколькими участниками. В README описано обучение с учетом характеристик говорящих и приведены результаты на наборах AISHELL-4 и AliMeeting. Репозиторий содержит веса safetensors; модель распространяется по лицензии Apache-2.0. Модель подходит для анализа встреч, интервью и других диалоговых записей, где важно связать реплики с участниками и временными интервалами. README не приводит конкретные ограничения качества или сведения о поддерживаемых языках самой модели; описанные в нем китайские и английские данные относятся к конвейеру симуляции диалогов.

7831май 2026
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей