I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиЭто дообученная модель OpenAI Whisper Medium, опубликованная dianavdavidson на Hugging Face. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; название репозитория указывает на настройку для хинди. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров. В README приведены результаты оценки: loss 0,2884 и Global WER 26,1916; описание набора данных и условий оценки отсутствует. Модель распространяется в формате safetensors и использует лицензию Apache-2.0. Мультиязычная базовая модель Whisper Medium также поддерживает перевод речи, однако для этой версии в карточке подтверждено только распознавание речи. Значение WER зависит от языка и набора оценки, поэтому приведённый результат не гарантирует качество на других данных.
qanastek/whisper-small-french-uncased — дообученная модель распознавания речи на базе openai/whisper-small, созданная для транскрибирования французской речи. Она использует архитектуру Whisper с 153,1 млн параметров и обучена на французской части набора Mozilla Common Voice 11.0. Модель принимает аудио и выдаёт текст; в README приведены результаты оценки на французских наборах Common Voice 11.0, VoxPopuli и FLEURS: WER 15,38%, 16,29% и 13,98% соответственно, с нормализацией. Модель подходит для транскрибирования французских аудиозаписей и речевых данных. Доступна в формате PyTorch по лицензии Apache-2.0. Оценки WER относятся к указанным наборам и условиям нормализации; README не описывает дополнительные сценарии или ограничения.
primeline/whisper-tiny-german — компактная модель распознавания немецкой речи, разработанная Florian Zimmermeister на основе Whisper-tiny. Она предназначена для преобразования аудио на немецком языке в текст, в том числе для сценариев с ограниченными ресурсами и развёртывания на периферийных устройствах. Архитектура — WhisperForConditionalGeneration; в метаданных указано 29,4 млн параметров, а README указывает 37,8 млн и размер 73 МБ в формате bfloat16. Репозиторий содержит веса в форматах ONNX и safetensors. Для обучения использовались отфильтрованные данные Common Voice, multilingual LibriSpeech и внутренние данные; текст нормализовали по регистру и пунктуации. Модель выпущена под лицензией Apache-2.0. Разработчик не рекомендует применять её в критически важных сценариях: компактный размер может сопровождаться снижением качества распознавания в отдельных условиях.
NaufalAqil18/whisper-tiny-indov2 — дообученная NaufalAqil18 модель распознавания речи на базе OpenAI Whisper Tiny. Она преобразует аудио в текст; размер модели составляет 29,4 млн параметров, архитектура — WhisperForConditionalGeneration. Модель обучена на датасете generator и предназначена для транскрибации аудиозаписей. В README приведены результаты оценки: loss 0,3805, WER 30,6093 и CER 14,6600. Лицензия — Apache-2.0. Карточка не уточняет языки аудио и условия тестирования, поэтому результаты сами по себе не позволяют судить о качестве распознавания в конкретном сценарии.
Hanhpt23/whisper-tiny-slisa — модель распознавания речи на базе Whisper, дообученная разработчиком на датасете Hanhpt23/SLISA. Она предназначена для преобразования аудиозаписей в текст. В карточке приведён результат оценки на тестовом наборе: loss 0,0002 и WER 0,0; описание набора и методики оценки не раскрыто, поэтому эти значения сами по себе не позволяют судить о качестве на других данных. Модель содержит 29,4 млн параметров и распространяется в формате safetensors. В метаданных указан английский язык и лицензия Apache-2.0. Сведений о поддерживаемых языках помимо английского, длине контекста и дополнительных ограничениях применения нет.
Plim/xls-r-300m-cv_8-fr — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на французской части набора Mozilla Common Voice 8.0. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 402,7 млн параметров. Модель принимает аудио и преобразует французскую речь в текст. Её можно применять для транскрибации записей и оценки качества распознавания на тестовых наборах французской речи. Репозиторий содержит веса PyTorch; лицензия — Apache-2.0. Модель специализирована на французском языке и данных Common Voice 8.0. README не приводит результатов оценки, поэтому качество на других источниках аудио и в реальных условиях по имеющимся данным оценить нельзя.
patrickvonplaten/xls-r-300m-sv-cv8 — модель распознавания речи на базе wav2vec 2.0 XLS-R, дообученная на шведской части набора Mozilla Common Voice 8.0 (sv-SE). Она принимает аудио и преобразует речь в текст; архитектура использует CTC. На оценочной выборке карточка сообщает WER 0,2525 и loss 0,2779. Модель рассчитана на автоматическую транскрипцию шведской речи. Распространяется по лицензии Apache-2.0.
Amnis Light cleanup — English v1 — это компактная модель Amnis для приведения английских диктовок в читаемый вид. Она принимает текстовую расшифровку, созданную распознавателем речи, и возвращает очищенный текст: убирает типичные слова-паразиты, добавляет пунктуацию и заглавные буквы, сглаживает устные формулировки, стараясь сохранить смысл. Модель основана на Qwen3-0.6B и дообучена методом полного параметрического supervised fine-tuning на 2 700 парах; репозиторий содержит квантованные GGUF-веса для запуска через совместимый llama.cpp runtime. Модель предназначена для постобработки английских диктовок после ASR, в том числе в локальных сценариях на устройстве. Она принимает только текст, не аудио; это не переводчик, не инструмент для написания писем и не универсальный чат-бот. В README приведены замеры на одном компьютере Apple M4 Pro и небольшие внутренние оценки, которые не являются стандартизированным бенчмарком или гарантией точности. Модель может пропускать детали или менять смысл, например терять обязательства говорящего либо сохранять исправленную формулировку вместе с первоначальной. Рекомендуется сохранять исходную расшифровку и проверять важные факты, имена, отрицания и просьбы; длинный ввод нужно направлять в альтернативную систему, если он не помещается в контекст. Лицензия указана в метаданных как other, конкретные условия в предоставленных данных не раскрыты.
ASR-cv-corpus-ug-22-2 — модель распознавания речи на основе архитектуры wav2vec2-bert, дообученная автором piyazon на базе piyazon/ASR-cv-corpus-ug-16. Она предназначена для преобразования аудиозаписей в текст; в README указаны результаты оценки: loss 0,0371 и WER 0,0283. Данные обучения и подробности о сценариях применения не приведены. Модель распространяется в формате safetensors через библиотеку Transformers; сведения о лицензии в доступных данных отсутствуют.
Карточка модели nguyenvulebinh/AV-HuBERT-MuAViC-multilingual на Hugging Face совпадает с карточкой nguyenvulebinh/AV-HuBERT-MuAViC-en, поэтому описание составлено по ней. nguyenvulebinh/AV-HuBERT-MuAViC-en — реализация AV-HuBERT, разработанная на основе модели Audio-Visual Hidden Unit BERT и обученная на корпусе MuAViC. Это плотная модель с 403,7 млн параметров для распознавания речи по аудио и видео; сочетание модальностей предназначено для повышения устойчивости распознавания, особенно в шумных условиях. Репозиторий также содержит сценарии инференса и предварительной обработки аудио и видеокадров. Модель предназначена для аудиовизуального распознавания речи на английском языке. Весы опубликованы в формате safetensors и используются через Transformers. README указывает, что модель дообучена на MuAViC; отдельная лицензия в предоставленных данных не указана.
uygarkurt/bert-restore-punctuation-turkish — модель на архитектуре BERT для восстановления пунктуации в турецком тексте. Она классифицирует токены и предсказывает, где поставить точку, запятую или вопросительный знак. В README приведены результаты эксперимента на наборах для обучения, валидации и тестирования; для BERT указана общая F1-мера 0,837, причём качество заметно различается между знаками препинания. Модель содержит 137,8 млн параметров, работает с текстом и имеет контекстное окно до 512 токенов. Она предназначена для автоматической расстановки пунктуации в турецкой речи, например после распознавания аудио или при обработке текста без знаков препинания. Доступны веса PyTorch; лицензия — MIT. README описывает исследовательскую работу, однако модель представлена как готовый предобученный чекпойнт для инференса.
Claire-7B-0.1 — авторегрессионная причинная языковая модель с архитектурой Falcon, созданная LINAGORA при поддержке OpenLLM-France и дообученная на французских диалогах. Метаданные указывают 10,9 млрд параметров; в README модель описана как 7B. Она предназначена для продолжения диалогов и как основа для дальнейшей настройки под генерацию и понимание диалогов. Модель обучалась на размеченных по говорящим французских разговорах, включая парламентские выступления, интервью и театральные тексты. Её можно использовать для генерации реплик и диалогов с обозначением говорящих, а после дополнительного дообучения — для задач вроде суммаризации встреч. В результате обучения модель может воспроизводить особенности устной речи, включая запинки, и выдавать юмористические ответы. Для работы доступны веса PyTorch и Safetensors. Лицензия CC BY-NC-SA 4.0 требует соблюдения условий атрибуции, распространения на тех же условиях и некоммерческого использования. Модель оптимизирована под французские диалоги; её качество для иных языков и задач не установлено в предоставленных материалах.
DOCTOR — диалоговая модель рассуждений, разработанная LangAGI-Lab. По истории диалога она генерирует знания здравого смысла в виде цепочки рассуждений и использует для этого многошаговый подход. Модель основана на архитектуре OPT и содержит 1,7 млрд параметров; она предназначена для генерации текста с контекстом до 2048 токенов. Модель обучена на наборе данных DLI-Lab/DONUT. Её можно применять для извлечения неявных смысловых связей из диалога и построения многошаговых объяснений, помогающих анализировать контекст беседы. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — Apache-2.0.
OpenAI GPT Audio Mini — экономичная версия GPT Audio. В описании упоминается обновлённый декодер, предназначенный для более естественного звучания голосов и лучшей устойчивости голоса. Карточка также указывает цену входа — 0,60 доллара за миллион единиц, но не уточняет тип этих единиц. Метаданные каталога классифицируют модель как распознавание речи. README не описывает формат входа и выхода, языки, размер, контекст или лицензию; поэтому назначение модели можно указать только в пределах этой классификации и краткого описания.
Это дообученная модель Whisper, разработанная на основе parthiv11/indic_whisper_hi_multi_gpu; в карточке автор не указан. Модель предназначена для автоматического распознавания речи и транскрибирования аудио. Она содержит 455,8 млн параметров и использует архитектуру WhisperForConditionalGeneration; для работы применяется библиотека Transformers. На оценочном наборе указаны Loss 0,5923 и Global WER 45,2226. Датасет обучения и подробные сценарии использования в карточке не раскрыты. Модель распространяется по лицензии MIT.
Модель reazon-research/japanese-hubert-base-k2-rs35kh-bpe разработана Reazon Research: это HuBERT Base, дообученная с помощью фреймворка k2 на крупном японском корпусе распознавания речи ReazonSpeech v2.0. Модель содержит 115,6 млн параметров и предназначена для преобразования японской речи в текст; для работы доступна через библиотеку Transformers. В тестах авторов модель показала CER 11,07% в среднем на трёх наборах данных: JSUT-BASIC5000, Common Voice и TEDxJP-10K. Для длинной речи на JSUT-BOOK CER составил 84,55%, что указывает на существенное ограничение в таком сценарии. Модель принимает аудио и выдаёт текст. Распространяется по лицензии Apache-2.0.
DavidAU/L3.1-RP-Hero-BigTalker-8B — разговорная языковая модель семейства Llama 3.1, опубликованная DavidAU. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров с контекстом до 131 072 токенов; репозиторий содержит веса SafeTensors в полной точности, пригодные для прямого использования и конвертации в другие форматы. Модель предназначена для генерации текста в диалогах, ролевых сценариях и других разговорных задачах. Для работы автор рекомендует подбирать параметры генерации и семплеры согласно руководству, поскольку настройки влияют на качество ответов. В README также упоминаются версии в форматах GGUF и EXL2, а также квантизации GPTQ, AWQ и других типов, но сам репозиторий содержит SafeTensors. Лицензия в предоставленных данных не указана.
Menlo/mini-Ichigo-llama3.2-3B-s-instruct — модель семейства Ichigo-llama3s, разработанная Homebrew Research. Это плотная авторегрессионная модель на архитектуре Llama 3 с 3,2 млрд параметров, дообученная для понимания аудио и текста. Она принимает текст и звук и генерирует текст; для обработки аудио используется токенизатор WhisperVQ. Модель предназначена для экспериментов с пониманием речи и выполнения инструкций, связанных с аудио. В метаданных указан контекст длиной до 131 072 токенов и поддержка английского языка. Лицензия — Apache-2.0. Качество следует проверять на целевых сценариях: приведённые в карточке оценки относятся к другим версиям семейства.
Модель tristayqc/my_zh_CN_asr_cv13_model — дообученная версия Wav2Vec2-large-XLSR-53 для распознавания речи на китайском языке с преобразованием аудиозаписей в текст. Её разработали на основе jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn и дообучили на Common Voice 13.0. Архитектура — Wav2Vec2ForCTC, размер — 406,2 млн параметров; модель принимает аудио и выдаёт текст. Модель подходит для автоматической расшифровки китайской речи, в том числе записей, похожих на данные Common Voice. В README указаны результаты на тестовой выборке: CER 0,0674 и WER 0,375. Модель распространяется по лицензии Apache-2.0.
Parakeet CTC 0.6B GGUF — это квантизированные GGUF-версии модели автоматического распознавания речи parakeet-ctc-0.6b, разработанной совместно командами NVIDIA NeMo и Suno.ai и подготовленной для работы с transcribe.cpp. Модель предназначена для офлайн-транскрибации английской речи в текст на 16 кГц моноаудио с использованием жадного CTC-декодирования без внешней языковой модели. В основе модели лежит FastConformer-Large примерно на 600 млн параметров с линейной CTC-головой. Поддерживается только английский язык; результат выводится строчными буквами без пунктуации. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка, но может возвращать токеновые временные метки. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 469 МБ до 2,44 ГБ. На наборе LibriSpeech test-clean показатель WER составляет 1,84–1,90% в зависимости от квантизации. Сильные стороны модели — высокая точность распознавания английской речи, простой и быстрый CTC-декодер, а также возможность локального запуска через transcribe.cpp на CPU, Metal или Vulkan. Ограничения включают работу только с английским языком, отсутствие пунктуации, перевода и потокового режима. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели NVIDIA.
Это экспериментальный контрольный чекпойнт BART-base от Immich для суммаризации совещаний. Модель обучена на подходящей части AMI Meeting Corpus с seed 73; её можно загружать через Transformers как модель последовательность-в-последовательность. Вариант baseline предназначен для обработки полного собрания либо для сравнения с иерархическим конвейером сегментации, извлечения и генерации. Модель имеет архитектуру BART и около 95,2 млн параметров. Максимальный контекст составляет 1024 токена. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Карточка не сообщает о поддержке русского языка; обучающие данные относятся к AMI Meeting Corpus, поэтому модель ориентирована на совещания на английском языке.
Nampfiev1995/qwen3.8-27b-nemotron-vi-en-mixed-asr-system-no-system-qa-latest — экспериментальный аудио-языковой чекпойнт для распознавания речи и ответов на вопросы по аудио на вьетнамском и английском языках. Он дообучен на базе unsloth/Qwen3.8-27B с использованием Nemotron encoder: энкодер заморожен, а проектор латентных представлений размерности 1024 в 5120 обучен. Модель сочетает данные транскрипции речи и записи QA с системными инструкциями и без них. Чекпойнт рассчитан на аудио длительностью от 0,2 до 20 секунд; частота признаков Nemotron составляет 12,5 Гц. Для транскрипции использовались предел в 1024 текстовых токена и для QA — 768 токенов. Проверка распознавания проводилась по WER/CER на LSVSC, PW733 и GigaSpeech. README указывает, что это последняя сохранённая обученная версия, преобразованная в развёртываемый чекпойнт; сведения о лицензии отсутствуют в предоставленных данных.
oddadmix/qwen3-asr-0.6b-arabic-dialectal-v2 — дообученная oddadmix модель распознавания речи на основе Qwen/Qwen3-ASR-0.6B-hf. Она предназначена для транскрибации речи на разных диалектах арабского языка; модель принимает аудио и выдаёт текст без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small. Архитектура — плотная Qwen3-ASR с 0,6 млрд параметров; доступны веса safetensors для Transformers. В README приведён WER 0,5514 и CER 0,2148 на тестовой выборке примерно из 2 600 клипов с нормализованным текстом. В сравнении на этой выборке результат уступает указанным вариантам Whisper. Качество заметно зависит от диалекта: в README отмечено, что магрибские варианты арабского распознаются сложнее, чем диалекты стран Персидского залива и Леванта. Лицензия — Apache-2.0.
Gearnode/Qwen3-ASR Uzbek (v2) — дообученная Gearnode версия Qwen/Qwen3-ASR-1.7B для распознавания узбекской речи и преобразования аудио в текст. Модель построена на плотной архитектуре Qwen3ASRForConditionalGeneration и распространяется в формате Safetensors; она принимает аудио и выдаёт текстовую транскрипцию. Модель обучали пять эпох на примерно 160 тысячах примеров из Google FLEURS, Uzbek Speech Corpus и узбекских видео с YouTube по темам IT, новости и подкасты. В README модель названа лучшей среди сравниваемых вариантов для узбекской речи; для уменьшения повторов применяется постобработка. Модель предназначена прежде всего для транскрибации узбекской речи, в том числе записей новостей, подкастов и материалов по IT. Лицензия — Apache-2.0.
artop79/rubaistt-uz-ft — дообученная модель на архитектуре Whisper Medium для автоматического распознавания речи. Она принимает аудио и преобразует узбекскую речь в текст; базовая модель ориентирована на транскрибирование узбекского языка с особым вниманием к ташкентскому диалекту. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для Transformers. Модель подходит для транскрибирования записей и аудиопотоков на узбекском языке. В README приведены результаты на наборе оценки: loss 0,0290 и WER 1,4771; описание датасета и условий оценки отсутствует, поэтому эти показатели трудно интерпретировать. Лицензия — Apache-2.0.
Spoofdetection — модель распознавания речи на базе wav2vec2, дообученная автором репозитория 202015004 на facebook/wav2vec2-base. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC; доступные веса представлены в формате PyTorch. Модель предназначена для преобразования аудио в текст, однако README не раскрывает обучающий датасет и конкретный сценарий обнаружения спуфинга, несмотря на название репозитория. В README приведены результаты оценки: loss 1,7448 и WER 0,109. Модель распространяется по лицензии Apache-2.0. Данных о поддерживаемых языках и дополнительных ограничениях в карточке нет.
Это потоковая модель распознавания речи NVIDIA на базе FastConformer-Hybrid, обученная для грузинского языка. Она предназначена для преобразования речи в текст в приложениях с низкой задержкой и поддерживает потоковую обработку с упреждением 80 мс; обучение с несколькими значениями упреждения позволяет настраивать задержку. Модель содержит совместные декодеры Transducer и CTC и насчитывает около 115 млн параметров. Модель обучена с использованием NVIDIA NeMo на примерно 163 часах грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. При жадном декодировании Transducer указаны WER 7,44% на тестовой части Common Voice и 16% на Fleurs. На вход подаётся монофонический звук WAV с частотой 16 кГц, на выходе — текстовая расшифровка. Для запуска требуется NVIDIA NeMo; лицензия — CC BY 4.0. Качество может снижаться на технической лексике, непривычной разговорной речи и акцентированной речи. В README также указано, что модель пока не поддерживается NVIDIA Riva.
sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search — модель распознавания речи на архитектуре SpeechEncoderDecoderModel. По карточке, её обучили с нуля на датасете LibriSpeech ASR; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей речи в текст. Карточка не приводит сведений о размере, контексте, языках, качестве распознавания или конкретных сценариях применения. Эти характеристики нельзя надёжно определить по имеющимся данным. Лицензия в доступных сведениях не указана.
rifkat/wav2vec2-large-xls-r-300m-uz — модель распознавания узбекской речи, разработанная в рамках проекта GptUZ. Она предназначена для преобразования аудиозаписей на узбекском языке в текст. Архитектура — Wav2Vec2ForCTC семейства wav2vec2; модель содержит около 402,7 млн параметров и распространяется в формате PyTorch. По карточке модели, обучение проводилось на открытых и закрытых данных. Модель выпущена под лицензией Apache-2.0. Длина контекста и подробности о составе обучающих данных в предоставленных источниках не описаны.
arampacha/wav2vec2-large-xlsr-czech — дообученная модель распознавания чешской речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и обученная на данных Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; модель основана на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель предназначена для автоматической транскрибации чешской речи, в том числе записей, похожих на тестовые данные Common Voice. В README приведён результат тестирования 24,56, но единица измерения не уточнена. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.