I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиМодель chmanoj/xls-r-2B-te — дообученная версия facebook/wav2vec2-xls-r-2b для автоматического распознавания речи на датасете OPENSLR_SLR66 (NA). Архитектура основана на Wav2Vec2ForCTC; репозиторий содержит веса PyTorch и насчитывает 2,8 млрд параметров. Модель преобразует входящее аудио в текст и предназначена для распознавания речи в данных, похожих на обучающую выборку. В README для оценки указаны loss 0,4253 и WER 0,5109; сведений о языках, аудиоформатах и требованиях к использованию в карточке нет. Лицензия — Apache-2.0.
xlsr-300m-mizonal3-E2-lus-v2026.06 — модель распознавания речи, разработанная Andrew Bawitlung и дообученная на базе facebook/wav2vec2-xls-r-300m на наборе MiZonal v3.0. В эту версию набора добавлен примерно час разговорной речи. Модель использует архитектуру Wav2Vec2 с CTC-декодером и содержит около 402,7 млн параметров. Модель предназначена для преобразования речи на языке LUS в текст. Эксперимент E2 обучался с аугментацией фонового шума; на тестовом наборе указаны WER 20,3887 и CER 4,0148, а real-time factor — 0,0024. Модель принимает аудио и выдаёт текстовую транскрипцию. Модель распространяется по лицензии Apache-2.0. Результаты относятся к указанному набору оценки; README сообщает, что публикация с подробностями ещё готовится, поэтому качество на других записях не установлено.
xlsr-300m-mizonal3-E4-lus-v2026.06 — модель автоматического распознавания речи, созданная Andrew Bawitlung дообучением facebook/wav2vec2-xls-r-300m на наборе MiZonal v3.0. Версия E4 использует SpecAugment с маскированием временных и частотных участков спектрограммы; в MiZonal v3.0 также добавлен примерно час разговорной речи. Модель предназначена для транскрибирования речи на языке lus. На тестовом наборе автор сообщает WER 19,76 и CER 3,79; указанный коэффициент реального времени — 0,0024. Это вариант из серии экспериментов с разными конфигурациями обучения. В репозитории доступны веса safetensors, лицензия — Apache-2.0.
Модель vasilis/xls-r-et-V-3 — дообученная версия facebook/wav2vec2-xls-r-1b для автоматического распознавания эстонской речи. Она использует архитектуру Wav2Vec2ForCTC и обучалась на эстонской части набора Mozilla Common Voice 8.0. Модель принимает аудио и выдаёт распознанный текст. В карточке указаны результаты оценки на тестовом наборе: значение функции потерь 0,8824 и WER 0,5246. Модель опубликована в формате PyTorch по лицензии Apache-2.0.
Belle-distilwhisper-large-v2-zh — модель распознавания речи, разработанная BELLE-2 на основе distilwhisper-large-v2 и дообученная для улучшения распознавания китайской речи. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; для работы с аудио использует частоту дискретизации 16 кГц. Модель предназначена для преобразования китайской речи в текст, в том числе в записях с тестовых наборов AISHELL-1, AISHELL-2, WenetSpeech и HKUST. В README указано, что она в 5,8 раза быстрее whisper-large-v2 и имеет на 51% меньше параметров; приведённые результаты CER зависят от тестового набора и не показывают улучшение на каждом из них. Модель доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не приводит длину контекста или отдельные сведения о поддержке других языков, поэтому здесь они не заявляются.
Cohere Transcribe Arabic — это открытая модель автоматического распознавания речи с архитектурой audio-in, text-out, разработанная Cohere и Cohere Labs. Данная версия представляет собой GGUF-квантизированные сборки базовой модели CohereLabs/cohere-transcribe-arabic-07-2026 для работы с transcribe.cpp. Модель содержит около 2 млрд параметров и предназначена прежде всего для офлайн-транскрибации арабской речи, включая диалекты и смешанную арабско-английскую речь; английский поддерживается как вторичный язык. В основе лежит Conformer-энкодер и Transformer encoder-decoder head с cross-attention и связанными токенными embedding. Модель принимает монофонический WAV с частотой 16 кГц и использует явно заданный языковой флаг арабского или английского языка. Декодирование выполняется авторегрессионно. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,56 до 4,11 ГБ. На тесте FLEURS Arabic показатель WER составляет 10,95–11,18% в зависимости от квантизации, при этом качество квантизированных вариантов близко к эталонной BF16-версии; на LibriSpeech test-clean для доступных конфигураций указан WER около 1,33–1,34%. Сильные стороны модели — ориентация на арабскую речь, поддержку диалектов и code-switching, офлайн-работу и наличие нескольких вариантов квантизации для выбора между качеством и требованиями к памяти. Ограничения: потоковая обработка, перевод, автоматическое определение языка и временные метки не поддерживаются. Для работы требуется transcribe.cpp, а аудио должно быть предварительно приведено к формату 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Модель itshamdi404/Egy_Arabic_whisper-small — дообученная Hamdi Mohamed мультиязычная Whisper Small для распознавания египетского арабского на аудиозаписях и преобразования речи в текст. Архитектура WhisperForConditionalGeneration, около 153,1 млн параметров; модель использует библиотеку Transformers и веса в формате safetensors. При обучении применялись аудио с частотой 16 кГц, нормализация текста и извлечение признаков процессором Whisper. Модель предназначена для транскрибации египетской речи, голосовых интерфейсов, разметки аудиоданных и бенчмаркинга распознавания арабских диалектов. Обучение на аудио с соответствующими расшифровками ориентировано на произношение, лексику и речевые особенности египетского диалекта. Лицензия — Apache-2.0. На других арабских диалектах качество может быть ниже; шум, одновременная речь и низкое качество записи ухудшают распознавание. Редкие слова и имена могут транскрибироваться с ошибками.
Menlo/mini-Ichigo-llama3.2-3B-s-base — англоязычная аудио-языковая модель от Homebrew Research на архитектуре Llama 3.2. Модель содержит 3,2 млрд параметров, принимает текст и звук и генерирует текст; заявленное контекстное окно — 131 072 токена. Модель предназначена для задач понимания аудио и текста, включая исследование возможностей языковых моделей в работе со звуком. Её непрерывно предварительно обучали на расширенном словаре с использованием 900 млн токенов из набора сырых аудиоданных; в метаданных также указан датасет инструкций для речи и WhisperVQ. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.
Ndizi African ASR — модель распознавания речи, созданная smutuvi на основе Sunbird/Sunflower-Gemma4-E2B. Это объединённый чекпойнт для инференса на GPU или сервере; в него включены веса LoRA и компонент embed_audio. Для распознавания аудио README предлагает использовать языковой промпт на суахили, амхарском или оромо и получать текстовую расшифровку. Модель дообучена на данных для этих трёх языков, включая полевую речь на суахили и наборы ALFFA и Amharic Speech. На двух тестовых выборках Ndizi для суахили указанный WER составил 0,528 и 0,398; результаты не характеризуют качество на других доменах. Амхарский и оромо представлены в обучении, но README советует подавать соответствующие языковые промпты. Версия модели — v1; более поздние адаптеры меняют баланс качества для суахили и оромо. Модель использует архитектуру Gemma 4 и распространяется в формате safetensors через Transformers. Лицензия — Gemma. README предназначает этот репозиторий для GPU и серверов; для телефонов и периферийных устройств указан отдельный LiteRT-вариант.
Nos_ASR-wav2vec2-large-xlsr-53-gl-with-lm es una copia de diego-fustes/wav2vec2-large-xlsr-gl con интегрированной языковой моделью. Модель разработана для автоматического распознавания речи на галисийском языке и преобразования аудиозаписей в текст. Она основана на архитектуре Wav2Vec2-Large-XLSR-53, имеет около 402,7 млн параметров и принимает аудио. В README приведены результаты на тестовых подвыборках Galician OpenSLR и Common Voice 7.0: WER составил 6,86% и 15,20% соответственно, что ниже показателей указанной базовой модели на тех же наборах. Модель распространяется по лицензии Apache-2.0.
Это версия модели NVIDIA Parakeet для автоматического распознавания японской речи и преобразования её в текст. Чекпойнт основан на mlx-community/parakeet-tdt_ctc-0.6b-ja и подготовлен для запуска через MLX на устройствах Apple, включая iPhone и компьютеры Mac с Apple Silicon. В основе — гибридная архитектура FastConformer TDT-CTC; размер модели составляет 0,6 млрд параметров. Веса заранее приведены к формату bfloat16. Это уменьшает размер файлов примерно с 2,49 до 1,25 ГБ и снижает пиковую память при загрузке по сравнению с преобразованием из fp32 во время запуска; по README, изменение типа данных не меняет поведение модели при выводе. Модель предназначена для распознавания японской речи на устройстве. Она распространяется по лицензии CC-BY-4.0 с указанием авторства NVIDIA и mlx-community.
BuzzASR Punjabi — модель автоматического распознавания речи на панджаби, разработанная как часть набора BuzzASR из 102 языковых моделей. Это полноценно дообученная версия Whisper large-v3 с заменой токенизатора для языка и дополнительным мультитасковым обучением на текстовых данных. Модель принимает аудио и преобразует речь в текст; языковой и задачный промпт уже задан в конфигурации генерации. Модель предназначена для транскрибации речи на панджаби. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25, где авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения. Модель содержит около 907,3 млн параметров, использует архитектуру Whisper и формат safetensors в библиотеке Transformers. Данные обучения включают FLEURS, Common Voice Corpus 25.0 и текстовый корпус Goldfish. Модель ограничена панджаби; качество на других предметных областях и диалектах может отличаться от результатов на тестовых наборах. Распространяется по лицензии MIT.
Модель keystats/w2v-bert-2.0-lingala-main предназначена для автоматической транскрибации речи на языке лингала. Она создана дообучением facebook/w2v-bert-2.0: к многоязычному речевому энкодеру добавлена символьная CTC-голова, обученная на объединённых корпусах Google WaxalNLP и Lingala_100hrs. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая текст. Модель рассчитана на распознавание речи одного говорящего. Текст выводится строчными буквами без пунктуации; для читаемого оформления может потребоваться дополнительная обработка. Точность зависит от акустических условий, качества записи и диалектного охвата обучающих данных. Для повышения качества README рекомендует декодирование с совместимой языковой моделью KenLM keystats/waxal-kenlm-models. Лицензия — Apache-2.0.
Модель CLEAR-Global — дообученная на наборе Yoruba NaijaVoices объёмом 500 часов версия facebook/w2v-bert-2.0 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2-BERT с классом Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на йоруба; библиотека для работы с ней — Transformers. В карточке приведены результаты оценки: WER 0,2869, CER 0,1773 и loss 0,3063. Лицензия модели — MIT. Подробности о составе обучающих данных, условиях записи и ограничениях применения в карточке не раскрыты.
jaeyeon/wav2vec2-child-en-tokenizer-4 — дообученная модель распознавания речи на архитектуре wav2vec2, разработанная на основе facebook/wav2vec2-xls-r-300m. Она предназначена для преобразования аудиоречи в текст; карточка сообщает о результате WER 0,3769 на оценочном наборе, но не раскрывает состав данных и условия оценки. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Репозиторий указывает лицензию Apache-2.0. В названии модели и базовой модели есть указание на английский язык, однако описание не уточняет языки и сценарии, на которых проводилось дообучение. Поэтому качество распознавания для конкретных групп говорящих и условий записи по доступной карточке оценить нельзя.
ayameRushia/wav2vec2-large-xls-r-300m-id — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная на основе facebook/wav2vec2-xls-r-300m. Её дообучили на индонезийской части набора Mozilla Common Voice 8.0; размер модели составляет 402,7 млн параметров. Модель преобразует входящую речь на индонезийском языке в текст. В README указаны значения Loss 0,3975 и WER 0,2633 на наборе оценки. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения качества.
alokmatta/wav2vec2-large-xlsr-53-sw — модель распознавания речи на суахили, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасетах ALFFA, Gamayun и IWSLT. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; входные записи должны иметь частоту дискретизации 16 кГц. Она предназначена для автоматического распознавания речи на суахили. Доступны версии весов PyTorch и Flax. Модель выпущена под лицензией Apache-2.0. Карточка указывает использование датасетов для дообучения, но не приводит оценок качества или известных проблем распознавания.
Wav2Vec2-Large-XLSR-Indonesian — модель распознавания индонезийской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасете Common Voice, включая синтетические голосовые данные. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Она преобразует аудиозаписи на индонезийском языке в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В README для тестовой части Common Voice указана оценка 14,29%, но метрика не названа, поэтому результат нельзя напрямую интерпретировать или сравнивать. Модель распространяется по лицензии Apache-2.0. Ее применение ориентировано на индонезийскую речь; результаты на других языках и аудио с иными характеристиками в предоставленных данных не описаны.
Konstantin-Bogdanoski/wav2vec2-macedonian-base — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, обученная и дообученная на пользовательском наборе данных для македонского языка. Она преобразует аудио с речью в текст и подходит для транскрибации македонской речи в приложениях распознавания речи. Модель содержит 113,3 млн параметров и доступна в форматах PyTorch и Safetensors для использования с библиотекой Transformers. Модель принимает аудио и выдаёт текстовую транскрипцию. В README для подготовки аудио упоминается частота дискретизации 22050 Гц. Указана лицензия MIT, допускающая свободное использование на её условиях. Заявления README о высокой точности не сопровождаются метриками или описанием тестирования; качество на других языках и акустических условиях не установлено.
Это дообученная модель OpenAI Whisper large-v3, подготовленная yuriyvnv для распознавания речи на португальском языке. Она принимает аудио и преобразует его в текст; модель реализована как WhisperForConditionalGeneration, содержит около 905,2 млн параметров и доступна в формате safetensors для использования через Transformers. Модель обучена на португалоязычной части Common Voice 17.0 и на 21 968 синтетических аудиозаписях без фильтрации качества. На тестовой выборке Common Voice указана частота ошибок слов (WER) 8,33%, а на наборе MLS — 13,43%. Такой вариант подходит для сравнения стратегий аугментации и сценариев, где важен максимальный объём синтетических данных. Включение неотфильтрованных синтетических примеров ухудшает перенос на другой набор данных по сравнению с фильтрованным вариантом; качество также может зависеть от предметной области и регионального варианта португальского. Модель распространяется по лицензии Apache-2.0.
xezpeleta/whisper-large-v3-eu — модель автоматического распознавания речи, созданная дообучением Whisper large-v3 от OpenAI для баскского языка (eu). Она принимает аудио и выдаёт его расшифровку текстом; использует архитектуру Whisper large-v3 и содержит около 905,2 млн параметров. Для обучения применён корпус asierhv/composite_corpus_eu_v2.1. Модель предназначена для транскрибации баскской речи, в том числе для профессиональных сервисов и приложений, где важна точность. В README указаны WER 6,5443 на валидационной выборке обучающего корпуса и WER 4,84 на Mozilla Common Voice 18.0. Лицензия — Apache-2.0. Качество распознавания зависит от записи: фоновый шум и плохие условия могут ухудшить результат; возможны ошибки на диалектной и неформальной речи, сложных конструкциях и редких словах. Большой размер модели требует существенных вычислительных ресурсов и ограничивает применение на устройствах с малой мощностью и в сценариях реального времени.
Jackyhsien/whisper-small-finetune-taiwanese — дообученная модель распознавания речи на основе OpenAI Whisper Small. Она предназначена для транскрибирования речи на тайваньском языке; для обучения использован датасет Common Voice 17.0. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текст. Базовая модель OpenAI Whisper Small также поддерживает несколько языков и перевод аудио на английский, но карточка этой производной модели не подтверждает сохранение этих возможностей после дообучения. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.
alikanakar/whisper-synthesized-turkish-8-hour — модель распознавания речи, полученная дообучением openai/whisper-small. Она принимает аудио и преобразует речь в текст; в карточке указана оценка WER 23,0527 на наборе оценки. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате PyTorch. Модель предназначена для автоматической транскрипции речи на турецком языке. В названии указано, что для обучения использовались синтезированные турецкие аудиоданные длительностью восемь часов, однако README не содержит подробностей о датасете, условиях обучения и сценариях применения. Лицензия — Apache-2.0.
LangAGI-Lab/camel — диалоговая языковая модель на архитектуре Llama с 7,5 млрд параметров и контекстным окном 8192 токена. Она предназначена для генерации текста в формате чата и может использоваться в разговорных сценариях. Модель представлена в формате safetensors и распространяется по лицензии GPL. Карточка содержит фрагменты кода для настройки и определения агентов, однако не описывает дополнительные возможности модели.
ghofrani/common7 — модель распознавания речи на базе архитектуры Wav2Vec2, дообученная на персидской части набора Mozilla Common Voice 7.0. Она принимает аудио и преобразует речь в текст; подходит для автоматической транскрипции персидской речи. Модель содержит 402,8 млн параметров и опубликована в формате PyTorch. На оценочном наборе указаны значение функции потерь 0,3448 и WER 0,3478. README не приводит дополнительных сведений о сценариях применения или обучающих данных. Лицензия в предоставленных материалах не указана.
Granite Speech 5.0 470M TurboCTC NC — компактная англоязычная модель распознавания речи от IBM. Она предназначена для быстрого преобразования аудио в текст в исследовательских и некоммерческих сценариях; для коммерческого применения в README предлагается другая версия Granite Speech 5.0 Turbo CTC. Модель содержит 470 млн параметров и использует акустический энкодер Conformer с блочным self-attention, self-conditioning и временным уменьшением разрешения. Выходной слой соответствует 16 384 BPE-токенам. Обучение проводилось на примерно 75 000 часах англоязычного аудио; распознавание выполняется без авторегрессии с жадным декодированием, что обеспечивает высокую скорость инференса. Модель поддерживает распознавание английской речи, включая короткие аудиозаписи; README также описывает оценку на тестах с шумом и реверберацией. Лицензия CC-BY-NC-SA-4.0 ограничивает применение некоммерческими условиями и требует соблюдения атрибуции и распространения производных материалов на совместимых условиях.
Это модель автоматического распознавания речи на основе Arabic HuBERT-Large с CTC-декодером, дообученная авторами репозитория на наборах MGB-3 и Egyptian Arabic Conversational Speech Corpus. Она предназначена для преобразования египетской арабской разговорной речи в текст; языковая модель при декодировании не используется. Базовый HuBERT был предварительно обучен на 2 000 часах арабской речи с частотой дискретизации 16 кГц, поэтому входное аудио следует подавать с частотой 16 кГц. В README приведены WER 23,55% на валидации и 25,59% на тесте; заявленный авторами результат для египетского арабского — state of the art на момент публикации карточки. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Moonshine Streaming Medium — это GGUF-конверсия модели автоматического распознавания речи Moonshine Streaming, разработанной Useful Sensors и подготовленной для работы с transcribe.cpp проектом handy-computer. Модель предназначена для преобразования английской речи в текст в пакетном и потоковом режимах, включая сценарии с низкой задержкой на периферийных устройствах и оборудовании с ограниченными ресурсами. Модель имеет архитектуру encoder-decoder и содержит около 245 миллионов параметров. Она использует аудиофронтенд с частотой 50 Гц, sliding-window attention и эргодический encoder без позиционных эмбеддингов; позиционная информация добавляется адаптером перед авторегрессионным decoder. Это самая глубокая и широкая модель в семействе Moonshine Streaming: encoder и decoder имеют по 14 слоёв, размер скрытого состояния составляет 768 для encoder и 640 для decoder. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживается только английский язык; перевод, мультиязычное распознавание, определение языка и временные метки не поддерживаются. Доступны варианты GGUF в форматах F32, F16 и Q8_0 размером примерно от 296 МБ до 1,07 ГБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 2,16% для всех указанных вариантов, что соответствует качеству F32-версии в заявленной проверке. Потоковая обработка и относительно компактный размер являются сильными сторонами модели, однако её применение ограничено английской речью, отсутствием timestamps и необходимостью предварительно подготовить аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии MIT, унаследованной от базовой модели.
Moonshine Streaming Tiny — Japanese — модель распознавания японской речи с потоковой транскрипцией, разработанная Moonshine AI. Она предназначена для инкрементальной расшифровки аудио на устройствах с ограниченными ресурсами: модель выдаёт текст по мере поступления речи, используя аудиофронтенд 50 Гц и Transformer-кодировщик со скользящими окнами. Архитектура включает кодировщик и декодер по 6 слоёв шириной 320 с 8 головами внимания; в README указано 27 млн параметров, а метаданные каталога сообщают 13,8 млн. Модель обучена для японского языка на автоматически размеченных аудиозаписях подкастов и YouTube, а также на смеси записанной речи, включающей Common Voice Japanese. На тестах FLEURS и ReazonSpeech показаны значения CER без учёта пробелов; качество заметно ниже на коротких спонтанных высказываниях. Обучающие транскрипты в основном созданы моделью-учителем Whisper, поэтому возможны ошибки в именах, числах и переключении языков. Лицензия — MIT.
MVP-open-dialog — модель для диалоговых систем, разработанная авторами работы «MVP: Multi-task Supervised Pre-training for Natural Language Generation». Это вариант MVP+S с промптами, предварительно обученными на размеченных наборах данных для открытого диалога. Модель использует архитектуру Transformer encoder-decoder с послойными промптами и рассчитана на генерацию ответов в разговоре. Модель предназначена для непринуждённого общения, диалогов с опорой на знания и визуальных диалогов, включая сценарии, представленные наборами PersonaChat, DailyDialog, Topical-Chat, Wizard of Wikipedia и DSTC7-AVSD. Метаданные указывают задачу text-generation, поддержку чата, английский язык и контекст длиной 1024 токена. Репозиторий содержит веса в формате PyTorch; лицензия — Apache-2.0.