I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиМодель infinitejoy/wav2vec2-large-xls-r-300m-bashkir — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания башкирской речи. Она построена на архитектуре Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; при оценке на наборе Mozilla Common Voice 7.0 для башкирского языка указана WER 0,2421. Распространяется по лицензии Apache-2.0.
DrishtiSharma/wav2vec2-large-xls-r-300m-hi-CV7 — модель распознавания речи, разработанная Drishti Sharma и дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Common Voice 7.0 для языка хинди. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст на хинди. Модель подходит для транскрибирования записей речи и оценки систем распознавания хинди. В README указаны значения loss 0,6588 и WER 0,2987 на оценочном наборе. Модель распространяется по лицензии Apache-2.0.
Это модель автоматического распознавания финской речи, созданная Jonatas Grosman на основе facebook/wav2vec2-large-xlsr-53. Модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC содержит 402,7 млн параметров и дообучена на финском языке на обучающей и валидационной выборках Common Voice 6.1 и CSS10. Модель преобразует аудиозаписи на финском языке в текст и подходит для транскрибирования речи. Для подачи аудио требуется частота дискретизации 16 кГц. В README приведены результаты оценки WER и CER на тестовой выборке Common Voice; качество может отличаться на других данных и при иных настройках оценки. Лицензия — Apache-2.0.
jonatasgrosman/wav2vec2-large-xlsr-53-polish — модель распознавания польской речи, разработанная Jonatas Grosman как дообучение facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это плотная модель архитектуры wav2vec2 с 402,7 млн параметров и выходной головой CTC; доступны веса PyTorch и Flax. Модель принимает аудио и преобразует речь на польском языке в текст. Для подачи аудио требуется частота дискретизации 16 кГц. Она предназначена для автоматического распознавания речи, в том числе записей, подобных материалам Common Voice. Модель распространяется по лицензии Apache-2.0. Карточка демонстрирует применение без языковой модели и перечисляет оценки на тестовой выборке Common Voice 6.0 и наборе speech-recognition-community-v2; конкретные показатели в предоставленном фрагменте отсутствуют.
Это дообученная модель автоматического распознавания речи на основе OpenAI Whisper Base, подготовленная sarpba для транскрибирования венгерской речи. Модель содержит 51,7 млн параметров и обучена на собственном наборе sarpba/big_audio_data_hun; в README указано около 1200 часов отобранных венгерских аудиозаписей. Для оценки автор приводит результаты на венгерских наборах FLEURS и Common Voice 17.0. Модель принимает аудио и генерирует текстовую транскрипцию на венгерском языке. Автор сообщает о свободном использовании в личных целях на условиях исходной лицензии Whisper, но запрещает коммерческое использование этого дообучения без согласия автора.
Whisper Large v2 PL — модель автоматического распознавания речи, созданная дообучением openai/whisper-large-v2 на датасете Common Voice 11.0. Она использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель предназначена для преобразования польской речи в текст; в карточке указана метрика WER 6,9125 на наборе оценки. Модель принимает аудио и выдаёт текст. Она распространяется в формате PyTorch по лицензии Apache-2.0. Подробности об условиях записи аудио, поддержке других языков и ограничениях в карточке не приведены.
Модель Elizabeth Mwangi — дообученная версия OpenAI Whisper large-v3 для автоматического распознавания речи на суахили. Она обучена на данных всех пяти доменов AfriVoice и на Common Voice Swahili; в первую очередь предназначена для речи кенийских говорящих, в том числе с нестандартными речевыми особенностями. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате safetensors. Модель подходит для транскрибации записей на суахили, включая речь из разных прикладных доменов. В README приведены результаты на тестовых наборах: WER 0,244 на AfriVoice и 0,201 на Common Voice Swahili. Это показатели на указанных наборах, поэтому качество на других источниках и условиях записи может отличаться. Лицензия — Apache-2.0.
Модель JacobLinCool — дообученная версия OpenAI Whisper Large V3 Turbo для автоматического распознавания речи на традиционном китайском языке, вариант Тайваня. Она принимает аудио и преобразует речь в текст без необходимости задавать подсказку. Модель содержит около 905,2 млн параметров и построена на архитектуре Whisper; для обучения использован набор Common Voice Corpus 19.0 Chinese (Taiwan), примерно 50 тысяч обучающих примеров общей длительностью 44 часа. На тестовом наборе указаны WER 32,56 и CER 8,60. Модель наследует мультиязычную систему определения языка Whisper, где варианты китайского используют общий токен `zh`, поэтому качество распознавания упрощённого китайского может снижаться. Лицензия — MIT.
Whisper Large v3 Turbo TR — модель распознавания речи, разработанная Selim Çavaş и дообученная на базе openai/whisper-large-v3-turbo на турецкой части Common Voice 17.0. Она принимает аудио и преобразует турецкую речь в текст; подходит для расшифровки записей, голосовых команд и создания субтитров к видео на турецком языке. Модель построена на архитектуре WhisperForConditionalGeneration и содержит около 905,2 млн параметров. Для обучения использовали 25% доступных турецких данных Common Voice 17.0; на тестовой выборке указаны Loss 0,3123 и WER 18,9229. Распространяется по лицензии MIT.
Seyfelislem/whisper-medium-arabic — дообученная модель распознавания речи на базе OpenAI Whisper Medium, содержащая 455,8 млн параметров. Она принимает аудио и преобразует речь в текст; заявленная специализация — арабская речь. В README приведены результаты оценки: loss 0,2194 и WER 18,2888, однако набор данных и условия оценки не описаны. Модель построена на архитектуре Whisper и распространяется в форматах PyTorch и Safetensors. Базовая Whisper Medium также поддерживает многоязычное распознавание и перевод речи, но карточка этой производной модели подтверждает только распознавание речи. Лицензия — Apache-2.0.
Это дообученная на полном наборе параметров модель OpenAI Whisper medium, созданная oddadmix для распознавания арабской речи на разных диалектах. Она преобразует аудио в текст и рассчитана на расшифровку коротких записей: разговоров на левантийских, магрибских, египетском, заливном, суданском и иракском диалектах, а также на современном литературном арабском. Архитектура — WhisperForConditionalGeneration; базовая модель содержит 455,8 млн параметров по метаданным, тогда как README указывает 769 млн. Модель принимает аудио и выдаёт текст без диакритических знаков; для латинских токенов применяется нижний регистр. В тесте на 932 аудиофрагментах автор сообщает WER 0,358 и CER 0,123 после очистки текста. Обучение использовало очищенные и расширенные варианты аудиозаписей, включая шум, музыку, изменение скорости и реверберацию. Записи длиннее 30 секунд исключались, поэтому модель предназначена для офлайн-распознавания фрагментов до 30 секунд и не поддерживает потоковую транскрибацию. По данным README, наибольшие трудности возникают с магрибскими диалектами, а фактическое качество зависит от сходства записи с обучающими данными. Модель распространяется по лицензии Apache-2.0; README обозначает её как частную/внутреннюю и рекомендует оценить качество на собственных данных перед производственным применением.
kktoto/wwdd_tiny — компактная модель token classification, опубликованная пользователем kktoto на Hugging Face. Она построена на архитектуре BERT и предназначена для токен-классификации в задачах восстановления пунктуации в тексте. Модель содержит около 12,6 млн параметров, использует 4 скрытых слоя, размер скрытого представления 312, 12 attention-heads и поддерживает контекст до 512 токенов. Выходные классы включают NORM, COMMA, PERIOD, QUEST_MARK и EXCLAMATION, то есть обычный текст без знаков препинания преобразуется в последовательность токенов с предсказанными знаками препинания. Модель подходит для автоматической расстановки запятых, точек, вопросительных и восклицательных знаков, включая сценарии постобработки распознанной речи. Ограничения связаны с узким набором классов пунктуации, лимитом контекста 512 токенов и отсутствием подробной карточки модели с описанием обучающего набора, метрик и условий применения.
Это модель автоматического распознавания непальской речи, разработанная Kiran Pantha. Она дообучена на базе kiranpantha/w2v-bert-2.0-nepali на сбалансированном наборе аудиоданных OpenSLR54-Balanced-Nepali и использует архитектуру Wav2Vec2-BERT с CTC-декодированием. Модель принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. В карточке приведены результаты оценки: WER 0,3612 и CER 0,0805. Модель подходит для транскрибирования записей на непальском языке. Указана лицензия MIT. README не описывает дополнительные сценарии, условия записи или известные ограничения.
Atom 27B — диалоговая модель VANTA Research, созданная дообучением Google Gemma 3 27B IT для совместной работы с человеком. Она позиционируется как партнёр для размышлений: помогает разбирать проблемы, задаёт уточняющие вопросы, мягко проверяет предположения и предлагает идеи. Модель использует плотную архитектуру Gemma 3, содержит 27 млрд параметров и поддерживает контекст до 128 тыс. токенов. Репозиторий включает веса Safetensors и GGUF F16; заявлена возможность локального запуска через llama.cpp. Модель предназначена для диалогов, совместного решения рабочих задач, структурирования рассуждений и мозгового штурма. В карточке показаны примеры анализа причин срыва сроков и подбора идей подарка. Указан английский язык; вход по изображениям для Atom не подтверждён, несмотря на мультимодальность базовой модели. Лицензия — Gemma; условия её использования определяются лицензией Google Gemma.
arif11/bangla-ASR-v5 — модель автоматического распознавания речи на бенгальском языке, созданная дообучением openai/whisper-small на наборе Mozilla Common Voice 13. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для преобразования бенгальской речи в текст, в том числе для транскрибирования записей и аудио из голосовых сервисов. В README приведены результаты оценки на тестовой выборке: loss 0,1503 и WER 36,6982. Репозиторий распространяется по лицензии Apache-2.0.
philschmid/bart-base-samsum — англоязычная модель суммаризации, созданная на основе BART и обученная с использованием Amazon SageMaker и контейнера Hugging Face. Она предназначена для преобразования диалогов в краткие сводки; в метаданных указан датасет SAMSum. Модель использует архитектуру BART с 95,2 млн параметров, принимает текст и генерирует текст. Её контекст составляет до 1024 токенов. README приводит результаты обучения и оценки после трёх эпох, но не описывает дополнительные сценарии применения. Модель распространяется по лицензии Apache-2.0. Оценка качества и ограничения, кроме англоязычной специализации и длины контекста, в доступных сведениях не приведены.
ConvTasNet для разделения двух одновременно звучащих голосов, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri2Mix. Модель принимает аудио с частотой дискретизации 16 кГц и формирует отдельные аудиодорожки для двух источников. Архитектура ConvTasNet использует обучаемый фильтробанк и масочную сеть; обучающие сегменты имели длину 3 секунды. Модель предназначена для разделения чистых речевых смесей, похожих на данные Libri2Mix. Карточка приводит результат на тестовом наборе Libri2Mix, но численное значение результата недоступно в представленном тексте. Модель распространяется по лицензии CC BY-SA 3.0 Unported; в обучении использовался корпус LibriSpeech, лицензированный CC BY 4.0.
philschmid/distilbart-cnn-12-6-samsum — модель семейства BART, обученная с помощью Amazon SageMaker и контейнера Hugging Face Deep Learning. Она предназначена для суммаризации текста, в частности диалогов из набора SAMSum. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и выдаёт текстовое резюме. В репозитории представлены веса PyTorch. Карточка сообщает о трёх эпохах обучения и приводит результаты оценки, включая eval_loss 1,42. Модель ориентирована на английский язык. Распространяется по лицензии Apache-2.0. Карточка не описывает поведение на других языках или за пределами суммаризации диалогов.
EmotiSpace-128 — англоязычная модель на базе BERT, разработанная автором репозитория lunahr. Она преобразует текст в нормализованный эмоциональный эмбеддинг размерности 128 и одновременно выдаёт логиты и вероятности меток эмоций в стиле GoEmotions. Модель дообучена на google-bert/bert-base-uncased с размороженными последними четырьмя слоями BERT и поддерживает контекст до 512 токенов. Модель предназначена для классификации эмоций, поиска текстов с близким эмоциональным смыслом по косинусному сходству, работы с пользовательскими эмоциональными якорями, отслеживания настроения диалога и передачи эмоциональных сигналов в системы управления тоном или просодией речи. Классификатор ограничен набором меток GoEmotions, тогда как эмбеддинги позволяют задавать собственные эмоциональные якоря, которые следует проверять для конкретного применения. Модель оценивает эмоциональный смысл текста, а не испытывает эмоции; её выводы не подходят для психологической диагностики или оценки психического здоровья. Лицензия — Apache-2.0.
QuantFactory/gemma-2-9b-it-SimPO-rudpo-GGUF — квантизированная версия модели gemma-2-9b-it-SimPO-rudpo, созданная QuantFactory с использованием llama.cpp. Исходная модель разработана на базе princeton-nlp/gemma-2-9b-it-SimPO и предназначена для генерации текста и диалоговых сценариев. Модель имеет размер 9 миллиардов параметров и ориентирована прежде всего на повышение качества ответов на русском языке по сравнению с базовой моделью. Модель подходит для русскоязычных чат-ботов, ассистентов и других задач текстовой генерации. В тестировании на наборе arena-hard questions на русском языке она получила оценку 91,9 против 90,9 у gemma-2-9b-it-SimPO и 67,0 у gemma-2-9b-it. Однако эти результаты относятся к конкретному тесту и не гарантируют аналогичного качества в других задачах. В README не указаны точный формат квантизации, поддерживаемые языки помимо русского, размер контекста, модальности и требования к аппаратному обеспечению. Лицензия модели — gemma.
OsaurusAI подготовила пакет Google Gemma 4 E2B Instruct для запуска на Apple Silicon через MLX и совместимые среды vMLX. Это плотная мультимодальная модель класса Gemma4 с архитектурой Gemma4ForConditionalGeneration: 35 текстовых слоёв, из них 7 используют полное внимание, а 28 — скользящее. Линейные слои декодера квантизированы в MXFP4 с размером группы 32; эмбеддинги, нормализации и ранние медиаблоки сохранены в fp16. Модель принимает текст, изображения и аудио и выдаёт текст; поддерживаются диалоги и интерфейс вызова инструментов. Аудиокодировщик и конфигурация vision сохранены в пакете. Подтверждённого пути обработки видео нет. Для загрузки нужны MLX/vMLX с поддержкой Gemma 4 MXFP4; пакет не совместим с GGUF-рантаймами. Лицензия и ограничения использования соответствуют условиям Google Gemma.
zeromodels/gemma-4-e4b — реализация Gemma 4 E4B в формате Keras 3, подготовленная командой zeromodels на основе google/gemma-4-E4B. Модель принимает изображения, аудио и текст и генерирует текстовые ответы; для загрузки и обработки мультимодальных входов используется Gemma4Processor. Также доступен текстовый сценарий генерации через Gemma4TextGenerate и Gemma4Tokenizer. Вариант E4B имеет 4,5 млрд эффективных параметров и 8 млрд параметров с учётом эмбеддингов, 42 слоя и окно скользящего внимания 512 токенов. Веса хранятся в bfloat16. Реализация работает с TensorFlow, Torch и JAX; по умолчанию загружается в bfloat16, также предусмотрена загрузка в float32 и дополнительная квантизация int8. Модель предназначена для мультимодального диалога и генерации текстовых ответов. Лицензия — Apache 2.0.
GODEL-v1_1-base-seq2seq — предварительно обученная диалоговая модель Microsoft на архитектуре Transformer encoder-decoder семейства T5 с 123,7 млн параметров. Она обучена генерировать ответы, опираясь на внешний текст, например найденный документ, и предназначена для адаптации к диалоговым задачам с небольшим количеством примеров. Версия v1.1 обучена на 551 млн многоходовых диалогов из обсуждений Reddit и 5 млн диалогов с инструкциями и ответами, основанными на знаниях. Модель подходит для создания диалоговых систем, которые отвечают с учётом контекста беседы и предоставленных сведений, а также для непринуждённого общения. Она принимает и генерирует текст; поддержка чата отражена в метаданных. Контекст ограничен 512 токенами. Репозиторий содержит веса PyTorch, модель распространяется по лицензии MIT. Карточка описывает предварительно обученную базовую модель, которую можно дообучать под конкретные диалоговые задачи. Приведённые данные об обучении не устанавливают конкретный набор поддерживаемых языков; диалоги Reddit также могут вносить характерные для источника особенности в ответы.
Hibiki-Zero — модель Kyutai для синхронного перевода речи с французского, испанского, португальского и немецкого на английский. Она принимает поток входящей речи и одновременно выдаёт перевод голосом с переносом голоса говорящего и текстовый перевод с временными метками. Модель построена на декодерном иерархическом Transformer с плотной архитектурой и основной частью на 3 млрд параметров. Она совместно моделирует исходную и целевую речь, создавая аудио и текстовые токены с частотой 12,5 Гц. Поддерживает потоковую работу в реальном времени и пакетный режим; обучалась на речевых последовательностях длиной до 120 секунд и рассчитана на одного говорящего и один язык в сессии. Модель предназначена для синхронного устного перевода, в том числе в шумных условиях. Авторы сообщают о пакетной обработке до трёх раз быстрее реального времени на одном GPU H100. К ограничениям относятся фиксированные направления перевода на английский и поддержка только одного говорящего и исходного языка в сессии. Лицензия — CC BY-NC-SA 4.0; модель не предназначена для имитации людей или злонамеренного использования.
Koyal Indic-4 Dual-Mode ASR 600M — мультиязычная модель распознавания речи от Adalat AI для подготовки транскриптов на хинди, каннада, малаялам и телугу. Модель содержит около 600 млн параметров и использует кэшируемый энкодер FastConformer с декодером RNN-T, обусловленным языковым промптом. Она дообучена на базе nvidia/nemotron-3.5-asr-streaming-0.6b с новой токенизацией SentencePiece на 6 000 токенов. Один чекпойнт поддерживает пакетную офлайн-транскрипцию и потоковое распознавание с несколькими настройками задержки. Модель выдаёт транскрипты в расширенной орфографии: с пунктуацией и форматированием числительных по письменным нормам. Она предназначена, в частности, для диктовки документов и судебных записей, когда важен готовый к использованию текст. Качество для отдельных языков в офлайн-режиме может быть ниже, чем у специализированных одноязычных моделей Koyal. Целевой язык нужно указать при запуске; распознавание переключения языков в одной фразе не обучалось. Оценка расширенной орфографии проводилась на FLEURS-RO, отражающем чтение подготовленной речи; характеристики на аудио с другими частотами дискретизации не охарактеризованы. Для работы требуется NVIDIA NeMo версии 3.0.0 или новее. Лицензия указана как other.
Obum — модель распознавания речи, разработанная Mansa Labs на основе Whisper-medium от OpenAI и дообученная с помощью LoRA для нигерийского пиджина. Она преобразует аудио в текст и предназначена для расшифровки речи на нигерийском пиджине; модель содержит около 769 млн параметров в базовой версии Whisper-medium. На тестовом наборе asr-nigerian-pidgin модель показала нормализованный WER 19,76% при жадном декодировании. Обучение проводилось на 2 708 высказываниях с аугментацией скорости речи. Модель уступает опубликованному результату SBPN-Large на том же тесте, но превзошла приведённые в карточке результаты MMS-1B и базовой линии Wav2Vec2-XLSR-53. Модель лучше подходит для чтения вслух и чистой речи. Качество может снижаться на спонтанной, зашумлённой или смешанной с другими языками речи; орфографическая вариативность нигерийского пиджина влияет на WER. Лицензия — CC BY 4.0.
Paprika — модель распознавания литовской речи, созданная командой Kalamo на основе Whisper large-v3-turbo и дообученная на литовских данных. Она преобразует аудио в текст; в обучающую выборку вошли около 320 часов спонтанной и прочитанной речи из LIEPA-3 и VoxPopuli LT. Для обработки длинных записей авторы рекомендуют запуск через конвейер с окнами по 30 секунд. Модель поддерживает литовский язык и принимает аудио с частотой 16 кГц. В тестах авторов она показала WER 16,98% на отложенном наборе VoxPopuli LT и 12,32% на FLEURS-lt; эти результаты зависят от набора данных и настроек распознавания. Модель рассчитана на транскрибирование речи, в том числе спонтанной и парламентской. Результат выдаётся строчными буквами без пунктуации и регистрационной разметки. У длинной записи встроенное декодирование с временными метками резко ухудшает качество, а обработка окнами может незаметно пропускать слова на стыках и порождать текст на тишине. Для задач, где важна полнота транскрипции, автор рекомендует более новую версию v3. Лицензия — CC BY 4.0.
qingy2019 дообучил плотную языковую модель Qwen2.5-14B-Instruct на базе unsloth/qwen2.5-14b-instruct-bnb-4bit на 400 шагах с использованием Unsloth и TRL. Модель содержит 14 млрд параметров, принимает текст и поддерживает генерацию текста и диалоговый режим с контекстом до 32 768 токенов. Модель предназначена для генерации ответов и диалогов общего назначения. В обучении использовался набор garage-bAInd/Open-Platypus; карточка называет модель Qwen2.5-Math, но не приводит отдельного описания математической специализации. Опубликованные результаты включают оценки IFEval и BBH, однако данных для вывода о качестве на широком наборе задач недостаточно. Модель распространяется по лицензии Apache-2.0.
JeongMinMin дообучил компактную плотную языковую модель Qwen3 с 507,9 млн параметров на основе NotoriousH2/Qwen3-0.6B-JSON-SFT. Модель предназначена для генерации текста в формате JSON; метаданные также отмечают чатовый интерфейс и интерфейс вызова инструментов. В базовой модели заявлено извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний, однако README не уточняет, как именно этот сценарий изменён в данном дообучении. Модель принимает текст и генерирует текст. Указан контекст длиной до 40 960 токенов; для файлов используются safetensors. Модель опубликована под лицензией Apache-2.0. Карточка не сообщает об оценках качества или известных ограничениях.
RE-SepFormer — модель разделения аудиоисточников, разработанная командой SpeechBrain и обученная на наборе WSJ0-2Mix. Она предназначена для выделения отдельных речевых сигналов из смешанной записи; репозиторий предоставляет средства для запуска разделения на собственных аудиофайлах. Модель реализована на архитектуре RE-SepFormer с использованием SpeechBrain. На тестовом наборе WSJ0-2Mix указаны SI-SNRi 18,6 дБ и SDRi 18,9 дБ. Для входных записей требуются монофонический сигнал с частотой дискретизации 8 кГц; аудио с другой частотой нужно предварительно пересэмплировать. Модель поддерживает английскую речь и распространяется по лицензии Apache-2.0. Разработчики не гарантируют такую же производительность на других наборах данных, поэтому результаты на аудио за пределами WSJ0-2Mix могут отличаться.