I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиBSC-LT/whisper-3cat-cv21-valencian — акустическая модель распознавания речи, созданная лабораторией Language Technologies Laboratory Барселонского суперкомпьютерного центра. Это дообучение Whisper large-v3 с 905,2 млн параметров на 397 часах 55 минутах аудиозаписей из Corts Valencianes и Common Voice v21, отобранных для валенсийского акцента каталанского языка. Модель предназначена для транскрибации аудио на каталанском языке, особенно с валенсийским акцентом, в обычный текст без пунктуации. Она принимает аудио и выдаёт текст; использует архитектуру Whisper и библиотеку Transformers. Лицензия — Apache-2.0.
Byne/whisper-large-v3-arabic — дообученная Byne версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors. Название указывает на специализацию на арабской речи. В README приведены результаты оценки: loss 0,1384 и WER 9,3775; описание набора данных, условий оценки и подробные сценарии использования не раскрыты. Модель распространяется по лицензии Apache-2.0.
whisper-large-v3-ca-punctuated-3370h — акустическая модель распознавания каталонской речи, дообученная Лабораторией языковых технологий Барселонского суперкомпьютерного центра в рамках проекта AINA. Она основана на openai/whisper-large-v3 и предназначена для преобразования каталонских аудиозаписей в текст с пунктуацией и заглавными буквами. Модель с архитектурой Whisper содержит 905,2 млн параметров и обучалась на 3369 часах и 53 минутах каталогских аудиоданных из Common Voice 17.0 и набора 3CatParla. Обучение на тщательно расшифрованных данных помогает сохранять пунктуацию и регистр в транскрипциях. Для работы доступны веса PyTorch и библиотека Transformers; модель принимает аудио и выдаёт текст. Модель рассчитана на распознавание каталонской речи и может уступать при работе с другими языками или акустическими условиями, не представленными в обучающих данных. Лицензия — Apache-2.0.
Модель benmajor27/whisper-large-v3-hu_full — дообученная на Common Voice 17.0 версия мультиязычной модели Whisper large-v3 от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; в первую очередь ориентирована на венгерскую речь. Модель содержит около 905,2 млн параметров и опубликована в формате safetensors. В карточке приведён результат оценки на тестовом наборе: WER 8,8609 и loss 0,0911. Модель распространяется по лицензии Apache-2.0. Показатель качества относится к указанному набору оценки; README не описывает другие условия тестирования или ограничения применения.
Sagicc/whisper-large-v3-sr-cmb — дообученная модель автоматического распознавания речи на основе Whisper large-v3 от OpenAI. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст; при дообучении использовались Common Voice 13, Google Fleurs и набор данных JuzneVesti-SR v1.0. В карточке приведены результаты оценки: WER 0,0415, WER Ortho 0,1339 и loss 0,1111. Модель ориентирована на сербскую речь, однако подробные сведения о вариантах языка и условиях оценки не описаны. Распространяется по лицензии Apache-2.0.
Это дообученная модель OpenAI Whisper Large V3 Turbo от ele-sage для автоматического распознавания речи на канадском французском, включая квебекский диалект. Она преобразует аудио в текст и рассчитана на транскрибацию медиа, подкастов, интервью, формальных выступлений и повседневной речи с региональными акцентами. Модель построена на архитектуре Whisper с последовательным преобразованием аудио в текст и содержит около 905,2 млн параметров. Для дообучения использовали примерно 69 часов записей: выступления в Национальной ассамблее Квебека и данные Common Voice на канадском и других вариантах французского. В README указана частота дискретизации 16 кГц; фрагменты длиннее 30 секунд исключались или сегментировались. На валидационном наборе автор сообщает WER 6,65%. Модель предназначена прежде всего для французской речи из Квебека; обучение на формальных выступлениях и краудсорсинговых записях призвано охватить разные регистры. Это не гарантия точности на других акцентах, шумных записях или темах, не представленных в обучающих данных. Лицензия — MIT.
jstoone/whisper-medium-da — дообученная модель распознавания датской речи, созданная на основе openai/whisper-medium. Это модель архитектуры Whisper с 455,8 млн параметров; она принимает аудио и преобразует речь в текст. Дообучение проводилось на датских данных Common Voice 11.0 и FLEURS. На указанном наборе оценки модель показала WER 13,7086 и loss 0,5814. Модель предназначена для автоматической расшифровки датской речи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к различным акцентам и шуму или ограничения качества за пределами приведённой оценки.
Модель bayartsogt/whisper-medium-mn-10 — дообученная версия Whisper Medium, разработанная на основе openai/whisper-medium для распознавания речи. Она принимает аудио и генерирует текст; в метаданных указаны датасеты Common Voice 11.0, FLEURS и два монгольских набора данных. Модель содержит 455,8 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. На оценочном наборе указаны WER 21,26 и CER 6,88. Модель предназначена прежде всего для автоматической транскрипции речи, в том числе монгольской. В README отсутствуют подробности о составе обучающих данных, рекомендуемых сценариях и ограничениях; показатели оценки сами по себе не гарантируют точность на других аудиозаписях.
Whisper Medium Vaani Kannada — модель распознавания речи, дообученная ARTPARK-IISc на базе openai/whisper-medium с использованием датасета ARTPARK-IISc/Vaani. Модель предназначена для преобразования аудиозаписей на каннада в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в карточке указана поддержка задачи automatic-speech-recognition и тег языка kn. Модель опубликована в формате safetensors под лицензией MIT.
Viraj Patil дообучил Whisper Small MR v4 для автоматического распознавания речи на маратхи. Модель принимает аудио и преобразует речь в текст; в метаданных указана архитектура Whisper с 153,1 млн параметров. Для обучения использовались данные Common Voice 17.0 и Google FLEURS; метаданные также связывают модель с наборами Common Voice 19.0 и Google Marathi. На оценочном наборе указаны Loss 0,2496 и WER 34,1242. Модель распространяется под лицензией Apache-2.0.
steja/whisper-small-persian — модель автоматического распознавания речи на основе архитектуры Whisper small, дообученная на персидской части набора Mozilla Common Voice 11.0. Веса содержат около 153,1 млн параметров; модель принимает аудио и генерирует текстовую расшифровку на персидском языке. Модель предназначена для транскрибирования персидской речи. В карточке указаны результаты оценки на тестовой выборке: Loss 0,4924 и WER 32,8995. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0.
zh-wiki-punctuation-restore — модель на базе BERT для восстановления пунктуации в китайском тексте. Она классифицирует токены и поддерживает шесть знаков: запятую ,、перечислительную запятую 、, точку 。, вопросительный знак ?, восклицательный знак ! и точку с запятой ;. Модель предназначена для обработки текста без пунктуации, например после распознавания речи или при подготовке китайских текстов. Архитектура — BertForTokenClassification, размер — 129,5 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и safetensors. README предлагает установку пакета zhpr. Лицензия в предоставленных данных не указана.
Clips — модель Desert Ant Labs для отбора и ранжирования коротких фрагментов по расшифровке разговорного видео или аудио: подкастов, интервью и встреч. Она оценивает кандидаты в клипы, выбирает моменты с высокой значимостью и не допускает перекрытия фрагментов. Обработка выполняется на устройстве, без загрузки материалов на сервер; заявлена поддержка 100 языков. Модель поставляется в виде int8-пакета Core ML размером 284 МБ для платформ Apple и двух файлов LiteRT примерно по 283 МБ для других платформ. Селектор обрабатывает предложения пакетами по 16, а ограничение длины ролика задаётся временем обработки, а не окном контекста. Выходные данные включают оценки значимости и границ фрагментов; заголовки клипов модель не создаёт. Модель подходит для автоматического создания подборок ярких моментов и чернового монтажа разговорных записей. Оценки не калиброваны между видео, края клипов могут обрезать контекст или объединять темы, а короткие расшифровки могут дать мало фрагментов или не дать их вовсе. Нелатинские письменности протестированы ограниченно. Указана лицензия other; конкретные условия распространения в карточке не раскрыты.
Модель Ibrahim Amin — дообученная версия OpenAI Whisper Small для автоматической транскрибации аудио с переключением между египетским арабским и английским языками. Она использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку. Обучение включало наборы MohamedRashad/arabic-english-code-switching и FLEURS ar_eg, а также пользовательскую подборку аудио с YouTube. Модель предназначена прежде всего для расшифровки неформальной речи, интервью и подкастов, где собеседники чередуют египетский арабский и английский. В карточке приведены результаты оценки WER на FLEURS ar_eg, ESCWA и MGB-3; на этих наборах дообученная модель показала более низкий WER, чем базовый Whisper Small. Лицензия — Apache-2.0. Точность может снижаться на речи только на одном языке и при переключении на языки, отличные от египетского арабского и английского. Результаты также зависят от качества аудио, акцента говорящего и фонового шума.
Eurydice 24b v3.5 — диалоговая причинно-следственная языковая модель от Aixon Lab, основанная на архитектуре Mistral и дообученная на пользовательском наборе данных. В метаданных указано 23,4 млрд параметров, контекст до 131 072 токенов и формат весов safetensors. Модель предназначена для многосторонних диалогов, генерации текста, ответов на вопросы, анализа и творческого письма, включая рассказывание историй. Разработчик отмечает понимание контекста, творческие ответы и естественный разговор; основной язык — английский. Лицензия — Apache 2.0. Качество не подтверждено опубликованными метриками оценки. Модель может наследовать смещения из обучающих данных, поэтому её ответы следует критически проверять.
Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.
BuzzASR/japanese — монолингвальная модель автоматического распознавания японской речи, разработанная в рамках набора BuzzASR. Она создана полным дообучением openai/whisper-large-v3 с заменой токенизатора на японский и текстовым мультитасковым дообучением. Модель содержит около 907,3 млн параметров, использует архитектуру Whisper и библиотеку Transformers. Модель предназначена для транскрибации японской речи в текст. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25.0: нормализованный CER составляет 14,49% и 26,58% соответственно; на объединённом наборе CER — 21,08%. По заявлению авторов, на объединённом тесте это примерно на 1,1 раза ниже CER, чем у Whisper-large-v3 в режиме zero-shot. Языковая и задачная подсказка задана в конфигурации генерации. Модель рассчитана только на японский язык; качество на других предметных областях, диалектах и условиях записи может отличаться. Она лицензирована по MIT.
zelk12/MT1-BB-gemma-2-RIv0.1RAt0.25v0.1-9B — слитая модель на архитектуре Gemma 2, созданная разработчиком zelk12 с помощью mergekit и метода SLERP. Она объединяет zelk12/recoilme-gemma-2-Ifable-9B-v0.1 и zelk12/recoilme-gemma-2-Ataraxy-9B-v0.1-t0.25; в конфигурации базовой указана первая модель, а параметр смешивания t равен 0,5. Модель содержит 9 млрд параметров, рассчитана на диалоговую генерацию текста и работу через Transformers. Контекст — до 8192 токенов. Подходит для ведения беседы, выполнения инструкций и творческой генерации текста; более конкретная специализация в карточке не описана. Это производная модель, сохранённая в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.
NbAiLab/nb-wav2vec2-300m-bokmaal-v2 — модель распознавания речи, разработанная лабораторией искусственного интеллекта Национальной библиотеки Норвегии (NbAiLab). Она преобразует аудиозаписи на норвежском букмоле в текст и предназначена, в частности, для транскрибирования речи из парламентского корпуса NPSC. Модель основана на архитектуре wav2vec 2.0 с CTC-выходом и содержит около 402,7 млн параметров. В репозитории также доступны файлы языковой модели 5-граммного типа для декодирования. Модель принимает аудио и выдаёт текст; лицензия — Apache-2.0.
PASE — генеративная модель улучшения речи, разработанная Cisco Systems. Она очищает речь от шума и реверберации, стараясь сохранить разборчивость, содержание и особенности голоса говорящего. Модель рассчитана на монофонический звук с частотой 16 кГц. Архитектура объединяет DeWavLM, дообученную для подавления шума версию WavLM-Large с дистилляцией представлений, и двухпоточный вокодер, который восстанавливает аудио по фонетическим и акустическим признакам. Размер модели — около 382 млн параметров; вычислительная стоимость инференса — около 21,4 GMAC/s. Модель обучалась преимущественно на английской речи с шумами и реверберацией, синтезированными из перечисленных в карточке наборов данных. PASE предназначена для очистки записей разговоров и других речевых сигналов в шумной или реверберирующей среде. В тестах авторов модель показала низкий WER, высокую близость голоса к исходному и хорошее качество звучания; результаты релизной версии были близки к опубликованным в статье. Репозиторий распространяется по лицензии Apache 2.0. Качество может снижаться для языков, отличных от английского, при очень сильном шуме или реверберации, отличающейся от обучающих условий; возможны артефакты, а сохранение характеристик голоса не гарантируется. Модель не предназначена для обработки неречевого аудио, преобразования голоса или критически важных медицинских, юридических и безопасностных решений.
Reelva 12B — разговорная модель-компаньон с 12 млрд параметров, разработанная VVO Labs / Hagoiteknologi Indonesia в Паланкарае, Индонезия. Она построена на архитектуре Gemma4 Unified и распространяется в формате safetensors; веса получены посредством supervised fine-tuning с QLoRA и последующего слияния адаптера с моделью.
RUPunct_small — компактная модель семейства RUPunct для восстановления пунктуации в русском тексте. В карточке она названа самой маленькой моделью семейства и предназначенной для несложных текстов, где важна высокая скорость работы на CPU. Модель построена на архитектуре BERT и решает задачу классификации токенов; её размер — 29 млн параметров, контекст — до 2048 токенов. Модель подходит для автоматической расстановки знаков препинания в текстах без пунктуации, например в результатах распознавания речи или коротких пользовательских сообщениях. Она распространяется с лицензией MIT. Карточка рекомендует её для простых текстов; качество на сложных текстах не описано.
S2T-MEDIUM-MUSTC-MULTILINGUAL-ST — модель Facebook на базе Speech2Text, обученная для сквозного перевода речи. Это трансформер encoder-decoder с 55,5 млн параметров: свёрточный модуль сокращает длину речевых входов, а декодер авторегрессионно генерирует текст. Модель принимает речевые признаки и обучена на корпусе MuST-C с выступлениями TED на английском языке и переводами на немецкий, нидерландский, испанский, французский, итальянский, португальский, румынский и русский. Основной сценарий — перевод английской речи в текст на одном из восьми языков. Архитектура S2T также предназначена для распознавания речи, однако карточка описывает эту конкретную модель прежде всего как систему речевого перевода. В тестах MuST-C BLEU составил от 16,0 для перевода на русский до 34,9 для перевода на французский. Модель доступна в форматах PyTorch и TensorFlow по лицензии MIT; показатели на тестовом корпусе не гарантируют такую же точность на других темах и условиях записи.
Shenava-Koochik 0.9 — потоковая модель распознавания персидской речи, разработанная в рамках проекта VisualEars. Это дообученная модель FastConformer-Hybrid размером 114 млн параметров с головами RNNT и CTC, рассчитанная на аудио с частотой 16 кГц. Она принимает поток речи и выдаёт текстовую расшифровку; один чекпойнт позволяет выбирать задержку от 0 до 1040 мс без повторного обучения. Модель предназначена для офлайн-распознавания в реальном времени на устройстве, включая субтитры и транскрибацию. В README приведены результаты оценки на 6 669 персидских аудиофрагментах: WER составляет 8,57% при нулевой задержке и 7,60% при задержке 1040 мс для RNNT. Для потоковой работы через WebGPU рекомендована голова CTC, а RNNT подходит для более точного распознавания или перескоринга. Модель обучалась на псевдоразмеченных персидских данных с последующей настройкой на проверенных человеком примерах. Модель распространяется по лицензии Apache-2.0. Версия 0.9 обучена на 300 проверенных человеком примерах; README сообщает, что более крупный раунд разметки планируется для версии 1.0. Оценка качества приведена для конкретного набора данных и нормализатора, поэтому её не следует считать гарантией точности на других источниках речи.
Shuttle-2.5-mini — языковая модель компании ShuttleAI Inc., созданная дообучением Mistral-Nemo-Base-2407. Модель построена на плотной архитектуре Mistral с 12,1 млрд параметров по метаданным; в README указано 13 млрд. Она предназначена для сложного диалога, многоязычного общения, рассуждений, ролевых сценариев и агентных задач. Поддерживает чат и использует формат запросов ChatML. Модель доступна в формате Safetensors и распространяется по лицензии Apache 2.0. README указывает контекстное окно базовой модели 128 тысяч токенов, тогда как метаданные каталога приводят 1 024 000 токенов нативного контекста; это расхождение требует проверки перед использованием длинного контекста. Shuttle-2.5-mini обозначена как бета-версия; заявленные многоязычные и агентные возможности описаны без подробных результатов оценки.
SunflowerASR-51-african-languages — модель распознавания речи от Sunbird AI, адаптация Whisper large-v3 для 51 широко используемого в Африке языка, включая английский и французский с африканскими акцентами. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для транскрибации аудио: мониторинга СМИ, анализа звонков и отзывов граждан, голосовых интерфейсов и использования в конвейерах перевода речи. Обучение включало дообучение всех параметров на 7 412 часах африканской речи и этап GRPO, оптимизирующий частоту ошибок символов. Авторы сообщают о сильных результатах на трёх бенчмарках, однако качество заметно различается между языками. Для каждого аудиофрагмента язык нужно задать при декодировании — автоматического определения языка нет. Модель не переводит, не выдаёт временные метки или метки говорящих. Фрагменты длиннее 30 секунд необходимо разбивать. На шумной, спонтанной, перекрывающейся или смешанной по языкам речи точность может снижаться; результаты транскрибации для важных решений требуют проверки человеком.
dinesh480/telugu-whisper-finetuned — модель распознавания речи на телугу, разработанная на основе Swecha Gonthuka ASR и дообученная на пользовательском наборе телугуязычных аудиозаписей. Она использует архитектуру Wav2Vec2ForCTC и преобразует речь в текст на телугу в Unicode. Модель подходит для транскрибации, голосовых помощников, создания субтитров, образовательных приложений и анализа речи. Модель принимает монофонический звук WAV с частотой дискретизации 16 кГц; размер составляет 113,3 млн параметров. Репозиторий использует Transformers и хранит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Качество может снижаться при сильном фоновом шуме, нескольких говорящих, низком качестве записи и региональных акцентах, отсутствовавших в обучающих данных. README не приводит количественных результатов оценки.
bengaliAI/tugstugi_bengaliai-asr_whisper-medium — модель распознавания речи, опубликованная Bengali.AI. Она предназначена для преобразования аудиозаписей в текст и доступна для запуска через Transformers как задача automatic-speech-recognition. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит около 455,8 млн параметров. В репозитории указана лицензия Apache-2.0. Карточка модели практически не содержит описания обучения и результатов, поэтому нельзя подтвердить её качество на конкретных вариантах бенгальского языка или других языках. Конфигурация ограничивает декодирование 448 токенами; модель принимает аудио и выдаёт текст.
oyemade/w2v-bert-2.0-hausa-CV17.0 — модель распознавания речи, дообученная на Hausa из Common Voice 17.0 на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2-BERT с CTC-декодированием и содержит около 402,7 млн параметров. Предназначена для преобразования аудиозаписей на хауса в текст; в README указана оценка WER 0,0695 на наборе оценки. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса в формате Safetensors. Лицензия — MIT. Оценка качества приведена для набора оценки Common Voice 17.0 и не гарантирует такой же результат на других акцентах, условиях записи или предметных областях.
skydheere/wav2vec2-large-mms-1b-somalia — модель распознавания речи на основе wav2vec2-large, дообученная на facebook/mms-1b-all с использованием набора данных xtreme_s. Она принимает аудио и преобразует речь в текст; репозиторий указывает архитектуру Wav2Vec2ForCTC и размер около 1,3 млрд параметров. На оценочной выборке приведены loss 0,5553 и WER 0,4330. Карточка не описывает поддерживаемый язык и условия применения подробнее. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.