I.7Речь, диалоги и встречи

DrishtiSharma/wav2vec2-large-xls-r-300m-bg-d2 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на болгарской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2 с выходной головой CTC и предназначена для преобразования болгарской речи в текст. Модель подходит для транскрибации аудиозаписей и оценки качества систем распознавания болгарской речи. В карточке указаны значение WER 0,2860 и loss 0,3421 на тестовой выборке Common Voice 8.0. Репозиторий содержит веса PyTorch; размер модели — около 402,7 млн параметров. Лицензия — Apache-2.0.

Модель infinitejoy/wav2vec2-large-xls-r-300m-indonesian — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на индонезийском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель обучена на индонезийской части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; её можно применять для расшифровки индонезийских записей и речевых данных. В README приведены результаты оценки: WER 0,3256 и loss 0,2759. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

CAiRE/Wav2Vec2-Large-XLSR-53-Cantonese — модель распознавания речи, дообученная CAiRE на основе facebook/wav2vec2-large-xlsr-53 на кантонском языке с использованием Common Voice Corpus 8.0. Модель построена на архитектуре Wav2Vec2ForCTC, содержит 406,6 млн параметров и принимает аудиозаписи с частотой дискретизации 16 кГц, преобразуя речь в текст без языковой модели. Модель предназначена для автоматической транскрибации кантонской речи; в README приведён результат CER 18,55% на тестовой части Common Voice для zh-HK. Доступна в формате PyTorch по лицензии Apache-2.0. В карточке не указаны сведения о длине контекста.

kresnik/wav2vec2-large-xlsr-korean — модель автоматического распознавания речи на основе архитектуры Wav2Vec2, представленная пользователем kresnik. Модель обучена для распознавания корейской речи; карточка указывает оценивание на корпусе Zeroth-Korean. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указано около 403,9 млн параметров, класс Wav2Vec2ForCTC и форматы PyTorch и Safetensors. Для её использования подходит сценарий транскрибирования корейских аудиозаписей. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки или подробностей об ограничениях качества, поэтому точность на иных типах аудио по ней определить нельзя.

m3hrdadfi/wav2vec2-large-xlsr-persian-v3 — модель распознавания персидской речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на датасете Common Voice. Она принимает аудио и преобразует речь на фарси в текст; входные записи должны иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2 с CTC-выходом и содержит 402,7 млн параметров. В карточке указана оценка WER 10,36% на тесте. Модель подходит для транскрибации персидских аудиозаписей. Доступны веса PyTorch и TensorFlow. Условия лицензии в предоставленных данных не указаны.

Nhut/wav2vec2-large-xlsr-vietnamese — модель автоматического распознавания речи, дообученная на основе facebook/wav2vec2-large-xlsr-53 для вьетнамского языка. Принимает аудио и выдаёт распознанный текст; для работы входную речь следует подавать с частотой дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2ForCTC и содержит 402,8 млн параметров. Для дообучения использовались Common Voice, FOSD и VIVOS. В карточке приведён результат 49,59% на тестовых данных Common Voice для вьетнамского языка; метрика не уточнена, поэтому результат следует интерпретировать с осторожностью. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

Модель patrickvonplaten/wavlm-libri-clean-100h-base — дообученная версия microsoft/wavlm-base для автоматического распознавания речи. Она использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель обучена на чистой части набора LibriSpeech ASR и предназначена для преобразования речи в текст. На указанном в карточке наборе для оценки модель показала WER 0,0675 и loss 0,0829. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Whisper Base French — модель распознавания речи, созданная дообучением openai/whisper-base на французской части набора Mozilla Common Voice 16.0. Она принимает аудио и преобразует речь в текст, поэтому подходит для транскрибации французских записей и голосовых сообщений. Архитектура — WhisperForConditionalGeneration, число параметров — 51,7 млн. На оценочной выборке указаны loss 0,5654 и WER 27,6510; это значение WER следует учитывать при выборе модели для задач, где важна точность транскрипции. Модель распространяется по лицензии Apache-2.0.

qanastek/whisper-base-french-cased — модель автоматического распознавания речи на основе Whisper Base, дообученная на французской части набора Mozilla Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации записей и аудио с французской речью. Архитектура — WhisperForConditionalGeneration; модель содержит 51,7 млн параметров и опубликована в формате PyTorch. В карточке приведены результаты оценки: WER 24,0648 на тестовой выборке Common Voice 11.0 для французского языка, 24,20 на FLEURS fr_fr и 23,66 на VoxPopuli fr. Модель распространяется по лицензии Apache-2.0. Оценки относятся к указанным наборам данных и не гарантируют аналогичного качества на иных аудиозаписях.

byoussef/whisper-large-v2-Ko — дообученная модель распознавания речи на основе openai/whisper-large-v2, опубликованная в формате PyTorch и Safetensors. Она предназначена для преобразования корейской речи в текст. В метаданных указан набор данных Bingsu/zeroth-korean; в README приведён результат WER 2,9 на оценочной выборке, но методика оценки не описана. Модель содержит 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration. Базовая модель поддерживает транскрибацию аудио и перевод речи; эта версия специализируется на корейском языке. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает ограничения, условия записи аудио или качество на других наборах данных.

Модель oddadmix/whisper-large-v3-arabic-dialectal-v2 разработана автором oddadmix на базе Whisper large-v3 от OpenAI и дообучена для распознавания разговорного арабского языка в разных диалектах. Она принимает аудио и преобразует речь в текст; в карточке описано дообучение на сбалансированном по диалектам наборе lahgtna-v3-small: 52 тысячи обучающих и 2,6 тысячи тестовых фрагментов. Размер базовой модели — 1,54 млрд параметров, архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors. На сбалансированной тестовой выборке модель показала WER 0,3199 и CER 0,1203 при оценке нормализованного текста без диакритических знаков. В приведённых результатах лучше распознаются саудовский и другие заливные варианты, сложнее — магрибские диалекты, включая тунисский, алжирский и марокканский. Модель рассчитана на транскрибацию арабской речи, а не на генерацию текста по произвольным запросам. Модель распространяется по лицензии Apache-2.0. Она унаследовала мультиязычные возможности Whisper large-v3, однако дообучение и заявленная специализация ориентированы на арабские диалекты; показатели зависят от диалекта, качества аудио и принятой нормализации транскрипта.

Whisper-Large-V3-Distil-Italian-v0.2 — дистиллированная модель распознавания речи на базе архитектуры Whisper, созданная для транскрибации итальянской речи. Она содержит 905,2 млн параметров и использует неизменённую архитектуру энкодера Whisper large-v3 с декодером из двух слоёв; учительской моделью была openai/whisper-large-v3. Обучение охватывало аудиофрагменты длительностью до 30 секунд и применяло аугментацию данных для сохранения возможностей транскрибации длинных записей. Модель можно использовать самостоятельно, чтобы ускорить распознавание с некоторой потерей точности, или как черновую модель для speculative decoding вместе с Whisper large-v3. В README заявлены ускорение до 5,8 раза при самостоятельном использовании и примерно вдвое при speculative decoding; для последнего способа обещается сохранение тех же результатов, что у основной модели. Поддерживаются варианты запуска через Transformers и конвертированные реализации Whisper. Модель принимает аудио и выдаёт текст; сведения о контекстном окне в карточке не приведены. Репозиторий распространяется по лицензии MIT.

Это 4-битная MLX-версия модели распознавания речи Whisper large-v3, адаптированная для швейцарского немецкого. Она предназначена для локальной транскрибации аудио через совместимые среды MLX, включая интеграцию mlx-audio STT в oMLX. Основа — openai/whisper-large-v3 с PEFT-адаптацией, обученной на данных SwissDial; затем веса Linear и Embedding квантованы методом affine с группами по 64 значения, тогда как свёрточные слои, LayerNorm, позиционные эмбеддинги и векторы смещений остаются без этой квантизации. Репозиторий содержит чекпойнт MLX в safetensors и файлы процессора и токенизатора Whisper. В README не приведены результаты оценки WER/CER на отложенной выборке швейцарского немецкого, поэтому качество распознавания диалектов количественно не подтверждено. Указана лицензия «other», конкретные условия следует проверять в файлах репозитория.

anaszil/whisper-large-v3-turbo-darija — LoRA-адаптер модели OpenAI Whisper Large v3 Turbo, дообученный автором anaszil для автоматического распознавания речи на марокканской арабской дариже (Darija, код ary). Модель имеет архитектуру encoder-decoder ASR и предназначена для преобразования аудио в текст, включая расшифровку разговоров службы поддержки, интервью и голосовых сообщений. Адаптер дообучен на очищенном и сегментированном частном корпусе марокканской дарижи с фрагментами длительностью до 30 секунд. Он применяется поверх базовой модели openai/whisper-large-v3-turbo; для использования требуются библиотеки PEFT и Transformers. LoRA-адаптеры затрагивают слои энкодера и декодера, включая q_proj, k_proj, v_proj, out_proj, fc1 и fc2. В README не указаны дополнительные языки, размер модели или точная длина контекста; для инференса рекомендуется обработка аудио с размером фрагмента 30 секунд. На отложенной выборке из того же распределения данных заявлены WER 24,88%, CER 8,28% и evaluation loss 0,322. Низкий CER при более высоком WER связывается с отсутствием единой орфографии дарижи и вариативностью написания слов, поэтому результаты могут зависеть от особенностей датасета и не гарантируют аналогичную точность на других источниках речи. Данные о частном обучающем корпусе должны быть опубликованы позднее. Модель распространяется по лицензии MIT.

Flo976/whisper-malagasy-medium — модель распознавания речи, созданная разработчиком проекта Milo Voice на основе openai/whisper-medium и дообученная на 149 часах аудио на малагасийском языке. Модель принимает аудио и выдаёт его расшифровку текстом; для запуска предусмотрена библиотека Transformers. В репозитории указано 455,8 млн параметров, а для инференса на GPU описан режим FP16. Модель предназначена для расшифровки малагасийской речи, например записей встреч и интервью, автоматического создания субтитров и голосовых приложений. На валидационной выборке автор сообщает WER 20,78%; результаты могут меняться в зависимости от качества записи и диалекта. Обучение преимущественно охватывало официальный диалект Мерина; работа с прибрежными диалектами не оценивалась. Модель не предназначена для перевода, диаризации, идентификации говорящих или потоковой транскрипции. Сильный фоновый шум, длинные записи, региональные имена и специализированные термины могут ухудшать точность; тестировались аудиосегменты до 30 секунд. Лицензия репозитория — AGPL-3.0.

Модель dianavdavidson/whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT — дообученная версия Whisper Medium от OpenAI для автоматической расшифровки речи. Она содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате Safetensors. По названию модели она ориентирована на речь хинглиш с использованием смешанных систем письма; в README указан результат оценки Global WER 28,9546 и loss 0,4427, но состав набора и методика оценки не описаны. Модель принимает аудио и выдаёт текстовую транскрипцию. Базовая Whisper Medium также поддерживает многоязычную расшифровку и перевод речи, однако для этой дообученной версии подтверждена только задача распознавания речи. Лицензия — Apache-2.0. Оценка WER и отсутствие сведений о данных обучения затрудняют выводы о качестве на других наборах и языковых вариантах.

jlondonobo/whisper-medium-pt — дообученная модель распознавания речи на базе Whisper Medium, созданная для транскрибирования аудио на португальском языке. Разработчик дообучил openai/whisper-medium на наборе mozilla-foundation/common_voice_11; архитектура — WhisperForConditionalGeneration, формат весов — PyTorch, размер по метаданным — 455,8 млн параметров. Модель преобразует португальскую речь в текст. В README приведён результат WER 6,579 на Common Voice 11 и заявлено улучшение относительно исходной Whisper Medium; это оценка на указанном наборе данных, а не гарантия качества на других записях. Для коротких аудиофрагментов предлагается Transformers pipeline, а для длинных транскрипций README описывает отдельный способ запуска с оригинальным алгоритмом Whisper. Лицензия — Apache-2.0.

whisper-small-arabic-letters-pod — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты оценки: loss 0,0493 и WER 6,3830. Модель принимает аудио и выдаёт текст. Базовая Whisper small — мультиязычная модель для транскрибирования речи и перевода аудио на английский язык; карточка этой версии не уточняет языки и специальные сценарии дообучения. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

CLEAR Global совместно с Makerere University Centre for Artificial Intelligence and Data Science дообучили мультиязычную модель распознавания речи Whisper Small на одобренной части набора TWB Voice 1.0 для хауса. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текстовую транскрипцию; в метаданных указана библиотека Transformers и формат весов safetensors. Модель предназначена для транскрибирования речи на хауса. На внутренней тестовой выборке TWB Voice 1.0 указаны WER 2,23% и CER 3,11%; тестовые дикторы не пересекались с обучающей и валидационной выборками. Также проводилась оценка на Common Voice v17 и Naija Voices, но её результаты не приведены. Модель распространяется по лицензии CC BY-SA 4.0.

MKAlbani/whisper-small-ha — дообученная модель распознавания речи на базе openai/whisper-small, созданная на датасете Common Voice 16.1. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 153,1 млн параметров. В карточке приведены результаты оценки: WER 43,79 и WER Ortho 46,98. Модель принимает аудио и выдаёт текст. Базовый Whisper — мультиязычная модель, но карточка не уточняет языки, на которых проводилось дообучение; суффикс «ha» сам по себе не подтверждает язык. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.

Whisper small-singlish — модель автоматического распознавания речи, разработанная Ming Jie Wong на основе OpenAI Whisper small. Это encoder-decoder модель семейства Whisper с 153,1 млн параметров, дообученная для транскрибирования английской речи с особенностями сингапурского разговорного английского (Singlish). Для адаптации использован внутренний набор из 66,9 тыс. пар аудиозаписей и транскрипций, подготовленный на основе близких микрофонных записей корпуса IMDA National Speech Corpus; аудиофрагменты имеют частоту дискретизации 16 кГц и длительность не более 20 секунд. Модель предназначена для транскрибирования разговоров на Singlish, включая повседневные темы и диалоги. Она доступна через Transformers pipeline для automatic speech recognition. Возможны ошибки на сложных аудиозаписях и при нестандартных вариантах речи; результаты следует проверять, особенно перед применением в чувствительных сценариях. Лицензия — Apache-2.0.

Модель wrice/whisper-tiny-grpo-5e2f49e-cv22-tiny-sftadaptive — компактная модель распознавания речи на базе Whisper Tiny от OpenAI, дообученная автором репозитория методом GRPO с комбинированной наградой за ошибки слов и символов. Она предназначена для преобразования аудио в текст; при обучении использовался набор cv22_index с данными Common Voice для 78 языковых локалей, а язык клипа задавался по локали набора данных. Для контрольной выборки сообщаются общие WER 0,671 и CER 0,290 после нормализации текста. Модель доступна в формате safetensors через Transformers и распространяется по лицензии MIT. Это экспериментальная проверка метода обучения, а качество в реальных условиях зависит от языка, предметной области, акцента и качества аудио.

onnx-community/whisper-tiny_timestamped — версия модели openai/whisper-tiny с весами в формате ONNX, подготовленная сообществом onnx-community для совместимости с Transformers.js. Репозиторий предназначен для запуска модели в веб-среде и других сценариях, где требуется поддержка ONNX и Transformers.js. Модель основана на Whisper Tiny, однако в предоставленных данных не указаны подробности её архитектуры, размер, поддерживаемые языки, модальности, максимальная длина контекста и точные задачи. Суффикс timestamped присутствует в идентификаторе модели, но README не содержит описания возможностей работы с временными метками, поэтому их наличие нельзя подтвердить по доступной информации. Ключевое преимущество модели — формат ONNX и совместимость с Transformers.js, что упрощает использование в web-ready приложениях. Ограничения, точные требования к ресурсам, условия лицензирования и дополнительные характеристики в README не указаны. Отдельный репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML.

Whistle — компактная модель распознавания речи от Cactus-Compute для локального запуска на мобильных устройствах, носимой электронике, роботах, устройствах умного дома, автомобилях и микроконтроллерах. Она принимает монофонический звук с частотой 16 кГц и распознаёт речь на английском, немецком, французском, испанском, итальянском, нидерландском и польском языках; язык можно определять автоматически или задавать явно. Модель сочетает log-mel-преобразование, свёрточный начальный блок, аудиоэнкодер и декодер Needle с перекрёстным вниманием. Файл модели занимает 16,9 МБ; заявлена работа на CPU без GPU и дополнительных сред выполнения в движке Cactus Needle. Помимо транскрипции, Whistle может выдавать временные метки и вероятности для отдельных слов, потоково распознавать длинные записи и формировать речевые эмбеддинги для поиска и сопоставления. Поддерживается смещение распознавания в пользу заданных ключевых слов. Модель рассчитана на распознавание аудио на устройстве, что подходит для приложений, которым нужна локальная обработка речи. Для входа требуется аудио 16 кГц в моно; другие частоты дискретизации и захват с микрофона требуют дополнительного пакета. Лицензия — Apache-2.0.

bkh6722/bach-arb — модель распознавания речи на базе Wav2Vec2ForCTC, дообученная из jonatasgrosman/wav2vec2-large-xlsr-53-german. Веса PyTorch содержат 113,3 млн параметров. Модель предназначена для преобразования аудио в текст; конкретный язык и обучающий набор данных в карточке не описаны. На тестовой выборке указаны loss 2,9404 и WER 0,6130. Эти результаты показывают заметную долю ошибок распознавания, поэтому качество следует проверять на целевых аудиозаписях. Сведения о лицензии в предоставленных данных отсутствуют.

Bangla Punctuation Restoration v2 — модель Манжары Хасин Аль Питома (HasinManjare) для восстановления знаков препинания в бенгальском тексте. Она дообучена на BanglaBERT — дискриминаторе ELECTRA для бенгальского языка — и присваивает токенам метки пунктуации; среди меток указаны отсутствие знака, запятая и бенгальская точка «।». Размер модели — 137,8 млн параметров, максимальный контекст — 512 токенов. Модель предназначена для пунктуации текста без знаков, в том числе расшифровок автоматического распознавания речи. README сообщает оценку macro F1 около 0,570 для пунктуации и 0,623 в целом на отложенной тестовой выборке; качество заметно различается между классами. Для производственного применения рекомендуется оценить её на данных, характерных для целевой системы распознавания речи. Модель распространяется под лицензией с меткой «other»; конкретные условия следует сверить на странице репозитория.

Claire-7B-Apache-0.1 — авторегрессионная языковая модель с причинным декодером на 7 млрд параметров, разработанная LINAGORA и OpenLLM-France на основе Falcon-7B. Она дообучена на французских диалоговых данных и предназначена для продолжения диалогов, а также как основа для дальнейшей настройки под генерацию диалогов и их понимание. Модель обучалась на стенограммах парламентских заседаний, встреч и театральных текстах. Она принимает текстовые подсказки в формате монолога или реплик нескольких участников и генерирует текстовые продолжения. Максимальная длина обучающих примеров составляла 2048 токенов. Модель ориентирована на французский язык; поддержка других языков не подтверждена и может быть ограниченной. Обучение на разговорной речи помогает воспроизводить особенности диалогов, но модель может генерировать речевые сбои и другие характерные для устной речи конструкции. Лицензия — Apache 2.0.

Data2Vec Audio — это модель автоматического распознавания речи, разработанная Meta под именем facebook/data2vec-audio-base-960h и преобразованная в формат GGUF для использования с CrispASR. Модель предназначена для транскрибации англоязычных аудиозаписей и совместима с backend wav2vec2 в CrispASR. Архитектура включает сверточный экстрактор признаков в стиле wav2vec2 с 7 слоями и размерностью 512, 12-слойный Transformer с размерностью 768 и 12 attention heads, а также CTC-head. Модель содержит около 95 млн параметров. Она прошла self-supervised pre-training на LibriSpeech объёмом 960 часов и последующее обучение с CTC loss. Поддерживается только английский язык. Заявленная частота ошибок составляет 1,89% на LibriSpeech test-clean и 4,07% на test-other. Сильные стороны модели — относительно компактный размер, хорошая точность на англоязычной речи и сохранение результатов исходной Hugging Face-модели в вариантах GGUF с разной точностью, включая F16, Q4_K и Q8_0. Ограничение — специализация только на английском языке; качество на других языках и сценариях в предоставленных данных не указано. Модель распространяется по лицензии Apache 2.0.

EMOVA-Qwen-2.5-3B-HF — мультимодальная модель семейства EMOVA, разработанная командой EMOVA. Это чекпойнт на 3 млрд параметров, объединяющий возможности текстовой модели и визуального энкодера. Он предназначен для понимания изображений и речи, а также для диалога с генерацией текстовых и эмоционально выразительных речевых ответов. Модель поддерживает английский и китайский языки и 24 речевых стиля, сочетая два голоса, три высоты тона и четыре эмоции. Модель доступна в формате Hugging Face и загружается через Auto API библиотеки Transformers. В README заявлены сценарии визуально-языкового понимания, эмоционального голосового диалога и работы со структурированными данными в устной беседе. Лицензия — Apache-2.0. Метаданные указывают задачи генерации текста и извлечения признаков; карточка также описывает генерацию речи и работу с визуальным вводом.

EMOVA-Qwen-2.5-7B — мультимодальная разговорная модель, разработанная командой EMOVA. Чекпойнт объединяет базовую модель Qwen2.5-7B-Instruct с компонентом Qwen2-VL и предназначен для диалога по текстовым, визуальным и речевым входам с текстовыми и речевыми ответами. Архитектура — плотная авторегрессионная модель на 7,1 млрд параметров; нативный контекст — 32 768 токенов. Модель рассчитана на мультимодальное понимание, ответы на вопросы об изображениях, разговоры с речевым вводом и генерацию речи с управлением стилем и эмоциями. Для китайского и английского заявлены 24 варианта речевого стиля, включая выбор голоса, высоты тона и эмоции. В карточке также заявлена поддержка чата и интерфейса вызова инструментов. Для работы с чекпойнтом требуется кодовая база EMOVA; репозиторий содержит веса в safetensors и предназначен для использования в исходном формате EMOVA. Лицензия — Apache-2.0. Метаданные указывают text-generation как pipeline_tag, поэтому другие мультимодальные задачи здесь описаны как возможности модели, а не как подтверждённые отдельные pipeline-теги.