I.7Речь, диалоги и встречи

Wav2Vec2-Base-100h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0 и дообучена на 100 часах размеченной речи из LibriSpeech после предварительного обучения на аудиоданных. Модель принимает речь с частотой дискретизации 16 кГц и преобразует её в текст; в метаданных указано около 113,3 млн параметров. Модель предназначена для автоматической транскрибации англоязычной речи, в том числе записей, похожих на аудиокниги и подкасты. Её можно использовать как акустическую модель в системах распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache 2.0.

Wav2Vec2-Base-960h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0: модель предварительно обучена на аудио речи, а затем дообучена на 960 часах размеченных данных LibriSpeech. Веса содержат 113,3 млн параметров; доступны форматы PyTorch, safetensors и TensorFlow. Модель предназначена для преобразования английской речи в текст. На вход подаётся аудио с частотой дискретизации 16 кГц; обучение и оценка опираются на LibriSpeech. Для оптимальных результатов следует соблюдать эту частоту дискретизации. Модель распознаёт речь, но карточка не заявляет поддержку других языков или дополнительных аудиозадач. Лицензия — Apache-2.0. Указанные в карточке результаты на LibriSpeech не гарантируют такую же точность на других акцентах, условиях записи или предметных областях.

facebook/wav2vec2-conformer-rel-pos-large-960h-ft — акустическая модель распознавания речи, разработанная Facebook AI (ныне Meta) на основе архитектуры Wav2Vec2-Conformer с относительными позиционными эмбеддингами. Модель предобучена и дообучена на 960 часах англоязычной речи из LibriSpeech. Она предназначена для преобразования речи в текст и может использоваться для транскрибирования аудиозаписей. На вход подаётся речь с частотой дискретизации 16 кГц; архитектура модели — Wav2Vec2ConformerForCTC, размер — 402,7 млн параметров. Модель поддерживает английский язык. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Качество на речи, отличающейся от LibriSpeech, а также обработка других языков в карточке не описаны.

facebook/wav2vec2-conformer-rope-large-960h-ft — акустическая модель распознавания речи, разработанная авторами Changhan Wang, Yun Tang, Xutai Ma, Anne Wu, Sravya Popuri, Dmytro Okhonko, Juan Pino и опубликованная в репозитории Facebook. Это архитектура Wav2Vec2-Conformer с rotary position embeddings и примерно 402,7 млн параметров; модель дообучена на 960 часах английской речи из LibriSpeech. Она принимает аудио с частотой дискретизации 16 кГц и предназначена для преобразования речи в текст. Модель подходит для транскрибирования английской речи и оценки качества распознавания на данных, близких к LibriSpeech. В карточке указаны форматы PyTorch и Safetensors, лицензия Apache 2.0. Языковая поддержка по данным карточки — английский; требования к частоте дискретизации входного аудио следует соблюдать.

yongjian/wav2vec2-large-a — модель распознавания речи на базе Wav2Vec2, дообученная из facebook/wav2vec2-large-960h-lv60-self. Она предназначена для преобразования аудиозаписей в текст и размечена для английского языка; в метаданных указан датасет LIUM/tedlium. Модель содержит около 402,7 млн параметров и представлена в формате PyTorch. Карточка содержит мало сведений о качестве распознавания, допустимых условиях записи и конкретной конфигурации входного аудио. Лицензия в предоставленных данных не указана.

Facebook wav2vec2-large-xlsr-53-portuguese — модель распознавания португальской речи, опубликованная в формате PyTorch и Flax. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для обучения или оценки использовался набор Common Voice на португальском языке. Модель принимает аудио и преобразует речь в текст. В README приведён результат 27,1% на тестовой выборке Common Voice PT, но метрика и подробности оценки не указаны. Модель распространяется по лицензии Apache 2.0.

maxidl/wav2vec2-large-xlsr-german — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на немецкой части набора Common Voice. Она преобразует немецкую речь в текст и предназначена для сценариев автоматической транскрипции. Архитектура — Wav2Vec2ForCTC; размер — 402,8 млн параметров. Для входного аудио требуется частота дискретизации 16 кГц. В оценке на тестовой части Common Voice для немецкого языка модель показала WER 12,77 %. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

wav2vec2-xls-r-1b-dv — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует аудио в текст и предназначена для автоматической транскрипции речи. В README приведены результаты на оценочном наборе: loss 0,1702 и WER 0,2123. Модель содержит 1,3 млрд параметров, опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. В карточке указана связь с Common Voice 8.0; метаданные также содержат тег «dv», но не позволяют достоверно установить язык аудио. Сведения о длине контекста и дополнительных сценариях применения отсутствуют.

jonatasgrosman/wav2vec2-xls-r-1b-portuguese — модель распознавания речи на португальском языке, созданная дообучением facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2 с выходной головой CTC и содержит около 1,3 млрд параметров. Для обучения использованы обучающие и валидационные части Common Voice 8.0, CORAA, Multilingual TEDx и Multilingual LibriSpeech; модель предназначена для преобразования португалоязычной речи в текст. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт транскрипцию. В карточке приведён пример использования через библиотеку HuggingSound. Модель опубликована под лицензией Apache-2.0. Карточка не сообщает метрики качества или ограничения на типы записей, поэтому практическую точность следует оценивать на данных целевого сценария.

mesolitica/wav2vec2-xls-r-300m-mixed — модель распознавания речи, созданная Mesolitica на основе архитектуры wav2vec2 и дообученная для малайского языка, синглиша и китайского мандаринского. Она предназначена для преобразования речи в текст; карточка приводит отдельные наборы оценки для каждого из трёх языков и смешанную оценку. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. Она принимает аудио и выдаёт текстовую транскрипцию. В README описано обучение на одной видеокарте RTX 3090 Ti с 24 ГБ видеопамяти. Лицензия в предоставленных данных не указана.

NbAiLab разработала эту модель как дообученную версию facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на данных NBAILAB/NPSC — 16K_MP3. Модель построена на архитектуре Wav2Vec2 и использует CTC для преобразования аудио в текст. В метаданных указано 402,7 млн параметров; доступны веса PyTorch. Модель предназначена для транскрибации речи в аудио. На оценочном наборе указаны Loss 0,1692 и WER 0,1663. Репозиторий распространяется по лицензии Apache-2.0. В карточке нет подробных сведений об условиях записи, поддерживаемых языках и ограничениях точности.

microsoft/wavlm-base-plus-sd — модель Microsoft для диаризации речи, дообученная на базе WavLM-Base-Plus. Она принимает речевой сигнал с частотой дискретизации 16 кГц и выдаёт покадровые предсказания для различения говорящих. Модель основана на архитектуре Transformer из семейства WavLM и содержит 113,3 млн параметров. Базовый WavLM предварительно обучен на Libri-Light, GigaSpeech и VoxPopuli с использованием самообучения, учитывающего содержание речи и идентичность говорящего. Для диаризации эту версию дообучили на LibriMix, добавив линейный классификационный слой. Она предназначена для анализа записей с несколькими говорящими; заявленная задача — классификация аудиокадров. Модель ориентирована на английскую речь. В описании не приведены метрики качества или подробности о работе с перекрывающейся речью и шумом. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

waxal-whisper_small_multi_s42 — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и выдаёт транскрипцию аудио в виде текста. Модель содержит 153,1 млн параметров и распространяется в формате Safetensors через библиотеку Transformers. В README приведены результаты оценки: WER 0,7159, CER 0,3848 и loss 0,4327. Датасет обучения обозначен как None, а подробности о языках, сценариях применения и условиях тестирования не приведены. Модель распространяется по лицензии Apache-2.0; качество распознавания следует проверять на данных целевого сценария.

Xenova/whisper-base — вариант модели openai/whisper-base, подготовленный сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст, включая транскрибацию аудиофайлов или аудио по URL. Ключевая особенность модели — ONNX-веса и совместимость с JavaScript-библиотекой Transformers.js, что позволяет использовать её в веб- и JavaScript-приложениях. В README не указаны точные архитектурные параметры, количество параметров, поддерживаемые языки, модальности и максимальная длина контекста, поэтому эти характеристики нельзя достоверно описать. Отдельный репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML. Модель удобна для интеграции распознавания речи в приложения на JavaScript и сценарии, где требуется запуск через Transformers.js. Ограничения по качеству, производительности и поддерживаемым языкам в README не приведены. Указанная лицензия — Apache-2.0.

burakaydinofficial/whisper-base-cv11 — это мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Base на корпусе Whispered с лицензией CC0. Модель содержит 51,7 млн параметров и предназначена для преобразования речи в аудио в текст; она работает через библиотеку Transformers без пользовательского кода. Модель служит контрольной точкой для сравнения с вариантом whisper-base-mla-cv11, в котором изменена архитектура внимания. В карточке приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского языков; обучение проводилось на данных для чтения речи, энкодер был заморожен. Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский языки. Контекстная длина в доступных данных не указана. Модель распространяется по лицензии Apache-2.0. Результаты могут немного отличаться при повторной оценке: в карточке отмечено, что контрольная финальная контрольная точка отличается от контрольной точки, выбранной по dev-набору.

aneforge/whisper-base.en — англоязычная модель распознавания речи семейства Whisper от OpenAI, опубликованная ANEForge для запуска через ANEForge на Apple Neural Engine. Репозиторий содержит байт-в-байт копию весов openai/whisper-base.en в формате safetensors; архитектура — плотная WhisperForConditionalGeneration, размер — 51,7 млн параметров. Модель преобразует аудио в текстовую расшифровку. Она принимает монофонический аудиосигнал с частотой 16 кГц; базовая модель предназначена для английской речи. ANEForge компилирует граф модели в программу для Apple Neural Engine и загружает веса из репозитория. Модель распространяется по лицензии Apache-2.0. README описывает её как неизменённую копию исходной модели, поэтому отдельное дообучение не подтверждается; назначение репозитория — совместимость с ANEForge. Подробности о точности и ограничениях распознавания следует смотреть в карточке исходной модели.

mlx-community/whisper-base.en-asr-fp16 — англоязычная модель распознавания речи семейства Whisper, преобразованная сообществом mlx-community в формат MLX из openai/whisper-base.en с помощью mlx-audio версии 0.2.10. Она принимает аудио и преобразует речь в текст; предназначена для транскрибации английской речи в приложениях, использующих MLX и mlx-audio. Модель содержит 51,7 млн параметров, а файлы репозитория представлены в формате safetensors. Лицензия — Apache-2.0. Карточка отсылает к описанию исходной модели за дополнительными сведениями. Данные подтверждают английскую специализацию и задачу распознавания речи, но не сообщают длину контекста или ограничения качества.

deepdml/whisper-base-es-mix-norm — модель распознавания речи на основе Whisper Base от OpenAI, дообученная разработчиком deepdml. По метаданным, модель предназначена для преобразования аудио в текст и обучалась на наборах VoxForge, Common Voice, Basque Parliament, WorldSpeech, VoxPopuli, Fleurs и Multilingual LibriSpeech; README также сообщает о дообучении на Common Voice 17.0. Архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors и предназначены для использования с Transformers. На тестовом наборе из README указаны WER 12,4062 и CER 4,8335. Метаданные отмечают испанский язык, однако подробности о нормализации, поддержке отдельных языков и условиях оценки не раскрыты. Лицензия — Apache-2.0.

istupakov/whisper-base-onnx — это версия модели Whisper base, разработанной OpenAI и преобразованной в формат ONNX для использования с библиотекой onnx-asr. Модель предназначена для автоматического распознавания речи в аудиофайлах, включая транскрибацию WAV, с возможностью автоматического определения языка или его явного указания. Ключевые характеристики включают архитектуру Whisper base в формате ONNX, поддержку обработки аудио и генерацию текстовой расшифровки. В карточке модели указаны английский и русский языки. Экспорт выполнен с использованием beam search, forced decoder input IDs, оптимизации ONNX и точности FP32. Количество параметров и максимальная длина контекста не указаны. Формат ONNX ориентирован на запуск через onnx-asr и ONNX Runtime, в том числе на CPU. Автоматическое определение языка может работать медленнее, чем распознавание с заранее заданным языком. Данные о точности, производительности, устойчивости к шуму и других ограничениях отсутствуют, поэтому оценить сильные стороны модели по сравнению с альтернативами нельзя. Модель распространяется по лицензии Apache-2.0.

arampacha/whisper-large-uk-2 — дообученная версия Whisper Large v2 от OpenAI, созданная для распознавания украинской речи. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Для дообучения использован Common Voice 11.0, а среди указанных в метаданных датасетов также есть Google FLEURS. В README приведён результат оценки на тестовой выборке: WER 10,0226. Модель подходит для транскрибации украинской речи, в том числе записей и голосовых сообщений. Вес опубликован в формате PyTorch; лицензия — Apache-2.0. Подробности о других ограничениях и условиях оценки в карточке не раскрыты.

bofenghuang/whisper-large-v3-french-distil-dec16 — дистиллированная версия Whisper Large V3 French, созданная путём сокращения числа слоёв декодера с 32 до 16 и обучения на крупном наборе данных. Модель предназначена для распознавания французской речи и преобразования аудио в текст. Она содержит около 905,2 млн параметров, построена на архитектуре Whisper и поддерживает аудиовход; карточка описывает использование через Transformers и совместимые реализации Whisper. Сокращённый декодер уменьшает расход памяти и ускоряет вывод при сохранении качества, соответствующего числу оставшихся слоёв. В README также отмечено снижение риска галлюцинаций при длинных транскрипциях и возможность ускорения исходной модели Whisper Large V3 French через speculative decoding. Для длинного аудио можно использовать разбиение на фрагменты, но такой способ может немного уступать последовательному алгоритму по качеству. Модель распространяется по лицензии MIT.

Trendency/whisper-large-v3-hu — дообученная Trendency на открытых речевых данных версия Whisper large-v3 от OpenAI, ориентированная прежде всего на распознавание венгерской речи. Это мультиязычная модель автоматического распознавания речи с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; она принимает аудио и выдаёт текст. Для длинных записей требуется обработка фрагментами, поскольку рецептивное поле модели составляет 30 секунд; для запуска автор рекомендует faster-whisper. Модель предназначена для транскрибации венгерской речи, включая записи из Common Voice, VoxPopuli и других речевых наборов. В README сообщается о среднем WER 11,26 на указанных срезах Common Voice и об улучшении относительно базовой модели на венгерских данных, но также о возможном снижении качества на других языках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Как и другие версии Whisper, модель может ошибочно добавлять текст, которого нет в аудио, повторять фрагменты и показывать неодинаковую точность для разных языков, акцентов и диалектов. README указывает, что при обучении использовались также обучающие, тестовые и валидационные части наборов данных, поэтому приведённые оценки следует интерпретировать с учётом этого обстоятельства.

marianbasti/whisper-large-v3-turbo-latam — дообученная marianbasti на испанской части Mozilla Common Voice 17.0 версия Whisper large-v3-turbo. Модель предназначена для автоматической транскрибации испанской речи, с акцентом на латиноамериканские варианты и аудио низкого качества; при обучении исключили испанские акценты Испании. Для обучения вычислительные ресурсы предоставил CITECCA Национального университета Рио-Негро. Модель использует архитектуру WhisperForConditionalGeneration, содержит 905,2 млн параметров и работает с аудио на входе, выдавая текст. Базовая Whisper large-v3-turbo ускорена за счёт сокращения числа декодирующих слоёв с 32 до 4, что повышает скорость при небольшом снижении качества. Модель поддерживается библиотекой Transformers; лицензия — MIT. Для аудио длиннее 30 секунд требуется обработка последовательными или перекрывающимися сегментами. Качество распознавания может зависеть от акцента, шума и конкретной области применения. Перед развёртыванием рекомендуется оценить модель на целевых данных; она не предназначена для субъективной классификации людей или решений в высокорисковых сценариях.

kinit/whisper-large-v3-turbo-sk — модель команды KInIT для автоматического распознавания словацкой речи. Это полно-параметрическая донастройка Whisper encoder-decoder на базе openai/whisper-large-v3-turbo; в метаданных указано 905,2 млн параметров. При обучении использовался курируемый корпус словацкой речи, а 75% обучающих пакетов дополнительно усиливались синтетическим фоновым шумом для повышения устойчивости к условиям реальных записей. Модель предназначена для транскрибации словацкой речи из записей в разных предметных областях и акустических условиях. На тестовом наборе Common Voice 24.0 указаны WER 9,29% и CER 2,55%; на внутреннем наборе KInIT — WER 5,60% и CER 2,65%. По README, версия v2 добавила шумовую аугментацию и улучшила результаты относительно v1. Модель ориентирована на словацкий язык: донастройка существенно ухудшает распознавание других языков. Надёжная длина одного сегмента — до 30 секунд; более длинное аудио следует обрабатывать с разбиением на фрагменты. Качество может снижаться на сильных акцентах, диалектах и речи из областей, недостаточно представленных в обучающих данных. Для критически важных расшифровок требуется проверка человеком. Лицензия — MIT.

onnx-community/whisper-large-v3-turbo_timestamped — это версия модели OpenAI Whisper large-v3-turbo, подготовленная сообществом onnx-community. Репозиторий содержит ONNX-веса, совместимые с Transformers.js, и предназначен для запуска модели в средах, поддерживающих этот фреймворк, включая веб-приложения. Модель ориентирована на задачи автоматического распознавания речи и основана на Whisper large-v3-turbo. README не содержит подробностей о размере модели, архитектуре, поддерживаемых языках, модальностях, длине контекста, точности, производительности или наличии функции временных меток, отражённой в идентификаторе модели. Также не указаны сильные стороны и ограничения по сравнению с исходной моделью. Условия лицензирования в README не указаны. Репозиторий описывает ONNX-веса как временное решение до более широкого распространения WebML и рекомендует использовать Optimum для конвертации моделей в ONNX и подготовки их к работе в веб-средах.

Rziane/whisper-medium-aeb_TunCS — дообученная модель OpenAI Whisper medium для автоматического распознавания речи и преобразования аудио в текст. Она основана на openai/whisper-medium, имеет архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров. Модель опубликована в формате safetensors и использует библиотеку Transformers. В карточке приведены результаты оценки: loss 0,5447 и WER 29,5377. Данные обучения и подробности о целевом языке или наборе данных не раскрыты, поэтому нельзя уточнить, для какой именно речи адаптирована модель. Лицензия — Apache-2.0.

nlp-mg/whisper-mg — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная под лицензией Apache-2.0. Она предназначена для преобразования аудио в текст; в README приведены результаты оценки: loss 0.1375 и WER 7.0732. Модель использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Метаданные указывают поддержку аудиовхода. README не сообщает, на каких языках и данных проводилось дообучение, поэтому нельзя уточнить специализацию модели или качество распознавания для конкретного языка. Прикладные ограничения сверх этих сведений не описаны.

Whisper-NER — модель семейства Whisper, представленная авторами работы «WhisperNER: Unified Open Named Entity and Speech Recognition». Она совместно преобразует речь в текст и распознаёт в нём именованные сущности открытого типа, то есть может выделять разные типы сущностей, заданные во время использования. Модель предназначена как базовая для последующей настройки под конкретные наборы данных и сценарии распознавания речи с извлечением сущностей. Модель содержит около 905,2 млн параметров, принимает аудио и выдаёт транскрипцию с распознанными сущностями. В метаданных указан английский язык, а лицензия репозитория — MIT. Карточка не приводит метрики качества и подробностей о поддерживаемых аудиоформатах; для повышения качества на прикладных данных авторы рекомендуют дообучение.

onnx-community/whisper-small.en — версия модели openai/whisper-small.en с весами в формате ONNX, подготовленная сообществом ONNX Community для совместимости с библиотекой Transformers.js. Модель предназначена для запуска в JavaScript- и web-средах, где требуется использовать модель Whisper с ONNX-весами. По имеющимся данным, модель ориентирована на англоязычный вариант Whisper и сценарии обработки речи, поддерживаемые исходной моделью. Ключевая особенность — размещение ONNX-весов в отдельном репозитории; архитектура, точный размер, поддерживаемые модальности и параметры контекста в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять у исходной модели openai/whisper-small.en и в репозитории модели.

Xenova/whisper-small.en — версия модели OpenAI Whisper small.en, подготовленная Xenova для использования в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио, в том числе аудиофайлов, доступных по URL. Основной сценарий — запуск распознавания в JavaScript-приложениях, включая веб-среду при наличии соответствующей поддержки ONNX/WebML. Модель ориентирована на английскую речь, что отражено в идентификаторе small.en. Ключевая особенность этой версии — адаптация весов Whisper к формату ONNX; конкретные сведения об архитектуре, числе параметров, размере контекста и точных характеристиках качества в README не приведены. Ограничениями являются ориентация на английский язык и зависимость от Transformers.js и совместимого окружения для выполнения ONNX-модели. Модель распространяется по лицензии Apache-2.0.