I.7Речь, диалоги и встречи

SraVaani-1.0 — модель автоматического распознавания речи (ASR), разработанная ARTPARK-IISc. Она предназначена для преобразования аудиозаписей в текст, включая распознавание речи на индийских языках и диалектах в сценариях транскрибации и обработки голосовых данных. Модель основана на архитектуре FastConformer и содержит около 430 млн параметров. Она использует гибридный декодер TDT-CTC, доступна в формате FP16 и занимает примерно 900 МБ. Предварительное обучение проводилось на 31 255 часах речи из набора Vaani, охватывающего 105 языков, а последующая настройка — примерно на 31 270 часах транскрибированной речи на 65 индийских языках и диалектах. Также применялось выравнивание аудио и изображений на 11 млн пар, что предназначено для улучшения представлений аудиоданных. Модель поддерживает, среди прочих, Assamese, Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Sanskrit, Tamil и Telugu, а также множество региональных языков и диалектов; поддерживается и English. Качество существенно различается между языками: для Hindi средний WER составляет 12,4%, тогда как для некоторых малоресурсных языков он превышает 70–90%, поэтому результаты требуют проверки в конкретном сценарии. Urdu и Kashmiri в выпущенной версии не поддерживаются. Модель распространяется по лицензии MIT.

NVIDIA FastConformer-CTC Large — модель распознавания английской речи, разработанная NVIDIA и предназначенная для работы в наборе инструментов NeMo. Она преобразует аудиозапись в текст и может использоваться как готовый чекпойнт для транскрибации или как основа для дообучения на другом наборе данных. Модель построена на архитектуре FastConformer, оптимизированной версии Conformer с восьмикратным свёрточным понижением частоты дискретизации; размер версии Large составляет около 115 млн параметров. На вход подаётся монофоническое аудио WAV с частотой 16 кГц, результатом является строка с распознанной речью в нижнем регистре. Модель обучалась на составном наборе англоязычных речевых данных, охватывающем несколько доменов. Модель рассчитана на транскрибацию английской речи в аудиофайлах и может применяться для пакетной обработки записей. Качество может снижаться на технической терминологии, разговорных вариантах речи и речи с акцентом. Лицензия — CC BY 4.0.

Okwija разработал sunbird-whisper-lin-sna-V2 — дообученную модель распознавания речи на базе Sunbird/asr-whisper-51-african-languages, использующей архитектуру Whisper. Модель предназначена для преобразования аудиоречи в текст; базовая модель ориентирована на 51 африканский язык, а также английский и французский с африканскими акцентами. В README приведены результаты оценки: loss 0,1994, WER 0,2508 и CER 0,0425. Модель доступна в формате safetensors и рассчитана на использование через библиотеку Transformers. Репозиторий указывает лицензию Apache-2.0. README не уточняет языки и условия оценки конкретно для этой версии, поэтому возможности базовой модели не следует считать подтверждением качества на каждом из её языков.

Tara — модель автоматического распознавания речи, разработанная Trelis для транскрибации хинди и смешанной речи хинди–английский. Она построена на архитектуре Whisper large-v3 и поддерживает отдельный режим смешанного кода: английские слова записываются латиницей, а хинди — деванагари. По метаданным репозитория модель содержит 905,3 млн параметров; принимает аудио с частотой 16 кГц и выдаёт текст. В карточке заявлены также сильные результаты для английской речи и устойчивость к шуму, телефонным записям, спонтанной речи и различным акцентам. Модель предназначена для голосовых помощников, аналитики звонков, субтитров и конвейеров обработки речевых данных. Для максимальной точности нужно выбирать режим распознавания по языку записи; смешанный режим подходит и для чистого хинди. Оценка в карточке проведена на аудиофрагментах длительностью до 30 секунд, поэтому более длинные записи рекомендуется разбивать на части. Поддержка других индийских языков не заявлена. Лицензия — Apache 2.0.

OK923/ultimate_wav2vec2_aug — модель распознавания речи на основе архитектуры Wav2Vec2, опубликованная OK923. Это версия с дообучением на наборе данных, который в карточке не описан. Модель содержит 402,8 млн параметров и предназначена для преобразования аудиоречи в текст; для работы используется библиотека Transformers. В карточке приведены результаты оценки: loss 0,2547 и WER 0,3097. Эти значения относятся к неописанному набору оценки, поэтому их нельзя напрямую переносить на другие данные и сценарии. Модель распространяется под лицензией Apache-2.0.

VibeVoice-ASR-Streaming-7B-GGUF — это сборка в формате GGUF для audio.cpp модели автоматического распознавания речи Microsoft VibeVoice-ASR-Streaming-7B. Репозиторий audio.cpp предоставляет варианты модели, адаптированные для запуска через audio.cpp, включая офлайн-распознавание и потоковую транскрипцию в реальном времени. Модель предназначена для преобразования аудио в текст, в том числе при передаче аудиоданных непрерывным потоком. Заявлена поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель также относится к классу speaker-attributed transcription, однако подробности о механизме и качестве атрибуции говорящих в README не приведены. Для потокового режима требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. Доступны варианты BF16 с максимальной точностью, рекомендуемый Q8_0 и более компактный Q4_K с меньшей разрядностью. Размер базовой модели — 7B параметров; сведения о точной архитектуре, размере контекста и характеристиках мультимодальности не указаны. К сильным сторонам относятся поддержка потоковой обработки, несколько языков и интеграция с audio.cpp. Ограничения включают зависимость от совместимого рантайма audio.cpp, а также отсутствие в README данных о точности, задержке, требованиях к ресурсам и качестве разделения говорящих. Файлы распространяются по лицензии MIT.

Sagicc/w2v-bert-2.0-sr — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на датасете Common Voice 16.1. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, преобразуя речь в текст. В оценке на тестовой выборке указаны loss 0,1469 и WER 0,0534; применимость этих показателей зависит от состава и условий оценки. Модель предназначена для автоматической транскрибации речи. В карточке не уточнены язык записей и условия, для которых получены метрики. Вес модели — около 402,7 млн параметров; опубликована в формате Safetensors. Лицензия — MIT.

patrickvonplaten/wav2vec2-2-bart-large — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-lv60 и bart-large на чистой части датасета LibriSpeech ASR. Архитектура объединяет речевой энкодер wav2vec 2.0 и текстовый декодер BART в модели типа SpeechEncoderDecoderModel. Модель предназначена для преобразования аудиозаписей речи в текст. В карточке приведён результат оценки на тестовом наборе: WER 0,0486 и loss 0,3204. Репозиторий содержит веса PyTorch; данных о лицензии в предоставленных источниках нет.

Xenova/wav2vec2-base-960h — веб-совместимая версия модели facebook/wav2vec2-base-960h, подготовленная сообществом Xenova. Модель содержит веса в формате ONNX и предназначена для запуска через библиотеку Transformers.js, включая выполнение в JavaScript-средах. Основной сценарий использования — автоматическое распознавание речи и преобразование аудиозаписей в текст. В README приведён пример транскрибации аудиофайла с помощью pipeline automatic-speech-recognition. Модель основана на архитектуре Wav2Vec2; точный размер, поддерживаемые языки, максимальная длина контекста и перечень модальностей в представленном описании не указаны. Пример вывода содержит английскую речь, однако официальные языковые ограничения README не уточняет. Ключевое преимущество модели — возможность использовать ONNX-веса в Transformers.js и интегрировать распознавание речи в JavaScript-приложения. Ограничения включают зависимость от совместимой среды выполнения и отсутствие в README подробных сведений о качестве, производительности, требованиях к ресурсам и поддерживаемых языках. Лицензия в предоставленных данных не указана.

Wav2Vec2-Large-960h-Lv60 — модель распознавания речи, разработанная Facebook. Это архитектура wav2vec 2.0 с примерно 402,7 млн параметров, реализованная как Wav2Vec2ForCTC. Модель предварительно обучена на аудио из Libri-Light и дообучена на 960 часах размеченной речи из LibriSpeech; она принимает речь с частотой дискретизации 16 кГц и преобразует её в текст на английском языке. Модель предназначена для транскрибации английской речи, в том числе записей, подобных аудиокнигам и тестовым наборам LibriSpeech. В описании исследования приведены результаты 1,8/3,3 WER на тестовых наборах LibriSpeech clean/other при обучении на всех размеченных данных; качество на иных типах аудио может отличаться. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке на данных Common Voice. Она принимает аудио и преобразует речь в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрибации украинской речи, в том числе для оценки на тестовой выборке Common Voice. В README приведён результат тестирования 32,29 %, однако метрика не уточнена, поэтому это значение нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.

WAXAL-mlg_asr-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и содержит 402,7 млн параметров; модель принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,2007 и loss 0,8135, однако набор данных и условия оценки не описаны. Модель распространяется в формате Safetensors по лицензии MIT.

whisper-base-bungoma.en — англоязычная модель распознавания речи, разработанная на основе openai/whisper-base.en и дообученная на наборе NyansapoAI/azure-dataset. Она преобразует входящее аудио в текст и предназначена для автоматической транскрипции речи на английском языке. Модель построена на архитектуре WhisperForConditionalGeneration семейства Whisper и содержит 51,7 млн параметров. В карточке указаны результаты оценки на тестовой выборке: Loss 0,0636 и WER 25,2804. Модель распространяется в формате safetensors по лицензии Apache-2.0. Описание не содержит сведений о специализированных сценариях применения или дополнительных ограничениях.

DewiBrynJones/whisper-large-v2-ft-cy-2607 — дообученная модель автоматического распознавания речи на базе Whisper large-v2 от OpenAI. Она принимает аудио и создаёт текстовую транскрипцию; дообучение проведено на наборе DewiBrynJones/preprocessed-whisper-btb-cv-cvad-wlga-ca-2607. Модель содержит около 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Модель подходит для транскрибации речи. Базовый Whisper large-v2 мультиязычен и также поддерживает перевод речи, однако карточка этой дообученной версии не подтверждает, какие языки или переводные сценарии сохраняются после дообучения. Подробные сведения об оценке качества и ограничениях в карточке отсутствуют.

kinit/whisper-large-v3-sk — модель распознавания словацкой речи, разработанная командой KInIT на основе Whisper large-v3 от OpenAI. Модель с архитектурой Whisper encoder-decoder дообучена на словацком речевом корпусе; в метаданных указано 905,2 млн параметров. Для повышения устойчивости к шуму при обучении применялась аугментация фоновой среды. Модель предназначена для автоматической транскрибации словацкой речи в разных предметных областях и условиях записи. В оценке на Common Voice 24.0 указаны WER 7,68% и CER 2,27%; на внутреннем тестовом наборе KInIT — WER 5,67% и CER 3,01%. Модель опубликована в формате safetensors и используется через Transformers. Дообучение только на словацких данных существенно ухудшило распознавание других языков, поэтому для многоязычной транскрибации следует использовать базовую Whisper large-v3. Качество может снижаться на сильных акцентах, диалектах и речи из областей, слабо представленных в обучении; надёжная длина одного сегмента без разбиения — до 30 секунд. Лицензия — Apache-2.0.

onnx-community/whisper-large-v3-turbo — это версия модели Whisper large-v3-turbo с весами в формате ONNX, подготовленная для совместимости с библиотекой Transformers.js. Репозиторий основан на модели openai/whisper-large-v3-turbo и поддерживается сообществом onnx-community. Модель предназначена для использования в веб-приложениях и других сценариях, где требуется запуск через Transformers.js с ONNX-весами. README не содержит подробных сведений об архитектуре, размере, поддерживаемых языках, модальностях, длине контекста, производительности или ограничениях исходной модели. Указано, что отдельный репозиторий с ONNX-весами является временным решением до более широкого распространения WebML. Лицензия в предоставленных данных не указана.

Это оптимизированная для CTranslate2 версия дообученной модели Whisper Large V3 Turbo, подготовленная ele-sage для распознавания канадской французской речи, включая квебекский вариант. Веса представлены в формате Float16, что позволяет ускорить инференс и снизить потребление памяти по сравнению с исходной версией на Transformers. Модель предназначена для транскрибации аудио на французском языке и может использоваться через WhisperX или Faster-Whisper; WhisperX также подходит для выравнивания распознанного текста с аудио. Для обучения исходной модели использовались данные Assemblée Nationale и Common Voice. Лицензия — MIT. Специализация на французской речи может снижать качество распознавания других языков.

Модель andrewbawitlung/whisper-large-v3-turbo-mizonal3-E5-lus-v2026.06 — экспериментальная дообученная версия Whisper large-v3-turbo на наборе данных MiZonal v3.0. Конфигурация E5 объединяет аугментации фонового шума, изменения скорости речи и SpecAugment с маскированием по времени и частоте. Модель предназначена для автоматического распознавания речи; заявлены WER 13,8215, CER 2,6263 и коэффициент реального времени 0,0540 на оценочном наборе. Модель содержит 905,2 млн параметров, принимает аудио и выдаёт текст. Базовая Whisper large-v3-turbo — мультиязычная модель для распознавания речи и перевода аудио в текст; карточка этой производной описывает оценку распознавания на MiZonal, но не уточняет язык аудио. Опубликованные сведения о результатах помечены как предварительные: подробности рецензирования и публикации ожидаются. Лицензия — Apache-2.0.

whisper-large-v3-turbo-quantized.w8a8 — квантованная версия модели whisper-large-v3-turbo, разработанной OpenAI; квантование выполнила Neural Magic. Модель принимает аудио и генерирует текст, предназначена прежде всего для автоматического распознавания речи и эффективного инференса через vLLM. Она основана на архитектуре Whisper и совместима с библиотекой Transformers и vLLM версии 0.5.2 и выше. Модель использует INT8-квантование весов и активаций (формат W8A8), что может снизить требования к памяти и повысить эффективность развертывания по сравнению с полноразмерной версией. В README указана поддержка английского языка; размер модели, максимальная длина контекста и полный набор поддерживаемых языков не приведены. Для сервинга доступны интерфейсы vLLM, включая OpenAI-совместимый режим. К ограничениям относятся возможное снижение точности из-за квантования и отсутствие в предоставленных данных подробных результатов оценки качества: раздел Evaluation не содержит завершённой информации. Модель распространяется по лицензии Apache-2.0.

Это дообученная модель OpenAI Whisper Medium на базе архитектуры encoder-decoder Transformer с 455,8 млн параметров. Её разработали для распознавания разговорной речи на хинди и хинглише — речи со смешением хинди и английского — с помощью Transformers и PyTorch. Модель принимает аудио и выдаёт текстовую расшифровку. В описанной оценке на 373 примерах WER составил 0,0456, а CER — 0,0262; результаты приведены отдельно для хинди и хинглиша. Модель распространяется по лицензии Apache-2.0. Обучение проводилось преимущественно на синтетической речи. На шумных записях, при незнакомых акцентах и манере речи качество может снижаться; модель не оценивалась для потокового распознавания.

arbml/whisper-small-ar — дообученная версия OpenAI Whisper Small для автоматического распознавания речи. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров; в репозитории представлены веса PyTorch. В метаданных указан датасет arbml/mgb2, а карточка сообщает о результате WER 21,3693 на оценочном наборе. Модель принимает аудио и преобразует речь в текст. Лицензия Apache-2.0 разрешает использование на её условиях. Карточка не описывает дополнительные сценарии применения или известные ограничения качества.

Это зеркало модели распознавания речи Whisper Tiny, подготовленное KimtOS для использования в расширении KimtOS. Репозиторий содержит конфигурацию, токенизатор и квантованный файл ONNX; модель насчитывает 29,4 млн параметров и предназначена для загрузки через Transformers.js. Модель принимает аудио и преобразует речь в текст. Она подходит для встраивания распознавания речи в приложения, в том числе с подачей файлов с CDN KimtOS. В README указано, что исходная модель — Xenova/whisper-tiny; лицензия Apache-2.0 разрешает распространение при сохранении уведомления об авторских правах.

Это компактная модель распознавания речи OpenAI Whisper Tiny, представленная в формате CTranslate2 с точностью float32. Репозиторий подготовлен ctranslate2-4you; для запуска автор рекомендует библиотеку whisper-s2t-reborn. Модель преобразует аудиозаписи в текст и подходит для транскрибации речи. Whisper Tiny относится к многоязычной версии Whisper; в метаданных указан английский язык. Конкретные сведения о размере и длине контекста отсутствуют. Формат CTranslate2 предназначен для инференса, а веса представлены с точностью float32. Модель основана на openai/whisper-tiny и распространяется по лицензии Apache-2.0. Компактный вариант Whisper удобен для задач распознавания речи, однако карточка не приводит оценок качества или отдельных ограничений для этой сборки.

onnx-community/whisper-tiny.en_timestamped — это версия модели openai/whisper-tiny.en с весами в формате ONNX, подготовленная сообществом onnx-community для совместимости с библиотекой Transformers.js. Репозиторий предназначен для запуска модели в веб-среде и других сценариях, где требуется формат ONNX. Модель основана на Whisper и предназначена для автоматического распознавания речи на английском языке с возможностью получения временных меток. В README не указаны точные сведения об архитектуре, количестве параметров, размере контекста, поддерживаемых модальностях и лицензии. Также не описаны количественные показатели качества, поэтому сильные стороны и ограничения можно оценить только в общих чертах: ONNX-формат упрощает использование в совместимых веб- и клиентских приложениях, но конкретные требования к производительности и точности зависят от среды выполнения и сценария.

deepdml/whisper-tiny-es-mix-norm — дообученная модель распознавания речи на базе openai/whisper-tiny, разработанная deepdml. Она преобразует аудио в текст и обучена на наборах Common Voice 26.0, WorldSpeech, VoxPopuli, Multilingual LibriSpeech, VoxForge, FLEURS и Basque Parliament. В карточке указаны результаты оценки: WER 16,07 и CER 6,04; подробности методики оценки не приведены. Модель представлена в формате safetensors и доступна по лицензии Apache-2.0.

oxide-lab/whisper-tiny-GGUF — набор квантованных моделей автоматического распознавания речи на основе openai/whisper-tiny. Модели разработаны сообществом oxide-lab на базе Whisper от OpenAI и распространяются в формате GGUF для использования с Candle — ML-фреймворком на Rust — и whisper.cpp. Модель предназначена для преобразования аудиозаписей в текст, включая многоязычные сценарии и работу с английским и русским языками. Доступны варианты с 10 уровнями квантования от q2_k до q8_0, что позволяет выбирать между размером файлов, скоростью инференса и качеством распознавания. Для Candle предусмотрены конфигурация и токенизатор, а варианты для whisper.cpp находятся в отдельной директории и используют совместимые имена тензоров. Сильная сторона набора — возможность локального запуска на устройствах с ограниченными ресурсами и выбор степени сжатия. В README указано, что q4_k обеспечивает хороший баланс размера, качества и скорости, а q8_0 рекомендован для production благодаря минимальной потере качества. При этом варианты q4, q3 и q2 могут заметно снижать качество, особенно q3 и q2; точные характеристики архитектуры, размера модели, длины контекста и аппаратные требования не указаны. Распространение заявлено на условиях MIT License, как у исходной модели Whisper.

dsfsi-anv выпустил дообученную версию Whisper Large V3 Turbo для мультиязычного автоматического распознавания речи. Модель построена на архитектуре Transformer encoder-decoder и содержит около 905,2 млн параметров; она дообучена на наборе ANV (Swivuriso), чтобы улучшить распознавание языков и акцентов, представленных в этом корпусе. Модель предназначена для преобразования аудио в текст, в том числе для работы с языками с ограниченными ресурсами и исследований адаптации распознавания речи. В оценке на тестовом наборе указаны WER 0,1501 и CER 0,0510. Для использования доступна библиотека Transformers, веса сохранены в формате safetensors. Как и базовый Whisper, модель может повторять текст или галлюцинировать, особенно на тишине и при фоновом шуме. Качество может снижаться на записи с акцентами, шумом и характеристиками, заметно отличающимися от данных ANV. Лицензия — MIT.

afrivoices-whisper-turbo — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo. Она принимает аудио и преобразует речь в текст. В README приведены результаты оценки на тестовом наборе: loss 0,5509 и WER 0,2632. Модель предназначена для автоматического распознавания речи. Датасет обучения, поддерживаемые языки и предполагаемые сценарии применения в карточке не раскрыты. Модель распространяется в формате Safetensors через Transformers по лицензии MIT.

Модель Sunbird — адаптация Whisper large-v3 для распознавания речи на языках, распространённых в Уганде, включая луганда, ачоли, лугбара, атесо, раньяколе, руторо, лумасаба, суахили, лусога, киньяруанда и английский с угандийским акцентом. Она дообучена на датасете SALT, а также на данных Common Voice, Google FLEURS и Makerere Yogera. Модель принимает аудио и выдаёт транскрипцию, автоматически определяя язык или используя язык, заданный явно. Для повышения устойчивости к бытовым условиям при обучении добавляли шум, имитировали телефонную речь понижением частоты до 8 кГц и использовали уличные записи из Уганды. Карточка приводит метрики WER и CER на тестовых выборках; качество заметно различается по языкам, в частности WER выше на майянском и лусога, чем на английском, суахили и киньяруанда. Базовый Whisper не поддерживает перечисленные в карточке языки, поэтому для них используется особый формат задания языка. Модель опубликована под лицензией MIT.

Audar-ASR-V1-Turbo — генеративная модель автоматического распознавания речи, разработанная AudarAI. Она ориентирована прежде всего на арабскую речь, включая литературный арабский и диалекты стран Персидского залива, египетский, левантийский и магрибский, а также на английский, арабско-английский code-switching и ещё 28 языков. Модель предназначена для преобразования аудио в текст, в том числе в потоковых и низколатентных сценариях на CPU, GPU и edge-устройствах. Архитектура включает аудиоэнкодер и декодер на основе языковой модели, который выполняет audio-conditioned next-token prediction, а не использует CTC или transducer objective. Общий размер модели составляет около 2,35 млрд параметров: 2,03 млрд у декодера и 0,32 млрд у аудиоэнкодера; указанный формат вычислений — bfloat16. Модель принимает монофонический звук с частотой 16 кГц и работает с контекстом до 30 секунд, при обработке более длинных записей используются разбиение на фрагменты или потоковая передача. Доступны форматы GGUF и safetensors, включая запуск через llama.cpp. Сильные стороны модели — специализация на диалектной арабской речи, обработка code-switching, сохранение имён собственных и диалектно-ориентированная орфография. По данным README, на Open Universal Arabic ASR Leaderboard она заняла первое место среди 37 систем со средними WER 23,2% и CER 9,2%; при этом приведённые результаты относятся к конкретным тестовым наборам и методике нормализации. Модель построена на открытой аудио-LLM-основе, но адаптация, данные и выравнивание принадлежат AudarAI. Лицензия — AudarAI Community License v1.0; условия следует уточнять в тексте лицензии.