I.9Аудио и музыка

duytran3112/whisper-sm-vivos — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная на Hugging Face. Она предназначена для преобразования аудио в текст; карточка сообщает о дообучении на наборе данных, название которого указано как None. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и принимает аудио, выдавая текст. В оценке на тестовом наборе указаны Loss 0,2370 и WER 54,8563; высокий WER может ограничивать точность транскрибирования. Лицензия — Apache-2.0.

Whisper-Tiny-CV11 — модель распознавания речи, разработанная Burak Aydın и дообученная на базе openai/whisper-tiny на 11 языках корпуса Whispered с лицензией CC0. Это контрольная версия со стандартной архитектурой Whisper без преобразования MHA→MLA; модель принимает аудио и генерирует текстовую транскрипцию. Она предназначена для многоязычной транскрибации и воспроизводимой оценки влияния такого преобразования архитектуры. Модель содержит 29,4 млн параметров, использует архитектуру WhisperForConditionalGeneration и загружается через Transformers без trust_remote_code. В README приведены результаты оценки на CommonVoice-17 для английского, немецкого и испанского; качество зависит от языка и может немного отличаться при повторной оценке. Модель распространяется по лицензии Apache-2.0.

geninhu/xls-asr-vi-40h-1B — модель распознавания речи на вьетнамском языке, разработанная путём дообучения facebook/wav2vec2-xls-r-1b на 40 часах данных FPT Open Speech Dataset и Common Voice 7.0. Это модель архитектуры wav2vec2 с классом Wav2Vec2ForCTC и 1,3 млрд параметров; она принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для преобразования вьетнамской речи в текст. В карточке приведены результаты оценки на VIVOS и Common Voice 7.0/8.0 с языковой моделью 4-грамм и без неё. Для Apache-2.0 лицензии допускается использование и распространение на её условиях.

marinone94/xls-r-300m-sv-robust — дообученная модель распознавания речи на базе KBLab/wav2vec2-large-voxrex. Она использует архитектуру wav2vec2 с выходной CTC-головой и предназначена для преобразования шведской речи в текст, в том числе на материале датасета Common Voice 9.0 для шведского языка. В README указаны результаты на тестовой выборке без языковой модели: WER 0,1121 и loss 0,1318. Модель принимает аудио и выдаёт текст. Репозиторий содержит веса PyTorch, а лицензия указана как CC0 1.0. Оценка приведена только для тестовой выборки Common Voice; сведений о качестве на других типах аудио в карточке нет.

ACE-Step 1.5 SFT GPTQ 4-bit — квантизированная сборка модели ACE-Step team, подготовленная для запуска на Apple Silicon. Она генерирует стереомузыку с частотой 48 кГц по текстовому описанию стиля и может создавать песни с разборчивым вокалом и заданными словами. В репозитории указаны архитектура DiT и 4-битная GPTQ-квантизация DiT и энкодеров условий; полный комплект с текстовым энкодером Qwen3-Embedding и VAE занимает около 4,5 ГБ. Лицензия — MIT. Сборка рассчитана на локальную генерацию музыки на Mac с Apple Silicon, в том числе через LLMTray. В приведённом автором сравнении GPTQ 4-bit уступает bf16 по разборчивости текста песен, но требует меньше памяти; автор рекомендует её для Mac с 16 ГБ памяти. Это измерение основано на небольшом наборе из 12 треков и не гарантирует такого же качества для других описаний и стилей.

ALM2Vec-FT — дообученная модель эмбеддингов аудио, разработанная на базе MiDashengLM-7B-0804-fp32. Она преобразует аудио и текст в общее векторное пространство для поиска и сопоставления; запрос на естественном языке позволяет направлять представление аудио на нужный аспект звучания. Модель предназначена для двустороннего поиска аудио по тексту и текста по аудио, поиска по речи, а также сопоставления аудиозаписи и вопроса с вариантами ответа. В отличие от обычных моделей для сопоставления аудио с описаниями, ALM2Vec-FT ориентирована на разные аудиодомены, типы задач и намерения пользователя. Она принимает аудио и текст и выдаёт эмбеддинги для поиска и ранжирования. В метаданных указан английский язык; размер базовой модели — 7 млрд параметров. Для работы нужны Transformers версии 4.52 или выше, PyTorch и Safetensors; для аудио не в WAV также требуется Torchaudio. Карточка указывает на необходимость GPU и загрузку весов объёмом около 31 ГБ, а также использование trust_remote_code=True. Модель распространяется по лицензии Apache-2.0.

Cohere Transcribe Arabic 07-2026 GGUF — это квантизированная версия модели автоматического распознавания речи CohereLabs/cohere-transcribe-arabic-07-2026, разработанной Cohere Labs и адаптированной для запуска через C++-runtime CrispASR. Модель предназначена для транскрибации аудио, прежде всего арабской речи, на локальных системах с использованием CPU, Metal, CUDA или Vulkan. Модель содержит около 2 млрд параметров и использует архитектуру FastConformer-энкодер из 48 слоёв и причинный Transformer-декодер из 8 слоёв. Она принимает монофонический звук с частотой 16 кГц, использует 128 mel-признаков и поддерживает контекст декодера до 1024 токенов. Вариант поддерживает только языки Arabic и English; наличие токенов других языков в словаре не означает фактической поддержки. Заявленный результат исходной модели — около 11% WER на арабском подмножестве FLEURS. Доступны варианты с точностью F16, Q8_0 и Q4_K, включая Q4_K с Arabic-калиброванной importance matrix, которая рекомендуется для 4-битного запуска. GGUF удобен для локального инференса и сравнительно эффективен по памяти, однако качество квантованных вариантов может отличаться от эталонной точности. Для работы требуется CrispASR или совместимый runtime; модель не предназначена для языков, кроме Arabic и English, а неверно указанный язык может приводить к правдоподобным, но ошибочным результатам. Распространяется по лицензии Apache 2.0.

FluidInference/diar-streaming-sortformer-coreml — набор моделей для диаризации речи, преобразованных из NVIDIA Sortformer в формат CoreML для устройств Apple Silicon. Модели предназначены для потоковой и пакетной обработки аудио в приложениях на iOS и macOS, включая определение временных сегментов и вероятностей речи до четырёх говорящих. Интеграция предусмотрена через библиотеку FluidAudio на Swift. В основе лежит nvidia/diar_streaming_sortformer_4spk-v2.1; указано отношение к базовой модели finetune. Модели используют мел-спектрограммы и внутренние эмбеддинги состояния говорящих, поддерживают конфигурации с низкой задержкой и конфигурацию NVIDIA High для более высокого качества при офлайн-обработке. Для вариантов Fastest и NVIDIA Low заявлена задержка около 1,04 секунды, для NVIDIA High — около 30,4 секунды. v2.1, согласно README, более устойчива в сценариях совещаний. Максимальное число отслеживаемых говорящих — четыре. Сильные стороны — потоковая обработка, наличие вариантов с разным компромиссом между задержкой и качеством, а также оптимизация под экосистему Apple. Ограничения включают фиксированную поддержку четырёх говорящих и отсутствие в предоставленных данных сведений о языках, точности, требованиях к аудио и качестве в различных акустических условиях. Модели распространяются по лицензии CC BY 4.0.

GLM-ASR-Nano-2512-GGUF — это преобразованная и квантизированная версия модели GLM-ASR-Nano-2512 от zai-org, подготовленная для работы с CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей, включая длинные аудиофайлы. Репозиторий cstr/glm-asr-nano-GGUF не обучает и не дообучает модель, а только переводит её веса в формат GGUF и предоставляет варианты с разной степенью квантизации. Архитектура включает Whisper-энкодер с размерностью 1280 и 32 слоями, проектор на 4 кадра и Llama-подобную языковую модель с размерностью 2048, 28 слоями и GQA 16/4. Объём модели составляет около 1,5 млрд параметров. Поддерживаются мандаринский китайский, китайские диалекты, английский и кантонский; модель не является универсальной мультиязычной системой и не заявляет поддержку японского, корейского и европейских языков. Доступны варианты F16 размером 4,3 ГБ, Q8_0 размером 2,3 ГБ и Q4_K размером 1,3 ГБ, причём Q4_K обозначен как оптимальный компромисс между размером и качеством. По данным README, модель превосходит OpenAI Whisper V3 на указанных тестах, показывая средний уровень ошибки 4,10. Для использования требуется CrispASR; обновлённые файлы содержат BPE-слияния токенизатора и поддерживают однопроходную обработку аудио длительностью до 655 секунд, тогда как стандартный режим использует фрагменты по 30 секунд. Однопроходный режим может пропускать начальные участки без речи. Модель распространяется по лицензии MIT, при этом условия upstream-модели zai-org сохраняются.

Hypa-Orpheus-3b-TTS-VC — мультиязычная модель синтеза речи и клонирования голоса от Hypa Intelligence. Она дообучена на базе Orpheus 3B и выдаёт аудио как последовательность дискретных токенов SNAC, которые декодируются в речевую волну с частотой 24 кГц. Модель поддерживает озвучивание текста с выбором голоса, синтез речи по смыслу текста на другом языке и клонирование голоса по короткому образцу, в том числе между языками. Модель содержит 3,3 млрд параметров, использует архитектуру Llama и представлена слитыми весами bfloat16; для генерации требуется декодер SNAC и специальные управляющие токены. Она обучена на данных для 22 языков, среди которых английский, французский, арабский, хауса, йоруба и игбо; качество зависит от языка и говорящего. Обучение ограничивалось контекстом 2048 токенов, поэтому более длинные фрагменты могут звучать хуже, а формальные оценки разборчивости, естественности и точности клонирования не опубликованы. Лицензия — Apache-2.0.

mlx-community/IndexTTS-1.5 — конвертация модели IndexTTS-1.5 в формат MLX, выполненная сообществом mlx-community из IndexTeam/IndexTTS-1.5 с помощью mlx-audio 0.2.3. Модель предназначена для синтеза речи по тексту; репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README отсылает к исходной карточке IndexTeam за подробностями о модели, поэтому дополнительные сведения о поддерживаемых языках, архитектуре синтеза и ограничениях качества здесь не подтверждены.

Nepali Parler-TTS — версия семейства Indic Parler-TTS, дообученная для синтеза речи на непальском языке. Модель использует архитектуру ParlerTTSForConditionalGeneration и библиотеку parler-tts; веса опубликованы в формате safetensors. В карточке приведены результаты обучения: 2714 шагов и минимальная ошибка на валидации 6,5633. Модель предназначена для преобразования текста в речь на непальском языке. README не сообщает подробностей о голосах, качестве звучания или условиях лицензии, поэтому эти характеристики нельзя подтвердить по доступным данным.

Jelle_tts — дообученная модель на базе microsoft/speecht5_tts для синтеза речи из текста. Она построена на архитектуре SpeechT5 и предназначена для преобразования текстового ввода в аудио. В README приведён результат оценки: loss 0.4547; сведения о голосе и обучающих данных отсутствуют. Модель распространяется в формате Safetensors и доступна по лицензии MIT.

aadel4/kid-whisper-small-en-myst — модель распознавания речи на основе Whisper Small English, разработанная путём дообучения openai/whisper-small-en. Она предназначена для преобразования англоязычной речи в текст; в карточке указаны обучающий набор Myst Train объёмом 125 часов и проверочный набор Myst Dev объёмом 20,9 часа. Архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров; репозиторий содержит веса PyTorch. На проверочном наборе указаны WER 8,51 и loss 0,27. Модель распространяется по лицензии Apache-2.0. Карточка не уточняет назначение названия «kid» и не приводит сведения о контекстном окне или сценариях для детской речи, поэтому такие свойства не предполагаются.

Kokoro 82M Core ML — это оптимизированная для устройств Apple версия модели синтеза речи Kokoro-82M, разработанной hexgrad и преобразованной в Core ML mattmireles. Модель предназначена для локального и автономного преобразования текста в речь без подключения к API и без передачи данных в облако. Она ориентирована на приложения для macOS и iOS, использующие Swift и Core ML, включая озвучивание текста непосредственно на Apple Silicon и iPhone. Модель имеет архитектуру исходной Kokoro-82M, поддерживает английский язык и работает с аудио с частотой дискретизации 24 кГц. Для эффективного выполнения на Apple Silicon исходный конвейер разделён на пять компонентов: этап определения длительности с BERT и LSTM, выравнивание, выполняемое в Swift, а также этапы расчёта F0, шума и декодирования. Вычисления распределяются между CPU, GPU и Neural Engine с учётом их особенностей. Поставляются предварительно скомпилированные файлы .mlpackage; холодный запуск может занимать несколько секунд из-за компиляции Core ML. Сильные стороны модели — автономная работа, отсутствие API-ключей и эксплуатационных затрат, а также высокая скорость на совместимом оборудовании. По приведённым измерениям, на Mac Studio M2 синтез 30 секунд речи занимает около 379 мс, а на iPhone 15 Pro Max — около 6,4 секунды. Производительность зависит от устройства, версии ОС и режима выполнения; на iPhone используется менее эффективная по сравнению с Mac staged-конфигурация, а результаты бенчмарков могут изменяться. Модель распространяется по лицензии Apache-2.0.

cstr публикует GGUF-версию арабской модели синтеза речи lahgtna-chatterbox-v1 для использования с CrispStrobe/CrispASR. Это вариант Chatterbox, в котором языковая модель T3 дообучена на арабском тексте; для генерации аудио ей требуется отдельный общий вокодер S3Gen из cstr/chatterbox-GGUF. Репозиторий содержит только T3, файл F16 занимает около 1,1 ГБ. Архитектура T3 включает 30-слойную авторегрессионную модель на основе Llama с размерностью 1024 и 16 головами внимания, а также мультиязычный токенизатор с арабскими графемами. Модель преобразует арабский текст в речевые токены; совместимый S3Gen и HiFTGenerator преобразуют их в аудио. Лицензия — MIT, унаследованная от исходной модели oddadmix/lahgtna-chatterbox-v1.

Sam4rano/luhya-asr-w2v-BERT — модель автоматического распознавания речи на языке лухья, созданная дообучением модели семейства w2v-BERT. Она принимает аудио и преобразует произнесённую речь в текст; в метаданных архитектура указана как Wav2Vec2BertForCTC, а размер составляет 402,7 млн параметров. Модель предназначена для распознавания речи на лухья. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

facebook/mms-tts-eng — англоязычная модель синтеза речи проекта Massively Multilingual Speech, разработанная Facebook. Она преобразует входной текст на английском языке в речевую аудиоволну и предназначена для приложений озвучивания и генерации речи. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, модулем предсказания длительности и декодером на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен для работы через Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать варианты ритма и произношения для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Parakeet TDT 0.6B v2 GGUF — это англоязычная модель автоматического распознавания речи, разработанная NVIDIA, преобразованная в формат GGUF проектом CrispStrobe/CrispASR. Модель предназначена для транскрибации аудио в текст с использованием CLI CrispASR и поддерживает вывод с сохранением регистра, пунктуации и встроенными временными метками на уровне слов. Модель содержит около 600 млн параметров и использует 24-слойный FastConformer-энкодер с TDT-декодером Token-and-Duration Transducer, двухслойным LSTM-предиктором и словарём из 1024 SentencePiece-токенов. Она принимает монофонический звук с частотой 16 кГц и поддерживает только английский язык. Доступны варианты F16 размером 1,24 ГБ, Q8_0 размером 735 МБ и Q4_K размером 468 МБ; Q4_K рекомендован как вариант по умолчанию, а Q8_0 обеспечивает качество, близкое к полной точности. Сильные стороны модели — специализация на английском языке, высокая точность распознавания, пунктуация, регистр и встроенные временные метки без отдельной CTC-модели выравнивания. Ограничения — отсутствие поддержки других языков и зависимость от среды CrispASR для заявленного сценария использования; характеристики качества для конкретных аудиоданных в README не приведены. Модель распространяется по лицензии CC-BY-4.0, требующей указания авторства.

Trelis переопубликовал модель Piper TTS esES-davefx-medium — синтезатор испанской речи с мужским голосом для варианта испанского языка Испании. Модель построена на архитектуре VITS и сохранена в формате ONNX; размер класса medium в Piper соответствует примерно 15 млн параметров и 63 МБ. Она преобразует текст в аудио с частотой 22,05 кГц. Модель подходит для озвучивания испанских текстов, голосовых интерфейсов и создания аудиоверсий материалов. Она дообучена на основе lessac medium и обучена на данных OHF Voice Datasets. Для запуска можно использовать Piper TTS или ONNX отдельно; второй вариант требует установленного espeak-ng. Репозиторий распространяет веса по лицензии CC0-1.0, тогда как библиотека piper-tts имеет отдельную лицензию GPL.

BuzzASR Punjabi — модель автоматического распознавания речи на панджаби, разработанная как часть набора BuzzASR из 102 языковых моделей. Это полноценно дообученная версия Whisper large-v3 с заменой токенизатора для языка и дополнительным мультитасковым обучением на текстовых данных. Модель принимает аудио и преобразует речь в текст; языковой и задачный промпт уже задан в конфигурации генерации. Модель предназначена для транскрибации речи на панджаби. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25, где авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения. Модель содержит около 907,3 млн параметров, использует архитектуру Whisper и формат safetensors в библиотеке Transformers. Данные обучения включают FLEURS, Common Voice Corpus 25.0 и текстовый корпус Goldfish. Модель ограничена панджаби; качество на других предметных областях и диалектах может отличаться от результатов на тестовых наборах. Распространяется по лицензии MIT.

Pyannote-Community-1-CoreML — это пакет компонентов Core ML для офлайн-диаризации речи, то есть определения участков речи и разделения их по говорящим. Пакет опубликован aufklarer и основан на pipeline pyannote/speaker-diarization-community-1; он входит в речевой инструментарий soniqo.audio и предназначен для работы на устройствах Apple с Apple Silicon. Это не единая сквозная модель: принимающее приложение должно выполнять powerset-декодирование, оценку числа говорящих, выбор масок с учётом перекрытий, кластеризацию VBx и восстановление временной шкалы. В состав входят сегментационная модель PyanNet на 1,49 млн параметров и модель Masked WeSpeaker на 6,86 млн параметров, обе в формате скомпилированных Core ML и с точностью FP32. Сегментация обрабатывает монофонические аудиоданные 16 кГц окнами по 10 секунд, а WeSpeaker использует такие же окна и три маски по 589 кадров. Дополнительно поставляются преобразования PLDA в формате safetensors для перехода от 256 к 128 измерениям и кластеризации VBx. Графы работают с фиксированным размером батча 1 и требуют iOS 17 или macOS 14 либо более новых версий. Поддерживается многоязычная речь. Сильные стороны пакета — автономная работа без Python, интеграция с нативным Swift runtime и высокая скорость на Apple M5 Pro: около 25-кратного ускорения относительно реального времени в заявленном тесте. На подмножестве VoxConverse получены DER 4,65% и JER 21,42%, что совпало с исходным Community-1, однако проверка охватывала только пять записей. Точность может заметно зависеть от записи: на одной встрече AMI DER составил 23%, а оценка числа говорящих была точной только для трёх из пяти записей, поэтому рекомендуется задавать известное или ограниченное число участников. Идентификаторы говорящих локальны для результата; для сопоставления личности можно использовать 256-мерные центроиды. Лицензия пакета — CC BY 4.0 с указанием авторства и происхождения компонентов.

Qwen3-TTS-12Hz-1.7B-CustomVoice — модель синтеза речи из семейства Qwen3-TTS, разработанная командой Qwen. Она преобразует текст в аудио и поддерживает управление стилем речи инструкциями пользователя: можно выбирать характеристики звучания из девяти встроенных голосов и задавать тон, темп и эмоциональную подачу. Модель рассчитана на потоковую и обычную генерацию, в том числе для интерактивных сценариев с низкой задержкой. Архитектура — плотная Qwen3TTSForConditionalGeneration с дискретной многокодовой языковой моделью и токенизатором речи Qwen3-TTS-Tokenizer-12Hz. Модель поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. В репозитории указаны веса safetensors, лицензия Apache-2.0. Модель подходит для озвучивания текстов, голосовых интерфейсов и генерации речи с заданной манерой подачи. README заявляет быстрое начало потоковой генерации и устойчивость к зашумлённому тексту, но не приводит независимых оценок качества. Для локального запуска рекомендуется пакет qwen-tts; в README также указана необходимость совместимого оборудования для FlashAttention 2.

senga-nt-fused-tts — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft. В метаданных указаны архитектура SpeechT5, класс SpeechT5ForTextToSpeech и формат весов safetensors; модель доступна по лицензии MIT. Модель предназначена для преобразования текста в аудио. В README приведено значение loss 0,0868 на оценочном наборе, но подробности о данных, языках, голосах и методике оценки отсутствуют, поэтому качество и область применимости по этому показателю оценить нельзя.

Kaousheik/tempo-ablation-naive — экспериментальный чекпойнт TEMPO, разработанный для временной привязки содержания аудио. Он дообучен на базе NVIDIA Audio Flamingo 3: аудиоэнкодер Whisper-large соединён с языковой моделью Qwen2-7B через MLP-проектор. Модель принимает аудио и текстовый запрос с тегом задачи и выдаёт текст с временными метками; охватывает речь, звуки и музыку, поддерживает распознавание речи, диаризацию говорящих, плотное описание аудио и поиск интервалов по текстовому запросу. Этот вариант «Table 3 — Naive» создан для абляционного эксперимента на подмножестве из 2 000 примеров. В нём отключены учитывающая расстояние функция потерь и проектор с временным кодированием, поэтому опубликованные результаты уступают более полным вариантам TEMPO. Модель рассчитана на английский язык; метки времени ограничены 60 секундами, а записи большей длины нужно разбивать на фрагменты. Распознавание речи нескольких говорящих остаётся сложным, музыкальные оценки приблизительны, а метки говорящих согласованы только внутри отдельной записи. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели.

Aynur27/uz-speecht5-finetuned — дообученная модель SpeechT5 для синтеза речи из текста. Она основана на microsoft/speecht5_tts и опубликована в формате safetensors для библиотеки Transformers. README приводит значение Loss 0.4253 на наборе оценки, но не раскрывает состав данных и условия оценки. Модель распространяется по лицензии MIT.

VoiceCLAP-Commercial (small) — модель для сопоставления речи и текстовых описаний по эмоциям и манере говорения. Её разработчик в README не назван; модель дообучена на базе laion/voiceclap-small и сохраняет её двухбашенную CLAP-архитектуру размером 110 млн параметров: аудиокодировщик на основе BUD-E-Whisper-Small обрабатывает 80-мерные mel-признаки при 16 кГц, текстовый кодировщик использует all-MiniLM-L6-v2, а совместное пространство содержит нормализованные эмбеддинги размерности 768. Для выделения эмоциональных признаков добавлены 39 обучаемых прототипов эмоций и вспомогательная функция потерь. Модель обучена на данных, которые, согласно карточке, допускают коммерческое лицензирование: Emilia-YODAS, LAION's Got Talent и Majestrino; из обучающей смеси исключены источники с некоммерческими лицензиями. Она предназначена для извлечения аудио- и текстовых признаков и поиска сходства между речевыми фрагментами и описаниями эмоций или стиля речи. В сравнительном эксперименте модель показала лучшие результаты на четырёх из пяти указанных метрик относительно варианта, обученного также на некоммерческих данных, но уступила по ранжированию интенсивности эмоций на синтетическом аудио. Лицензия репозитория — CC BY 4.0.

w2v-bert-timit-demo — дообученная AbidGru модель распознавания речи на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и предназначена для преобразования входящего аудио в текст. В репозитории указано 402,7 млн параметров; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Transformers. Набор данных для дообучения не описан, поэтому область применения, языковую поддержку и качество распознавания по имеющимся сведениям определить нельзя. Лицензия модели — MIT.

wav2vec2-bert-CV16-en-libri — модель распознавания речи, дообученная на базе facebook/w2v-bert-2.0 на чистой части набора LIBRISPEECH_ASR. Она использует архитектуру Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает английское направление по названию модели. В README приведены результаты оценки: WER 0,0708 и CER 0,0194 на оценочном наборе. Модель распространяется по лицензии MIT. Подробности о сценариях применения, контексте записи и известных ограничениях в карточке не раскрыты.

jbetker/wav2vec2-large-robust-ft-libritts-voxpopuli — модель автоматического распознавания речи на архитектуре wav2vec2-large, разработанная jbetker дообучением facebook/wav2vec2-large-robust-ft-libri-960h на наборах LibriTTS и VoxPopuli. Она преобразует аудио в текстовые транскрипции с пунктуацией, что особенно полезно для подготовки текстов к синтезу речи, где пунктуация влияет на просодию. Модель содержит 402,8 млн параметров и доступна в формате PyTorch. В карточке указана оценка WER 4,45% на валидационном наборе LibriSpeech; для базовой модели приводится 4,3%. Обучение велось на чистом аудио, поэтому модель хуже подходит для шумных записей. Условия лицензии в предоставленных данных не приведены.