I.9Аудио и музыка

jlvdoorn/whisper-large-v3-atco2-asr — дообученная модель распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для преобразования аудио в текст; README сообщает результат оценки WER 17,0374 и loss 0,7695, но не описывает набор оценки и условия измерения. Модель содержит 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors. Лицензия — Apache-2.0.

Это дообученная модель OpenAI Whisper Medium с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты на наборе оценки: loss 0,5381 и глобальный WER 13,3026; обучающий набор данных не описан. Модель принимает аудио и выдаёт текст; семейство Whisper также поддерживает многоязычную транскрибацию и перевод речи, однако язык и режимы, проверенные именно для этой версии, в карточке не уточнены. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Карточка модели RedHatAI/whisper-tiny на Hugging Face совпадает с карточкой openai/whisper-tiny, поэтому описание составлено по ней. Whisper Tiny — компактная предварительно обученная модель распознавания речи семейства Whisper, разработанная OpenAI. Это трансформерная архитектура «энкодер—декодер» с 29,4 млн параметров, обученная на больших массивах размеченной речи с масштабным слабым контролем. Модель принимает аудио и генерирует его текстовую расшифровку; семейство Whisper также поддерживает перевод речи, но метаданные этой модели указывают только задачу распознавания речи. Модель подходит для транскрибации речи на множестве языков, включая русский, а также для распознавания аудио с акцентами, фоновым шумом и технической лексикой. Базовая длительность входного аудиофрагмента — до 30 секунд; длинные записи можно обрабатывать с разбиением на фрагменты. Модель может выдумывать слова, которых нет в аудио, повторять текст, а качество распознавания неодинаково для разных языков, акцентов и диалектов. Распространяется по лицензии Apache-2.0.

BuzzASR Bulgarian — одноязычная модель автоматического распознавания болгарской речи, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Она дообучена методом fine-tuning на базе openai/whisper-large-v3, использует архитектуру Whisper и содержит около 905,2 млн параметров. Модель принимает аудио и генерирует текстовую расшифровку; языковой и задачный prompt включён в конфигурацию генерации. Модель предназначена для транскрибации болгарской речи. В тестах на FLEURS и Common Voice 25 авторы сообщают CER 3,79% и WER 13,33% для FLEURS, CER 0,36% и WER 1,44% для Common Voice, а на объединённом тесте — CER 1,21% и WER 4,39%. Эти результаты относятся к указанным тестовым наборам; качество на других тематиках, в условиях шума и для диалектов может отличаться. Обучение включало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Лицензия — MIT.

combined_whisper_sanlish_lr2e5_newsplit — модель распознавания речи, полученная дообучением мультиязычной openai/whisper-small. Она предназначена для преобразования аудиозаписей в текст; в карточке приведены результаты оценки: WER 34,7012, CER 8,4391 и loss 0,6368. Подробности о целевом языке и наборе данных не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

Systran/faster-whisper-small.en — конверсия модели Whisper small.en от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания английской речи в аудиозаписях и преобразования её в текст. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий создан 23 ноября 2023 года; лицензия — MIT. Это конвертированная версия openai/whisper-small.en, а не самостоятельное дообучение.

GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.

Это MLX-порт модели IBM Granite Speech 4.1 2B NAR, подготовленный mlx-community для запуска на компьютерах Apple Silicon через mlx-audio. Модель предназначена для автоматической транскрибации речи; поддерживаемые языки — английский, французский, немецкий, испанский и португальский. Репозиторий распространяется по лицензии Apache-2.0. Архитектура — плотная нерегрессионная ASR-модель примерно на 2,25 млрд параметров в формате bf16: 16-слойный Conformer-энкодер строит гипотезу CTC, Q-Former-проектор формирует аудиопредставления, а 40-слойный двунаправленный редактор уточняет гипотезу за один проход. Для работы нужны macOS 14 или новее и Apple Silicon. Ограничения: пакетная обработка ограничена размером 1, потоковая транскрибация не поддерживается; доступны только веса bf16, без вариантов с квантизацией.

Parakeet-TDT 0.6B v3 — многоязычная модель распознавания речи NVIDIA NeMo, опубликованная loom-ai-org в формате GGUF для запуска через loom.cpp и loom-py-rt. Репозиторий содержит экспорт исходной модели nvidia/parakeet-tdt-0.6b-v3; README указывает, что веса не изменены. Модель преобразует аудио в текст и предназначена для автоматической транскрипции речи на 25 языках, включая русский, английский, испанский, французский и немецкий. Для использования требуется loom-py-rt; экспорт включает графы модели и необходимые компоненты для запуска. Репозиторий распространяется по лицензии CC BY 4.0.

Это GGUF-версия мультиязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v3, подготовленная автором репозитория из официальных контрольных точек NeMo PyTorch. Модель предназначена для локальной транскрипции аудио с автоматическим определением языка; для работы в parakeet-cli требуется декодер TDT. Архитектура Token-and-Duration Transducer предсказывает текстовые токены и длительность их звучания, что позволяет эффективнее проходить аудиопоследовательность. Модель содержит около 600 млн параметров, представлена в GGUF F32 и рассчитана на запуск через parakeet.cpp и движок ggml. Поддерживаются 25 европейских языков, включая русский, английский, украинский, французский, немецкий, испанский и итальянский. Версия ориентирована на офлайн-транскрипцию на локальном оборудовании; README приводит оценки потребления памяти около 2,8 ГБ RAM и 2,6 ГБ VRAM. Лицензия — CC BY 4.0, требуется атрибуция.

OVOS Qwen3 Forced Aligner 0.6B Q4_K_M — квантизированный экспорт модели Qwen/Qwen3-ForcedAligner-0.6B в формате GGUF, подготовленный для использования на периферийных устройствах и в средах с CPU-инференсом. Модель предназначена для принудительного выравнивания речи и текста, а также используется в связке с системой автоматического распознавания речи для получения транскрипции и временных соответствий между текстом и аудиосигналом. Модель поддерживает широкий набор языков, включая китайский, английский, кантонский, арабский, немецкий, французский, испанский, португальский, русский, японский, корейский, хинди и другие языки, перечисленные в карточке. Архитектура и размер исходной модели указаны как 0.6B, а вариант Q4_K_M использует квантизацию для снижения требований к памяти и вычислительным ресурсам, что может быть преимуществом для CPU и edge-устройств, но потенциально ограничивает точность по сравнению с полной версией. Для работы рекомендуется пакет py-qwen3-asr-cpp; модель распространяется по лицензии Apache 2.0.

Community-1 — конвейер для диаризации речи от pyannote. Он принимает аудио и определяет, кто и когда говорит; результат включает временные интервалы с метками говорящих. Для входа используется монофоническое аудио с частотой 16 кГц: многоканальные записи автоматически сводятся к моно, а записи с другой частотой дискретизации пересчитываются до 16 кГц. По карточке модели, Community-1 улучшает назначение и подсчёт говорящих по сравнению с предыдущей версией pyannote speaker-diarization-3.1 и предоставляет эксклюзивную диаризацию, упрощающую сопоставление временных меток говорящих с временными метками транскрипции. Конвейер можно запускать локально, в том числе без подключения к интернету, или использовать через облачный сервис pyannoteAI. Для работы локально требуется pyannote.audio и токен Hugging Face с принятыми условиями доступа. Модель предназначена для анализа речи в записях с несколькими участниками, включая случаи перекрывающейся речи. В README приведены результаты на академических бенчмарках, но качество зависит от условий записи и домена. Метаданные указывают лицензию CC BY 4.0; при использовании следует соблюдать её условия.

Kyutai STT — потоковая модель автоматического распознавания речи, разработанная Kyutai. Вариант kyutai/stt-1b-en_fr предназначен для транскрибации английской и французской речи и содержит около 1,1 млрд параметров. Модель использует декодерную архитектуру Transformer и многопоточный подход Moshi: аудио кодируется токенизатором Mimi, а модель предсказывает текстовые токены с задержкой около 0,5 секунды. Модель начинает выдавать транскрипт по мере поступления аудио, поддерживает потоковую обработку и работает с длинными записями. Она рассчитана на шумные условия и формирует текст с заглавными буквами и пунктуацией; временные метки текста можно восстановить с учётом задержки потока. Для работы через Transformers требуется версия 4.53.0 или новее. Веса распространяются по лицензии CC-BY 4.0.

Kaousheik/tempo-ablation-projector — экспериментальный чекпойнт проекта TEMPO, построенный на базе аудиоязыковой модели NVIDIA Audio Flamingo 3. Это вариант абляции с временным мультимодальным проектором; в README для него указаны результаты Table 3, а файл time_proj.pt необходим для загрузки. Базовая архитектура Audio Flamingo 3 объединяет замороженный аудиоэнкодер Whisper-large примерно на 0,6 млрд параметров и Qwen2-7B через двухслойный MLP-проектор. Модель принимает аудио и по запросу формирует текст с временными метками для речи, звуков и музыки. Модель предназначена для распознавания речи с временной привязкой, определения говорящих и границ их реплик, поиска аудиофрагментов по текстовому запросу, сегментации записи с описанием событий и анализа музыкальных фрагментов. Проект TEMPO использует специальные токены временных меток с разрешением 0,1 секунды и временные кодировки в проекторе. Карточка описывает английский язык; метаданные указывают задачу audio-text-to-text и датасет Kaousheik/tempo. Это исследовательская абляция, а не лучший вариант TEMPO: README сообщает метрики конкретного чекпойнта и отмечает, что распознавание речи при нескольких говорящих остаётся трудным, а результаты анализа аккордов приблизительны. Метки говорящих согласованы внутри записи, но произвольны между записями; временные метки ограничены 60 секундами, поэтому длинные аудио нужно делить на фрагменты. Лицензия в метаданных обозначена как other; конкретные условия использования здесь не приведены.

Yehor разработал модель распознавания украинской речи на основе дообученной facebook/w2v-bert-2.0. Это плотная модель архитектуры Wav2Vec2-BERT с головой CTC, принимающая аудио и выдающая распознанный текст. В метаданных указано 402,7 млн параметров; модель обучалась на Common Voice 10.0 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведены метрики: WER 6,6% и CER 1,34%; также указана точность на словах 93,4% и символах 98,7%. Карточка рекомендует использовать обновлённую модель, поэтому результаты могут не отражать актуальное состояние проекта. Модель предназначена для автоматического распознавания речи на украинском языке.

facebook/wav2vec2-large-xlsr-53-german — модель распознавания речи на немецком языке от Facebook. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке приведена оценка 18,5% на тестовой части немецкого Common Voice. Доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрипции немецкой речи, в том числе записей, похожих на аудиоматериалы Common Voice. Распространяется по лицензии Apache-2.0.

facebook/wav2vec2-large-xlsr-53-polish — модель распознавания польской речи, разработанная Facebook. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке приведена оценка 24,6% на тестовой части Common Voice PL. Модель подходит для транскрибации польской речи, в том числе записей, похожих на тестовые данные Common Voice. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

smutuvi/wav2vec2-large-xlsr-sw — модель автоматического распознавания речи, дообученная на facebook/wav2vec2-large-xlsr-53 на датасете Common Voice 11.0. Она построена на архитектуре wav2vec 2.0 с классом Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. На указанной в карточке оценочной выборке приведены loss 0,4334 и WER 0,3231; описание не уточняет язык записей или условия оценки. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

RASMUS разработал wav2vec2-xlsr-1b-ru — модель распознавания речи на архитектуре Wav2Vec2ForCTC, дообученную на базе facebook/wav2vec2-xls-r-1b на датасете Common Voice. Она преобразует русскую речь в текст и подходит для автоматической расшифровки аудиозаписей. На оценочной выборке указаны Loss 0,1352 и WER 0,0971. Модель содержит 1,3 млрд параметров и распространяется в формате PyTorch. Лицензия в доступных данных не указана.

mlx-community подготовила конверсию Whisper large-v3 от OpenAI в формат MLX с 8-битным представлением весов. Модель предназначена для распознавания речи и преобразования аудио в текст; её можно использовать для транскрибации аудиозаписей и речи в приложениях на базе MLX. Whisper large-v3 — мультиязычная модель. Репозиторий указывает библиотеку mlx-audio-plus и формат safetensors. Модель распространяется по лицензии Apache-2.0. Карточка описывает преобразование исходной модели в MLX, поэтому заявленное здесь назначение — распознавание речи.

Мультиязычная модель распознавания речи на базе Whisper large-v3 от OpenAI, дообученная fsicoli на наборе данных fsicoli/cv19-fleurs. Модель содержит 905,2 млн параметров и предназначена для преобразования аудио в текст. Для оценки указаны loss 0,1823 и WER 0,0756 на тестовой выборке.

Это версия Whisper Large v3 Turbo, дообученная для распознавания немецкой речи. Модель разработана на основе primeline/whisper-large-v3-german; автор карточки — Florian Zimmermeister. Репозиторий содержит конверсию CTranslate2 для использования в совместимых системах, например faster-whisper. В метаданных указана библиотека Transformers, а README описывает формат CTranslate2. Модель преобразует немецкую речь в текст и подходит для транскрибации, создания субтитров, голосового управления, голосового поиска и диктовки. В README для варианта Turbo указано 809 млн параметров. Приведены оценки WER на немецких наборах данных: модель показывает результаты, близкие к базовой дообученной модели, но уступает ей на некоторых тестах. Лицензия — Apache-2.0.

bofenghuang/whisper-small-cv11-french — модель автоматического распознавания речи, полученная дообучением openai/whisper-small на французской части набора Mozilla Common Voice 11.0. Она принимает аудио и выдаёт расшифровку на французском языке, включая регистр букв и пунктуацию. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В карточке приведены результаты WER для Common Voice 11.0, Multilingual LibriSpeech, VoxPopuli и Fleurs; тестовые данные были отфильтрованы и предобработаны, поэтому эти оценки не обязательно отражают качество на произвольной речи. Модель распространяется по лицензии Apache-2.0.

Xenova/whisper-small.en — версия модели OpenAI Whisper small.en, подготовленная Xenova для использования в Transformers.js. Репозиторий содержит веса в формате ONNX, совместимые с JavaScript-библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и транскрибации аудио, в том числе аудиофайлов, доступных по URL. Основной сценарий — запуск распознавания в JavaScript-приложениях, включая веб-среду при наличии соответствующей поддержки ONNX/WebML. Модель ориентирована на английскую речь, что отражено в идентификаторе small.en. Ключевая особенность этой версии — адаптация весов Whisper к формату ONNX; конкретные сведения об архитектуре, числе параметров, размере контекста и точных характеристиках качества в README не приведены. Ограничениями являются ориентация на английский язык и зависимость от Transformers.js и совместимого окружения для выполнения ONNX-модели. Модель распространяется по лицензии Apache-2.0.

mlx-community/whisper-tiny — модель для автоматического распознавания речи, преобразующая аудиозаписи в текст. Она предназначена для сценариев транскрибации речи и интеграции в приложения, которым требуется ASR на базе экосистемы MLX. Модель представляет собой конвертированную версию Whisper с размером tiny, подготовленную сообществом mlx-community из исходной модели tiny с использованием инструментов проекта mlx-examples и формата MLX. В предоставленных данных не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, требования к ресурсам, показатели качества и ограничения. Лицензия также не указана, поэтому условия использования необходимо уточнять по исходной модели Whisper и репозиторию конвертации.

mlx-community/whisper-tiny-asr-fp16 — версия Whisper Tiny, преобразованная сообществом mlx-community из openai/whisper-tiny в формат MLX с помощью mlx-audio 0.2.10. Это компактная модель распознавания речи с архитектурой Whisper и примерно 29,4 млн параметров, предназначенная для преобразования аудиозаписей в текст. Репозиторий содержит веса Safetensors; для работы используется библиотека mlx-audio. Модель поддерживает многоязычное распознавание, в том числе русского, английского, китайского, немецкого, испанского, французского и японского языков. Она подходит для транскрибации коротких записей и речи в приложениях на устройствах Apple Silicon, совместимых с MLX. Это конверсия исходной модели, а не отдельное дообучение; для подробностей о качестве и ограничениях следует обращаться к карточке openai/whisper-tiny. Лицензия — Apache-2.0.

Azerbaijani Whisper Turbo — модель LocalDoc для автоматического распознавания азербайджанской речи. Это дообученная на датасетах LocalDoc/azerbaijani_asr и LocalDoc/fleurs-azerbaijani-asr модель openai/whisper-large-v3-turbo на архитектуре Whisper с 905,2 млн параметров. Она принимает аудио с частотой дискретизации 16 кГц в моно и преобразует речь в текст. Модель предназначена для транскрибации азербайджанской речи, в том числе для сценариев с обработкой в реальном времени на GPU. По README, на тестовой выборке FLEURS из 921 аудиозаписи она показала WER 13,17%; авторы также заявляют о снижении WER на 8% относительно whisper-large-v3 и почти двукратном ускорении вывода. Лицензия — Apache-2.0.

primeline/distil-whisper-large-v3-german — модель распознавания немецкой речи, разработанная Флорианом Циммермайстером и основанная на технике дистилляции Whisper. Она предназначена для транскрибации немецкой речи как локально, так и в составе конвейеров распознавания. В карточке описана версия с 756 млн параметров и размером 1,51 ГБ в bfloat16; метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель обучена на отфильтрованных данных Common Voice, многоязычного LibriSpeech и внутренних данных. Автор заявляет о более быстром выводе с минимальной потерей качества относительно немецкой версии Whisper large v3; при оптимизации, например с TensorRT, модель может применяться для распознавания речи в реальном времени. Указанный язык — немецкий. Лицензия — Apache-2.0.

Necklace/faster-nb-whisper-large — конверсия модели NbAiLab/nb-whisper-large в формат CTranslate2 для запуска через CTranslate2 и проекты на его основе, например faster-whisper. Модель предназначена для автоматического распознавания речи; в карточке указана поддержка норвежского языка. Веса сохранены в FP16, а при загрузке можно выбрать другой compute_type в CTranslate2. Репозиторий распространяется по лицензии Apache-2.0.