I.9Аудио и музыка

onnx-community/whisper-base — веб-совместимая версия модели openai/whisper-base, подготовленная сообществом ONNX Community. Репозиторий содержит ONNX-веса для работы с библиотекой Transformers.js и ориентирован на запуск модели в веб-среде и других сценариях, поддерживаемых этой библиотекой. Исходная модель Whisper предназначена для задач автоматического распознавания речи; однако в представленном README не указаны подробности об архитектуре, размере, поддерживаемых языках, модальностях и максимальной длине контекста именно этой версии. Ключевое преимущество модели — наличие ONNX-весов, упрощающих использование Whisper в JavaScript- и веб-приложениях. Ограничения и требования к производительности в README не описаны. Лицензия также не указана.

agnesluhtaru/whisper-large-et-ERR2020-v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2. Она предназначена для преобразования аудио в текст; название модели указывает на эстонский язык и датасет ERR2020. В метаданных указаны архитектура WhisperForConditionalGeneration, 905,2 млн параметров и формат PyTorch. На оценочном наборе в карточке приведены Loss 0,2915 и WER 13,8640. Модель распространяется по лицензии Apache-2.0. Карточка не описывает состав обучающих данных, условия оценки и ограничения применения, поэтому приведённые метрики нельзя напрямую переносить на другие аудио и сценарии.

kasunw/whisper-large-v3-sinhala — дообученная модель распознавания речи на основе Whisper large-v3 от OpenAI. Она предназначена для транскрибации аудио на сингальском языке; в основе — архитектура WhisperForConditionalGeneration с 905,2 млн параметров. Для дообучения использован датасет OpenSLR. Модель принимает аудио и выдаёт текст. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает точные ограничения качества или длину контекста; назначение модели ограничено распознаванием речи на сингальском языке.

Sadegh Karimi дообучил мультиязычную модель распознавания речи Whisper large-v3-turbo на наборе Common Voice 17.0. Модель предназначена для преобразования аудио в текст; в карточке указана оценка WER 9,6275 на наборе оценки. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель ориентирована на персидскую речь. Базовая Whisper large-v3-turbo поддерживает распознавание речи и перевод аудио в текст на разных языках, однако эта версия дообучена на персидском материале. Лицензия — MIT. Карточка не описывает условия оценки и ограничения подробнее.

Модель dianavdavidson/whisper-medium_vaani_62419_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT — дообученная версия мультиязычной модели Whisper medium от OpenAI для распознавания речи и преобразования её в текст. Она содержит 455,8 млн параметров, построена на архитектуре WhisperForConditionalGeneration и рассчитана на аудиовход; для загрузки весов используется формат safetensors и библиотека Transformers. В README приведены результаты оценки: loss 0,6258 и Global WER 13,6881, однако датасет и условия оценки не описаны, поэтому эти показатели не позволяют судить о качестве на конкретных языках и сценариях. Модель распространяется по лицензии Apache-2.0. README не уточняет специализацию дообучения, поддерживаемые языки этой версии или практические ограничения, поэтому её пригодность для конкретной предметной области следует оценивать на собственных аудиоданных.

onnx-community/whisper-small.en_timestamped — модель распознавания речи на основе openai/whisper-small.en, подготовленная сообществом ONNX Community. Репозиторий содержит веса в формате ONNX, совместимые с библиотекой Transformers.js, и предназначен для использования в веб-приложениях и других средах, поддерживающих этот формат. Суффикс timestamped указывает на вариант модели с временными метками, однако подробности о формате и точности этих меток в README не приведены. Модель ориентирована на транскрибацию англоязычной речи. Архитектура, количество параметров, поддерживаемые модальности, размер контекста, точные требования к вычислительным ресурсам и дополнительные характеристики в README не указаны; по названию базовой модели можно определить только принадлежность к варианту Whisper small.en. Лицензия для данного репозитория отдельно не указана. ONNX-веса описаны как временное решение до более широкого распространения WebML; для подготовки веб-совместимых моделей рекомендуется использовать Optimum.

onnx-community/whisper-small_timestamped — это веб-совместимая версия модели openai/whisper-small, подготовленная сообществом ONNX Community. Репозиторий содержит ONNX-веса, предназначенные для использования с библиотекой Transformers.js, а исходная модель разработана OpenAI. Модель предназначена для задач автоматического распознавания речи в приложениях, работающих через Transformers.js, включая веб-сценарии. Архитектура, размер, поддерживаемые языки, модальности и размер контекста в предоставленных данных отдельно не указаны; известно только, что базовой моделью является whisper-small. Ключевое преимущество — наличие ONNX-весов, упрощающих запуск модели в средах, совместимых с Transformers.js. Ограничение состоит в том, что README не содержит подробностей о производительности, точности, требованиях к ресурсам и фактическом наборе поддерживаемых сценариев. Лицензия в предоставленных данных не указана.

Rolv-Arild/xls-r-300m-npsc-seq2seq — модель распознавания речи на основе архитектуры SpeechEncoderDecoderModel. Она принимает аудио и предназначена для преобразования речи в текст. В карточке указано, что модель обучалась с нуля; размер 300 млн параметров следует из идентификатора, а валидационная WER составляет 0,3144, loss — 0,2965. Карточка не описывает набор данных, поддерживаемые языки, контекст или целевые сценарии. Модель опубликована в формате PyTorch и помечена как использующая Transformers. Условия лицензии в предоставленных данных не указаны.

XLS-R-300m-SV — модель распознавания шведской речи, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 7.0 для шведского языка (конфигурация sv-SE). Модель использует архитектуру wav2vec2 с CTC-декодером и содержит около 402,7 млн параметров; принимает аудио и преобразует его в текст. Опубликованные результаты на тестовой выборке Common Voice 7.0: WER 24,68% без языковой модели и 16,98% с языковой моделью. Модель выпущена под лицензией Apache-2.0. README не описывает дополнительные сценарии применения и ограничения; качество на других наборах данных не приведено.

vudang449/chunkformer-large-vie — зеркало модели ASR для вьетнамской речи, основанной на ChunkFormer. Исходную модель разработал Khanh Le (khanhld); репозиторий сохраняет те же веса и предназначен, в частности, для voice-bench. Это CTC-модель с chunk-based encoder примерно на 110 млн параметров, принимающая аудио и выдающая распознанный текст. ChunkFormer поддерживает распознавание длинных записей без фиксированного ограничения на длительность декодирования. Модель предназначена для транскрибации коротких аудиоклипов и длинных записей на вьетнамском языке. В README приведены результаты на VIVOS и VietMed, а также замеры скорости на Mac Mini M4; автор отмечает, что обучающие данные включают VIVOS и размеченную часть VietMed, поэтому результаты на этих наборах не подтверждают качество на независимых данных. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства и ограничивает коммерческое применение.

jssaluja обучил эту модель распознавания речи на базе facebook/mms-1b-all для транскрибирования аудио на панджаби. Это модель Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 1,3 млрд параметров; она принимает аудио и выдаёт текст. Обучение проводилось на наборах данных с панджабскими аудиокнигами, беседами, подкастами, религиозными выступлениями и другими записями. На указанном в карточке наборе оценки CER составляет 0,0813, а WER — 0,3182. Модель подходит для расшифровки панджабской речи в аудиозаписях, включая аудиокниги, подкасты и выступления. В карточке не приведены сведения о целевых вариантах письма и условиях записи, поэтому качество на других типах аудио не установлено. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но не коммерческое использование.

Модель h-gajdov/full_moonshine_tiny_wup1_ep3_lr1e-4 — полное дообучение Moonshine Tiny, выполненное h-gajdov для преобразования македонской речи в текст. Это модель распознавания речи с архитектурой encoder-decoder Moonshine и 27,1 млн параметров. Она принимает аудиосигнал в виде необработанной волновой формы; вычислительные затраты зависят от фактической длительности записи, что подходит для распознавания на устройствах с ограниченными ресурсами. Модель обучена на наборе vezilka-asri в течение трёх эпох. В README указаны результаты на отложенном тестовом наборе из 44 аудиофрагментов: WER 14,24 и CER 6,42; оценка точного совпадения целых высказываний неинформативна для длинных клипов. Декодер ограничен длиной 192 токена, а вызовы generate() не должны передавать параметры language или task. Модель опубликована в формате safetensors; лицензия в предоставленных данных не указана.

Это неофициальная обёртка для Transformers модели GigaAM-v2-CTC, первоначально выпущенной SberDevices. Она предназначена для распознавания русской речи из аудио с декодированием beam search и повторным ранжированием гипотез внешней n-граммной языковой моделью. Обёртка поддерживает извлечение временных меток слов; для этой реализации указан шаг 40 мс. Модель использует архитектуру Conformer с CTC-декодированием и доступна через интерфейс библиотеки Transformers. Модель подходит для транскрибации русской речи, в том числе с получением временных границ слов. Для работы требуются PyTorch, torchaudio и Transformers; в карточке приведены версии 2.7.1, 2.7.1 и 4.49.0 соответственно. Репозиторий распространяется по лицензии MIT. Качество распознавания может зависеть от акустических условий и соответствия речи обучающим данным; количественные оценки качества в карточке не приведены.

waveletdeboshir/gigaam-rnnt — неофициальная обёртка для Transformers модели GigaAM-v2-RNNT, разработанной SberDevices. Она предназначена для автоматического распознавания русской речи и преобразования аудиозаписей в текст. В репозитории указаны классы модели, извлечения признаков и токенизатора, совместимые с интерфейсом Transformers, включая загрузку через Auto-классы. Модель представлена в форматах PyTorch и Safetensors; карточка указывает библиотеку Transformers и лицензию MIT. README сообщает, что это оригинальная модель GigaAM-v2-RNNT с интерфейсом Transformers, но сам репозиторий является неофициальной обёрткой. Размер модели и длина контекста в доступных данных не приведены.

Это модель автоматического распознавания японской речи, созданная на основе rinna/japanese-hubert-base и дообученная на common_voice_11_0. Она использует архитектуру HuBERT с CTC-головой, содержит 113,3 млн параметров и распространяется в формате safetensors. Модель преобразует аудио в текст для задач распознавания японской речи. Её вывод ограничен хираганой. На common_voice_11_0 указаны WER 27,51% и CER 11,70%. Лицензия — Apache-2.0.

Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; по названию репозитория ориентирована на хинди. В метаданных указан входной аудиосигнал, а формат весов — safetensors. В карточке приведены результаты оценки: loss 0,2711 и Global WER 25,9022. Датасет обучения не указан, поэтому эти показатели не позволяют судить о качестве на конкретных типах записей. Модель распространяется по лицензии MIT.

vantagewithai/LTX-2.5-GGUF — квантованная версия модели LTX-2.5 от Lightricks в формате GGUF, подготовленная сообществом VantageWithAI. Модель предназначена для генерации и преобразования видео и аудио, включая text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio, а также совместную генерацию аудио и видео из текста или изображений. Модель поддерживает мультимодальные сценарии и заявлена для работы с английским, немецким, испанским, французским, японским, корейским, китайским, итальянским и португальским языками. Точные сведения об архитектуре, количестве параметров, размере контекста и системных требованиях в карточке не указаны. Файлы используют смешанную точность квантования, что призвано сохранить высокое качество при несколько большем размере файлов. Модель подходит для создания видеоконтента, мультимедийных прототипов и экспериментов с генерацией аудио и видео, включая использование в ComfyUI. Ограничения связаны с отсутствием подробных технических характеристик и потенциальными компромиссами квантования между размером, скоростью и качеством. Распространение регулируется лицензией LTX-2 Community License Agreement; для доступа требуется согласие с условиями и политикой конфиденциальности Lightricks.

QuantStack/LTX-2-GGUF — это квантованная версия модели LTX-2 от Lightricks, преобразованная в формат GGUF. Модель предназначена для генерации и преобразования видео и аудио, включая сценарии text-to-video, image-to-video, video-to-video, image-text-to-video, audio-to-video, text-to-audio, video-to-audio, audio-to-audio и совместной генерации аудио и видео по тексту или изображению. Модель рассчитана на использование в ComfyUI и требует нескольких компонентов: основной модели LTX-2 в формате GGUF, текстового энкодера Gemma 3, Embeddings Connector и Qwen-Image VAE для видео и аудио. В метаданных заявлена поддержка английского, немецкого, испанского, французского, японского, корейского, китайского, итальянского и португальского языков. Размер модели, точная архитектура, модальности входов и выходов в технических деталях, а также размер контекстного окна в README не указаны. К сильным сторонам относятся поддержка широкого спектра мультимодальных задач и более компактный квантованный формат GGUF. Ограничения связаны с необходимостью устанавливать дополнительные компоненты и использовать совместимую конфигурацию ComfyUI; характеристики квантования и влияние на качество в README не раскрыты. Модель распространяется по лицензии LTX-2 Community License Agreement, при этом для квантованной версии сохраняются все исходные условия и ограничения лицензирования.

moonshine-ai/moonshine-base-ja — модель автоматического распознавания речи для японского языка из семейства Moonshine. Модель доступна через библиотеку Transformers и распространяется в формате Safetensors; разработчик и точная архитектура в предоставленной карточке не указаны. Модель предназначена для преобразования японской речи в текст и может использоваться в транскрибации аудиозаписей, голосовых заметок, субтитрировании и интеграции распознавания речи в приложения. В метаданных указано окно контекста 194 токена. В предоставленных материалах нет результатов оценки качества, сведений о тренировочных данных, размере модели, поддерживаемых аудиоформатах или рекомендаций по применению. Лицензия обозначена как other, поэтому перед использованием необходимо проверить полный текст условий лицензирования.

Moonshine-MN — модель распознавания монгольской речи, созданная дообучением UsefulSensors/moonshine-base на аудиозаписях Mozilla Common Voice. Она предназначена для преобразования монгольской речи на кириллице в текст; карточка также описывает сценарий потокового распознавания. Модель использует архитектуру Moonshine и принимает аудио, выдавая текст. В метаданных указан контекст 194 токена, а для финального чекпойнта на шаге 15000 заявлен WER 11,88%. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Moonshine Streaming Small — Japanese — это потоковая модель распознавания японской речи из семейства Moonshine, опубликованная moonshine-ai. Она принимает аудио и выдаёт текст по мере поступления речи, что подходит для транскрипции на устройствах с ограниченными ресурсами. В метаданных указано 48,2 млн параметров; README приводит другое значение — 112,9 млн, поэтому размер модели в источниках расходится. Модель использует аудиофронтенд с частотой 50 Гц, скользящий оконный Transformer-энкодер и декодер; задержка упреждения составляет около 80 мс. Для работы в Transformers требуется передавать attention mask. Модель обучена для японского языка на автоматически размеченных корпусах подкастов и YouTube, где транскрипты созданы моделью-учителем семейства Whisper. В оценке используются CER без пробелов: макро-CER составил 17,15 на выборке из FLEURS и ReazonSpeech при пакетном размере 1. Это вариант потокового распознавания для японской речи, включая чтение и спонтанную речь. Возможны ошибки в именах собственных, числах и переключении языков; на коротких фрагментах иногда возникают циклы повторения, поэтому следует ограничивать длину вывода. Качество не оценивалось на телефонной речи, детской речи, тяжёлых диалектах и шумной речи с большого расстояния. Модель выпущена под лицензией MIT; README исключает применение для слежки без согласия, идентификации говорящего и решений с высокими ставками.

Это MLX-совместимая версия модели распознавания речи NVIDIA Nemotron 3.5 ASR Streaming, подготовленная theoracleguy для OpenVox и других сценариев на Apple Silicon с библиотекой mlx-audio. Модель содержит 600 млн параметров и использует потоковую архитектуру FastConformer-RNNT с учетом кэша и подсказкой идентификатора языка. В репозитории размещены веса bfloat16 для инференса полного качества. Модель предназначена для потоковой транскрипции речи с пунктуацией и восстановлением заглавных букв; README сообщает о поддержке 40 языковых локалей. Метаданные перечисляют языки, включая английский, русский, испанский, немецкий, французский, арабский, японский, китайский и другие. Её можно использовать в локальных голосовых сценариях OpenVox или независимо через mlx-audio. Это производная версия NVIDIA Nemotron 3.5 ASR Streaming, адаптированная для MLX; метаданные указывают связь finetune. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория и исходной моделью NVIDIA. Архитектура, бенчмарки и ограничения описаны в оригинальной карточке NVIDIA, на которую ссылается README.

Nos_ASR-wav2vec2-large-xlsr-53-gl-with-lm es una copia de diego-fustes/wav2vec2-large-xlsr-gl con интегрированной языковой моделью. Модель разработана для автоматического распознавания речи на галисийском языке и преобразования аудиозаписей в текст. Она основана на архитектуре Wav2Vec2-Large-XLSR-53, имеет около 402,7 млн параметров и принимает аудио. В README приведены результаты на тестовых подвыборках Galician OpenSLR и Common Voice 7.0: WER составил 6,86% и 15,20% соответственно, что ниже показателей указанной базовой модели на тех же наборах. Модель распространяется по лицензии Apache-2.0.

PhoWhisper-tiny-for-L-N — вариант PhoWhisper для распознавания вьетнамской речи. PhoWhisper разработан Thanh-Thien Le, Linh The Nguyen и Dat Quoc Nguyen и получен дообучением многоязычной Whisper на датасете объёмом 844 часа с разными вьетнамскими акцентами. В карточке описаны высокие результаты семейства PhoWhisper на тестах распознавания вьетнамской речи. Модель принимает аудио и генерирует текстовую транскрипцию; этот репозиторий содержит веса ONNX для Transformers.js. Архитектура — Whisper, размер — 29,4 млн параметров. Модель предназначена для распознавания вьетнамской речи, в том числе с различными акцентами. Лицензия репозитория указана как WTFPL; README рекомендует цитировать статью PhoWhisper при публикации результатов или включении модели в программное обеспечение.

litert-community/Qwen3-ASR-0.6B — модель автоматического распознавания речи, основанная на Qwen/Qwen3-ASR-0.6B. По имеющимся данным, она предназначена для преобразования аудиоречи в текст и может использоваться в сценариях транскрибации и других задачах автоматического распознавания речи. Разработчик исходной модели — команда Qwen; репозиторий модели представлен сообществом LiteRT. Из доступных сведений известно обозначение размера 0.6B, однако подробности об архитектуре, поддерживаемых языках, аудиоформатах, модальностях и размере контекстного окна не указаны. Поэтому нельзя достоверно оценить языковой охват, качество распознавания, производительность или ограничения модели. Модель распространяется по лицензии Apache-2.0. Условия лицензии допускают широкое использование при соблюдении её требований, но перед применением следует учитывать отсутствие в предоставленной карточке подробностей о технических характеристиках и результатах тестирования.

lgris/sew-tiny-portuguese-cv7 — модель распознавания речи, дообученная разработчиком lgris на базе lgris/sew-tiny-pt на датасете Common Voice 7.0. Она принимает аудио и преобразует речь в текст на португальском языке. Архитектура SEWForCTC, число параметров — 50,4 млн; веса представлены в формате PyTorch. На тестовом наборе указаны значение WER 0,2745 и loss 0,4232. Модель подходит для транскрибации португальской речи, в том числе для экспериментов с распознаванием речи на записях из Common Voice. Лицензия — Apache-2.0.

Карточка модели Soul-AILab/SoulX-Podcast-1.7B-dialect на Hugging Face совпадает с карточкой Soul-AILab/SoulX-Podcast-1.7B, поэтому описание составлено по ней. SoulX-Podcast-1.7B — модель Soul-AILab для синтеза речи в формате подкастов: она создаёт длинные диалоги с несколькими участниками и также поддерживает синтез монологов. В основе лежит плотная языковая архитектура Qwen3ForCausalLM с 1,7 млрд параметров; модель принимает текст и выдаёт речь. Контекст составляет до 40 960 токенов. Модель рассчитана на естественную многорепликовую речь с паралингвистическими элементами, например смехом и вздохами. Поддерживаются английский и китайский, включая диалекты сычуаньский, хэнаньский и кантонский; также заявлено клонирование голоса без предварительного обучения на образце, в том числе между китайскими диалектами. Репозиторий содержит форматы ONNX и Safetensors и распространяется по лицензии Apache-2.0. Авторы описывают применение для синтеза подкастов, персонализированной речи, вспомогательных технологий и лингвистических исследований. Потоковый вывод пока обозначен как планируемая функция; в README также указано, что модель предназначена для академических, образовательных и иных легитимных применений.

Tiro Qwen3-ASR 1.7B (FFASR) — дообученная модель распознавания речи, подготовленная для дальнепольной записи и представленная на Far-Field ASR Leaderboard. Она основана на Qwen/Qwen3-ASR-1.7B-hf; при обучении обновлялись только аудиоэнкодер и мультимодальный проектор, а аудиоданные формировались с применением акустических импульсных характеристик помещений и шумов. Модель предназначена для транскрибации речи, записанной на расстоянии или в акустически сложных помещениях. Модель использует архитектуру Qwen3-ASR с плотной конфигурацией и принимает аудио, выдавая текстовую транскрипцию. В карточке указан английский язык. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0. Размер модели и длина контекста в доступных данных не указаны.

VibeVoice-Embed — отдельный акустический энкодер из Microsoft VibeVoice-1.5B, опубликованный lemuriandezapada. Модель принимает аудио с частотой 24 кГц и возвращает вектор голоса размерности 64: латентные кадры причинного VAE усредняются, а для детерминированного результата используется среднее распределения. Веса энкодера перенесены из исходного чекпойнта без изменений; модель содержит 344 млн параметров и хранится в формате safetensors. Энкодер предназначен для получения голосовых эмбеддингов, которые можно использовать для сравнения голосов, ранжирования похожих записей и кластеризации говорящих. В README сообщаются результаты разделения говорящих на контролируемом наборе синтетической речи и совместимость с аудио-эмбеддингами моделей VibeVoice 1.5B и 7B. Для сравнения рекомендуется нормализовать векторы и использовать косинусное сходство или эквивалентную метрику. Проверка проводилась на синтетических записях одного TTS-движка, поэтому качество на реальной речи и при разных каналах записи не подтверждено. Эмбеддинги не обеспечивают надёжный универсальный порог принятия решения «тот же или другой говорящий»; лучше применять их для ранжирования и кластеризации. Лицензия — MIT.

Voxtral Mini 4B Realtime — преобразованная в формат MLX модель Mistral AI для потокового распознавания речи. Репозиторий содержит вариант с точностью float16, рассчитанный на запуск через библиотеку mlx-audio на устройствах Apple Silicon. Модель принимает аудио и выдаёт текстовую транскрипцию с низкой задержкой. Она поддерживает потоковую обработку, а скользящее оконное внимание в причинном аудиокодировщике и декодере позволяет работать с длинными аудиопотоками. Архитектура включает аудиокодировщик примерно на 0,6 млрд параметров и языковой декодер примерно на 3,4 млрд параметров; общий размер — около 4 млрд параметров. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки. В README для ряда тестов приводятся показатели WER при разных задержках; рекомендованная настройка задержки транскрипции — 480 мс. Модель подходит для потоковой транскрипции речи и расшифровки длинных записей. Для распознавания рекомендуется жадное декодирование с температурой 0.0. Доступна по лицензии Apache-2.0.,