I.9Аудио и музыка

240801-wav2vec2-ASR-Global-All-Clients — модель распознавания речи на основе архитектуры Wav2Vec2, разработанная путём дообучения zainulhakim/240626-wav2vec2-ASR_Global. Она принимает аудио и предназначена для преобразования речи в текст. Размер модели — 113,3 млн параметров; веса представлены в формате safetensors. Модель опубликована под лицензией Apache-2.0. В README указаны результаты оценки: loss 3,0667 и WER 1,0. Такой WER указывает на крайне низкое качество распознавания в приведённой оценке; перед практическим применением модель следует проверить на целевых аудиозаписях. Данные обучения, поддерживаемые языки и дополнительные ограничения в доступных материалах не описаны.

Ethio-ASR Amharic — модель автоматического распознавания речи, разработанная командой Ethio-ASR. Это одноязычная модель для транскрибирования амхарской речи, дообученная на амхарской части набора WAXAL Speech Dataset на основе facebook/w2v-bert-2.0. Архитектура wav2vec2-bert-2.0 реализована классом Wav2Vec2BertForCTC; модель содержит 403,1 млн параметров и работает с аудио на входе, выдавая текст. Модель подходит для амхарских голосовых помощников, инструментов доступности и исследовательских сравнений. Репозиторий указывает лицензию CC-BY-4.0. Распознавание языков, кроме амхарского, не заявлено; качество может различаться в зависимости от диалекта, пола и возраста говорящего и условий записи. Для шумного аудио без предварительного улучшения речи модель не рекомендуется, а в критически важных сценариях требуется проверка человеком.

lowdown-labs выпустила потоковую модель распознавания речи на основе CTC с акустическим блоком Fourier Neural Operator. Она принимает моноаудио с частотой 16 кГц порциями и выводит текст с помощью жадного CTC-декодирования по словарю из 256 SentencePiece BPE-единиц и blank-токена. Модель содержит 64,4 млн параметров, работает на CPU и предназначена для локальной потоковой транскрипции с постоянным потреблением памяти; заявлена скорость в 28–30 раз выше реального времени на четырёх потоках CPU. Доступны веса fp32 и вариант int8 меньшего размера. Основные сценарии — живые субтитры, диктовка и автономная транскрипция на телефоне, одноплатном компьютере или ноутбуке без отправки аудио в облако. Streaming-режим сохраняет ограниченный контекст и постоянный объём памяти; выход потоковой обработки совпадает с offline-проходом. Модель рассчитана прежде всего на английскую речь и обучалась, в частности, на читаемой речи LibriSpeech. По точности на чистой речи LibriSpeech модель уступает более крупным и самообученным системам распознавания, а качество снижается на шумной, разговорной и акцентированной речи. Для очень длинных потоков рекомендуется сбрасывать состояние примерно каждые 12 секунд, чтобы уменьшить дрейф контекста. README указывает лицензию CC BY 4.0 для LibriSpeech, но лицензия самой модели в метаданных обозначена как other, поэтому условия использования весов следует сверить с лицензией репозитория.

Модель csikasote/mms-300m-nyagen-original-train-ft-62 — дообученная на наборе NYAGEN - NA версия facebook/mms-300m для автоматического распознавания речи. Это модель архитектуры Wav2Vec2 с CTC-декодированием, содержащая 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. На оценочной выборке указаны loss 0,4169 и WER 0,3193. Карточка не сообщает поддерживаемые языки, контекстные характеристики и подробности об области применения. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-bod — модель синтеза речи на центральном тибетском языке, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на языке bod. Модель использует архитектуру VITS и обучена отдельно для центрального тибетского языка. Это компактный чекпойнт на 3,6 млн параметров; для работы поддерживается библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может меняться при одинаковом тексте, поэтому для повторяемой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-gag-script_latin — модель синтеза речи на гагаузском языке в латинской письменности, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на гагаузском языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Вариационный автоэнкодер, потоковый модуль и декодер на основе свёрточных слоёв формируют аудиосигнал; стохастический предиктор длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. При одинаковом тексте модель может синтезировать разные варианты речи, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-kaq — модель синтеза речи для языка капанахуа (kaq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельная языковая версия MMS-TTS, построенная на архитектуре VITS и имеющая 3,5 млн параметров. Модель принимает текст на капанахуа и генерирует речевую волну; поддержка доступна через библиотеку Transformers версии 4.33 и выше. Модель подходит для озвучивания текстов на капанахуа и создания речевого вывода в приложениях на этом языке. Стохастический предсказатель длительности позволяет варьировать ритм произношения; для повторяемого результата нужен фиксированный seed. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Это модель синтеза речи на уйгурском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на уйгурском письме арабской графикой в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт для данного языка; он доступен через библиотеку Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование на условиях атрибуции и некоммерческого применения.

Moonshine Streaming Small — англоязычная модель распознавания речи от Useful Sensors. Это последовательная encoder-decoder модель: лёгкий аудиофронтенд формирует признаки, потоковый Transformer-энкодер с ограниченным локальным вниманием обрабатывает скользящие окна, а авторегрессионный Transformer-декодер выдаёт транскрипт. В карточке указано 123 млн параметров для варианта Small; метаданные репозитория сообщают 58,7 млн параметров, поэтому размер следует считать противоречивым. Модель предназначена для низколатентной транскрипции на устройствах с ограниченными ресурсами, включая живые субтитры, голосовые команды и преобразование речи в текст в реальном времени. Обучена и оценивалась для английского языка; использует аудио на входе и текст на выходе. Локальное внимание энкодера ограничивает объём контекста, а авторегрессионная генерация увеличивает задержку полного результата по мере роста транскрипта. Реализация в Transformers пока не обеспечивает полностью эффективную потоковую обработку и опирается на flash-attention для скользящего внимания. Модель может галлюцинировать слова и повторять фразы, особенно на коротких или зашумлённых записях; её не следует применять для задач за пределами английского ASR без отдельной оценки. Лицензия — MIT.

OmniStep 12A3B — мультимодальный голосовой и музыкальный ассистент от sovthpaw, основанный на архитектуре Qwen2.5-Omni и объединении весов Qwen2.5-Omni-3B и ACE-Step v1.5 XL SFT 4B методом Darwin Family. Модель рассчитана на разговорное взаимодействие, голосовой ввод и вывод, распознавание изображений, создание заметок и генерацию музыки под настроение пользователя. В README заявлены потоковые ASR и TTS, понимание изображений и генерация фоновой музыки; метаданные указывают поддержку чата и библиотеку Transformers. В репозитории есть полная версия в safetensors и варианты GGUF в F16, Q8_0, Q4_K_M и Q4_0; музыкальная диффузионная голова оставлена в F16. Модель может применяться как голосовой компаньон, помощник для заметок и генератор музыки. README приводит базовые модели и метод слияния, хотя метаданные обозначают происхождение как дообучение. Лицензия — Apache-2.0. Карточка не сообщает размер в параметрах и длину контекста; пример запуска задаёт контекст 8192 токена.

Модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. В карточке она названа моделью для раджастхани, магадхи, маратхи, чхаттисгархи, бходжпури и марвари. Архитектура — Wav2Vec2-BERT с CTC-выходом; модель содержит 402,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. Модель преобразует аудио в текст и подойдёт для распознавания речи на перечисленных языках. В README приведены результаты оценки: loss 2,0250 и CER 0,1801. Сведения о наборе данных, методике оценки и ограничениях применения в карточке не раскрыты. Лицензия — MIT.

Hausa Whisper Small - Saad — модель распознавания речи, созданная дообучением Whisper Small от OpenAI на Common Voice 13. Она преобразует аудио на хауса в текст и подходит для транскрибирования записей и проверки распознавания речи на этом языке. Архитектура — WhisperForConditionalGeneration; модель содержит 153,1 млн параметров и распространяется в формате Safetensors. На тестовом наборе указаны WER 44,41 и орфографический WER 47,71. Эти результаты характеризуют оценку на Common Voice 13 и не гарантируют такое же качество на других типах аудио. Лицензия — Apache-2.0.

patrickvonplaten/wav2vec2-2-bart-base — модель распознавания речи, созданная Патриком фон Платеном как дообученная комбинация facebook/wav2vec2-base и bart-base. Она принимает аудио и преобразует речь в текст; модель обучалась на чистой части набора LibriSpeech ASR и предназначена для автоматического распознавания речи. В карточке приведён результат на оценочной выборке: WER 0,0728 и loss 0,405. Архитектура — speech encoder-decoder на основе SpeechEncoderDecoderModel; файлы представлены в формате PyTorch. Сведения о поддерживаемых языках, контексте и лицензии в доступных данных отсутствуют. Практическое применение следует оценивать с учётом обучения на чистой английской речи из LibriSpeech: качество на шумных записях, других языках и предметных аудио не установлено.

speech-seq2seq/wav2vec2-2-bert-large-no-adapter — модель распознавания речи, обученная с нуля на наборе LibriSpeech ASR. По метаданным, это плотная архитектура типа SpeechEncoderDecoderModel, работающая с аудиовходом; репозиторий содержит веса PyTorch. В карточке указана оценка WER 1,7858 на тестовом наборе, однако единица измерения и методика оценки не пояснены. Модель предназначена для преобразования речи в текст, в частности для распознавания аудиозаписей на материале LibriSpeech. Описание не содержит сведений о поддерживаемых языках, размере модели, длине контекста или практических сценариях использования. Лицензия в предоставленных данных не указана.

e1ec30/wav2vec2-large-mms-1b-yoruba-colab — дообученная на наборе данных с неуказанным названием модель facebook/mms-1b-all для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; модель принимает аудио и преобразует речь в текст. По названию репозитория она ориентирована на йоруба, однако README не описывает языковой охват и назначение подробнее. На указанном в карточке наборе для оценки получены Loss 0,6193, WER 0,5143 и CER 0,1780. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

jonatasgrosman/wav2vec2-large-xlsr-53-chinese-zh-cn — модель распознавания китайской речи, созданная Jonatas Grosman дообучением facebook/wav2vec2-large-xlsr-53. Это трансформерная архитектура Wav2Vec2 с CTC-декодированием, содержащая 406,2 млн параметров. Модель обучена на китайских данных из Common Voice 6.1, CSS10 и ST-CMDS. Модель преобразует аудиозаписи на китайском языке в текст и рассчитана на распознавание речи zh-CN; входное аудио должно иметь частоту дискретизации 16 кГц. В опубликованной оценке на тестовой части Common Voice для китайского языка указаны WER 82,37% и CER 19,03%, что следует учитывать при выборе для практического применения. Модель распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-XLSR-Indonesian — модель распознавания индонезийской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасете Common Voice, включая синтетические голосовые данные. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Она преобразует аудиозаписи на индонезийском языке в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В README для тестовой части Common Voice указана оценка 14,29%, но метрика не названа, поэтому результат нельзя напрямую интерпретировать или сравнивать. Модель распространяется по лицензии Apache-2.0. Ее применение ориентировано на индонезийскую речь; результаты на других языках и аудио с иными характеристиками в предоставленных данных не описаны.

Модель разработана Amine Ouakib и представляет собой дообученную версию OpenAI Whisper medium для автоматического распознавания речи на марокканском диалекте арабского языка — дариже. Это плотная encoder-decoder модель Whisper с 455,8 млн параметров; она принимает аудио и выдаёт текстовую расшифровку. Для обучения использовались объединённые публичные наборы данных с марокканской речью; аудиофрагменты длиной более 15 секунд отфильтровывались. В README сообщаются итоговые показатели WER 3,46% и CER 1,35%, однако описание тестового набора и методики оценки не приведено, поэтому результаты нельзя напрямую переносить на другие аудиозаписи. Модель предназначена для транскрибации дарижи и может быть полезна для обработки разговорной речи, включая аудио ресторанной тематики. Лицензия — Apache-2.0.

ACI Yoruba Phase 9 — модель автоматического распознавания речи на базе Wav2Vec2, опубликованная Awesome-x. Репозиторий содержит акустические веса Phase 8, декодер KenLM на 5-граммах с параметрами alpha=0.5 и beta=1.0, а также фонетическую карту для исправления распространённых ошибок написания при распознавании. Число параметров — около 402,7 млн; веса сохранены в формате safetensors. Модель предназначена для преобразования аудиозаписей на йоруба в текст. В README указана оценка WER 12,63% на отложенной выборке из 55 примеров после симметричного удаления пунктуации из предсказаний и эталонов. Разработчики рекомендуют для производственного применения более позднюю модель Phase X, которая показала более низкий WER на том же тесте; Phase 9 сохранена для воспроизводимости. Лицензия — Apache 2.0.

Bro-ASR-1.7B — японская модель распознавания речи, разработанная как дообученный вариант Qwen/Qwen3-ASR-1.7B-hf с объединёнными LoRA-весами. Она предназначена для офлайн-транскрибации японских разговорных записей с шумом и оценки адаптации распознавания к конкретным устройствам и акустическим условиям. Модель принимает аудио и выдаёт текст; архитектура — плотная Qwen3-ASR, размер базовой модели — 1,7 млрд параметров. Для сравнения с базовой моделью автор приводит результаты на 17 619 отложенных сегментах Delivery_JP: символьная ошибка CER составила 0,33763 против 0,34295 у базы при японском языковом указании и beam size 5. Модель может быть полезна для транскрибации шумных японских разговоров, однако адаптация обучалась на 3 000 сегментах Delivery_JP и не гарантирует улучшения на других языках или в других акустических условиях. Это не система для критически важных транскрипций; перед использованием следует оценить качество на целевых записях. В репозитории находятся объединённые веса, отдельный LoRA-адаптер при инференсе не нужен. Лицензия — Apache-2.0.

efwkjn/cohere-asr-ja — дообученная японская модель распознавания речи на основе Cohere Transcribe, ориентированная на обычную речь и аниме-контент. Она принимает аудио и генерирует текстовую транскрипцию; в обучении использовались аудиофрагменты длительностью до 35 секунд, в среднем около 25 секунд. Автор сообщает о дообучении декодера при замороженном энкодере и настройке гиперпараметров в версии v0.1, которая улучшила CER на приведённых тестовых наборах по сравнению с исходной моделью. Результаты различаются между наборами и жанрами: например, для теста Nekopara CER остаётся заметно выше, чем для Fleurs или JSUT. Модель предназначена прежде всего для японской речи, включая диалоги из аниме и визуальных новелл. Основа содержит 2 млрд параметров по описанию базовой модели в метаданных. Сведения о лицензии в предоставленных данных отсутствуют.

KaniTTS Pretrain v0.3 — модель синтеза речи, представленная в карточке как высокоскоростная система для генерации речи в разговорных приложениях. Она использует двухэтапную схему: языковая модель формирует сжатые аудиотокены, после чего нейрокодек синтезирует из них звуковую волну. В метаданных указаны архитектура LFM2 с плотной causal language model на 460 млн параметров, библиотека Transformers и контекст 128 000 токенов; README указывает размер 400 млн параметров и частоту дискретизации 22 кГц. Модель принимает текст и выдаёт аудио. Заявлены английский, китайский, корейский, испанский, немецкий, японский, арабский и кыргызский языки; карточка подчёркивает преимущественную оптимизацию для английского. README приводит ориентир скорости около пяти раз быстрее реального времени на RTX 5090, но указывает снижение качества на входах длиннее 15 секунд, ограниченную эмоциональную выразительность без дообучения и возможные смещения в просодии и произношении. Модель не поддерживает несколько дикторов. В README заявлена лицензия Apache 2.0, тогда как метаданные Hugging Face обозначают лицензию как other, поэтому условия лицензирования следует сверить с файлами репозитория.

KaniTTS 450M 0.2 FT — дообученная модель синтеза речи от nineninesix на архитектуре LFM2. Она преобразует текст в сжатое аудиопредставление, которое NanoCodec разворачивает в звуковую волну; двухэтапная схема рассчитана на быструю генерацию речи с низкой задержкой. Модель содержит около 460 млн параметров, использует контекст до 128 000 токенов и распространяется в формате safetensors. Модель предназначена для разговорных интерфейсов, голосовых помощников и приложений доступности. Основной язык обучения — английский; карточка заявляет поддержку английского, арабского, китайского, французского, немецкого, японского, корейского и испанского. Указана частота синтеза 22 кГц. Лицензия — Apache 2.0. К ограничениям относятся ухудшение качества на длинных входах свыше 2 000 токенов и на редких языках или акцентах. Управление эмоциями базовое, а произношение и просодия могут наследовать смещения обучающих данных.

facebook/mms-tts-gil — модель синтеза речи на кирибати, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует последовательность текста в речевую аудиоволну и предназначена для озвучивания текста на языке gil. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, построенного по принципу HiFi-GAN. В чекпойнте около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; для повторяемого синтеза нужно фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-hne — модель синтеза речи на языке чхаттисгархи (hne), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и обучена отдельно для чхаттисгархи. Это компактный чекпойнт на 3,6 млн параметров, доступный в форматах PyTorch и Safetensors и поддерживаемый библиотекой Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи; для повторяемого результата требуется фиксировать случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит данных о качестве синтеза, поэтому пригодность звучания для конкретного применения следует оценивать отдельно.

facebook/mms-tts-luc — модель синтеза речи на языке аринга (код luc), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, который преобразует текст в речевую аудиоволну. Модель основана на архитектуре VITS: использует вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на аринга. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-pam — модель синтеза речи на языке капампанган, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система text-to-speech с вариационным автоэнкодером, потоковым модулем и декодером, формирующим аудиоволну. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения; для повторяемого результата требуется фиксировать seed. Модель подходит для озвучивания текста на капампангане. Использовать её можно через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-qvh — модель синтеза речи из текста для кечуа Huamalíes-Dos de Mayo Huánuco (qvh), созданная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт для данного языка на архитектуре VITS; модель содержит около 3,5 млн параметров и формирует речевую аудиоволну по входному тексту. VITS объединяет текстовый энкодер на базе Transformer, flow-модуль и декодер, а стохастический предиктор длительности позволяет варьировать ритм произнесения. Модель доступна через Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на кечуа qvh. Из-за стохастического предиктора одинаковый текст может давать разные варианты речи; для воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-qvm — модель синтеза речи на языке кечуа региона Маргос-Яровилька-Лаурикоча, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом варианте кечуа. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, предсказателем длительности и декодером HiFi-GAN-подобного типа. Размер модели — 3,5 млн параметров. Для разных языков MMS обучает отдельные контрольные точки; генерация стохастическая, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-syl — модель синтеза речи на языке силхети из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт для одного языка: VITS-модель преобразует входной текст в речевую аудиоволну. Архитектура объединяет вариационный автоэнкодер, Transformer-кодировщик текста, модуль предсказания длительности и декодер на основе HiFi-GAN; размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на силхети и создания речевого вывода в приложениях, использующих Transformers версии 4.33 или новее. Стохастический предсказатель длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; фиксированный seed нужен для воспроизводимой генерации. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.