I.9Аудио и музыка

etonkou/swahili — модель распознавания речи на суахили, разработанная как дообучение facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; репозиторий предоставляет веса PyTorch. Модель принимает аудиоречь и выдаёт текстовую транскрипцию. В README приведены результаты оценки: loss 1,0009 и WER 0,6055. README не описывает обучающие данные и сценарии применения, поэтому качество распознавания за пределами указанной оценки неясно. Лицензия — Apache-2.0.

Карточка модели SYNAPSEai1/SynapseMusicV12-Composer-0.6B на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Это экспорт модели Piper en-GB «miro» от OpenVoiceOS — модели синтеза речи на архитектуре VITS, упакованной в формат GGUF для запуска через loom.cpp и loom-py-rt. Веса заявлены как неизменённые относительно исходной модели OpenVoiceOS/pipertts_en-GB_miro. Модель предназначена для преобразования входных фонемных идентификаторов в речь на английском языке с британским произношением; для подготовки текста к синтезу требуется отдельное преобразование в фонемы. Репозиторий содержит один самодостаточный GGUF-файл с описанием графа модели и встроенным драйвером. Исходная модель не задаёт лицензионный тег, поэтому условия распространения следует проверять у автора исходной модели; метаданные этого репозитория указывают лицензию «other».

Butt011/wav2vec2-base-demo-google-colab — модель распознавания речи на базе wav2vec 2.0, дообученная автором репозитория поверх facebook/wav2vec2-base. Веса имеют архитектуру Wav2Vec2ForCTC, содержат 113,3 млн параметров и опубликованы в формате safetensors. Модель принимает аудио и предназначена для автоматического преобразования речи в текст. В карточке приведены результаты оценки: loss 0,1487 и WER 1,035. Датасет, язык речи и условия оценки не раскрыты, поэтому по этим значениям нельзя надёжно судить о практическом качестве или определить подходящие языки. Модель выпущена под лицензией Apache-2.0.

Alimzhan/wav2vec2-large-xls-r-300m-albanian-colab — модель для автоматического распознавания речи на албанском языке. Она дообучена автором на Common Voice Albanian на базе facebook/wav2vec2-xls-r-300m; архитектура Wav2Vec2ForCTC содержит около 402,7 млн параметров и принимает аудио, выдавая распознанный текст. Модель подходит для преобразования албанской речи в текст в приложениях и рабочих процессах распознавания речи. Модель распространяется в формате safetensors под лицензией Apache-2.0. Карточка не содержит результатов оценки или подробностей о качестве и известных ограничениях, поэтому точность на конкретных акцентах, условиях записи и типах речи не установлена.

gvs/wav2vec2-large-xlsr-malayalam — модель распознавания речи на малаяламском языке, созданная дообучением facebook/wav2vec2-large-xlsr-53 на корпусах Indic TTS Malayalam, OpenSLR Malayalam, SMC Malayalam и IIIT-H Indic Speech Databases. Модель основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; для распознавания принимает речь с частотой дискретизации 16 кГц и выдаёт текстовую транскрипцию. Модель предназначена для автоматического преобразования записей речи на малаяламском языке в текст. В README приведён результат оценки WER 28,43% на тестовой части объединённого набора данных; качество на других записях может отличаться. Модель распространяется по лицензии Apache-2.0.

Whisper Large Icelandic — акустическая модель автоматического распознавания речи, созданная Language and Voice Laboratory Рейкьявикского университета. Она получена дообучением openai/whisper-large на корпусе Samrómur Milljón: 967 часов исландской речи, собранной через платформу Samrómur и прошедшей автоматическую проверку. Обучение включало 62 640 шагов. Модель предназначена для преобразования исландской речи в текст. Её можно применять для транскрибации записей исландской речи и создания систем распознавания речи на исландском языке. Архитектура — Whisper Large, около 905,2 млн параметров; репозиторий содержит веса PyTorch. В качестве обучающих данных использован корпус Samrómur Milljón. По README, результат оценки составил 7,743795695602924, но метрика и условия оценки не приведены, поэтому это число нельзя однозначно интерпретировать. Модель распространяется по лицензии CC BY 4.0.

Это 4-битная MLX-версия модели распознавания речи Whisper large-v3, адаптированная для швейцарского немецкого. Она предназначена для локальной транскрибации аудио через совместимые среды MLX, включая интеграцию mlx-audio STT в oMLX. Основа — openai/whisper-large-v3 с PEFT-адаптацией, обученной на данных SwissDial; затем веса Linear и Embedding квантованы методом affine с группами по 64 значения, тогда как свёрточные слои, LayerNorm, позиционные эмбеддинги и векторы смещений остаются без этой квантизации. Репозиторий содержит чекпойнт MLX в safetensors и файлы процессора и токенизатора Whisper. В README не приведены результаты оценки WER/CER на отложенной выборке швейцарского немецкого, поэтому качество распознавания диалектов количественно не подтверждено. Указана лицензия «other», конкретные условия следует проверять в файлах репозитория.

Модель sitwala/whisper-large-v3-turbo-anv-zul-50h — дообученная версия Whisper large-v3-turbo от OpenAI, созданная на наборе данных dsfsi-anv/za-african-next-voices. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. В оценке на указанном в карточке наборе получен WER 32,6072 и loss 0,4603. Модель принимает аудио и выдаёт текст. Суффикс «zul» в названии указывает на фокус на языке зулу, однако карточка не приводит явного списка поддерживаемых языков. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

Это компактная модель распознавания речи, созданная дообучением OpenAI Whisper tiny командой wrice с помощью GRPO — оптимизации политики по групповому вознаграждению. Она преобразует аудио в текст и предназначена для транскрибации записей на языках Common Voice; при обучении использован набор cv22_index со всеми 77 локалями Common Voice, а язык клипа задавался по локали. Модель обучали выбирать транскрипции по смешанной оценке на основе WER, CER и штрафов за длину и повторы. В README указаны лучшие значения на проверочной выборке: WER 0,765 и CER 0,344 в целом по 77 языкам. Модель доступна для использования через библиотеку Transformers и распространяется по лицензии MIT. Это экспериментальная модель и доказательство концепции, а не настроенная для промышленного применения система. Результаты приведены для нормализованного текста на отложенной выборке Common Voice; точность в реальных условиях зависит от предметной области, акцента, языка и качества аудио.

Карточка модели ACE-Step/acestep-v15-turbo-shift1 на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Модель gary109/ai-light-dance_singing3_ft_wav2vec2-large-xlsr-53 — модель распознавания речи на основе Wav2Vec2, дообученная автором gary109 на датасете GARY109/AI_LIGHT_DANCE - ONSET-SINGING3. Она принимает аудио и преобразует речь в текст; в карточке указаны оценка Loss 0,8797 и WER 0,5513 на наборе оценки. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Модель предназначена для распознавания вокала и пения в материалах AI Light Dance. Результат WER указывает на существенные ошибки распознавания, поэтому качество транскрипции следует проверять для конкретных записей. Лицензия — Apache-2.0.

whisper-tiny-calista-basics-v10 — дообученная на наборе cali-name-dataset-short-version модель OpenAI Whisper Tiny для автоматического распознавания речи и транскрибации аудио. Архитектура WhisperForConditionalGeneration; модель принимает аудио и выдаёт текст. В метаданных указан английский язык, а базовая Whisper Tiny поддерживает несколько языков. Модель подходит для распознавания речи в аудиозаписях на английском языке, в том числе имён из обучающего набора. В README приведены результаты на оценочной выборке: Loss 0,0001, WER Ortho 0,0 и WER 0,0; состав и размер выборки не описаны, поэтому эти результаты не гарантируют аналогичного качества на других данных. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

eugenehp/f5tts — репозиторий с ONNX-графами, словарём и весами F5-TTS для запуска через RLX. Это staging-републикация чекпойнта F5-TTS, подготовленная для RLX runners; в составе указаны файлы F5 Transformer, декодера и предобработки, а также веса GGUF F16. Модель предназначена для синтеза речи по тексту и запуска через пакет rlx-f5tts. Метаданные описывают архитектуру как BERT с 129,5 млн параметров и контекстом 512 токенов; представлены форматы ONNX и GGUF F16. Карточка указывает лицензию MIT. README не сообщает поддерживаемые языки, голосовые режимы или ограничения качества.

F5-TTS Algerian Arabic (Darja) — модель синтеза речи, созданная Камелем Туати и дообученная на базе IbrahimSalah/Arabic-F5-TTS-v2. Она предназначена для озвучивания текста на алжирском арабском диалекте, включая разговорную речь, повествования и фольклор. Поддерживается переключение между дариджей, французским и берберским; для французских слов лучше подходит латинская запись. Модель использует архитектуру F5-TTS на основе DiT и обучена на корпусе примерно из 399 часов диалектной речи из подкастов, историй и фольклорных записей. Аудио при обучении приводилось к моноформату с частотой 24 кГц. Для использования требуется предварительная нормализация текста по описанному в карточке процессу. Модель распространяется по лицензии Apache-2.0. Качество может снижаться из-за нестандартного написания дариджи, шума и реверберации во входных аудиоданных обучения, а также при записи французских слов арабской транслитерацией. Корпус содержит записи ограниченного числа дикторов, поэтому голос может отражать их особенности.

HTill/flexEAT-base_epoch30_pretrain — предварительно обученная модель EAT-base, основанная на worstchan/EAT-base_epoch30_pretrain и подготовленная для извлечения признаков и последующего дообучения для задач понимания аудио. Она обучена на AS-2M методом самообучения в рамках EAT и доступна через Transformers в формате safetensors. Модель выдаёт представления аудио на уровне кадров с частотой около 50 Гц и представление всего высказывания по CLS-токену. Обновлённая реализация поддерживает динамическую длину входного аудио благодаря позиционным эмбеддингам, вычисляемым на лету; предусмотрена инфраструктура для дообучения с динамическими классификационными головами и слоями нормализации. Метаданные относят модель к audio-classification, однако README описывает её прежде всего как извлекатель признаков и основу для адаптации под классификацию и создание аудиоподписей. Лицензия — MIT.

Это дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель построена на архитектуре Parler-TTS и предназначена для преобразования текста в речь; репозиторий использует библиотеку parler-tts и содержит веса в формате safetensors. В карточке указаны результаты обучения: лучшее значение validation loss — 6,7131, обучение продолжалось 2080 шагов и заняло 1242,3 минуты. Сведений о лицензии, размере модели, длительности контекста и оценке качества синтезированной речи в доступных данных нет.

Это конверсия моделей KBLab/kb-whisper в формат Core ML, выполненная Micke Kring для использования через WhisperKit в приложениях macOS и iOS. Модель предназначена для автоматического распознавания речи из аудио; в карточке указан шведский язык. В репозитории не указано, какая именно версия исходной модели KBLab/kb-whisper была конвертирована. Файлы представлены в формате Core ML, библиотека — WhisperKit. Лицензия — Apache-2.0. Подробности об архитектуре и характеристиках исходной модели README предлагает смотреть в карточках оригинальных моделей.

NVIDIA Low Frame-rate Speech Codec — нейронный аудиокодек NVIDIA для сжатия и последующего восстановления речи. Он обрабатывает монофонический звук WAV с частотой 22,05 кГц и восстанавливает аудио с той же частотой. Кодек использует полностью сверточный генератор с энкодером, векторным квантованием на основе Finite Scalar Quantization и декодером на основе HiFi-GAN; при обучении применялись несколько дискриминаторов, включая 12-слойную WavLM-модель. Заявленные параметры сжатия — 1,89 кбит/с и 21,5 кадра в секунду. Модель предназначена для компактного хранения и передачи речи, а также может использоваться как предварительно обученный чекпойнт для инференса или дообучения на другом наборе данных через NVIDIA NeMo. Обучение проводилось на 28,7 тысячи часов речи на 105 языках; карточка приводит оценки на MLS и DAPS. Ограничения: вход и выход описаны для моно WAV 22,05 кГц, а результаты выпущенного чекпойнта немного отличаются от результатов статьи. Лицензия указана как other, без уточнения условий в предоставленных данных.

MiDashengLM-7B-0804-fp32 — мультимодальная аудиоязыковая модель для понимания звука и создания текстовых описаний аудио. Модель представлена в репозитории mispeech; по метаданным она объединяет MiDasheng-0.6B и Qwen2.5-Omni-7B и связана с дообучением Qwen2.5-Omni-7B. Архитектура — плотная MiDashengLMModel; веса опубликованы в формате safetensors. Модель предназначена для описания музыки и звуков, ответов на вопросы об аудио, классификации аудио и паралингвистических признаков, а также распознавания речи. README приводит результаты на наборах MusicCaps, AudioCaps, VoxCeleb1, VoxLingua107 и LibriSpeech. Метаданные указывают поддержку английского, китайского, тайского, индонезийского и вьетнамского языков. Для типичного использования авторы рекомендуют версию BF16; версия FP32 предназначена прежде всего для точного воспроизведения результатов. Лицензия — Apache-2.0. Приведённые результаты показывают, что качество зависит от задачи и набора данных: в таблицах распознавания речи модель уступает некоторым сравниваемым системам, а на отдельных задачах классификации и вопросов об аудио не лидирует. README не сообщает длину контекста.

facebook/mms-tts-agg — модель синтеза речи на ангорском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства VITS: энд-ту-энд архитектура на основе вариационного автокодировщика с Transformer-энкодером текста, flow-модулем и декодером, формирующим речевую волну. Модель принимает текст на ангорском языке и генерирует аудио; для повторяемого результата требуется фиксировать seed, поскольку предсказание длительности сегментов стохастическое. В метаданных указано 3,5 млн параметров, веса доступны в форматах PyTorch и safetensors, для использования предусмотрена библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но не для коммерческих целей.

facebook/mms-tts-deu — модель синтеза немецкой речи, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на стандартном немецком языке в речевую аудиоволну и предназначена для озвучивания текста и создания голосового вывода в приложениях. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль и декодер формируют речь сквозным образом; предиктор длительности позволяет варьировать ритм произнесения. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель предназначена для немецкого языка и не заявлена как многоязычная в рамках этого чекпойнта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-guj — модель синтеза речи на гуджарати из проекта Massively Multilingual Speech (MMS), разработанного Meta. Она преобразует входной текст на гуджарати в речевую аудиоволну и предназначена для озвучивания текста и создания синтезированной речи. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер аудиосигнала, а стохастический предиктор длительности позволяет варьировать ритм речи. Это отдельный чекпойнт для одного языка, обученный в рамках проекта MMS; размер модели — 3,6 млн параметров. Для повторения того же результата генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Это модель синтеза речи на кхмерском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кхмерском языке. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Веса доступны в форматах PyTorch и safetensors; размер модели — 3,6 млн параметров. Стохастический предсказатель позволяет получать разные ритмы речи для одного текста, поэтому для повторяемого результата требуется фиксировать seed. Для работы предусмотрена поддержка библиотеки Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kir — модель синтеза речи на кыргызском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт для кыргызского, построенный на архитектуре VITS: модель принимает текст и генерирует речевую аудиоволну. Вариационный автоэнкодер, потоковый модуль и декодер HiFi-GAN работают сквозным образом, а стохастический предиктор длительности позволяет варьировать ритм речи для одного и того же текста. Модель предназначена для озвучивания кыргызскоязычных текстов. Она доступна через библиотеку Transformers версии 4.33 и выше; в репозитории используются форматы PyTorch и Safetensors, размер модели — 3,5 млн параметров. Из-за стохастического предиктора результат генерации может меняться между запусками; для воспроизводимого аудио требуется фиксированное значение seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

facebook/mms-tts-spa — модель синтеза испанской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания испанских текстов и доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она генерирует речевую волну непосредственно из последовательности текста; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для каждого языка MMS обучается отдельный чекпойнт, поэтому эта версия предназначена для испанского. Генерация недетерминирована: чтобы повторить тот же результат, нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

MuzaffarSharofitdinov/mms-tts-uzbek — компактная модель синтеза речи из текста для узбекского языка, опубликованная пользователем MuzaffarSharofitdinov на Hugging Face. По метаданным модель относится к задачам text-to-audio, использует архитектуру VITS и библиотеку Transformers. Размер модели составляет около 3,5 млн параметров, что делает её подходящей для запуска в средах с ограниченными вычислительными ресурсами. Модель предназначена для преобразования узбекского текста в аудиоречь и может использоваться в голосовых интерфейсах, озвучивании текстов, прототипах TTS-сервисов и приложениях доступности. README не содержит сведений о разработчике, обучающих данных, оценке качества, ограничениях, лицензии или рекомендуемых параметрах использования, поэтому качество произношения, поддерживаемые варианты узбекского языка и условия коммерческого применения необходимо проверять отдельно.

NeuTTS-Nano-French — французская версия акустической модели NeuTTS-Nano от undefinelabs для синтеза речи из текста. Репозиторий содержит веса в формате GGUF с точностью BF16; размер файла — 446 МБ. Модель предназначена для низколатентного запуска на периферийных устройствах с помощью llama.cpp или совместимых сред GGUF. Модель подходит для генерации французской речи в реальном времени и локальных речевых конвейеров, где важны скорость отклика и эффективность. Лицензия Apache-2.0 разрешает использование на её условиях.

ParakeetKit Pro — набор моделей распознавания речи, опубликованный Argmax Inc. Модели предназначены для преобразования аудио в текст и доступны в формате Core ML для работы с Argmax Pro SDK на поддерживаемых устройствах. Репозиторий заявляет совместимость только с Argmax Pro SDK. В метаданных указаны задачи автоматического распознавания речи и аудиовход; лицензия обозначена как other. Сведения о конкретной архитектуре, размере, языковой поддержке и условиях лицензии в доступных данных отсутствуют.

Это дообученная модель автоматического распознавания речи, созданная Andrew Bawitlung на основе Qwen/Qwen3-ASR-1.7B и обученная на наборе MiZonal v3.0. Вариант E4 использует SpecAugment с маскированием по времени и частоте; модель предназначена для преобразования аудио в текст, в частности в сценариях, связанных с языком lus. На тестовом наборе автор сообщает WER 24,3938, CER 5,4583 и коэффициент реального времени 0,0651. Модель распространяется в формате Safetensors по лицензии Apache-2.0. README называет её частью серии экспериментов и указывает, что публикации с подробностями находятся на рецензировании.