I.9Аудио и музыка

Карточка модели Jinstudio/Qwen3-ForcedAligner-0.6B-hf на Hugging Face совпадает с карточкой Qwen/Qwen3-ForcedAligner-0.6B-hf, поэтому описание составлено по ней. Qwen3-ForcedAligner-0.6B-hf — модель принудительного выравнивания речи от команды Qwen. Она принимает аудио и готовую расшифровку, а затем предсказывает временные метки для её единиц; распознавать речь для получения текста может отдельная ASR-модель. Модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки и выравнивает аудио длительностью до пяти минут. Модель относится к семейству Qwen3-ASR и использует архитектуру Qwen3ASRForTokenClassification. Нерегрессионный режим выполнения делает её подходящей для пакетной обработки аудио; в README также описано ускорение с помощью torch.compile. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия — Apache-2.0. Для работы требуется аудио и текстовая транскрипция, полученная заранее, например, с помощью Qwen3-ASR или другой системы распознавания речи. Модель предназначена для разметки времени произнесённых слов или других единиц, а не для самостоятельного распознавания речи; в README также не заявлена поддержка иных типов аудио, кроме речи.

Qwen3-TTS-12Hz-1.7B-VoiceDesign-4bit — это 4-битная MLX-квантизированная версия модели Qwen3-TTS-12Hz-1.7B-VoiceDesign, преобразованная из исходной модели Qwen. Репозиторий поддерживается автором theoracleguy, а для запуска использует библиотеку mlx-audio. Модель предназначена для синтеза речи из текста с управляемым созданием голоса по инструкции на естественном языке, без необходимости клонирования диктора по эталонной аудиозаписи. Модель подходит для озвучивания текстов, вспомогательных технологий чтения, прототипирования аудиокниг, разработки голосов персонажей, образовательного контента, демонстраций продуктов и локальных приложений генерации речи. В инструкции можно задавать предполагаемый возраст, гендерную подачу, акцент или диалект, тембр, высоту голоса, темп, эмоциональность, энергичность и стиль речи. В README не указаны точные архитектурные детали, перечень поддерживаемых языков, размер контекста и полный набор модальностей; заявлена основная модальность text-to-speech. Ключевые особенности версии — формат MLX с 4-битными весами, локальный и офлайн-запуск после загрузки модели и ориентация на устройства Apple Silicon. Её сильные стороны — экономичное представление весов, приватная локальная обработка и возможность воспроизводимо экспериментировать с описаниями голоса. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также то, что интерфейс передачи инструкции для voice design может зависеть от версии mlx-audio. Репозиторий распространяется по лицензии Apache 2.0, однако базовая модель дополнительно подчиняется условиям лицензирования и использования, указанным в исходной карточке Qwen.

rasr_sample — модель автоматического распознавания речи, дообученная автором на основе facebook/wav2vec2-xls-r-300m на шведской части датасета Mozilla Common Voice 7.0 (SV-SE). Модель использует архитектуру wav2vec2 с выходной головой CTC и содержит 402,7 млн параметров. Модель предназначена для преобразования шведской речи в текст. В карточке указаны результаты на тестовой выборке: loss 0,3147 и WER 0,2676. Она принимает аудио и выдаёт текст; опубликована в формате PyTorch по лицензии Apache-2.0.

rubaiSTT-2v Medium — модель распознавания речи на основе Whisper Medium, дообученная автором islomov для транскрибирования узбекской речи. Она принимает аудио и выдаёт текст; особенно хорошо обучена на материалах ташкентского диалекта. В метаданных указано 455,8 млн параметров, тогда как README приводит для базовой модели 769 млн; README также сообщает о WER около 17% и CER около 5,5%. Эти показатели относятся к оценке автора и зависят от тестовых данных. Модель обучена примерно на 475 часах узбекского аудио: подкастах, новостях, материалах Common Voice 17, USC и Google FLEURS. По README, половина транскрипций подготовлена людьми, половина — автоматически с помощью Gemini 2.5 Pro. В набор вошли записи с акцентом на ташкентский диалект; другие региональные варианты пока охвачены слабее. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели prince-canuma/Spark-TTS-0.5B на Hugging Face совпадает с карточкой SparkAudio/Spark-TTS-0.5B, поэтому описание составлено по ней. Spark-TTS — двуязычная модель синтеза речи от команды SparkAudio, построенная на архитектуре Qwen2.5. Она использует LLM для предсказания речевых токенов и восстанавливает по ним аудио без отдельной модели генерации акустических признаков; размер модели в карточке указан как 0,5 млрд параметров. Модель предназначена для преобразования текста в естественно звучащую речь на китайском и английском языках. Она поддерживает клонирование голоса без отдельного обучения на голосе говорящего, в том числе между языками и при переключении языков, а также настройку виртуального голоса по параметрам пола, высоты тона и скорости речи. Spark-TTS подходит для персонализированного синтеза речи, вспомогательных технологий и лингвистических исследований. README сообщает о применимости для исследовательских и производственных сценариев, но отмечает, что код обучения и датасет VoxBox ещё не выпущены. Лицензия — CC BY-NC-SA 4.0; проект предназначен для академического, образовательного и иного правомерного использования.

unsloth/Spark-TTS-0.5B — двуязычная модель синтеза речи, опубликованная Unsloth на основе Spark-TTS от SparkAudio. Она использует архитектуру на базе Qwen2.5 и генерирует аудио непосредственно из речевых токенов, предсказанных языковой моделью. Модель предназначена для синтеза речи по тексту, клонирования голоса без дополнительного обучения на голосе говорящего и настройки параметров виртуального голоса, включая тембр, высоту и скорость речи. Модель поддерживает английский и китайский языки, в том числе межъязыковое клонирование голоса и переключение языков в речи. Карточка описывает её как эффективную систему для исследовательских и прикладных сценариев, включая персонализированный синтез речи и вспомогательные технологии. Доступна по лицензии CC BY-NC-SA 4.0, которая ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов. README указывает, что код обучения и набор данных VoxBox ещё не опубликованы. Качество клонирования и синтеза может зависеть от входного текста и образца голоса; модель следует применять с учётом согласия человека, чей голос воспроизводится.

SPRING_F5 — мультиязычная модель синтеза речи по тексту, разработанная SPRINGLab и созданная дообучением F5-TTS. Она предназначена для озвучивания текста на 23 индийских языках и английском; обучение проводилось примерно на 3 220 часах речевых данных из наборов Rasa, IndicTTS и IndicVoices-R. Модель подходит для создания озвучки и речевого вывода на поддерживаемых языках. В метаданных указаны архитектура SPRING_F5 и формат PyTorch. Репозиторий распространяется по лицензии Apache-2.0. В доступных сведениях не приведены ограничения по длине входного текста и оценки качества синтеза.

ctaguchi/ssc-aln-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 1,3 млрд параметров; модель рассчитана на преобразование аудио в текст. Базовая MMS поддерживает более тысячи языков, однако язык и назначение конкретной дообученной версии не уточнены. В README приведены результаты оценки: Loss 1,1100, CER 0,2283 и WER 0,5834; набор данных не назван. Модель опубликована в формате safetensors и предназначена для использования с Transformers. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

Kaousheik/tempo-rl-singletask-music — вариант TEMPO, дообученный GRPO только для создания музыкальных описаний. Модель основана на NVIDIA Audio Flamingo 3: аудиокодировщик Whisper-large соединён с языковой моделью Qwen2-7B через мультимодальный проектор. Вариант использует временной проектор и требует загрузки файла time_proj.pt. Модель предназначена для анализа музыки с временными отметками: распознавания аккордов и их длительности, определения темпа, инструментов и моментов их вступления или выхода. Обучение только на музыкальной задаче делает этот чекпойнт специализированным вариантом TEMPO; результаты README показывают высокую F1-оценку для определения инструментов, но низкую для аккордов, поэтому музыкальные описания и гармонический анализ следует считать приблизительными. Модель принимает аудио и выдаёт текст. Поддерживается английский язык; временные отметки ограничены 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты. Лицензия указана как other, конкретные условия следует проверять на странице репозитория Hugging Face.

Veena — модель синтеза речи, разработанная Maya Research. Это авторегрессионный трансформер на архитектуре Llama примерно с 3,3 млрд параметров, который преобразует текст на хинди и английском в речь; поддерживаются также смешанные фразы с обоими языками. Для выбора голоса доступны четыре варианта: kavya, agastya, maitri и vinaya. Аудио генерируется с частотой 24 кГц с использованием кодека SNAC. В метаданных указан контекст 131 072 токена, тогда как README заявляет ограничение входа в 2048 токенов. Модель предназначена для озвучивания экранного текста, голосовых помощников и IVR, дубляжа, аудиокниг, учебных материалов и навигационных объявлений. README заявляет задержку менее 80 мс на H100-80GB, около 120 мс на A100-40GB и около 200 мс на RTX 4090. Эти показатели зависят от оборудования и условий запуска; для быстрого вывода рекомендуется GPU. Veena распространяется по лицензии Apache 2.0. Известные ограничения: модель заявлена только для хинди и английского, имеет четыре голоса и может отражать особенности и смещения закрытых обучающих данных; качество для других индийских языков не гарантируется. Заявления README о контексте расходятся с длиной контекста в метаданных.

Модель f77777/wav2vec2-large-xls-r-300m-firdous-malay-colab — дообученная на наборе Common Voice 13.0 модель распознавания речи на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. Название указывает на настройку для малайского языка, однако README и метаданные не подтверждают язык обучения или область применения, поэтому эту специализацию нельзя считать установленной. Модель содержит около 402,7 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для преобразования речи в текст; сведения о качестве, ограничениях и оценке модели в карточке отсутствуют.

fathyy разработал wav2vec2-large-xlsr-53-fourth-train как дообученную версию fathyy/wav2vec2-large-xlsr-53-third-train для автоматического распознавания речи. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; для работы используется библиотека Transformers. В карточке приведены результаты оценки: loss 1,3589 и WER 0,7930. Датасет обучения и целевые языки не определены в доступных сведениях, поэтому применимость к конкретному языку или сценарию подтвердить нельзя. Модель распространяется под лицензией Apache-2.0.

Wav2Vec2-Large-XLSR-53-Slovenian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на словенском языке на данных Common Voice. Она принимает аудиозапись речи и преобразует её в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Доступны веса PyTorch и Flax. В тесте на словенской части Common Voice указана метрика 36,04%; карточка не уточняет название метрики. Модель распространяется по лицензии Apache-2.0.

Репозиторий HotDog1123/whisperkit-coreml содержит модель распознавания речи для WhisperKit — фреймворка для работы на устройствах Apple Silicon. Модель предназначена для преобразования аудио в текст и используется через библиотеку WhisperKit. Файлы представлены в формате Core ML, а метаданные указывают на задачу автоматического распознавания речи и поддержку аудиовхода. Карточка не сообщает размер модели, языки, длину контекста или лицензию, поэтому эти характеристики нельзя уточнить.

whisper-small-arabic-letters-pod — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты оценки: loss 0,0493 и WER 6,3830. Модель принимает аудио и выдаёт текст. Базовая Whisper small — мультиязычная модель для транскрибирования речи и перевода аудио на английский язык; карточка этой версии не уточняет языки и специальные сценарии дообучения. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

jlvdoorn/whisper-small-atco2-asr — дообученная модель распознавания речи на базе мультиязычной Whisper Small от OpenAI. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио для преобразования речи в текст. Репозиторий распространяет веса в форматах PyTorch и safetensors. Модель предназначена для автоматического распознавания речи. В README приведены результаты оценки: loss 0,8297 и WER 33,4520; описание набора данных, сценариев применения и ограничений не предоставлено. Лицензия — Apache-2.0.

amirsz8203/whisper-small-fa-finetuned — версия Whisper Small, дообученная автором репозитория для автоматического распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка указывает оценку WER 24,1495 на наборе оценки, но не описывает сам набор данных и условия измерения. Модель использует архитектуру Whisper и библиотеку Transformers, веса представлены в формате safetensors. Лицензия — Apache 2.0. Поддерживаемый язык в карточке не подтверждён.

qanastek/whisper-small-french-uncased — дообученная модель распознавания речи на базе openai/whisper-small, созданная для транскрибирования французской речи. Она использует архитектуру Whisper с 153,1 млн параметров и обучена на французской части набора Mozilla Common Voice 11.0. Модель принимает аудио и выдаёт текст; в README приведены результаты оценки на французских наборах Common Voice 11.0, VoxPopuli и FLEURS: WER 15,38%, 16,29% и 13,98% соответственно, с нормализацией. Модель подходит для транскрибирования французских аудиозаписей и речевых данных. Доступна в формате PyTorch по лицензии Apache-2.0. Оценки WER относятся к указанным наборам и условиям нормализации; README не описывает дополнительные сценарии или ограничения.

MKAlbani/whisper-small-ha — дообученная модель распознавания речи на базе openai/whisper-small, созданная на датасете Common Voice 16.1. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 153,1 млн параметров. В карточке приведены результаты оценки: WER 43,79 и WER Ortho 46,98. Модель принимает аудио и выдаёт текст. Базовый Whisper — мультиязычная модель, но карточка не уточняет языки, на которых проводилось дообучение; суффикс «ha» сам по себе не подтверждает язык. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.

Это публичное зеркало модели Cohere Transcribe от Cohere и Cohere Labs, подготовленное для установки в настольное приложение Yap и локальной транскрибации речи. Модель предназначена для автоматического распознавания речи; базовая Cohere Transcribe — специализированная ASR-модель на 2 млрд параметров, поддерживающая 14 языков. Репозиторий зеркалирует CohereLabs/cohere-transcribe-03-2026 и содержит веса в формате Safetensors для использования с Transformers. Лицензия — Apache 2.0. Языки транскрибации и ограничения качества в карточке этого зеркала не перечислены.

Tanmoyshome/bn-parler-tts — модель синтеза речи на бенгальском языке, созданная дообучением ai4bharat/indic-parler-tts на отфильтрованной части речевого корпуса SUBAK.KO. Она принимает текст для озвучивания и текстовое описание звучания, которым можно задать пол говорящего, темп и чёткость записи. Модель построена на архитектуре Parler-TTS; текстовый энкодер базовой модели заморожен, а декодер и языковая голова дообучены. Весы опубликованы в формате safetensors, для работы используется Transformers. Модель предназначена для генерации бенгальской речи из текста, например для озвучивания материалов и управления базовыми характеристиками голоса через описание. Обучение проводилось на многоголосой читательской речи с отбором записей по качеству. Идентичность голоса может меняться между генерациями; тонкая настройка эмоций и выбор конкретного именованного голоса не поддерживаются. Для модели указана лицензия Apache-2.0.

coco-research/coco-voice-models — репозиторий-зеркало моделей распознавания речи, используемых приложением Coco Voice. Владелец репозитория указывает, что файлы побайтно скопированы из проекта Handy и не переконвертировались и не перепаковывались при переносе в это зеркало. В репозитории собраны модели разных разработчиков, включая OpenAI, MediaTek Research, Useful Sensors и NVIDIA; среди примеров — Whisper, Breeze ASR и Moonshine. Модели предназначены для преобразования речи в текст. В репозитории есть файлы GGUF-квантований Q5_K_M и Q8_0, однако конкретный формат, размер и лицензия зависят от отдельной модели и указаны рядом с её файлами. Лицензии различаются; README рекомендует сверяться с лицензией и атрибуцией каждой модели. Репозиторий предоставляется без гарантий.

Granite-Speech-4.1-2B-NAR — это мультиязычная модель автоматического распознавания речи, разработанная IBM и преобразованная в формат GGUF проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой дискретизации 16 кГц. Поддерживаются английский, французский, немецкий, испанский и португальский языки. Модель использует архитектуру Conformer для аудиоэнкодера, специальный MLP-проектор с механизмом внимания и Granite-4.0-1B в роли двунаправленного редактора. Это non-autoregressive подход: полный текст формируется за один проход без последовательной генерации токенов. Доступны варианты в форматах BF16, F16 и квантизациях Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 1,56 до 4,52 ГБ. На LibriSpeech test-clean показатель WER заявлен на уровне 1,28–1,34% в зависимости от варианта. Сильными сторонами являются офлайн-работа, поддержка пяти языков, отсутствие токен-за-токеном декодирования и близкое к эталонному качество при квантизации. Ограничения: потоковая обработка, перевод, определение языка и временные метки не поддерживаются; модель ориентирована только на ASR. Производительность зависит от аппаратной платформы и выбранной квантизации. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Indri 0.1 350M TTS — компактная модель синтеза речи от 11mlabs на основе авторегрессионного трансформера GPT-2 с 350 млн параметров. Она генерирует аудиотокены из текста, а затем декодирует их в речь с помощью Kyutai Mimi. Модель предназначена для синтеза речи на английском и хинди, в том числе при смешении этих языков в одном тексте, и поддерживает клонирование голоса по короткому аудиопромпту менее пяти секунд. В карточке заявлены высокая скорость генерации и работа с контекстом до 1024 токенов. Модель подходит для озвучивания текста и создания речи заданным голосом; в README также описана серия Indri с задачами распознавания речи и продолжения аудио, но для этой модели подтверждён тег text-to-speech. Репозиторий распространяет веса в формате safetensors и основан на дообучении openai-community/gpt2. Лицензия указана как CC BY-SA 4.0, при этом авторы ограничивают использование исследовательской демонстрацией и запрещают коммерческое применение.

Kyutai STT 1B (en/fr) — GGUF представляет собой конвертированные и квантизованные версии модели kyutai/stt-1b-en_fr, разработанной Kyutai. Репозиторий cstr предоставляет веса в формате GGUF для использования с CrispASR; обучение, дообучение и изменение архитектуры не выполнялись. Модель предназначена для автоматического распознавания речи и транскрибации аудио на английском и французском языках. Она принимает монофонический звук с частотой 24 кГц, автоматически преобразуя вход с 16 кГц при необходимости. Доступны варианты F16 размером около 2 ГБ, Q8_0 размером около 1,1 ГБ и Q4_K размером около 636 МБ; Q4_K заявлен как оптимальный компромисс между размером и качеством. Архитектура включает нейронный аудиокодек Mimi с CNN SEANet, восьмислойным трансформером и RVQ с 32 кодовыми книгами на частоте 12,5 Гц, а также каузальную языковую модель-трансформер из 16 слоёв примерно на 1 млрд параметров с размерностью 2048, RoPE, SwiGLU и RMSNorm. В отличие от encoder-decoder-моделей вроде Whisper и Parakeet, весь конвейер работает авторегрессионно: аудио преобразуется в дискретные токены, после чего модель предсказывает текстовые токены. Сильными сторонами являются поддержка двух языков, несколько вариантов квантизации и возможность локального запуска через CrispASR. Ограничения включают специализацию только на английской и французской речи, зависимость от совместимого программного обеспечения и отсутствие в представленном описании подробных метрик качества, ограничений по длительности аудио и характеристик производительности. Для производных материалов указана лицензия CC BY 4.0; она соответствует лицензии исходной модели и не предоставляет прав сверх условий upstream-лицензии.

Malaysian Finetune Whisper Medium V2 — дообученная модель семейства Whisper, разработанная Mesolitica на основе Whisper Medium с использованием малайзийского набора данных. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. Карточка указывает на настройку для малайзийских данных; метаданные также отмечают английский, китайский и тамильский языки, но не уточняют качество распознавания для каждого из них. Модель принимает аудио и выдаёт текст. Лицензия и длина контекста в доступных данных не указаны.

facebook/mms-tts-bsq — модель синтеза речи на басса (Bassa, bsq) из проекта Massively Multilingual Speech компании Meta. Это отдельный чекпойнт VITS для одного языка: модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; она доступна для использования через Transformers версии 4.33 и новее. Модель подходит для озвучивания текста на басса, например для голосовых интерфейсов и создания аудиоверсий материалов. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы, поэтому результат может меняться между запусками; фиксированный seed позволяет воспроизводить ту же речевую волну. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерческое.

facebook/mms-tts-hun — модель синтеза речи на венгерском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на венгерском языке. Модель основана на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Для использования доступна через библиотеку Transformers версии 4.33 и выше. Генерация недетерминирована: для повторения результата нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-swe — модель синтеза речи на шведском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на шведском языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза используются текстовый энкодер, потоковый модуль, декодер HiFi-GAN и стохастический предсказатель длительности. Генерация недетерминирована: для воспроизводимого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

MOSS-TTS-Local 4.55B Voice Acting — модель синтеза речи, разработанная LAION. Это плотный локальный трансформер с 4,55 млрд параметров и 12-кодековой RVQ-архитектурой; он создаёт аудио с частотой дискретизации 48 кГц. Модель предназначена для выразительной озвучки: естественно-языковые инструкции режиссёра задают эмоции, манеру речи и голосовые эффекты, включая смех, вздохи и вскрики. Поддерживаются английский и немецкий языки, в том числе генерация без образца референсного аудио. В репозитории находятся объединённые веса: адаптер voice-acting LoRA уже включён в дообученную модель. Модель подходит для озвучивания персонажей, диалогов, эмоциональных реплик и создания наборов голосовых данных. В README приведены примеры и результаты экспериментов по подбору инструкций для разных голосовых архетипов. Лицензия — Apache-2.0.