I.9Аудио и музыка

naflexclap_base_pf8_pt16_moderntextp.160m — аудиотекстовая модель семейства NaFlexCLAP, представленная в карточке как чекпойнт A из сравнения четырёх вариантов. Она кодирует аудио и текст в совместимое пространство эмбеддингов, чтобы сопоставлять звуки с текстовыми описаниями и выполнять классификацию без обучения на целевых классах. Чекпойнт содержит около 160,6 млн параметров; аудиобашня имеет конфигурацию 768/12/12, текстовая башня использует двунаправленное кодирование с MAP-пулингом и нормализацией запросов и ключей. Репозиторий предоставляет веса PyTorch и safetensors; метаданные указывают библиотеку open_clip и лицензию MIT. Модель предназначена для классификации аудиозаписей по текстовым меткам, поиска аудио по описанию и поиска описаний для аудио. В приведённых тестах она показала сильные результаты на ESC-50 и BeijingOpera; качество классификации чувствительно к формулировке текстового шаблона. README также отмечает, что результаты на некоторых наборах зависят от выравнивания текстовой и аудиобашен, поэтому следует подбирать prompt под задачу. Языковая поддержка в предоставленных данных не перечислена; текстовые описания и аудиоданные — входы, совместные эмбеддинги и оценки соответствия — выходы.

proxectonos/Nos_ASR-wav2vec2-xls-r-300m-gl — модель распознавания галисийской речи, созданная Proxecto Nós дообучением Facebook Wav2Vec2 XLS-R 300M. Она преобразует аудио в текст и предназначена для транскрибации галисийских записей; модель оценивали на тестовых выборках Common Voice 17.0, OpenSLR77, FalAI, FLEURS и Nos_ParlaSpeech-GL. Архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн; веса опубликованы в формате safetensors. В README приведены результаты WER, CER и RTF для части корпусов, включая WER 4,39 на FalAI и 7,85 на Common Voice 17.0. Модель распространяется по лицензии Apache-2.0.

Paraformer-zh — модель распознавания речи из экосистемы FunASR, разработанная командой FunASR. Это сквозная нерегрессионная ASR-модель с параллельной генерацией результата; в карточке указано 220 млн параметров. Модель предназначена прежде всего для распознавания мандаринского китайского языка, в том числе речи со смешением китайского и английского. Заявлена скорость до 120-кратного реального времени на GPU. Модель принимает аудио и возвращает текст. Для длинных записей можно использовать встроенный VAD; потоковый и пакетный режимы, восстановление пунктуации и диаризация доступны в составе полного конвейера FunASR с дополнительными компонентами. Репозиторий содержит веса PyTorch, библиотека для работы — FunASR. Лицензия — Apache-2.0.

Это мультиязычная модель распознавания речи Microsoft, дообученная на базе openai/whisper-large-v3-turbo для речи на суахили, календжин, кикуйю, луо, масаи и сомали. Она принимает аудио и преобразует его в текст; архитектура Whisper использует трансформерный энкодер-декодер, а размер модели составляет 905,3 млн параметров. Модель предназначена для транскрибации разговорной, учебной и вещательной речи, в том числе в условиях разных акцентов и шума. Дообучение на размеченных парах аудио и текста улучшает распознавание перечисленных языков с ограниченными ресурсами. Метаданные также указывают поддержку языков базовой модели Whisper, включая русский и английский, однако специальное дообучение ориентировано на шесть языков Восточной Африки. Модель не предназначена для понимания смысла речи или принятия решений; точность может различаться между языками, а ошибки и смещения могут наследоваться от Whisper и обучающих данных. Разработчики не рекомендуют коммерческое или реальное применение без дополнительной проверки. Лицензия — MIT.

Qwen3-ASR-1.7B-NL — модель распознавания речи на нидерландском языке, разработанная Yuriy VNV и дообученная на базе Qwen/Qwen3-ASR-1.7B. Она принимает аудио и выдаёт текст с регистром и пунктуацией; для загрузки используется пакет qwen-asr. Модель предназначена для транскрибации нидерландской речи, особенно записей, похожих на чтение вслух. По данным карточки, на тестовой части Common Voice 22 модель достигла WER 5,28% против 6,68% у базовой модели при одинаковой оценке и жадном декодировании. Обучение включало синтетические нидерландские аудиозаписи и данные Common Voice. Модель распространяется по лицензии Apache-2.0. Точность может снижаться на разговорной речи, записях с несколькими говорящими, дальней дистанции и выраженными акцентами. Межъязыковое распознавание и переключение языков не являются целевыми сценариями; регистр и пунктуация предсказываются приблизительно.

senga-LUK-aligned-degate60-speecht5 — дообученная Sil-AI модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5 и предназначена для преобразования текстового ввода в аудио. В README приведено значение Loss 0,1228 на наборе оценки, но обучающий и оценочный наборы не описаны. Модель распространяется в формате safetensors по лицензии MIT. Подробности о голосах, поддерживаемых языках и ограничениях применения не приведены.

Sibilia-TTS — модель синтеза речи из текста на итальянском языке, опубликованная DeepMount00. Она предназначена для создания естественной, чёткой и плавной итальянской речи с характерными для стандартного итальянского произношением и просодией. В карточке заявлены сценарии для голосовых помощников, аудиокниг, образовательных материалов и средств доступности. Модель использует плотную архитектуру CSM с классом CsmForConditionalGeneration и содержит 977,3 млн параметров. Репозиторий хранит веса в формате safetensors; заявленная длина контекста — 2048 токенов. Автор сообщает о сравнительных преимуществах в естественности звучания, просодии и снижении артефактов, однако описание не приводит методику или численные результаты бенчмарков. Лицензия — Apache-2.0.

SLED-TTS-Libriheavy — англоязычная модель синтеза речи проекта SLED, обученная на наборе Libriheavy. Она преобразует текст в речь, моделируя аудио в непрерывном латентном пространстве с авторегрессионной генерацией; в README описана также поддержка клонирования голоса по короткому речевому образцу. Для извлечения латентных представлений используется Encodec_24khz. Потоковая генерация указана для отдельной версии SLED-TTS-Streaming-Libriheavy, поэтому её не следует считать подтверждённой характеристикой этой модели. Модель содержит 168,6 млн параметров, использует архитектуру SpeechLlamaForCausalLM и доступна в формате safetensors для библиотеки Transformers. Метаданные указывают контекст 2048 токенов. Модель предназначена для англоязычного синтеза речи; README заявляет высокое качество, но не приводит оценок или тестов. Лицензия — MIT.

Карточка модели ICTNLP/SLED-TTS-Streaming-Libriheavy на Hugging Face совпадает с карточкой ICTNLP/SLED-TTS-Libriheavy, поэтому описание составлено по ней. SLED-TTS-Libriheavy — англоязычная модель синтеза речи проекта SLED, обученная на наборе Libriheavy. Она преобразует текст в речь, моделируя аудио в непрерывном латентном пространстве с авторегрессионной генерацией; в README описана также поддержка клонирования голоса по короткому речевому образцу. Для извлечения латентных представлений используется Encodec_24khz. Потоковая генерация указана для отдельной версии SLED-TTS-Streaming-Libriheavy, поэтому её не следует считать подтверждённой характеристикой этой модели. Модель содержит 168,6 млн параметров, использует архитектуру SpeechLlamaForCausalLM и доступна в формате safetensors для библиотеки Transformers. Метаданные указывают контекст 2048 токенов. Модель предназначена для англоязычного синтеза речи; README заявляет высокое качество, но не приводит оценок или тестов. Лицензия — MIT.

Spark-TTS — двуязычная модель синтеза речи от команды SparkAudio, построенная на архитектуре Qwen2.5. Она использует LLM для предсказания речевых токенов и восстанавливает по ним аудио без отдельной модели генерации акустических признаков; размер модели в карточке указан как 0,5 млрд параметров. Модель предназначена для преобразования текста в естественно звучащую речь на китайском и английском языках. Она поддерживает клонирование голоса без отдельного обучения на голосе говорящего, в том числе между языками и при переключении языков, а также настройку виртуального голоса по параметрам пола, высоты тона и скорости речи. Spark-TTS подходит для персонализированного синтеза речи, вспомогательных технологий и лингвистических исследований. README сообщает о применимости для исследовательских и производственных сценариев, но отмечает, что код обучения и датасет VoxBox ещё не выпущены. Лицензия — CC BY-NC-SA 4.0; проект предназначен для академического, образовательного и иного правомерного использования.

Avitas8485 дообучил SpeechT5ForTextToSpeech от Microsoft на корпусе Mozilla Common Voice для синтеза английской речи по тексту. Модель построена на архитектуре SpeechT5 и опубликована в форматах PyTorch и safetensors. В карточке приведён результат оценки: loss 0,4261. Модель предназначена для преобразования английского текста в речь. Она распространяется по лицензии MIT. Карточка не описывает настройки голоса и дополнительные ограничения применения.

ewigeki/speecht5_tts_common_voice_uk — модель синтеза речи из текста на украинском языке, созданная дообучением SpeechT5 на данных Common Voice. Она использует архитектуру SpeechT5ForTextToSpeech и распространяется в форматах PyTorch и safetensors. Модель предназначена для преобразования украинского текста в речь. В карточке приведена таблица транслитерации украинских символов, включая Є, І и Ї, что указывает на обработку украинской письменности при подготовке текста. Базовая модель SpeechT5 была дообучена Microsoft на LibriTTS для синтеза речи. Модель распространяется по лицензии MIT. Доступные сведения не описывают качество синтеза, поддерживаемые голоса или длину входного текста.

tidelganesh/svara-tts-v1-bf16 — конвертированная версия модели Svara-TTS от Kenpath для преобразования текста в речь. Модель основана на плотной архитектуре Llama, содержит 3,3 млрд параметров и сохранена в формате safetensors с точностью bfloat16. Она предназначена для самостоятельного развёртывания сервера синтеза речи; серверный интерфейс выдаёт монофонический PCM16 с частотой 24 кГц. Базовая Svara-TTS рассчитана на 18 индийских языков и индийский вариант английского. По README, версия bfloat16 примерно вдвое снижает потребление видеопамяти и повышает пропускную способность относительно fp32; автор заявляет отсутствие заметного ухудшения качества. Для работы описаны CUDA 11.8 или новее, PyTorch 2.3 или новее и Transformers 4.45 или новее; для видеокарт с ограниченной памятью рекомендуется Flash Attention 2. Репозиторий распространяется по лицензии MIT. Это преобразование точности и формата весов исходной модели, а не дообучение или квантизация. В комплект также входят пользовательский код модели и связанные файлы upstream-репозитория; их актуальность зависит от синхронизации с базовой моделью. README не описывает отдельные механизмы управления голосом или конкретные ограничения по входному тексту.

TeluguIndicF5 — дообученная на базе ai4bharat/IndicF5 модель синтеза речи из текста, опубликованная пользователем hareeshbabu82. Базовая модель предназначена для синтеза на 11 индийских языках и использует аудиообразец вместе с его расшифровкой, чтобы задать голос и просодию; карточка этой версии отдельно не описывает её особенности или языковое покрытие. Модель подходит для создания озвучки на поддерживаемых индийских языках. Для клонирования голоса требуется явное разрешение его владельца. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0.

UzTTS — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft. Она предназначена для преобразования текста в аудио; карточка сообщает значение loss 0,4451 на наборе оценки, но не описывает датасет, языковое покрытие, голос или условия тестирования. Модель построена на архитектуре SpeechT5 и опубликована в формате Safetensors. Лицензия — MIT.

VIBE — модель для генерации фоновой музыки по видео и текстовой инструкции. Она создаёт музыку, которая учитывает содержание ролика и заданные пользователем параметры, например темп, тональность, настроение и инструменты. Модель разработана на основе VoxCPM и адаптирована для музыки; в её архитектуре используются мультимодальная семантическая языковая модель MiniCPM4-0.5B, блок RITE и диффузионный трансформер LocDiT с условным flow matching. Вместо дискретного аудиотокенизатора модель работает с непрерывными латентными представлениями; заявлен стереовыход с частотой 48 кГц. VIBE рассчитана на создание коротких инструментальных фоновых музыкальных фрагментов для видео с явным управлением через текст. Обучение включает генерацию музыки по тексту и видео, а также оптимизацию с подкреплением по оценкам мультимодального судьи и проверяемым правилам для темпа и тональности. Модель принимает видео и текст, выдаёт аудио. Языковой тег en относится к текстовым инструкциям, а не к аудио. В карточке указаны 953,5 млн параметров и лицензия Apache-2.0. Репозиторий содержит веса, но для запуска нужны код VIBE, внешний музыкальный VAE и конфигурация препроцессора CLIP. Это экспериментальная исследовательская модель: генерация может содержать артефакты, соблюдение инструкций надёжнее для темпа, чем для тональности. Модель не предназначена для вокала, полноформатных аранжировок или использования в производстве без дополнительной проверки.

VibeVoice-ASR-BitNet GGUF — конверсия модели microsoft/VibeVoice-ASR-BitNet в формат GGUF для использования с CrispASR. Это модель автоматического распознавания речи, предназначенная для преобразования 24 кГц моноаудио в текст, в том числе при локальном запуске через CrispASR, C API или Python. Поддерживаются английский, китайский, французский, итальянский, корейский, португальский и вьетнамский языки. Архитектура включает двойной VAE-энкодер и декодер на базе Qwen2. Базовая модель содержит 1,5 млрд параметров; языковая модель имеет 28 слоёв, скрытое представление размером 1536, 12 attention-голов и 2 KV-головы. Аудиообработку выполняет ConvNeXt-подобный одномерный CNN-энкодер с акустическим представлением 64d и семантическим представлением 128d. Доступны варианты размером от 1,05 до 1,55 ГБ с разной степенью квантования; проекции LM используют тернарное квантование TQ2_0, а VAE и embedding — Q4_0, Q5_0, Q8_0 или F16. По данным README, все варианты показали идентичный результат транскрибации на тестовом аудио JFK, включая наиболее компактный вариант aggro, однако подтверждение качества ограничено этим тестом. Модель ориентирована на эффективное локальное распознавание речи с уменьшенным размером файлов и стандартной поддержкой ggml, но README не содержит сведений о точности на широком наборе данных, задержке, устойчивости к шуму или поддержке других аудиоформатов. Распространяется по лицензии MIT; репозиторий содержит только конверсию и квантование исходных весов без дообучения или изменения архитектуры.

nguyenvulebinh/wav2vec2-bartpho — модель распознавания вьетнамской речи, разработанная пользователем nguyenvulebinh на Hugging Face. Это последовательная архитектура speech-encoder-decoder: аудио подаётся на вход, а модель выдаёт текст. Карточка указывает поддержку нормализации распознанного текста, временных меток и сегментации речи нескольких говорящих. Модель предназначена для автоматической транскрибации вьетнамской речи, в том числе с разметкой времени и разделением реплик по говорящим. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

anton-l/wav2vec2-base-superb-sd — модель на базе Wav2Vec2, опубликованная пользователем anton-l на Hugging Face и основанная на facebook/wav2vec2-base-960h. Она предназначена для покадровой классификации аудиосигнала в задачах определения говорящих и сегментации речи по говорящим. Модель имеет архитектуру Wav2Vec2 с трансформерным энкодером и классификационной головкой для аудиокадров, содержит около 113,3 млн параметров и работает через Transformers с PyTorch. В конфигурации определены два класса: speaker_0 и speaker_1. Модель принимает речевой аудиосигнал и возвращает классификацию для временных кадров, что позволяет оценивать, какой из двух условных говорящих активен в каждый момент. Модель подходит для базовой диаризации и анализа многоговорящих записей с двумя участниками. Она не выполняет транскрибацию текста и не определяет реальные имена людей без дополнительной обработки. Контекстное окно, поддерживаемые языки и лицензия в доступных источниках не установлены.

Umong/wav2vec2-large-mms-1b-bengali — модель распознавания речи, созданная дообучением facebook/mms-1b-all на датасете Common Voice 13.0. Она принимает аудио и преобразует речь на бенгали в текст; архитектура — Wav2Vec2ForCTC, размер — 1,3 млрд параметров. На оценочной выборке указаны loss 0,2591 и WER 0,3256. Модель подходит для транскрибирования речи на бенгали. Распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но запрещающей коммерческое применение.

Это модель автоматического распознавания тайской речи, созданная AI Research путём дообучения wav2vec2-large-xlsr-53 на датасете Common Voice 7.0. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель предназначена для транскрибации тайской речи, в том числе записей, подобных материалам Common Voice. В README приведены результаты оценки на тестовой выборке: символьная ошибка CER составила 2,81%, а WER зависит от выбранного способа токенизации тайского текста. Модель распространяется по лицензии CC BY-SA 4.0; результаты относятся к указанному тестовому набору и не гарантируют такое же качество на других аудиоданных.

Модель itaihay/wav2vec_asr_swbd — дообученная версия facebook/wav2vec2-large-robust-ft-swbd-300h для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC, содержит 402,7 млн параметров и принимает аудио, выдавая распознанный текст. В карточке приведён результат оценки: WER 0,5302 и loss 0,3052. README не описывает набор данных для дообучения и сценарии применения, поэтому качество на других данных и языках по этим результатам оценить нельзя. Модель распространяется по лицензии Apache-2.0.

Модель patrickvonplaten/wavlm-libri-clean-100h-base — дообученная версия microsoft/wavlm-base для автоматического распознавания речи. Она использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель обучена на чистой части набора LibriSpeech ASR и предназначена для преобразования речи в текст. На указанном в карточке наборе для оценки модель показала WER 0,0675 и loss 0,0829. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

onnx-community/whisper-base_timestamped — это веб-совместимая версия модели openai/whisper-base, подготовленная сообществом onnx-community. Репозиторий содержит веса в формате ONNX для использования с библиотекой Transformers.js. Модель предназначена для задач автоматического распознавания речи и, судя по идентификатору, может предоставлять результаты с временными метками. Архитектура, размер, поддерживаемые языки, максимальная длина контекста и точные характеристики временных меток в README не указаны. Известно, что исходная модель Whisper разработана OpenAI, однако сведения о конкретных параметрах и возможностях этой версии отсутствуют. Ключевое преимущество модели — возможность запуска в средах, совместимых с Transformers.js, благодаря ONNX-весам. Ограничения, требования к ресурсам, условия лицензирования и дополнительные сценарии использования в предоставленных данных не указаны.

bardsai/whisper-large-v2-pl-v2 — дообученная BardsAI версия Whisper Large v2 для автоматического распознавания польской речи. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров; она принимает аудио и выдаёт распознанный текст. Модель дообучена на Common Voice 11.0 и FLEURS. В карточке приведены результаты оценки: loss 0,3684 и WER 7,2802. Она подходит для транскрибирования польской речи, в том числе записей, похожих на данные этих наборов. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

durgesh10/whisper-large-v3-marathi — дообученная модель распознавания речи на основе OpenAI Whisper large-v3. Она содержит около 905,2 млн параметров и обучена на наборе Mozilla Common Voice 17.0. Модель принимает аудио и предназначена для преобразования речи в текст, с настройкой на маратхи. Модель доступна в формате Safetensors для библиотеки Transformers. Лицензия — Apache-2.0. README не сообщает результаты оценки качества и подробности об ограничениях, поэтому точность распознавания в разных условиях записи по карточке установить нельзя.

yuriyvnv/whisper-large-v3-mixed-cv-nl — модель распознавания речи на нидерландском языке, созданная Yuriy Vnv дообучением Whisper large-v3 от OpenAI. Это плотная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; обучение проводилось с помощью Transformers на записях Common Voice 17.0 и синтетической речи, отфильтрованной по качеству на уровне слов. Модель рассчитана на транскрибацию чистой нидерландской речи и заявляет результаты 4,48% WER на тесте Common Voice и 17,25% WER на MLS. Она может подойти для распознавания речи в аудиозаписях и голосовых сообщениях на нидерландском; результаты на других языках и акустических условиях не описаны. Лицензия — Apache-2.0.

Модель dsfsi-anv/whisper-large-v3-turbo-anv-tsn — дообученная версия Whisper large-v3-turbo от OpenAI, созданная на датасете dsfsi-anv/za-african-next-voices. Это плотная модель архитектуры Whisper с примерно 905,2 млн параметров, предназначенная для автоматического распознавания речи и преобразования аудио в текст. Модель работает с аудиовходом и выдаёт текст; в метаданных указана библиотека Transformers и формат весов safetensors. На оценочном наборе модель показала loss 0,1287 и WER 16,884. Карточка не описывает подробно целевые языки, сценарии применения или ограничения качества, поэтому эти результаты нельзя переносить на другие наборы данных. Лицензия — MIT.

Whisper Medium Czech 2 CV11 — модель распознавания речи, дообученная автором mikr на openai/whisper-medium с использованием чешской части набора Mozilla Common Voice 11.0. Она преобразует чешскую речь в текст и предназначена для автоматической транскрибации аудио. Модель построена на архитектуре Whisper, содержит 455,8 млн параметров и распространяется в форматах PyTorch и Safetensors. На оценочной выборке указана ошибка слов WER 11,4086 и значение loss 0,2417. Лицензия — Apache-2.0. В README не описаны ограничения применения и условия оценки, кроме приведённых метрик.

zeynepgulhan/whisper-medium-mediaspeech-cv-tr — дообученная модель распознавания речи на базе openai/whisper-medium, разработанная автором репозитория. Она предназначена для преобразования аудио в текст; в карточке приведены результаты оценки: loss 0,1813 и WER 9,9776. Модель содержит 455,8 млн параметров, построена на архитектуре Whisper и распространяется в формате PyTorch. Базовая Whisper-medium мультиязычная, однако язык и особенности обучающих данных этой дообученной версии не установлены: README ссылается на набор данных «None» и не раскрывает область применения. Лицензия — Apache-2.0. Оценка WER приведена без описания набора тестов и условий измерения, поэтому её нельзя напрямую переносить на другие данные.