/ Профессии
Универсальные способности и операции

I.9Аудио и музыка

В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
15
в этой профессии
Подходящих моделей
4 835
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

4 835 моделей
Загрузки
Лайки
Дата выхода
1 471–1 500 из 4 835
gigant
whisper-medium-romanian

Whisper Medium Romanian — модель распознавания речи, созданная дообучением gigant на базе openai/whisper-medium. Она преобразует румынскую речь в текст и рассчитана на расшифровку аудио, включая записи, похожие на обучающие данные из Common Voice 11.0 и румынского корпуса синтезированной речи. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Для оценки применялся тестовый набор Common Voice 11.0; в карточке указана метрика WER 4,717. Модель принимает аудио и выдаёт текст, поддерживаемый язык — румынский. Лицензия — Apache-2.0.

15122дек. 2022ctx1K
textaudioapache-2.0hugging-face
Edge0
Audio8-ASR-0.1B-onnx-runtime

Карточка модели Edge0/Audio8-ASR-0.1B-onnx-runtime на Hugging Face совпадает с карточкой Audio8/Audio8-ASR-0.1B-onnx-runtime, поэтому описание составлено по ней. Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

7614июль 2026
textaudiocc-by-nc-4.0hugging-face
YUGOROU
Chatterbox-Multilingual-MLX-4bit

YUGOROU/Chatterbox-Multilingual-MLX-4bit — многоязычная модель синтеза речи, подготовленная для запуска в формате MLX на устройствах Apple Silicon. Она основана на ResembleAI/chatterbox и использует 4-битную квантизацию; для обработки текста применяется многоязычный токенизатор на 2454 токена. Модель преобразует текст в речь на 23 языках, включая русский, английский, японский и китайский. Модель предназначена для локального синтеза речи на совместимых устройствах Apple, например для озвучивания текста и создания аудиоконтента на поддерживаемых языках. Базовая модель также поддерживает клонирование голоса по аудиообразцу, однако карточка этой версии не подтверждает такую возможность для данного чекпойнта. Лицензия в предоставленных сведениях не указана.

764дек. 2025
textaudiohugging-face
laion
clap-htsat-unfused

laion/clap-htsat-unfused — модель CLAP (Contrastive Language-Audio Pretraining), опубликованная LAION. Она сопоставляет аудио с текстовыми описаниями и предназначена для извлечения аудио- и текстовых признаков, поиска аудио по тексту и классификации звуков без специального обучения на заданных классах. Модель использует контрастивное мультимодальное обучение на парах аудио и текста; в репозитории указаны архитектура ClapModel, 132,1 млн параметров и формат PyTorch. Модель принимает аудио и текст, а выдаёт векторы признаков, пригодные для сопоставления и оценки соответствия. В README описаны поиск аудио по тексту и классификация звуков по кандидатным текстовым меткам. Для прикладного использования доступна через Transformers. Репозиторий распространяется по лицензии Apache-2.0.

1.1M89февр. 2023ctx512
textembeddingapache-2.0hugging-face
AndreasXi
FineLAP

FineLAP — контрастивно предварительно обученная модель для сопоставления аудио и естественного языка. Карточка описывает её как модель, разработанную для задач понимания аудио на уровне целого клипа и отдельных временных кадров. Она предназначена для извлечения признаков и вычисления сходства между аудио и текстом, включая сценарии аудиозаземления, поиска аудио по тексту и обнаружения звуковых событий. Модель использует архитектуру FineLAP и распространяется в формате safetensors; библиотека для работы — Transformers. Лицензия MIT.

9014март 2026
textembeddingmithugging-face
cstr
firered-asr2-aed-GGUF

FireRedASR2-AED GGUF — это модель автоматического распознавания речи, разработанная командой FireRedTeam и преобразованная в формат GGUF для использования с CrispASR. Репозиторий содержит варианты исходной точности F16 и квантованные версии Q8_0 и Q4_K; преобразование не изменяет обучение, архитектуру, словарь или возможности исходной модели. Модель предназначена для транскрибации аудио на стандартном китайском языке, английском и более чем 20 китайских диалектах. Она использует Conformer-энкодер из 16 слоёв с размерностью 1280 и 20 головами внимания, относительным позиционным кодированием, macaron FFN и глубинно разделимой свёрткой с ядром 33, а также CTC-голову. Размер модели составляет около 1,1 млрд параметров. Заявленная средняя CER для мандаринского китайского — 3,05% по данным публикации. Сильными сторонами являются поддержка нескольких вариантов квантования, возможность работы через GGML/CPU и сопоставимое качество транскрипции между доступными вариантами на тестовых аудиозаписях. Ограничения включают вывод английского текста в верхнем регистре, использование только CTC-декодирования без beam search decoder и необходимость применения совместимого инструмента, например CrispASR. Модель распространяется по лицензии Apache 2.0; конвертация не предоставляет прав сверх лицензии исходной модели.

2.1K0апр. 2026
textaudioapache-2.0hugging-face
FunAudioLLM
Fun-ASR-Nano-2512-GGUF

Fun-ASR-Nano-2512-GGUF — конвертированная в формат GGUF версия модели FunAudioLLM/Fun-ASR-Nano-2512-hf, разработанной FunAudioLLM. Модель предназначена для автоматического распознавания речи и работает через audio.cpp в автономном офлайн-режиме, включая запуск на CPU и NVIDIA CUDA. Это мультиязычная ASR-модель с поддержкой двух вариантов весов: Q8_0 размером около 1,05 ГБ и F16 размером около 1,68 ГБ. В файлы встроены конфигурация модели и процессора, tokenizer, chat template и спецификация пакета audio.cpp. Точные архитектурные параметры, число параметров, список языков и размер контекста в README не указаны. К сильным сторонам относятся автономная работа без внешнего сервиса, мультиязычное распознавание, готовность к использованию в audio.cpp и проверка транскрипции на CPU и NVIDIA H100 CUDA. Ограничения модели: она работает только офлайн и не предоставляет потоковый режим или временные метки. Для CUDA веса encoder и adaptor в варианте Q8_0 сохраняются в исходном формате, а веса decoder по умолчанию загружаются в BF16; этот тип можно изменить параметром сессии. Модель и конвертированные веса распространяются по лицензии FunASR Model Open Source License Agreement v1.1. Перед использованием и распространением необходимо ознакомиться с условиями этой лицензии.

61K8июль 2026
textaudiootherhugging-face
ai-sage
GigaAM-Multilingual

GigaAM Multilingual — семейство моделей распознавания речи, разработанное ai-sage. В него входят модели на базе Conformer размером 220 млн и 600 млн параметров: варианты ssl и large_ssl представляют собой самоконтролируемые энкодеры, а ctc и large_ctc дополнены символьными CTC-декодерами для автоматического распознавания речи. Предварительное обучение выполнено на 2 млн часов речи более чем на 70 языках, а варианты для распознавания речи дообучены на 50 тыс. часов аудио. Модель предназначена для преобразования речи в текст. README сообщает о высоком качестве среди открытых моделей для русского, казахского, кыргызского и узбекского языков и умеренном качестве для английского. В приведённых сравнениях качество различается по языку и набору данных: например, на английском Whisper large v3 и Seamless M4T large v2 показывают меньшую долю ошибок на некоторых тестах. Варианты ssl можно адаптировать к новым языкам. Модели распространяются по лицензии MIT.

44K96июль 2026
textaudiomithugging-face
birde2003
HeartMuLa-oss-3B-happy-new-year

Карточка модели birde2003/HeartMuLa-oss-3B-happy-new-year на Hugging Face совпадает с карточкой HeartMuLa/HeartMuLa-oss-3B-happy-new-year, поэтому описание составлено по ней. HeartMuLa-oss-3B-happy-new-year — модель генерации музыки, разработанная командой HeartMuLa. Она предназначена для создания музыки по текстовому описанию и управляемой генерации песен с текстом; авторы отмечают качество музыки и управляемость текстом как ключевые характеристики. В метаданных указаны архитектура HeartMuLa с плотной моделью и веса в формате safetensors. Модель распространяется по лицензии Apache 2.0. В карточке перечислена поддержка китайского, английского, японского, корейского и испанского языков. Подробности о длине контекста, параметрах запуска и ограничениях качества в доступных материалах не приведены.

70июнь 2026
textaudioapache-2.0hugging-face
ai4bharat
indic-parler-tts-pretrained

Indic Parler-TTS Pretrained — многоязычная модель синтеза речи, разработанная командами AI4Bharat и Hugging Face как расширение Parler-TTS Mini. Она преобразует текст в речь и принимает описание желаемого звучания: тембра, скорости, высоты голоса, эмоции, качества записи, шума и реверберации. Модель обучена на 8 385 часах многоязычных данных и поддерживает 21 язык: ассамский, бенгальский, бодо, догри, английский, гуджарати, хинди, каннада, конкани, майтхили, малаялам, манипури, маратхи, непали, ория, санскрит, сантали, синдхи, тамильский, телугу и урду. В карточке заявлены 69 голосов; настройка эмоций официально поддерживается для десяти языков. Для некоторых других языков возможно экспериментальное использование эмоциональных подсказок, также заявлена неофициальная поддержка чхаттисгархи, кашмири и пенджаби. Модель подходит для озвучивания текстов на индийских языках и английском, а также для генерации речи с заданными голосовыми характеристиками и манерой подачи. Для отдельных языков и акцентов качество и управляемость могут различаться; дополнительные языки, акценты и эмоциональные режимы не следует считать одинаково проверенными. Лицензия — Apache-2.0.

1.7K20нояб. 2024
textaudioapache-2.0hugging-face
Marvis-AI
marvis-tts-250m-v0.1-transformers

Marvis-AI/marvis-tts-250m-v0.1-transformers — модель синтеза речи Marvis AI на архитектуре CSM, дообученная на базе Marvis-AI/marvis-tts-250m-v0.1-base. Модель содержит 265 млн параметров, использует мультимодальный трансформер и принимает последовательности текста и аудиотокенов; нативный контекст — 2048 токенов. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Модель генерирует речь из текста с потоковой выдачей аудиофрагментов для голосовых ассистентов, озвучивания и интерактивных приложений. В README описана обработка целого текстового контекста для более связного звучания, а также голосовое клонирование по эталонной записи. Основной язык — английский; качество на других языках может быть ниже. Указаны зависимость качества клонирования от чистоты примерно 10-секундного образца, ухудшение при шуме и возможные ошибки в произношении новых слов или коротких фраз. Лицензия — Apache-2.0.

32122авг. 2025ctx2K
textaudioapache-2.0hugging-face
mlx-community
MOSS-Music-8B-Thinking-8bit

MOSS-Music-8B-Thinking-8bit — созданная сообществом 8-битная MLX-конверсия модели OpenMOSS-Team/MOSS-Music-8B-Thinking для понимания музыки на компьютерах Apple Silicon. Это плотная аудиоязыковая модель семейства MOSS-Music с 9,1 млрд параметров. Модель принимает аудио и формирует текстовые описания музыки, распознаёт тональность, темп, аккорды и структуру композиции, транскрибирует вокал и отвечает на вопросы о длинных аудиозаписях. README сообщает, что версия MLX предназначена для локального запуска на Mac и приводит пример обработки 75-секундной песни примерно за 34 секунды. Модель ориентирована на английский и китайский языки. Репозиторий использует формат safetensors; лицензия — Apache-2.0. Это неофициальная конверсия сообщества, а авторство исходной модели принадлежит команде OpenMOSS.

3948июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
OpenMOSS-Team
MOSS-TTSD-v0

MOSS-TTSD — разработанная OpenMOSS-Team открытая модель синтеза диалоговой речи на китайском и английском языках. Она преобразует сценарии диалога двух собеседников в выразительную разговорную речь с естественной просодией и переключением между голосами. Модель поддерживает клонирование голосов двух говорящих без дополнительного обучения и генерацию речи в одной сессии длительностью до 960 секунд. В основе — дообученная Qwen3-1.7B-Base с архитектурой Qwen3 и акустическим кодеком; размер составляет 1,7 млрд параметров, контекст — 32 768 токенов. Модель предназначена, в частности, для создания подкастов и озвучивания диалоговых сценариев. Лицензия Apache-2.0 допускает коммерческое использование. В README заявлено, что модель генерирует речь на китайском и английском; качество и поддержка других языков не описаны.

2428июнь 2025ctx32.8K
textaudioapache-2.0hugging-face
handy-computer
parakeet-primeline-gguf

parakeet-primeline-gguf — это квантизированная GGUF-версия модели primeLine/parakeet-primeline, подготовленная handy-computer для работы с transcribe.cpp. Модель основана на NVIDIA parakeet-tdt-0.6b-v3 и предназначена для автоматического распознавания речи с преобразованием аудио в текст. Модель содержит около 0,6 млрд параметров и использует архитектуру FastConformer с декодером TDT/RNNT. Она принимает монофонический WAV со частотой 16 кГц и возвращает расставленный по регистру и пунктуации текст, при необходимости — токенизированные временные метки. Поддерживаются 25 языков, включая английский, немецкий, русский, украинский, французский, испанский, итальянский и другие европейские языки. Модель особенно настроена на немецкий, но сохраняет многоязычные возможности базовой версии; также доступно автоматическое определение языка. Сильными сторонами являются локальная работа через transcribe.cpp, несколько вариантов квантизации размером примерно от 485 МБ до 2,51 ГБ и близкие результаты различных вариантов по качеству. На тесте FLEURS для немецкого заявлен WER около 6%, для LibriSpeech test-clean — около 2,2%, для русского — 7,81%. Модель не поддерживает потоковое распознавание и перевод, а немецкий вывод может использовать написание ss вместо ß, что влияет на оценку качества. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели. Для использования требуется transcribe.cpp; аудио при необходимости нужно предварительно привести к формату моно WAV 16 кГц.

33K2авг. 2026
textaudiocc-by-4.0hugging-face
rahulrachuri
parakeet-tdt-0.6b-v2

Это конвертированная в формат Hugging Face Transformers версия англоязычной модели NVIDIA Parakeet-TDT 0.6B v2 для транскрибации речи. Автор репозитория сообщает, что веса взяты из официального чекпойнта NeMo и сверены с эталонной реализацией; для корректной работы конвертации внесены исправления скрипта, включая поправку идентификатора blank-токена. Архитектура — Parakeet TDT с плотными весами; модель использует 128-мел-спектральный вход и словарь размером 1025 идентификаторов. Модель принимает аудио и выдаёт текстовую расшифровку на английском языке. Она предназначена для распознавания речи и транскрибации записей; в README отмечена как сильная модель семейства Parakeet для английской транскрибации. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Лицензия — CC-BY-4.0. Качество зависит от разборчивости речи и условий записи. Модель ориентирована на английский язык, поэтому её не следует считать мультиязычной; README также описывает конвертацию и проверку, но не устанавливает универсальных гарантий производительности на разных устройствах.

560авг. 2026
textaudiocc-by-4.0hugging-face
mlx-community
parakeet-tdt-1.1b

mlx-community/parakeet-tdt-1.1b — версия модели NVIDIA Parakeet-TDT-1.1B, подготовленная сообществом mlx-community для библиотеки MLX. Она преобразует английскую речь в текст и предназначена для автоматической транскрипции аудио. В метаданных указана архитектура семейства FastConformer/Conformer и формат safetensors; базовая модель разработана NVIDIA NeMo и Suno.ai. Модель подходит для расшифровки записей и речевых потоков на английском языке. Карточка сообщества отсылает за подробностями к карточке исходной модели, поэтому дополнительные характеристики и ограничения исходной модели здесь не подтверждены. Лицензия — CC BY 4.0.

1.3K0май 2025
textaudiocc-by-4.0hugging-face
handy-computer
parakeet-tdt_ctc-110m-gguf

Это GGUF-квантизированная версия модели parakeet-tdt_ctc-110m, разработанной совместно командами NVIDIA NeMo и Suno.ai и адаптированной для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования английской речи в текст с пунктуацией и капитализацией. Она поддерживает обработку аудио в формате 16 кГц, моно WAV и может использоваться для локальной транскрипции записей без внешней языковой модели. Модель построена на архитектуре FastConformer с полным механизмом внимания и содержит около 110 млн параметров. В исходной гибридной модели применяются TDT/RNNT-транзьюсер и вспомогательная CTC-голова; при конвертации в GGUF CTC-голова удалена. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 90 до 457 МБ. Заявленная точность на LibriSpeech test-clean составляет 2,43% WER для F32, F16 и Q8_0 и до 2,53% для Q4_K_M. Модель поддерживает только английский язык, не предназначена для перевода, определения языка или потокового распознавания. Полное внимание позволяет обрабатывать до 20 минут аудио за один проход, однако модель работает в офлайн-режиме. Лицензия унаследована от базовой модели и указана как CC-BY-4.0; подробные условия следует уточнять в карточке исходной модели NVIDIA.

4.8K0май 2026
textaudiocc-by-4.0hugging-face
FluidInference
parakeet-unified-en-0.6b-coreml

Parakeet Unified EN 0.6B CoreML — модель автоматического распознавания речи на английском языке, разработанная командой FluidInference на основе Parakeet от NVIDIA. Она оптимизирована для работы на платформах Apple через CoreML и используется в Swift SDK FluidAudio. Модель предназначена для офлайн-транскрибации аудиофайлов и низколатентного потокового распознавания речи. Она построена на архитектуре FastConformer-RNNT с примерно 0,6 млрд параметров, поддерживает аудио в формате mono 16 кГц, автоматически расставляет пунктуацию и добавляет капитализацию. Входной контекст обрабатывается с коэффициентом субдискретизации 8, размер словаря SentencePiece составляет 1024 токена. Одна и та же модель поддерживает пакетный режим с окнами до 15 секунд и несколько потоковых вариантов с задержкой от 0,32 до 2,08 секунды. Для потоковой обработки доступны разные компромиссы между задержкой, скоростью и качеством; заявленный WER на LibriSpeech test-clean составляет около 1,68% для пакетного режима и 1,79% для потокового режима с задержкой 2,08 секунды. Доступны версии с FLOAT16 и INT8-энкодером, причём INT8 ориентирована на более высокую производительность. Модель предназначена только для английской речи и не подходит для многоязычной транскрибации; для неанглийского аудио в README рекомендуется Parakeet TDT v3. Производительность и интеграция ориентированы на экосистему Apple и CoreML. Модель распространяется по лицензии CC-BY-4.0.

2.3K0июнь 2026
textaudiocc-by-4.0hugging-face
harlemmvp
Qwen3-ForcedAligner-0.6B-GGUF

harlemmvp/Qwen3-ForcedAligner-0.6B-GGUF — неофициальная конверсия модели Qwen/Qwen3-ForcedAligner-0.6B в формат GGUF для запуска через llama.cpp. В репозитории веса bf16 разделены на текстовую модель и аудиоэнкодер с проектором и головкой временных меток; это модель для принудительного выравнивания текста с речью и получения временных меток слов. Модель принимает аудио и соответствующий ему текст, а возвращает временные позиции слов. В README приведены проверки совпадения с официальной реализацией на записях совещания AMI и подкаста; максимальное различие в одном из сравнений составило один интервал в 80 мс. Для сопоставления требуется использовать те же единицы слов, что и эталонная реализация: например, удалить пунктуацию и записывать «twenty-four» как «twentyfour». Конверсия сохраняет исходные веса и точность bf16; автор репозитория не связан с командой Qwen. Базовая модель выпущена под лицензией Apache-2.0. README указывает, что для запуска используется специализированная реализация aligner в llama.cpp-omni; поддержка в других средах не описана.

2060сент. 2026
textaudioapache-2.0hugging-face
Umbasa
Qwen3-Omni-30B-A3B-Captioner-UMBASA-V1

Карточка модели Umbasa/Qwen3-Omni-30B-A3B-Captioner-UMBASA-V1 на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Captioner, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Captioner — модель для подробного описания аудио, созданная командой Qwen дообучением Qwen3-Omni-30B-A3B-Instruct. Она принимает только аудио и выдаёт текст; текстовые подсказки и несколько аудиовходов за один запрос не поддерживаются. Модель описывает речь, голоса и эмоции говорящих, а также музыку, окружающие звуки и звуковые эффекты. Она рассчитана на сложные записи с несколькими источниками звука и стремится давать подробные описания с меньшим количеством галлюцинаций. Для сохранения детализации рекомендуется подавать аудиоклипы длительностью не более 30 секунд. Модель использует архитектуру Qwen3 Omni MoE и запускается через Transformers; в репозитории указаны веса Safetensors. Карточка описывает поддержку многоязычной речи, но конкретные языки не перечисляет. Лицензия указана как other, поэтому условия использования следует проверить в материалах репозитория.

140июль 2026ctx131.1K
textotherhugging-face
sil-ai
senga-nt-fused-v3-tts

senga-nt-fused-v3-tts — дообученная SIL AI модель синтеза речи на базе SpeechT5 от Microsoft. Она преобразует текст в аудио и предназначена для задач синтеза речи. Модель построена на архитектуре SpeechT5, веса доступны в формате safetensors. В карточке указана лицензия MIT. README сообщает значение loss 0,0904 на наборе оценки, но не раскрывает состав данных, языки синтеза, характеристики голоса или условия оценки. Поэтому качество и область применимости по этой метрике определить нельзя.

160июль 2026ctx600
textaudiomithugging-face
tencent
SongPrep-7B

SongPrep-7B — модель Tencent для разбора структуры музыкальных произведений и транскрибирования текстов песен. Согласно карточке, это официальные веса сквозной модели из проекта SongPrep, обученной на Million Song Dataset. Модель основана на плотной архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; метаданные указывают контекст до 131 072 токенов и поддержку китайского и английского языков. Модель предназначена для распознавания речи в песнях, транскрибирования текстов и предварительного разбора структуры целых музыкальных композиций. В карточке также заявлена возможность генерации текста, а метаданные отмечают интерфейс чата. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в доступных материалах отсутствуют.

10946сент. 2025ctx131.1K
texthugging-face
argmaxinc
speakerkit-coreml

argmaxinc/speakerkit-coreml — набор моделей SpeakerKit в формате Core ML для обработки речи в экосистеме Apple. Репозиторий связан с WhisperKit и pyannote; карточка указывает задачу автоматического распознавания речи и входные аудиоданные. Архитектура и результаты оценки описаны в статье Interspeech 2025, на которую ссылается README. Модель предназначена для сценариев распознавания речи и диаризации — определения говорящих в аудиозаписи. Формат Core ML позволяет использовать её в приложениях на устройствах Apple; библиотека WhisperKit предоставляет соответствующую интеграцию. Модели, на которых построен SpeakerKit, распространяются по лицензии CC BY 4.0; Swift-фреймворк SpeakerKit имеет лицензию MIT.

43K3март 2026
textaudiocc-by-4.0hugging-face
argmaxinc
speakerkit-pro

SpeakerKit Pro — модель для распознавания речи и определения говорящих, опубликованная Argmax. Репозиторий содержит формат Core ML и предназначен для использования с библиотекой WhisperKit; по карточке Hugging Face основная задача модели — автоматическое распознавание речи. Модель принимает аудио и может применяться в сценариях, где нужно преобразовать запись в текст. Теги репозитория указывают на связь с Whisper и diarization, однако README не описывает точные возможности разделения речи по говорящим, архитектуру, размер, языки или длину контекста. В карточке указана лицензия other, поэтому условия использования следует сверить с сопровождающей документацией. README содержит ссылки на блог, TestFlight и исследовательскую статью, но не приводит сведений о качестве распознавания или известных ограничениях.

19K20нояб. 2024
textaudiootherhugging-face
guilhermebastos96
speecht5_finetuned_sip_ai_v3

guilhermebastos96/speecht5_finetuned_sip_ai_v3 — дообученная модель SpeechT5 для синтеза речи из текста. Она создана на основе guilhermebastos96/speecht5_finetuned_sip_ai_v2 и обучена на multilingual_librispeech; в метаданных указана архитектура SpeechT5ForTextToSpeech. На тестовой выборке автор сообщает значение Loss 0,3439. Модель предназначена для преобразования текста в аудио. Репозиторий содержит веса в формате safetensors, лицензия — MIT. Данных о поддерживаемых языках, длине контекста и практических ограничениях в карточке нет.

100февр. 2024ctx600
textaudiomithugging-face
Bunny2308
speecht5_finetuned_voxpopuli

Bunny2308/speecht5_finetuned_voxpopuli — дообученная модель SpeechT5 от Microsoft для синтеза речи из текста. В метаданных указана архитектура SpeechT5ForTextToSpeech и формат весов safetensors; базовая модель — microsoft/speecht5_tts. В README сообщается о дообучении на наборе данных, обозначенном как None, и значении loss 0,4674 на evaluation set, но подробности обучения и оценки не приведены. Модель предназначена для преобразования текста в аудио. Лицензия — MIT.

90сент. 2026ctx600
textaudiomithugging-face
cstr
supertonic-3-GGUF

Это конвертированная в GGUF модель Supertone Supertonic 3, подготовленная для запуска через нативный ggml-рантайм CrispASR. Она предназначена для синтеза речи из текста: использует нерекуррентную архитектуру с flow matching и включает предсказатель длительности, текстовый энкодер, оцениватель вектора и вокодер. Модель содержит около 99 млн параметров, генерирует аудио с частотой 44,1 кГц и поддерживает 31 язык. В один файл встроены все четыре сети, индексатор Unicode, таблицы нормализации текста NFKD и десять предустановленных голосов F1–F5 и M1–M5. Можно задавать язык, голос, скорость и число шагов flow-модели. В README описана проверка соответствия этапов преобразованной модели исходному ONNX-пайплайну, включая тест преобразования речи обратно в текст. Лицензия — OpenRAIL.

1.1K0сент. 2026
textaudioopenrailhugging-face
rohansheth
tiro-qwen3-asr-1.7b-v2

Tiro Qwen3 ASR 1.7B v2 — англоязычная модель распознавания речи, созданная как дообучение Qwen3-ASR-1.7B компанией или автором Tiro. Она предназначена для транскрибации аудио, особенно речи, записанной на расстоянии от микрофона, в реверберационных помещениях и при фоновом шуме. Модель сохраняет общие возможности базовой ASR-системы; в README приведены сравнительные результаты на FFASR, VOiCES, CHiME-4 и открытых тестовых наборах распознавания речи. Модель использует архитектуру Qwen3-ASR плотного типа с тем же числом параметров, что и база Qwen3-ASR-1.7B, и опубликована в формате safetensors с точностью bf16. Метаданные и карточка указывают английский язык. Лицензия — Apache-2.0. README сообщает о лучшем среднем результате на FFASR, но на ближней речи базовая модель немного лучше; результаты отдельных тестов не гарантируют такое же качество на других аудиозаписях.

2150сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
P2Enjoy
VibeVoice-ASR-BitNet-slim

P2Enjoy/VibeVoice-ASR-BitNet-slim — облегчённая GGUF-перепаковка модели распознавания речи Microsoft VibeVoice-ASR-BitNet. Разработчик удалил из весов дублирующую матрицу выходной проекции: повторно обучение не проводилось, а основная тернарная часть трансформера сохранена. Размер языковой модели сократился примерно с 993 до 526 МБ, общий размер весов — с 1,70 до 1,23 ГБ. Модель предназначена для транскрибации аудио, в том числе длинных записей на фрагментах примерно по 60 секунд. Карточка приводит оценки для английского, французского, итальянского, португальского, испанского и немецкого; исходная модель обучалась также на китайском, корейском и вьетнамском. Перепаковка почти не изменила точность относительно исходных весов, однако на коротких клипах в приведённом сравнении Whisper точнее. Лицензия — MIT. При обработке аудио длиннее примерно 80 секунд за один проход модель может преждевременно завершить распознавание и отбросить остаток записи, поэтому длинные материалы следует делить на части. Модель не выполняет диаризацию и не выдаёт метки говорящих; качество заметно зависит от языка и типа речи.

1790авг. 2026ctx32.8K
textaudiomithugging-face
GaborMadarasz
wav2vec2-large-mms-1b-cv_vp

Модель Gabor Madarasz для распознавания венгерской речи и преобразования её в текст. Это дообученная на венгерских данных модель facebook/mms-1b-all с архитектурой Wav2Vec2ForCTC и примерно 1,3 млрд параметров. Она принимает аудио и предназначена для транскрибации записанной речи, например подкастов, аудиокниг и одноголосых записей. Модель рассчитана на венгерский язык. В тестах автор сообщает WER 0,3068 и CER 0,0727 на FLEURS, а также WER 0,1275 на выборке из Common Voice и Voxpopuli; результаты зависят от набора данных и условий записи. Лицензия — CC0-1.0. Для улучшения выбора слов автор рекомендует декодирование с языковой моделью, например KenLM через beam search.

120июль 2026
textaudiocc0-1.0hugging-face

Задачи профессии

15 задач
139Классификация звуковых событий. — AI анализирует спектральные и временные признаки аудио и относит фрагменты к классам звуковых событий: речи, музыке, сигналам, ударам, шумам или другим заданным категориям. На выходе — метки с временными границами и уверенностью. Качество проверяют по размеченным записям, отдельно оценивая редкие классы, смешанные звуки и условия с сильным фоновым шумом.
140Обнаружение заданного звука в непрерывном аудиопотоке. — Механизм: AI сочетает обученные шаблоны с контрольными правилами, чтобы находить значимые случаи и не пропускать пограничные примеры. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Обнаружение заданного звука в непрерывном аудиопотоке», с локализацией, уверенностью и признаками срабатывания. Проверка: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
141Определение источника и направления звука. — AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение источника и направления звука» с оценкой уверенности и основаниями решения. Надёжность оценивают по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
142Разделение смеси на голос, музыку и отдельные инструменты. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: результат «Разделение смеси на голос, музыку и отдельные инструменты» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
143Удаление фонового шума и акустических артефактов. — Практическая реализация: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Входной контекст включает референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: преобразованный материал по задаче «Удаление фонового шума и акустических артефактов» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
144Восстановление повреждённой или неполной аудиозаписи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: преобразованный материал по задаче «Восстановление повреждённой или неполной аудиозаписи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
145Автоматическое выравнивание громкости и динамического диапазона. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. К исходным данным относятся аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Автоматическое выравнивание громкости и динамического диапазона» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
146Генерация музыки по жанру, настроению, структуре и ограничениям. — Для этой задачи система генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: редактируемый артефакт по задаче «Генерация музыки по жанру, настроению, структуре и ограничениям», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Критерии приёмки: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
147Генерация звуковых эффектов по текстовому описанию. — Практическая реализация: AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Генерация звуковых эффектов по текстовому описанию», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
148Создание аранжировки для заданной мелодии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: редактируемый артефакт по задаче «Создание аранжировки для заданной мелодии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
149Продолжение музыкального фрагмента в согласованном стиле. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, музыкальные ограничения, аудиозаписи, отдельные дорожки и спектральные признаки. Формат результата: редактируемый артефакт по задаче «Продолжение музыкального фрагмента в согласованном стиле», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — аудиоматериал. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
150Транскрибирование музыки в ноты или MIDI. — Для этой задачи система преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Рабочие входы: аудиодорожки, аудиозаписи, отдельные дорожки, спектральные признаки и референсы. Формат результата: преобразованный материал по задаче «Транскрибирование музыки в ноты или MIDI» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
151Определение темпа, тональности, аккордов и структуры композиции. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, отдельные дорожки, спектральные признаки, референсы и музыкальные ограничения. Формат результата: установленное значение или вариант по задаче «Определение темпа, тональности, аккордов и структуры композиции» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
152Сведение и предварительный мастеринг аудиоматериала. — Механизм: AI переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Исходные данные: аудиодорожки, спектральные признаки, референсы, музыкальные ограничения и аудиозаписи. Формат результата: преобразованный материал по задаче «Сведение и предварительный мастеринг аудиоматериала» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче.
153Адаптация длительности музыки под видео без резкого обрыва. — AI строит профиль текущих потребностей и адаптирует содержание, порядок или параметры взаимодействия под конкретного человека. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, референсы, музыкальные ограничения, аудиозаписи и отдельные дорожки. Формат результата: адаптированный вариант для «Адаптация длительности музыки под видео без резкого обрыва» с указанием контекста и факторов, определивших персонализацию. Надёжность оценивают по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; прослушиванием, измерением качества сигнала, сохранением тембра и соответствием музыкальной задаче. <a id="section-i-10"></a>

0 моделей