Характеристики

Лицензия: CC BY-NC 4.0
Библиотека: coreml
Опубликована: 2 июл 2026

Ссылки

Hugging Face

mms-fa-aligner-coreml

chordai

Распознавание речиАудио → текст3 профессии

Мультиязычный CoreML-выравниватель привязывает слова готового транскрипта к аудио и вычисляет временные метки.

12скачиваний за 30 дней0лайковвеса обновлены2 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

chordai/mms-fa-aligner-coreml — мультиязычный принудительный выравниватель речи и текста, подготовленный chordai на основе Meta MMS и преобразованный в формат CoreML. Модель принимает монофонический аудиосигнал с частотой 16 кГц в окне фиксированной длины 60 секунд и выдаёт логарифмические вероятности CTC по кадрам с шагом 20 мс. Для выравнивания переданный текст должен соответствовать аудио; для нелатинских письменностей его требуется предварительно романизировать с помощью uroman.

Модель предназначена для получения временных меток слов в текстах песен и других сценариях, где известная расшифровка привязывается к аудиозаписи. Она поддерживает более 1000 языков через романизацию и может использоваться как часть локального на устройстве конвейера выравнивания, например на iOS 17. Для длинных записей README рекомендует обрабатывать перекрывающиеся окна, а для сильно обработанных музыкальных треков — выравнивать отделённую вокальную дорожку.

Это преобразование torchaudio.pipelines.MMS_FA в CoreML, а не универсальная модель распознавания речи: для работы требуется готовый транскрипт, а выход модели — CTC-эмиссии для последующего выравнивания алгоритмом Витерби. Лицензия CC-BY-NC-4.0 допускает некоммерческое использование; для коммерческого приложения необходимо отдельно урегулировать ограничение некоммерческого использования.

Сценарии применения

получение временных меток слов в текстах песен
синхронизация готовой расшифровки с аудиозаписью
выравнивание романизированного текста для языков с нелатинской письменностью
локальная обработка аудио на устройстве Apple

Ограничения

Модель не распознаёт речь самостоятельно: для выравнивания нужен готовый транскрипт, а нелатинский текст следует романизировать. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование; вход обрабатывается окнами длиной до 60 секунд.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

MMS-FA Multilingual Forced Aligner (CoreML)

On-device CTC forced aligner for word-level lyric timestamps, multilingual (1000+ languages via romanization). Alignment half of a WhisperX-style pipeline: a transcript is aligned to audio by Viterbi-decoding CTC emissions.

Converted from torchaudio.pipelines.MMS_FA (Meta MMS ctc_alignment_mling_uroman).

⚠️ LICENSE: CC-BY-NC-4.0 (non-commercial). Inherited from Meta's MMS release. Hosting/attribution is fine; shipping in a commercial app requires resolving the non-commercial restriction first. For commercial production use the Apache-2.0 wav2vec2-base960h-aligner-coreml (English) instead, or obtain a commercial MMS license / a differently-licensed multilingual model.

I/O contract


input	`waveform` float32 `[1, 960000]` — a fixed 60 s window @ 16 kHz mono
output	`emissions` float32 `[1, 2999, 28]` — log-probs; 20 ms / frame (stride 320)
dict	`mms_fa_dict.json` = `{label: index}`, blank `-`=0, then lowercase romanized a–z + apostrophe (no word-separator)

Text must be romanized (uroman) before tokenization for non-Latin scripts. Long audio: overlapping 60 s windows (hop 50 s), center-crop, single CTC Viterbi over concatenated emissions. A synthetic star (garbage) token wraps the transcript to absorb instrumental intros/outros — align on a separated vocal stem for heavily-produced tracks. Precision FLOAT16; target iOS 17.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · coreml

Нельзя запустить

CoreML-модели работают только на устройствах Apple.

Ревизия весов: 3b312de