I.9Аудио и музыка

OpenASR/firered-aed-l-v2 — модель автоматического распознавания речи, созданная FireRedTeam и упакованная для работы в среде OpenASR. Она предназначена для локального преобразования речи в текст, включая распознавание путунхуа, английского языка и их смешанной речи, а также китайских диалектов и акцентов. Модель может применяться для транскрибации аудио на CPU и GPU без использования Python во время инференса. В основе лежит attention-based encoder-decoder архитектура с Conformer-энкодером и Transformer-декодером. Модель содержит 1,1 млрд параметров и является развитием FireRedASR2-AED; она обучена с использованием расширенного словаря. Заявлены высокие результаты на китайской речи: средний CER 3,05% на четырёх публичных тестах путунхуа, 11,67% на 19 тестах китайских диалектов и акцентов, а также 1,17% на тесте песенных текстов. Для aishell1 указан CER 0,57%. Доступны варианты fp16, q8_0 и q4_k; q4_k уменьшает размер и пиковое потребление памяти, а fp16 ориентирован на максимальную точность. Модель особенно сильна в распознавании китайской речи, диалектов, акцентов, код-свитчинга и песенного вокала. Ограничения включают Mandarin-first специализацию и отсутствие в README сведений о поддерживаемых языках помимо китайского и английского, максимальной длине контекста и точности на других типах аудио. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели FireRedASR2-AED.

laion/larger_clap_general — модель CLAP (Contrastive Language-Audio Pretraining), разработанная LAION. Это улучшенный чекпойнт, обученный на парах аудио и текста для общих звуков, музыки и речи. Архитектура объединяет аудиоэнкодер на основе Swin Transformer, который получает признаки из log-Mel-спектрограммы, и текстовый энкодер RoBERTa; их представления проецируются в общее латентное пространство, где сходство оценивается скалярным произведением. Модель предназначена для сопоставления аудиозаписи с текстовыми описаниями без дообучения под конкретную задачу, например для классификации звуков по заданным меткам. Также она извлекает аудио- и текстовые признаки для последующего поиска и анализа. В метаданных указано около 132,1 млн параметров; доступны веса PyTorch, библиотека Transformers и лицензия Apache-2.0. Результаты зависят от формулировок текстовых меток и от того, насколько аудио и описания соответствуют данным обучения. README не приводит оценки качества, предельную длительность аудио или перечень поддерживаемых языков.

mikhail-panzo/malay_full_checkpoint — дообученная модель Microsoft SpeechT5 TTS для преобразования текста в аудио. В карточке указан результат оценки: loss 0,3226; датасет и дополнительные сведения о назначении модели не описаны. Модель распространяется в формате safetensors по лицензии MIT. Базовая модель SpeechT5 предназначена для синтеза речи из текста.

vanch007/mlx-MOSS-Transcribe-Diarize-4bit — 4-битная квантизированная версия модели MOSS-Transcribe-Diarize, подготовленная для MLX. Она принимает аудиозаписи и предназначена для распознавания речи с разметкой говорящих. Вариант использует аффинную квантизацию MLX с 4 битами и размером группы 64 для текстового backbone; аудиоэнкодер Whisper и VQ-адаптер не квантизированы. Модель подойдёт для транскрибирования аудиофайлов и определения смены говорящих, в том числе при локальном запуске в окружении MLX. Репозиторий распространяется по лицензии Apache-2.0. В карточке и метаданных не приведены показатели точности, поддерживаемые языки, размер модели или длина контекста.

MOSS-Music-8B-Instruct — открытая модель понимания музыки, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Она принимает аудио и по инструкциям формирует текстовые ответы о музыкальном содержании: распознаёт слова в песнях с временными метками, описывает настроение, жанр, инструменты и звучание, анализирует тональность, темп, аккорды и структуру композиции, а также отвечает на вопросы по полной записи. Архитектура объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 9,1 млрд параметров. Энокодер выдаёт временные представления с частотой 12,5 Гц. Модель обучалась на музыкальных данных с дополнительным предобучением и дообучением по инструкциям; вариант Instruct предназначен для прямого выполнения запросов о музыке. Модель работает с аудио на входе и выдаёт текст. В карточке указана поддержка английского и китайского языков. Репозиторий распространяется по лицензии Apache-2.0. README не приводит конкретных оценок качества, поэтому точность распознавания и анализа может зависеть от записи и музыкального материала.

MOSS-Music-8B-Thinking — модель понимания музыки от MOSI.AI, команды OpenMOSS и Shanghai Innovation Institute. Она предназначена для анализа музыкальных записей и отвечает на вопросы о содержании и структуре трека; вариант Thinking дополнительно настроен на рассуждения при музыкальном анализе. Модель объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 9,1 млрд параметров. Она принимает аудио и генерирует текст. В README описаны распознавание и транскрибирование вокала с временными метками, музыкальные описания, анализ жанра и инструментов, определение тональности, темпа и аккордов, разметка частей песни и ответы на вопросы по полной записи. Модель работает с английским и китайским языками. По заявлению разработчиков, обучение включает дополнительное предобучение на музыкальных данных, инструкционную настройку и настройку рассуждений для варианта Thinking. Модель распространяется по лицензии Apache-2.0. Данные о длине контекста и количественные оценки качества в предоставленных материалах отсутствуют.

Muyan-TTS — модель синтеза речи, разработанная MYZY-AI для создания озвучки, в том числе подкастов. Это плотная причинная языковая модель семейства Llama с 3,2 млрд параметров; репозиторий содержит веса safetensors. Модель предварительно обучена на более чем 100 000 часов подкастовой аудиозаписи и поддерживает генерацию речи с нуля по короткому голосовому образцу и его расшифровке, а также адаптацию под голос диктора после подготовки обучающих данных. Для работы при синтезе задают аудиообразец, соответствующий ему текст и текст для озвучивания. README также описывает дообучение на собственных данных: для адаптации голоса требуется не менее нескольких десятков минут речи целевого диктора. Метаданные указывают контекст 131 072 токена, лицензию Apache-2.0 и задачу text-to-speech; модель также помечена как поддерживающая text-generation. Заявлены сценарии озвучивания подкастов и настройки индивидуального голоса, однако языки, качество на разных типах текста и практические требования к оборудованию в доступных данных не описаны.

Nemotron 3 Diarization MLX INT8 — экспорт модели NVIDIA Nemotron-3-Diarization, подготовленный aufklarer для запуска через MLX на Apple Silicon. Модель выдаёт вероятности активности до восьми говорящих на уровне аудиокадров, поддерживая потоковую и офлайн-диаризацию. Она не распознаёт речь и не устанавливает личности говорящих. Экспорт содержит 113,8 млн параметров по метаданным; в README указано 99,2 млн параметров исходной модели. Веса квантованы в INT8 affine с размером группы 64, остальные тензоры хранятся в FP16; формат файлов — MLX safetensors. Для низкоуровневого запуска подаются предварительно рассчитанные лог-мел-признаки с 128 полосами, совместимые с препроцессором исходной модели. Модель заявлена как мультиязычная. В README приведены результаты проверки численного соответствия исходному чекпойнту после квантования и показатель DER 10,98% для полного конвейера speech-swift на 132 внутренних записях на восьми языках. Эти результаты относятся к указанному оборудованию и программному конвейеру и не являются независимым сравнительным тестом самого экспорта. Для сохранения меток говорящих между потоковыми чанками другим средам необходимо воспроизвести алгоритм обновления кэша и FIFO исходной модели. Лицензия — OpenMDW 1.1.

OpenASR/parakeet-tdt-0.6b-v3 — локальная мультиязычная модель автоматического распознавания речи, разработанная NVIDIA и упакованная проектом OpenASR в формат .oasr. Она предназначена для преобразования аудио в текст на CPU и GPU, включая транскрибацию записей и потоков. Модель автоматически определяет язык речи и поддерживает 25 европейских языков: болгарский, хорватский, чешский, датский, нидерландский, английский, эстонский, финский, французский, немецкий, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, испанский, шведский, русский и украинский. Модель содержит около 600 млн параметров и сочетает энкодер FastConformer с декодером Token-and-Duration Transducer (TDT), который предсказывает длительность токенов и пропускает соответствующее число аудиокадров. Это повышает скорость декодирования и обеспечивает нативные временные метки слов. Обучение на корпусах Granary и NeMo ASR Set 3.0 позволило сохранять пунктуацию и регистр в расшифровке. Доступны варианты fp16, q8_0 и q4_k; сборка q8_0 рекомендована как компромисс между качеством и размером, а q4_k — для устройств с ограниченной памятью. Сильные стороны модели — поддержка большого числа европейских языков, автоматическое определение языка, высокая скорость локального инференса, временные метки слов и работа без Python во время выполнения. Ограничения включают специализацию только на распознавании речи и отсутствие данных о точности для всех языков и сценариев в представленном README. Модель и производные пакеты распространяются по лицензии CC-BY-4.0, требующей указания авторства NVIDIA.

Это версия модели распознавания речи NVIDIA Parakeet TDT 0.6B V3, подготовленная theoracleguy для совместимости с MLX и рабочих процессов преобразования речи в текст на устройствах Apple. Она предназначена для локальной транскрибации аудио через OpenVox и совместимые инструменты, включая mlx-audio и parakeet-mlx. Модель использует кодировщик FastConformer и декодер Token-and-Duration Transducer (TDT), имеет размер 0,6 млрд параметров и поддерживает 25 европейских языков, включая русский, английский, испанский, французский и немецкий. Репозиторий распространяет веса в формате safetensors; библиотека MLX рассчитана на устройства Apple Silicon. Карточка характеризует модель как быструю и точную для многоязычного распознавания, но подробные показатели качества и языковые ограничения следует оценивать по карточке исходной модели NVIDIA. Лицензия репозитория — CC BY 4.0.

Модель сегментации речи разработана Hervé Bredin и Antoine Laurent для работы с pyannote.audio. Она анализирует аудиозаписи, определяет речевые участки и поддерживает обнаружение перекрывающейся речи и повторную сегментацию говорящих. В README приведены сценарии применения на данных AMI, DIHARD3 и VoxConverse, включая настройку порогов для детектирования речевой активности, перекрытий и повторной сегментации VBx. Модель распространяется в формате PyTorch и используется через pyannote.audio; README указывает на версию 2.0, находившуюся в разработке на момент публикации. Репозиторий создан 8 ноября 2022 года. Лицензия — MIT. В карточке не приведены сведения об архитектуре, числе параметров, длине контекста или поддерживаемых языках.

Bajiyo/w2v-bert-2.0-nonstudio_and_studioRecords_final — модель распознавания речи на основе архитектуры Wav2Vec2-BERT, дообученная разработчиком Bajiyo на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; репозиторий содержит веса в формате Safetensors. Модель насчитывает около 402,7 млн параметров и распространяется по лицензии MIT. На указанном в карточке наборе оценки модель получила loss 0,1772 и WER 0,1266. Эти результаты относятся только к этому набору; README не описывает его состав, языки, условия записи или методику оценки. Поэтому качество для конкретных языков и условий применения по этим цифрам определить нельзя.

ajikadev/wavlm-salt-eng — дообученная модель распознавания английской речи на основе microsoft/wavlm-base. Это плотная модель семейства WavLM с архитектурой WavLMForCTC, содержащая 113,3 млн параметров; она принимает аудио и преобразует речь в текст. Модель дообучена на многоголосом англоязычном наборе SUNBIRD/SALT - MULTISPEAKER-ENG. На оценочном наборе указаны loss 0,2244 и WER 0,2118. Модель подходит для транскрибации английской речи, в том числе записей с несколькими говорящими. Эти результаты относятся к указанному набору данных и сами по себе не гарантируют такое же качество на других типах аудио. Лицензия в предоставленных сведениях не указана.

Whisper-Large-v3-MLA — модель распознавания речи, разработанная Burak Aydın на основе OpenAI Whisper large-v3. Декодерная self-attention преобразована из MHA в MLA, что сокращает KV-кэш декодирования на 62,5%; после преобразования модель дообучена на корпусе Whispered для восстановления качества. Модель содержит 905,2 млн параметров и предназначена для транскрибации речи в текст на 11 языках. На тестах CommonVoice-17 авторы сообщают, что цена преобразования по качеству статистически незначима для 9 из 11 языков; заметные различия указаны для арабского и китайского. Сокращение относится к KV-кэшу self-attention декодера: память энкодера и cross-attention не сжата, поэтому выгода для одной короткой последовательности ограничена и заметнее при длинной генерации и высокой параллельности. Модель ориентирована на чистую речь, записанную потребительскими микрофонами; качество может снижаться для незнакомых письменностей, а для грузинского автор отмечает слабые результаты. Для загрузки требуются Transformers 4.46.x и trust_remote_code=True; модель не поддерживает whisper.cpp, faster-whisper и CTranslate2. Лицензия — Apache-2.0.

Whisper-Medium-MLA — мультиязычная модель распознавания речи, созданная на основе OpenAI Whisper Medium. Разработчик преобразовал декодерное self-attention из MHA в MLA и дообучил модель для восстановления качества на 11 языках корпуса Whispered. В модели 455,8 млн параметров; она принимает аудио и выдаёт текст. По данным карточки, преобразование сокращает KV-кэш декодера на 62,5%, особенно полезно при длинной генерации и одновременной обработке нескольких потоков. Модель предназначена для транскрибации речи, в том числе записей с потребительских микрофонов и речи с фоновым шумом. В README приведены оценки на CommonVoice-17 и FLEURS для английского, немецкого, испанского, французского, русского, турецкого, валлийского, арабского, грузинского, тайского и китайского языков. Качество зависит от языка: для грузинского автор отмечает очень высокий WER и ограничение ёмкости модели. Для загрузки требуются transformers версии 4.46.x и trust_remote_code=True из-за пользовательских модулей MLA; модель не поддерживается whisper.cpp, faster-whisper и CTranslate2. Сжатие касается KV-кэша декодерного self-attention, а не памяти энкодера и cross-attention, поэтому выигрыш в общей памяти при одном потоке может быть небольшим. Лицензия — Apache-2.0.

Whisper-small-mlx — модель автоматического распознавания речи в формате MLX, размещённая сообществом mlx-community. Она конвертирована из версии Whisper «small» и предназначена для запуска с библиотекой MLX и примерами MLX от ML Exploration, включая транскрибацию аудиофайлов. Модель работает с аудио и решает задачи преобразования речи в текст. В README не указаны точные архитектурные характеристики, число параметров, размер контекста, поддерживаемые языки и дополнительные модальности. Сильная сторона модели — адаптация формата Whisper для экосистемы MLX; ограничением является отсутствие в предоставленных данных подробностей о производительности, качестве распознавания и совместимости с конкретными типами аудио. Лицензия в README не указана.

Это 4-битная MLX-квантизация модели Cohere Transcribe 03-2026, опубликованная Spoke для локального распознавания речи на устройствах Apple Silicon. Модель выполняет транскрибацию аудио в текст; для загрузки используется библиотека mlx-speech, а не mlx-audio. В README указаны квантизация affine с размером группы 64 и результаты внутреннего теста Spoke на 250 образцах LibriSpeech test-clean: WER 1,28%, скорость 0,05× реального времени и пиковое потребление памяти 1,89 ГБ. Эти показатели относятся к описанному тесту и не гарантируют такие же результаты на других данных и устройствах. Базовая модель Cohere Transcribe — специализированная ASR-модель на 2 млрд параметров для 14 языков; языки в предоставленных метаданных не перечислены. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели HeartMuLa/HeartTranscriptor-oss на Hugging Face совпадает с карточкой HeartMuLa/HeartMuLa-oss-3B, поэтому описание составлено по ней. HeartMuLa-oss-3B — плотная аудиомодель семейства HeartMuLa, разработанная командой HeartMuLa. По метаданным она предназначена для преобразования текста в аудио; карточка указывает поддержку китайского, английского, японского, корейского и испанского языков. Модель распространяется в формате Safetensors. Модель можно применять для создания аудио по текстовому запросу. README отсылает к репозиторию проекта за инструкциями по запуску и локальному развертыванию. Лицензия Apache 2.0.

MiMo-V2.5-ASR-FP8 — FP8-квантизированная версия модели Xiaomi MiMo для сквозного распознавания речи. Она основана на XiaomiMiMo/MiMo-V2.5-ASR и использует плотную архитектуру семейства Qwen2 с 7 млрд параметров и контекстом 8192 токена. Модель предназначена для транскрибирования речи на китайском и английском языках, включая переключение между ними, китайские диалекты, шумную и многоголосую речь, а также тексты песен; поддерживает расстановку пунктуации. Веса линейных слоёв представлены в формате FP8 e4m3fn с масштабированием по выходным каналам; эмбеддинги и нормализации оставлены в BF16. По README, объём весов сокращён примерно с 32 до 16–17 ГБ. Для обработки аудио требуется отдельно загрузить MiMo-Audio-Tokenizer, а для загрузки чекпойнта — использовать совместимую реализацию FP8Linear; это не стандартный чекпойнт для обычной загрузки через from_pretrained. Для инференса нужны CUDA GPU с FP8 tensor cores и CUDA 12.0 или новее. Квантизация может немного ухудшить WER относительно BF16. Лицензия — MIT.

mms-300m-1130-forced-aligner-ONNX — ONNX-версия модели MahmoudAshraf/mms-300m-1130-forced-aligner, автоматически конвертированная и опубликованная сообществом onnx-community на Hugging Face. Модель основана на MMS-300M и преобразована для использования с Transformers.js; исходный чекпойнт подготовлен из torchaudio-модели и обучен на наборе данных для forced alignment. Модель предназначена для принудительного выравнивания известного текста и аудиозаписи: она помогает определить временные интервалы произносимых токенов, слов или фрагментов текста и получать временные метки слов. Это подходит для транскрибации с таймкодами, синхронизации текста с речью и анализа речевых записей. Для работы используются аудиофайл, текст и ISO-639-3-код языка; README также указывает поддержку более чем ста языков, включая русский, английский, немецкий, французский, китайский, японский и другие. Ключевая характеристика модели — архитектура на базе wav2vec2/MMS-300M с CTC-подходом и форматом ONNX. Версия ориентирована на запуск через Transformers.js, а исходный Python-процесс включает загрузку аудио, генерацию эмиссий, предварительную обработку текста, выравнивание и расчёт временных интервалов. README не содержит точных сведений о размере ONNX-файлов, длине контекста, метриках качества или ограничениях по длительности аудио. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с обязательной атрибуцией, но ограничивающей коммерческое применение.

MOSS-TTS-v1.5 8B Voice Acting — полное дообучение модели OpenMOSS-Team/MOSS-TTS-v1.5 от LAION для выразительного синтеза речи. Модель построена на архитектуре moss_tts_delay с основой Qwen3-8B и содержит 8 млрд параметров; она генерирует монофоническое аудио с частотой 24 кГц. Модель преобразует текст в речь, управляя эмоциями, характером и манерой исполнения через текстовую инструкцию. Она также поддерживает клонирование тембра и стиля речи по короткому аудиофрагменту; без образца может создавать голос по описанию. Заявлена поддержка многих языков, в том числе английского, немецкого, китайского, русского, французского, японского и хинди. Для работы используется библиотека Transformers и интерфейс генерации MOSS-TTS-v1.5. Сильная сторона модели — эмоциональная и персонажная подача при сохранении многоязычных возможностей базовой модели. Внятность речи, сходство клонированного голоса и качество на отдельных языках могут уступать узкоспециализированным системам; расплывчатые или противоречивые инструкции дают непредсказуемую подачу. Лицензия — Apache-2.0.

Nemotron-3.5-ASR-Streaming-CoreAI — конверсия модели NVIDIA Nemotron 3.5 ASR Streaming 0.6B, выполненная для Apple Core AI сообществом Core AI Model Zoo. Это модель автоматического распознавания речи для потоковой и офлайн-транскрипции на устройствах Apple; она рассчитана на обработку микрофонного сигнала в реальном времени и аудиозаписей произвольной длительности. Модель использует архитектуру cache-aware FastConformer с 24 слоями, разделёнными на два графа, и декодирование RNN-T с LSTM-предиктором и joint-модулем. Размер базовой модели — около 600 млн параметров. Поддерживаются 40 локалей в одном checkpoint, включая en-US, ja-JP и zh-CN, а также режим автоматического определения языка. Пунктуация и капитализация встроены. Вход — монофонический звук с частотой 16 кГц; потоковая обработка выполняется чанками по 320 мс при lookahead 3, с заявленной задержкой около 320 мс плюс время вычисления. Сильные стороны модели — постоянная задержка при потоковой обработке, отсутствие ограничения на длительность аудио, выполнение на устройстве без обязательной передачи данных в облако, поддержка нескольких языков и проверенная токенная эквивалентность с потоковой эталонной реализацией. В README указана производительность около 26 мс на чанк на M4 Max и 53 мс на iPhone 17 Pro. Ограничения включают крупный объём графов и длительную первую загрузку, а также зависимость от платформы Apple Core AI и соответствующего runtime. Распространение выполняется по лицензии OpenMDW-1.1; в README указано, что коммерческое использование разрешено. Конверсия перераспределяет исходные веса NVIDIA в другом формате сериализации.

Nemotron 3 Diarization (MLX) — версия модели NVIDIA Nemotron-3-Diarization, преобразованная сообществом mlx-community для запуска через mlx-audio на устройствах Apple с MLX. Модель анализирует монофоническое аудио с частотой 16 кГц и с шагом 10 мс определяет активность до восьми говорящих; поддерживаются пакетная обработка и потоковая обработка с сохранением меток говорящих между фрагментами. Модель подходит для разметки реплик и временных границ в записях встреч и для обработки аудиопотока в реальном времени. Она может отмечать одновременную активность нескольких говорящих, но выдаёт только условные идентификаторы в порядке появления и не устанавливает личности людей. В карточке указана лицензия OpenMDW-1.1; сведения об обучающих данных и оценке предлагается смотреть в карточке базовой модели.

Parakeet RNNT 0.6B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Эта версия представляет собой конвертацию базовой модели nvidia/parakeet-rnnt-0.6b в формат GGUF для использования с transcribe.cpp, подготовленную handy-computer. Модель предназначена для офлайн-транскрибации английской речи в текст. Она использует архитектуру FastConformer-Large примерно на 600 млн параметров с декодером RNN-T и жадным декодированием без внешней языковой модели. Поддерживается английский язык; результат выводится в нижнем регистре без пунктуации. Доступны варианты F32, F16 и квантованные версии Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 476 МБ до 2,47 ГБ. Сильная сторона модели — высокая точность на английской речи: показатель WER на LibriSpeech test-clean составляет 1,62% для большинства вариантов и 1,66% для Q4_K_M. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка, поэтому рассчитана на пакетную обработку заранее записанных аудиофайлов. Лицензия — CC-BY-4.0, унаследованная от базовой модели.

Parakeet TDT 0.6B V2 — модель автоматического распознавания речи, разработанная NVIDIA и преобразованная в формат GGUF для использования с transcribe.cpp. Она предназначена для офлайн-транскрибации английской речи с автоматическими пунктуацией и капитализацией, а также прогнозированием временных меток на уровне токенов. Модель подходит для расшифровки записей, голосовых заметок, интервью и других аудиоматериалов. Архитектура включает 600-миллионный FastConformer-подобный Conformer-энкодер и декодер TDT/RNNT transducer. На вход подаётся монофонический WAV-файл с частотой 16 кГц, на выходе формируется текстовая расшифровка. Доступны варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 475 МБ до 2,47 ГБ. На наборе LibriSpeech test-clean показатель WER составляет 1,68% для F32 и 1,72% для Q4_K_M. Сильные стороны модели — высокая точность английской транскрибации, поддержка пунктуации, капитализации и временных меток, а также возможность локального запуска с различными уровнями квантования. Ограничения — отсутствие потокового режима, поддержки других языков, автоматического определения языка и перевода; для работы требуется предварительно подготовленный звук в формате 16 кГц, моно WAV. Использование регулируется лицензией CC-BY-4.0, унаследованной от базовой модели.

Карточка модели ubitec/pyannote-segmentation-3.0 на Hugging Face совпадает с карточкой pyannote/segmentation-3.0, поэтому описание составлено по ней. pyannote/segmentation-3.0 — модель сегментации речи и активности говорящих от Séverin Baroudi, обученная с помощью pyannote.audio 3.0. Она принимает монофонический звук длительностью 10 секунд с частотой 16 кГц и выдаёт матрицу по временным кадрам с семью классами: тишина или неречевая активность, три отдельных говорящих и три возможные пары говорящих при перекрытии речи. Модель подходит для определения голосовой активности, сегментации говорящих и обнаружения одновременной речи в аудиофрагментах; сама по себе она не выполняет диаризацию целых записей, для которой нужен дополнительный пайплайн и модель эмбеддингов говорящих. Обучение проводилось на объединении наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Для использования требуется pyannote.audio 3.0, принятие условий модели на Hugging Face и токен доступа. Модель распространяется по лицензии MIT; README рекомендует рассмотреть сервис pyannoteAI для более быстрого и качественного промышленного применения.

Модель collinbarnwell/pyannote-segmentation-30 — открытая модель сегментации речи по говорящим, обученная Севреном Баруди с использованием pyannote.audio 3.0. Она принимает 10-секундные фрагменты монофонического аудио с частотой 16 кГц и выдаёт покадровую матрицу из семи классов: неречевой участок, речь каждого из трёх говорящих и перекрывающаяся речь пар говорящих. Модель подходит для определения активности речи, сегментации говорящих и обнаружения одновременной речи в коротких фрагментах. Для диаризации полной записи её нужно использовать в составе дополнительного конвейера: сама модель обрабатывает только 10-секундные фрагменты. Обучение проводилось на наборах AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Лицензия репозитория — MIT; для загрузки базовой модели pyannote/segmentation-3.0 требуется принять условия её использования и получить токен Hugging Face.

Hyeon2 создал дообученную на датасете MusicCaps модель на основе Riffusion для генерации музыки по текстовому описанию. Модель предназначена для создания музыкальных фрагментов по промптам, описывающим жанр, инструменты, темп, настроение и возможное применение музыки. Автор отмечает, что описания, похожие на подписи из обучающего датасета, дают более надёжные результаты. Репозиторий содержит веса в форматах Diffusers и PyTorch; в метаданных указан английский язык и лицензия CC BY 4.0. Модель рассчитана на преобразование текста в изображение согласно pipeline_tag, но README заявляет генерацию музыки, поэтому задача по метаданным и фактическому назначению расходится. Размер модели и длина контекста не указаны.

pyannote/speaker-diarization — открытая предварительно обученная модель-пайплайн команды pyannote, предназначенная для диаризации речи в аудиозаписях. Она определяет, кто и когда говорит, автоматически выполняя сегментацию речи, обнаружение смены говорящих и обработку перекрывающейся речи. Пайплайн рассчитан на применение в автоматическом распознавании речи и других сценариях анализа разговорного аудио. Модель работает с аудио и построена на базе pyannote.audio 2.1.1. Она не требует ручного задания голосовой активности, количества говорящих, дообучения внутренних моделей или настройки гиперпараметров под каждый датасет, однако позволяет указать точное или приблизительное число говорящих. Результат можно экспортировать в формате RTTM. Языки, размер модели, точная архитектура и максимальная длина контекста в README не указаны. Сильными сторонами являются полностью автоматическая обработка, поддержка перекрывающейся речи и возможность задавать ограничения на число говорящих. Производительность зависит от оборудования: заявленное измерение составляет около 1,5 минуты на обработку одного часа разговора при использовании Nvidia Tesla V100 и Intel Cascade Lake 6248. Точность заметно различается между наборами данных, поэтому модель следует проверять на целевом типе аудио. Для использования требуется принять условия доступа к модели и связанному компоненту pyannote/segmentation, а также создать токен Hugging Face. Лицензия — MIT.

Это дообученная модель SpeechT5 от Microsoft для синтеза речи из текста. В репозитории указана оценка Loss 0,4559 на тестовой выборке; дополнительных сведений о наборе данных и характеристиках синтеза карточка не содержит. Модель предназначена для преобразования текста в аудио. Базовая модель — microsoft/speecht5_tts, библиотека — Transformers, веса сохранены в формате Safetensors. Лицензия — MIT.