I.9Аудио и музыка

GPA (General Purpose Audio) — компактная модель, объединяющая распознавание речи, синтез речи и преобразование голоса в одном авторегрессионном трансформере с общей языковой основой. Репозиторий Audio8 включает обучающие и дообучающие конвейеры, примеры инференса и средства развертывания; карточка также описывает отдельный дистиллированный вариант GPA-TTS для синтеза речи на устройствах с ограниченными ресурсами. Основной GPA построен на плотной архитектуре Qwen3ForCausalLM, содержит 246,5 млн параметров и поддерживает контекст до 32 768 токенов. В модели объединены обработка аудио и текста для ASR, TTS и преобразования голоса; заявлены английский и китайский языки. Проект подчёркивает потоковый и параллельный инференс, а GPA-TTS — клонирование голоса по короткому образцу и локальную работу без внешней LLM. Модель предназначена для голосовых приложений, включая облачное развертывание и сценарии на периферийных устройствах. Репозиторий лицензирован по Apache-2.0. Приведённые в README таблицы результатов частично опущены, поэтому по этой карточке нельзя независимо оценить сравнительное качество модели.

Карточка модели Edge0/GPA на Hugging Face совпадает с карточкой Audio8/GPA, поэтому описание составлено по ней. GPA (General Purpose Audio) — компактная модель, объединяющая распознавание речи, синтез речи и преобразование голоса в одном авторегрессионном трансформере с общей языковой основой. Репозиторий Audio8 включает обучающие и дообучающие конвейеры, примеры инференса и средства развертывания; карточка также описывает отдельный дистиллированный вариант GPA-TTS для синтеза речи на устройствах с ограниченными ресурсами. Основной GPA построен на плотной архитектуре Qwen3ForCausalLM, содержит 246,5 млн параметров и поддерживает контекст до 32 768 токенов. В модели объединены обработка аудио и текста для ASR, TTS и преобразования голоса; заявлены английский и китайский языки. Проект подчёркивает потоковый и параллельный инференс, а GPA-TTS — клонирование голоса по короткому образцу и локальную работу без внешней LLM. Модель предназначена для голосовых приложений, включая облачное развертывание и сценарии на периферийных устройствах. Репозиторий лицензирован по Apache-2.0. Приведённые в README таблицы результатов частично опущены, поэтому по этой карточке нельзя независимо оценить сравнительное качество модели.

Карточка модели XiaomiMiMo/MiMo-Audio-7B-Base на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

MusicGen Stereo Large — модель генерации музыки FAIR команды Meta AI. Это дообученная стереофоническая версия MusicGen Large с 3,3 млрд параметров: авторегрессионный Transformer предсказывает аудиотокены EnCodec, формируя два канала стереозвука. Модель принимает текстовые описания или аудиоподсказки и генерирует музыкальные фрагменты; звук кодируется при 32 кГц. Модель подходит для создания музыкальных набросков по описанию жанра, настроения и инструментов, а также для генерации музыки с аудиоподсказкой. Вокал реалистично генерировать не умеет; качество зависит от жанра и формулировки запроса, а некоторые фрагменты могут затихать раньше времени. Основной язык обучающих описаний — английский, поэтому на других языках результаты могут быть хуже. Разработчики предупреждают о возможных культурных перекосах в обучающих данных и рекомендуют оценивать риски перед применением в готовых продуктах. Веса распространяются по лицензии CC-BY-NC 4.0, которая ограничивает коммерческое использование.

Mustango — модель генерации музыки по текстовому описанию, разработанная авторами проекта Mustango. Она предназначена для создания музыкальных фрагментов с управляемыми характеристиками, включая соответствие описанию, аккорды и темп. Архитектура сочетает латентную диффузионную модель (LDM), Flan-T5 и музыкальные признаки; модель обучалась на MusicBench, содержащем 52 тысячи фрагментов с музыкальными текстовыми описаниями. В README приведена экспертная субъективная оценка генераций Mustango на MusicBench по соответствию тексту, аккордам, темпу, качеству аудио и музыкальности. Модель принимает текст и выдаёт аудио. Репозиторий распространяется по лицензии Apache-2.0. В карточке не приведены размер модели и длина контекста.

Карточка модели ldov/Nemotron-3-Diarization на Hugging Face совпадает с карточкой nvidia/Nemotron-3-Diarization, поэтому описание составлено по ней. Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.

Карточка модели SYNAPSEai1/SynapseMusicV12-Captioner на Hugging Face совпадает с карточкой ACE-Step/acestep-captioner, поэтому описание составлено по ней. ACE-Step Captioner — модель для подробного описания музыкального аудио, используемая ACE-Step v1.5 для аннотирования обучающих данных. Она построена на архитектуре Qwen2.5 Omni и принимает аудио, формируя текстовые описания музыки. Модель анализирует жанры и стилистические влияния, распознаёт инструменты, описывает структуру произведения и её развитие, тембр, текстуру, пространственные характеристики и динамику. Её можно применять для разметки музыки при подготовке данных для генеративных моделей, создания поисковых метаданных аудиокаталогов, музыкального анализа и документирования звукового дизайна. В карточке заявлено качество выше Gemini Pro 2.5 в задачах описания музыки; независимая проверка этого сравнения не представлена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Размер модели и ограничение контекста в предоставленных данных не приведены.

TangoFlux — модель генерации аудио по текстовому описанию, разработанная Declare Lab при поддержке Stability AI. Она принимает текстовый запрос и указание длительности, затем создаёт аудио с частотой дискретизации 44,1 кГц продолжительностью до 30 секунд. Модель использует блоки FluxTransformer на основе Diffusion Transformer (DiT) и Multimodal Diffusion Transformer (MMDiT). Она обучена генерировать аудио через rectified flow по латентным представлениям, полученным вариационным автоэнкодером, и прошла этапы предварительного обучения, дообучения и оптимизации предпочтений CRPO. Среди указанных обучающих наборов — WavCaps и CRPO. TangoFlux предназначена для быстрого создания аудио по текстовым запросам; заявленный акцент — соответствие сгенерированного звука описанию. README не сообщает лицензию модели, поэтому условия её использования по доступным данным определить нельзя.

aufklarer/VibeVoice-1.5B-MLX-INT4 — пакет модели синтеза речи VibeVoice-1.5B в формате MLX для устройств Apple Silicon. Это INT4-квантизированная производная модели Microsoft VibeVoice-1.5B, рассчитанная на генерацию длинной речи: озвучивание аудиокниг, подкастов и диалогов с несколькими участниками. Модель поддерживает до четырёх голосов с сохранением их идентичности и может генерировать аудио длительностью до 90 минут за один проход. Пакет содержит backbone Qwen2, акустический токенизатор и диффузионную голову; общий размер — 2,18 ГБ. Для использования предусмотрена интеграция со Swift-модулем VibeVoiceTTS. Указанная производительность на Apple M2 Max — 1,35× реального времени для тестового фрагмента. Поддерживаемые языки — английский и китайский; другие языки могут давать неразборчивую речь. Лицензия — MIT.

mlx-community/whisper-medium-mlx — модель автоматического распознавания речи, конвертированная в формат MLX из версии Whisper medium. Репозиторий предназначен для использования с библиотекой MLX и примерами MLX от ml-explore. Модель подходит для преобразования аудиозаписей в текст через функцию whisper.transcribe, поэтому может применяться в сценариях транскрибации локальных аудиофайлов. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках, модальностях, размере контекста, производительности или ограничениях. Лицензия также не указана, поэтому условия использования по представленным данным определить нельзя.

Это мультиязычная модель распознавания речи Whisper Small, разработанная OpenAI и упакованная loom-ai-org в формат GGUF для запуска через loom.cpp. Веса не изменены относительно openai/whisper-small; репозиторий содержит экспорт модели, а не новое дообучение. Модель принимает аудио и преобразует речь в текст. Она поддерживает распознавание на множестве языков, включая русский, английский, китайский, немецкий, испанский, французский и японский; список языков включает также другие языки. Для запуска предлагается библиотека loom-py-rt, которая обрабатывает необходимые для модели разбиение аудио и сборку результата. Файлы предоставлены в формате GGUF и рассчитаны на выполнение в loom.cpp. Репозиторий распространяется по лицензии Apache-2.0. Характеристики точности и ограничения применения в карточке не приведены.

Это русскоязычная модель распознавания речи Whisper small, созданная на основе дообученной модели artyomboyko/whisper-small-ru-v2 и преобразованная в формат GGUF с точностью FP16. Репозиторий подготовлен для запуска через whisper.cpp; модель принимает монофоническое аудио с частотой дискретизации 16 кГц и выдаёт текстовую расшифровку на русском языке. В архитектуре Whisper small — 12 слоёв энкодера и 12 слоёв декодера, размер скрытого представления 768. По данным карточки, файл занимает 483 МБ, а на Xiaomi 11T с whisper.cpp модель выполняет транскрибацию в реальном времени и примерно вдвое быстрее версии F32 на ядрах Cortex-A78. Лицензия — Apache-2.0.

Карточка модели amandabenson/acestep-captioner-fork на Hugging Face совпадает с карточкой ACE-Step/acestep-captioner, поэтому описание составлено по ней. ACE-Step Captioner — модель для подробного описания музыкального аудио, используемая ACE-Step v1.5 для аннотирования обучающих данных. Она построена на архитектуре Qwen2.5 Omni и принимает аудио, формируя текстовые описания музыки. Модель анализирует жанры и стилистические влияния, распознаёт инструменты, описывает структуру произведения и её развитие, тембр, текстуру, пространственные характеристики и динамику. Её можно применять для разметки музыки при подготовке данных для генеративных моделей, создания поисковых метаданных аудиокаталогов, музыкального анализа и документирования звукового дизайна. В карточке заявлено качество выше Gemini Pro 2.5 в задачах описания музыки; независимая проверка этого сравнения не представлена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Размер модели и ограничение контекста в предоставленных данных не приведены.

ACE-Step/acestep-v15-xl-sft — вариант XL модели ACE-Step 1.5, разработанный проектом ACE-Step. Это плотная модель генерации аудио на основе DiT с примерно 4 млрд параметров по README; метаданные каталога указывают 3,1 млрд параметров. Модель обучена методом supervised fine-tuning и предназначена для создания музыки по текстовому описанию. Поддерживает CFG для управления соответствием генерации запросу; вариант SFT ориентирован на высокое качество и стандартный режим работы. Модель использует 32 слоя DiT Decoder, скрытый размер 2560 и 32 головы внимания. README рекомендует от 12 ГБ видеопамяти с выгрузкой на CPU и INT8-квантизацией, от 16 ГБ с выгрузкой на CPU или от 20 ГБ без выгрузки. В карточке указана лицензия MIT; README заявляет о коммерческой применимости сгенерированной музыки и обучении на лицензированной, свободной и синтетической музыке. Эти заявления описывают проект, а не гарантируют права на каждый конкретный результат.

Это модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, дообученная автором gary109 на наборе ONSET-SINGING3 из GARY109/AI_LIGHT_DANCE. Веса содержат около 402,7 млн параметров и распространяются в формате PyTorch. По названию набора данных модель предназначена для распознавания вокала и пения. В карточке приведены результаты оценки: loss 0,5459 и WER 0,2463. Модель принимает аудио и выдаёт распознанный текст. Лицензия — Apache-2.0. Описание не раскрывает поддерживаемые языки, условия записи и подробности оценки, поэтому результаты нельзя уверенно переносить на другие жанры, языки или акустические условия.

Aurora-1.6B — дообученная на многоязычных и певческих наборах данных модель синтеза речи на основе Dia-1.6B. Она предназначена для генерации речи и вокала по тексту с управлением выразительностью через теги говорящего и эмоций; карточка также заявляет клонирование голоса по короткому аудиопримеру и генерацию невербальных вокализаций, таких как смех, кашель и вздохи. Заявлены итальянский, английский, польский, немецкий, французский и другие языки; размер модели — 1,6 млрд параметров по названию семейства. Репозиторий содержит веса в формате safetensors. Модель подходит для озвучивания текста, диалогов с эмоциональной подачей, создания певческого вокала и голосовых персонажей. Базовая Dia-1.6B ориентирована на англоязычный синтез диалоговой речи с управлением голосом и эмоциями по аудиоусловию. Качество клонирования, перечень дополнительных языков и ограничения применения в карточке подробно не описаны. Лицензия — Apache-2.0.

Bark — трансформерная модель генерации аудио по тексту, разработанная Suno. Эта большая версия использует каскад из трёх трансформерных моделей: первая преобразует текст в семантические токены, вторая формирует грубые аудиотокены, а третья детализирует их с помощью кодеков EnCodec. В карточке описаны варианты компонентов на 80 млн и 300 млн параметров; размер именно этой версии в метаданных не приведён. Модель предназначена для синтеза многоязычной речи, а также может создавать музыку, фоновый шум, простые звуковые эффекты и невербальные вокализации — например, смех, вздохи и плач. Поддерживаются английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Авторы предоставляют контрольные точки для инференса и указывают исследовательское назначение; лицензия MIT. Выход не фильтруется, а клонирование голоса известных людей затруднено, но возможно злоупотребление моделью для имитации голоса.

cstr/cohere-transcribe-03-2026-GGUF — набор весов в формате GGUF для модели автоматического распознавания речи CohereLabs/cohere-transcribe-03-2026, разработанной Cohere. Конвертация предназначена для высокопроизводительного запуска на CPU через C++-среду CrispASR. Модель содержит около 2 млрд параметров и, согласно README, занимала первое место в Open ASR Leaderboard со средним WER 5,42 на март 2026 года. Архитектура включает 48-слойный Conformer-энкодер и 8-слойный каузальный Transformer-декодер; максимальный контекст декодера составляет 1024 токена, словарь — 16 384 SentencePiece-токена. На вход подаётся монофоническое аудио 16 кГц с 128 mel-признаками. Заявлена поддержка 14 языков: английского, французского, немецкого, испанского, итальянского, португальского, нидерландского, польского, греческого, арабского, японского, китайского, вьетнамского и корейского. Модель предназначена для транскрибации аудиозаписей и потоков речи; доступны варианты от F16 до Q4_K, позволяющие выбирать между качеством, размером и скоростью. Сильные стороны — мультиязычность, высокая заявленная точность и возможность эффективного CPU-инференса. Ограничения включают зависимость от CrispASR, необходимость корректной языковой настройки и отсутствие заявленной поддержки русского языка, несмотря на наличие соответствующего токена в токенизаторе: README предупреждает, что модель может выдавать ошибочную русскоязычную транскрипцию без явного сигнала об ошибке. Лицензия — Apache 2.0, унаследованная от исходной модели.

CrisperWhisper 2.0 medium — модель распознавания речи от Nyra Labs на архитектуре Whisper, содержащая 455,8 млн параметров. Она преобразует аудио в текст и позволяет выбирать режим транскрипции: verbatim сохраняет произнесённые заполнители пауз, повторы, обрывы слов и вокальные события, а intended выдаёт отредактированный текст с привычным форматированием чисел и дат. Модель также поддерживает временные метки для отдельных слов и транскрипцию длинных записей с продолжением между аудиофрагментами. Модель предназначена для подготовки точных расшифровок разговорной и дикторской речи, анализа речевых особенностей и создания текстовых данных для обучения. В README заявлена многоязычная работа для большинства языков, поддерживаемых Whisper; метаданные карточки отдельно отмечают английский и немецкий. Для запуска предусмотрена библиотека crisperwhisper, включая варианты исполнения на PyTorch и CTranslate2. В README для стандартных моделей указана лицензия на некоммерческие исследования с возможностью получить коммерческую лицензию. Заявленные показатели точности и таймингов приведены разработчиком на его бенчмарках и тестовых наборах; результаты могут отличаться на других аудиозаписях и языках.

Aspik101 разработал польскую версию Distil-Whisper large-v3 — сжатую дистиллированную модель распознавания речи на основе Whisper large-v3. Она принимает аудио и преобразует речь в текст на польском языке; предназначена для транскрибации коротких записей и длинных аудиофайлов с обработкой по чанкам. Модель содержит около 905,2 млн параметров и распространяется в формате PyTorch; для работы поддерживается библиотекой Transformers версии 4.35 и новее. По данным карточки, Distil-Whisper в три раза быстрее и на 49% меньше исходной модели. Для обработки длинных записей README рекомендует чанки по 15 секунд; указанный в карточке прирост скорости для чанковой обработки — до девяти раз относительно последовательного алгоритма из статьи Whisper. Модель выпущена под лицензией MIT.

guillaumekln опубликовал конверсию модели распознавания речи Whisper tiny.en от OpenAI в формат CTranslate2. Модель предназначена для транскрибирования английской речи и может использоваться через CTranslate2 и библиотеки на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать параметром compute_type в CTranslate2. Репозиторий содержит конвертированную модель, а не новое дообучение. Лицензия — MIT.

laion/larger_clap_music_and_speech — модель CLAP от LAION, улучшенный чекпойнт, специально обученный на парах музыки, речи и текстовых описаний. Она сопоставляет аудио и текст в общем векторном пространстве: аудиокодировщик на основе Swin Transformer обрабатывает логарифмическую Mel-спектрограмму, а текстовый кодировщик RoBERTa формирует текстовые признаки. Размер модели — 132,1 млн параметров. Модель предназначена для извлечения аудио- и текстовых эмбеддингов и классификации аудио без дообучения: по аудиофрагменту можно ранжировать предложенные текстовые метки или описания по сходству. Подходит для поиска музыки и речи по тексту, классификации звуков и сопоставления аудио с описаниями. Лицензия — Apache-2.0. Качество сопоставления зависит от формулировок текстовых кандидатов и обучающих данных; модель оценивает сходство, а не генерирует текст или аудио. README не приводит ограничений по длине аудио или поддерживаемым языкам.

Карточка модели ahmadsm1/MiMo-Audio-7B-Instruct на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

Карточка модели natalie5/Ming-UniAudio-16B-A3B на Hugging Face совпадает с карточкой inclusionAI/Ming-UniAudio-16B-A3B, поэтому описание составлено по ней. Ming-UniAudio-16B-A3B — аудиомодель от inclusionAI для совместного понимания, генерации и редактирования речи. Она использует архитектуру BailingMM и единый непрерывный аудиотокенизатор MingTok-Audio на основе VAE и каузального Transformer, объединяющий семантические и акустические признаки. Модель принимает и выдаёт аудио; единая языковая модель поддерживает задачи понимания и генерации речи, а Diffusion Head предназначен для синтеза с высоким качеством звучания. Модель подходит для распознавания и анализа речи, синтеза аудио и редактирования речи по инструкциям на естественном языке, включая семантические и акустические изменения без ручного указания временных отрезков. В карточке заявлены конкурентные результаты на тестах понимания и генерации речи. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. Описание не приводит размер контекста и перечень поддерживаемых языков.

Это конвертированная в формат MLX модель MOSS-Transcribe-Diarize, опубликованная vanch007 для запуска на компьютерах Apple Silicon. Она принимает аудио и предназначена для распознавания речи с диаризацией говорящих; базовая модель также поддерживает обработку длинных записей, временные метки и аннотации акустических событий. В репозитории указаны веса safetensors, а исходную модель скачивать и конвертировать отдельно не требуется. Модель подходит для расшифровки записей с несколькими участниками и подготовки транскриптов с разделением по говорящим. Лицензия — Apache-2.0. README не приводит подробностей о поддерживаемых языках или точном формате результата.

MOSS voice-acting v2 SFT round 3 — модель LAION для управляемого синтеза речи. Это дообучение базовой модели laion/moss-tts-local-transformer-4.55b-voice-acting-v2 с явным управлением длительностью предложений и пауз, вокальными реакциями заданной длины и указаниями по исполнению реплик. Архитектура включает семантический трансформер примерно на 4 млрд параметров, локальный talker-трансформер примерно на 550 млн параметров и 12 аудиоязыковых голов для токенизатора с 12 кодбуками; всего обучаемых параметров — 4,13 млрд. Модель предназначена для создания выразительных английских и немецких голосовых клипов по сценарию: можно задавать тембр и манеру речи, эмоции, длительности фрагментов, паузы и вокализации вроде вздохов или смеха. В оценке 320 клипов доля клипов в пределах 0,5 секунды от заданной длительности составила 100%, а медианная ошибка длительности — 0,08 секунды. При этом управление силой эмоциональной окраски ограничено: модель не достигает запрошенной высокой интенсивности эмоций. Лицензия — CC BY 4.0.

laion/music-whisper — модель распознавания аудио на базе Whisper Small от OpenAI, дообученная LAION для создания текстовых описаний музыкальных фрагментов. Она анализирует звучание и формирует подписи с характеристиками инструментов, ритма и темпа, вокала, жанра, настроения и качества записи; такие описания подходят для каталогизации музыки, поиска треков и подготовки подписей к аудио. Модель основана на архитектуре Whisper и содержит 153,1 млн параметров. Репозиторий использует библиотеку Transformers и формат safetensors. Модель распространяется по лицензии CC BY 4.0.

Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.

Карточка модели SAIFIINDUSTRIES/Nemotron-3-Diarization на Hugging Face совпадает с карточкой nvidia/Nemotron-3-Diarization, поэтому описание составлено по ней. Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.