I.9Аудио и музыка

CuteTTS-jp — японскую модель синтеза речи разработал ayutaz, продолжив обучение CuteTTS компании OPPO и Fudan University на 325,9 часа японских аудиоданных. Модель принимает текст и может использовать референсную запись для переноса тембра голоса; отдельная запись той же фразы позволяет передать интонацию. Основа содержит около 230 млн параметров, поддерживает последовательную генерацию и формирует аудио с частотой 24 кГц. Для синтеза текст автоматически преобразуется в японскую катакану с обозначением позиции акцента; без этого преобразования качество заметно снижается. На тесте из 600 фраз частота ошибок чтения составила 7,12%, а ошибок специальных японских звуков — 2,43%. По описанию автора, интонационная точность уступает человеческой речи, китайский язык работает плохо, английский сохраняется, а числа и даты даются модели сложнее. Обучение на репликах из аниме и игр придаёт речи скорее актёрскую, чем дикторскую манеру. Веса распространяются по лицензии CC BY-SA 4.0.

Diana Hungarian TTS — модель синтеза речи на венгерском языке, созданная автором репозитория на основе датасета KTH/hungarian-single-speaker-tts с записями одной женщины — диктора LibriVox. Модель использует архитектуру VITS и содержит 3,6 млн параметров; её веса преобразованы из формата jaywalnut310/vits в формат Transformers и сохранены в safetensors. Она принимает текст и генерирует аудио с частотой дискретизации 22 050 Гц. Модель предназначена для озвучивания венгерского текста одним женским голосом, в том числе для чтения книг и создания речевых образцов. Обучение проводилось на примерно 10 часах речи одного диктора; автор отмечает, что голос иногда может звучать монотонно. Для использования нужны phonemizer и espeak-ng. Лицензия — CC BY 4.0.

FocalCodec — речевой аудиокодек, разработанный автором репозитория Luca Della Libera. Эта версия представляет собой причинный потоковый чекпойнт с частотой кодирования 50 Гц и одним кодбуком размером 2048; модель предназначена для низкобитрейтного сжатия и восстановления речи на частотах дискретизации 16 или 24 кГц. Архитектура основана на focal modulation, а обучение проводилось на Libri-Light; в качестве базовой модели указана дообученная Microsoft WavLM Large. Модель принимает аудио и предназначена для преобразования аудио в аудио при кодировании и декодировании речи, включая потоковые сценарии. Карточка ссылается на предварительные публикации о FocalCodec и FocalCodec-Stream. Репозиторий распространяется по лицензии Apache-2.0.

Indic-Mio-MLX-fp16 — экспорт модели SPRINGLab/Indic-Mio в формате fp16 для Apple Silicon и MLX, поставляемый вместе с кодеком MioCodec 25 Гц / 24 кГц для декодирования речевых токенов в аудио. Модель основана на плотной архитектуре Qwen3ForCausalLM и содержит 520,7 млн параметров; указанное для неё контекстное окно — 32 768 токенов. Модель предназначена для синтеза речи из текста на индийских языках, генерации с управлением эмоциями и клонирования голоса. В README описан путь генерации токенов Indic-Mio и их декодирования через MioCodec; для запуска требуется совместимый MLX runtime, например speech-swift. Локальная проверка подтвердила разборчивый синтез на примере текста на хинди, но не является полноценным бенчмарком. Это экспорт весов, а не готовый чекпойнт для Transformers. Репозиторий распространяется по лицензии Apache-2.0. Карточка указывает языки хинди, бенгальский, маратхи, телугу, каннада, майтхили, ассамский, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и английский.

Kokoro-82M — Core ML — это компактная нейросетевая модель синтеза речи, разработанная для on-device использования в iOS-приложении Kensora. В репозитории публичные веса Kokoro-82M переупакованы в набор staged Core ML-моделей, поэтому для работы не требуется MLX. Модель предназначена для преобразования текста в речь непосредственно на устройстве. Конвейер включает модели KokoroFrontA, KokoroProsodyB и KokoroDecoder: они отвечают соответственно за фронтенд и длительности, просодию и F0N, а также за вокодер iSTFTNet. Дополнительно BartEncoder и BartDecoder реализуют небольшой BART-модуль misaki для преобразования графем в фонемы и произношения слов, отсутствующих в основном лексиконе. К сильным сторонам относятся локальное выполнение, интеграция с Core ML и staged-архитектура, разделяющая этапы синтеза. README не сообщает поддерживаемые языки, набор голосов, максимальную длину контекста, требования к ресурсам или количественные показатели качества, поэтому эти характеристики нельзя уточнить. Модель распространяется по лицензии Apache-2.0.

Kokoro Hebrew NC — преобразованная в ONNX версия некон коммерческой модели синтеза речи Kokoro для иврита, опубликованная thewh1teagle. Репозиторий содержит ONNX-модель, архив голосов, совместимый с kokoro-onnx и включающий голос he_shaul, а также конфигурацию словаря иврита для токенизации фонем. Модель предназначена для преобразования текста на иврите в речь. Это конверсия исходной модели avris/kokoro-hebrew-saspeech в формат ONNX; условия использования определяются исходной моделью и условиями датасета. Лицензия указана как other.

Это набор голосовых стилей для синтеза речи Kokoro-82M, собранный и преобразованный в формат GGUF проектом CrispStrobe для использования с CrispASR. Репозиторий содержит отдельные компактные пакеты голосов: каждый хранит стиль одного диктора в тензоре F32 и занимает около 510 КБ. Для генерации речи пакет загружается вместе с основной моделью Kokoro; сам по себе он не является полноценной моделью синтеза. Пакеты предназначены для озвучивания текста голосами на английском, испанском, французском и немецком языках. В README описаны официальные голоса Kokoro, восстановленные немецкие голоса и голоса kikiri-tts; для немецкого предусмотрен порядок выбора голосов, а для языков без собственного пакета указан резервный голос. Репозиторий лицензирован по Apache-2.0. Некоторые немецкие пакеты основаны на записях реальных дикторов; README описывает голосовые раскрытия для таких пакетов.

alakxender создал эту модель синтеза речи на основе VITS и Meta MMS-TTS. Она преобразует текст на дивехи, записанный письмом тхана, в аудио с мужским голосом. Модель дообучена на наборе синтетической речи дивехи; размер составляет 3,5 млн параметров, файлы весов представлены в формате safetensors, использовать модель можно через Transformers. Модель предназначена для озвучивания текста на дивехи. В README приведена оценка UTMOS 3,228 по трём примерам, что указывает на заметный потенциал, но не даёт надёжной оценки качества для разных текстов и условий. Лицензия — MIT.

facebook/mms-tts-smo — модель синтеза речи на самоанском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст на самоанском языке и генерирует речевую волну; для работы доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, декодер на основе свёрточных слоёв и стохастический предиктор длительности. Последний позволяет получать разные ритмические варианты произнесения одного текста. Генерация недетерминирована, поэтому для повторения того же результата нужно фиксировать seed. Модель распространяется под лицензией CC BY-NC 4.0, которая не допускает коммерческого использования.

VIZINTZOR/MMS-TTS-THAI-MALEV1 — дообученная модель синтеза речи на архитектуре VITS, созданная на основе аудиозаписей Play.ht. Она предназначена для преобразования тайского текста в речь с мужским голосом. В метаданных указаны 3,6 млн параметров и формат safetensors. Модель подходит для локального синтеза тайской речи и экспериментов с настройкой голосовых моделей. README содержит ссылки на инструкции по дообучению в Google Colab и локальному использованию. Лицензия в доступных сведениях не указана.

NeuTTS-2E CoreML — конвертированная FluidInference версия модели neuphonic/neutts-2e для локального синтеза выразительной речи на устройствах Apple. В основе — языковой блок Qwen3 размером 236 млн параметров и декодер NeuCodec; модели CoreML рассчитаны на macOS и iOS. Текст проходит через токенизатор без фонемизатора, после чего декодер формирует аудио с частотой 24 кГц. Модель синтезирует английскую речь четырьмя фиксированными голосами — Emily, Paul, Sophie и Steven — с нейтральной подачей и шестью эмоциями: гневом, отвращением, страхом, радостью, грустью и удивлением. Поддерживаются пакетная и потоковая генерация; варианты с контекстом до 2048 токенов подходят для более длинных высказываний, а версии на 1024 токена декодируют быстрее, но ограничивают длину. README приводит результаты производительности и сравнения с PyTorch на M5 Pro. Лицензия в метаданных обозначена как other, без уточнения условий.

NeuTTS Nano French — модель синтеза речи от Neuphonic, предназначенная для локального запуска и мгновенного клонирования голоса по короткому аудиофрагменту. Она принимает текст на французском языке и эталонную запись речи, а затем произносит текст в стиле её диктора. Модель использует компактную языковую основу класса Nano для генерации TTS-токенов и аудиокодек NeuCodec. Для основы указано около 116,8 млн активных параметров и около 228,7 млн параметров с учётом связанных эмбеддингов и выходного слоя. Модель оптимизирована для работы в реальном времени или быстрее на процессорах; доступны квантизированные варианты GGUF, а веса репозитория представлены в формате safetensors. Генерируемая речь маркируется водяными знаками. Модель рассчитана на французскую речь и локальные голосовые приложения, включая ассистентов и устройства с ограниченными ресурсами. Для работы требуется espeak-ng; качество фонемизации зависит от его версии. Референсное аудио рекомендуется подавать в WAV, моно, с частотой 16–44 кГц и длительностью 3–15 секунд, без заметного шума. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории.

thangquang09/parler-tts-vietnamese-v1-stage2 — дообученная модель синтеза речи на архитектуре Parler-TTS, созданная на основе parler-tts/parler-tts-mini-v1. Она преобразует вьетнамский текст в речь, а текстовое описание голоса позволяет задавать региональный акцент, гендер, возраст, высоту и громкость голоса, темп и манеру речи. Модель рассчитана на управляемый синтез вьетнамской речи, эксперименты с голосовыми инструкциями, демонстрационные системы и быстрое прототипирование. Для работы подаются текст для озвучивания и инструкция с желаемыми характеристиками голоса; результатом служит аудио. Репозиторий содержит веса в форматах PyTorch и Safetensors. Контроль голоса зависит от формулировки инструкции и может быть неодинаково точным для разных акцентов, возрастов и стилей; качество также может зависеть от длины текста. Модель не предназначена для клонирования голоса. Лицензия — Apache-2.0.

ayousanz/piper-plus-tsukuyomi-chan — многоязычная модель синтеза речи (TTS), разработанная на базе Piper Plus и дообученная сообществом ayousanz на корпусе つくよみちゃん. Модель предназначена для преобразования текста в речь голосом персонажа つくよみちゃん, включая многоязычные и смешанные тексты с переключением языков. В основе используется архитектура VITS с декодером MB-iSTFT и PQMF. Модель поддерживает японский, английский, китайский, испанский, французский и португальский языки, использует 173 многоязычных фонемы, имеет одного говорящего и работает с частотой дискретизации 22050 Гц. Размер экспортированной ONNX-модели в формате FP16 составляет 38 МБ. Поддерживаются признаки просодии, а выход совместим с рантаймом Piper Plus начиная с PR #320. Заявлено ускорение CPU-инференса примерно в 2,21 раза по сравнению со старой версией на HiFi-GAN. Сильные стороны модели — поддержка шести языков, единый тембр голоса, возможность кодового переключения и относительно быстрый инференс на CPU. Ограничения включают одного доступного говорящего, качество уровня medium, небольшой объём целевых данных обучения — 100 высказываний продолжительностью около 11 минут — и необходимость использовать совместимый рантайм Piper Plus. Лицензия указана как tsukuyomi-chan-corpus и распространяется на условиях лицензии корпуса つくよみちゃん.

Soprano-1.1-80M — компактная модель синтеза речи, разработанная авторами проекта Soprano. Она построена на архитектуре Qwen3ForCausalLM и содержит 75,5 млн параметров; модель рассчитана на локальное выполнение на устройстве и принимает текст, а на выходе генерирует речь. В карточке заявлены высокая скорость, потоковая генерация и возможность пакетной обработки. Контекст модели — 1024 токена. Модель подходит для озвучивания английского текста в приложениях и локальных сценариях, где важны быстрая генерация и выразительная речь. По сообщению авторов, версия 1.1 реже галлюцинирует, чем Soprano-80M, однако независимых результатов оценки в карточке нет. Модель поддерживает только английский язык, не умеет клонировать голоса, а редкие слова может произносить неверно из-за ограниченного объёма обучающих аудиоданных. Лицензия — Apache-2.0.

ArTST — модель синтеза речи на основе SpeechT5, разработанная с использованием предварительно обученных весов ArTST и дообученная авторами карточки на классическом арабском корпусе ClArTTS. Она преобразует текст на классическом арабском языке в речь и предназначена для локального запуска через библиотеку Transformers. Модель использует архитектуру SpeechT5 и распространяется в формате PyTorch. Для работы требуется библиотека Transformers. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает использование некоммерческими целями.

Модель speecht5_tts-pld-hil — версия SpeechT5, дообученная автором репозитория sapinsapin на наборе данных sapinsapin/pld. Она предназначена для синтеза речи на основе текста на языке Hiligaynon (код hil). Обучение включало 1000 шагов на 1832 аудиофрагментах; для синтеза в примерах использовались голосовые эмбеддинги x-vector из SpeechBrain и вокодер microsoft/speecht5_hifigan. Модель построена на архитектуре SpeechT5ForTextToSpeech и распространяется в формате safetensors через Transformers. Репозиторий указывает лицензию MIT. Карточка сообщает значение eval_loss 0,3908, но не приводит сравнительной оценки качества или длину контекста. Модель рассчитана на преобразование текста в аудио, а указанные обучающие данные и название репозитория ориентируют её на Hiligaynon.

Карточка модели SYNAPSEai1/SynapseMusicV12-Base на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.

Модель SpeechBrain для синтеза речи Tacotron2, обученная на англоязычном наборе LJSpeech. Она принимает короткий текст и генерирует мел-спектрограмму; чтобы получить звуковую волну, требуется отдельно применить вокодер, например HiFi-GAN. Модель распространяется в формате PyTorch и предназначена для запуска через SpeechBrain. Подходит для преобразования английского текста в речь и экспериментов с конвейером синтеза речи. Карточка не гарантирует качество при использовании на данных, отличающихся от LJSpeech. Лицензия — Apache-2.0.

Карточка модели aoi-ot/VibeVoice-1.5B на Hugging Face совпадает с карточкой FranckyB/VibeVoice-1.5B, поэтому описание составлено по ней. FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.

Cseti разработал VibeVoice_7B_hun_v2 — дообученную версию VibeVoice-Large для синтеза речи на венгерском языке по тексту. Модель использует архитектуру VibeVoiceForConditionalGeneration и распространяется в формате safetensors. Автор применил LoRA к языковой части, полностью дообучил diffusion-модули и объединил их с базовой моделью. Модель предназначена для преобразования венгерского текста в речь; примеры в карточке демонстрируют синтез связных фрагментов. Для запуска автор указывает ComfyUI-ноду и демо-код сообщества VibeVoice. Базовая VibeVoice-Large рассчитана на длинную выразительную многоязычную речь и диалоги, но карточка этой версии не подтверждает отдельные возможности вроде нескольких голосов. Это фанатский проект, созданный для исследовательских целей, без коммерческого использования. Автор предупреждает, что обучающий набор может содержать материалы, защищённые авторским правом; качество и правомерность использования результатов следует оценивать с учётом применимых законов.

VoXtream2-HE — разработанная Flowty1 потоковая модель синтеза речи, дообученная на базе herimor/voxtream2 для иврита и смешанного ивритско-английского текста. Для синтеза она использует фонемы, а аудио выдаёт монофоническими кадрами с частотой 24 кГц. Модель предназначена для потоковой генерации речи с клонированием голоса по короткому аудиопримеру длительностью 3–10 секунд без отдельного обучения под голос. Она подходит для голосовых агентов, интерактивных помощников и дубляжа; темп речи можно менять, в том числе во время фразы. Заявлены выдача первого аудиокадра за десятки миллисекунд и генерация быстрее реального времени на потребительском GPU. Небольшой размер модели может приводить к нестабильности результатов. Для работы нужны кодовая библиотека из отдельного репозитория, ивритский модуль преобразования текста в фонемы и espeak-ng для английского. Лицензия весов — GPL-3.0; README допускает коммерческое применение, но не рекомендует его.

TKU410410103/wav2vec2-base-japanese-asr — японская модель распознавания речи, разработанная путём дообучения rinna/japanese-wav2vec2-base на наборе Common Voice 11.0. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC с 113,3 млн параметров. Модель распознаёт японскую речь, но выдаёт текст только хираганой. На Common Voice 11.0 модель показала WER 14,18% и CER 6,46%; на ReazonSpeech (tiny) — WER 40,86% и CER 29,37%. Результаты зависят от набора данных, а на ReazonSpeech качество заметно ниже. Модель распространяется по лицензии Apache-2.0.

RecCode/whisper-small-hi — дообученная RecCode модель распознавания речи на базе openai/whisper-small. Она предназначена для преобразования аудио в текст; карточка сообщает о дообучении на датасете, название которого не приведено, и приводит результат оценки: WER 88,3090 и loss 0,1606. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors. Модель принимает аудио и выдаёт текст. Суффикс hi в названии может указывать на хинди, однако README и метаданные не подтверждают язык дообучения или поддерживаемые языки этой версии. Лицензия — Apache-2.0. Карточка не раскрывает назначение и ограничения подробнее; указанный WER высок, поэтому результат оценки следует учитывать при выборе модели.

yaygomii/whisper-small-ta-fyp — дообученная модель распознавания речи на основе openai/whisper-small, созданная на датасете Common Voice 6.1. Она предназначена для преобразования речи в текст; карточка приводит метрику WER 65,89 на оценочной выборке после 10,55 эпох обучения. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Она принимает аудио и выдаёт текст. Результат оценки указывает на заметные ошибки распознавания, поэтому качество транскрипции следует учитывать при практическом применении. Модель распространяется по лицензии Apache-2.0.

mlx-community/csm-1b — версия модели CSM 1B от Sesame, преобразованная сообществом mlx-community для запуска в формате MLX. Она предназначена для синтеза английской речи по тексту и может учитывать аудиоконтекст. Модель использует плотную архитектуру Sesame; в репозитории указаны веса safetensors и библиотека MLX. README сообщает о преобразовании из sesame/csm-1b с помощью mlx-audio 0.0.3. Лицензия — Apache-2.0. Карточка этой версии содержит мало сведений о качестве синтеза и поддерживаемых параметрах; подробности следует смотреть в карточке исходной модели. Для использования описан пакет mlx-audio.

CSM-HF — реализация Sesame Conversational Speech Model в формате Hugging Face Transformers, разработанная автором репозитория Thomas Gauthier. Это двухэтапная авторегрессионная модель синтеза речи: backbone обрабатывает последовательность аудиокадров и зависимости между репликами, а decoder последовательно генерирует 32 аудиокодбука — один семантический и 31 акустический. Репозиторий поддерживает генерацию речи по тексту, подготовку чередующихся текстовых и аудиоданных, обучение через Hugging Face Trainer и сценарий клонирования голоса. Модель рассчитана на эксперименты и обучение диалоговой речи с контекстом нескольких говорящих. Реализация совместима с Transformers и использует веса в формате safetensors. В метаданных указана лицензия Apache-2.0. README не сообщает размер модели, контекстное окно или список поддерживаемых естественных языков.

descript/dac_16khz — модель семейства Descript Audio Codec (DAC), опубликованная Descript на Hugging Face. Это аудиокодек на основе архитектуры RVQGAN, предназначенный для кодирования и извлечения компактных аудиопризнаков; версия рассчитана на аудио с частотой дискретизации 16 кГц. В Transformers она доступна как модель для feature-extraction. DAC кодирует аудиосигнал в дискретные представления и предназначен для сжатия и дальнейшего использования в аудиосистемах. Карточка репозитория автоматически сгенерирована и не описывает лицензию, поддерживаемые языки или ограничения; поэтому конкретные условия использования и качество для отдельных сценариев подтвердить нельзя.

ai-ssam/darija-omnivoice-kore-v1 — дообученная на базе k2-fsa/OmniVoice модель синтеза речи, настроенная на марокканский арабский язык (дариджа) и голос Kore. Она предназначена для преобразования текста в речь с более чётким произношением дариджи, естественным ритмом и просодией и устойчивым тембром целевого голоса. Для подачи языка обычно используют код ary; модель работает в библиотеке OmniVoice и хранит веса в формате safetensors. Это экспериментальная исследовательская версия. В карточке нет численных оценок качества или сходства голоса, поэтому перед применением стоит прослушать результаты. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

wsntxxn/effb2-trm-audiocaps-captioning — компактная модель для создания текстовых описаний звуков. Она использует энкодер EfficientNet-B2 и двухслойный декодер Transformer и обучена на AudioCaps и неразмеченных данных AudioSet. Модель предназначена для генерации англоязычных подписей к аудиозаписям; в метаданных Hugging Face указана задача feature-extraction, поэтому каталог классифицирует её как извлечение признаков. Модель опубликована 17 июня 2024 года в форматах PyTorch и safetensors под лицензией Apache-2.0. README характеризует её как лёгкую, но не приводит оценок качества или конкретных ограничений.