I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейrumik-oss 1 base — базовая многоязычная модель синтеза речи от rumik ai, выпущенная до этапов дообучения управления подачей и обучения с подкреплением для rumik-oss 1. Она дообучена на основе CohereLabs/tiny-aya-fire и содержит около 3,4 млрд параметров. Причинный трансформер предсказывает дискретные аудиотокены кодека Mimi, а декодер Mimi преобразует их в звук с частотой 24 кГц. Для запуска нужны веса модели и отдельный этап декодирования аудиотокенов. Модель синтезирует речь по тексту с выбором одного из четырёх именованных голосов: Ira, Aisha, Siya или Zoya. Она принимает текст на письме исходного языка, латиницей или в смешанной записи; обусловливание задаётся префиксом с именем голоса. В метаданных указана поддержка языков хинди, бенгали, тамильского, урду и английского; карточка также перечисляет ряд других языковых тегов. Модель может служить основой для дальнейшего обучения и адаптации. В этой базовой версии нет обучения управлению подачей речи по описанию и inline-вокализациям; для настройки тона, акцента, темпа и вокализаций автор рекомендует постобученную версию. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
Soprano-80M — компактная модель синтеза речи от разработчиков проекта Soprano. Она преобразует текст в выразительную речь и предназначена для локального запуска на устройстве, пакетной обработки и потокового воспроизведения. В карточке заявлена высокая скорость генерации: до 2000× реального времени на GPU и до 20× на CPU. Модель построена на архитектуре Qwen3 и содержит 75,5 млн параметров. Она принимает текст и выдаёт аудио; поддерживает английский язык и контекст до 512 токенов. Модель не поддерживает клонирование голоса, а редкие слова может произносить неверно из-за ограниченного объёма обучающих аудиоданных. Лицензия — Apache-2.0.
Sunbird AI разработала Spark-TTS for Ugandan Languages (SALT) — модель синтеза речи, дообученную на базе Spark-TTS-0.5B, построенной на Qwen2.5-Instruct. Она предсказывает дискретные аудиотокены с помощью причинной языковой модели; для получения звуковой волны частотой 24 кГц требуется BiCodec-декодер из исходного репозитория Spark-TTS. Размер модели — 0,5 млрд параметров, формат весов — safetensors. Модель предназначена для синтеза речи на ачоли, атесо, английском с угандийским акцентом, луганда, лугбара, раньянкоре и суахили. Вход включает текст с идентификатором говорящего; также поддерживается клонирование голоса по эталонному аудио. Характеристиками голоса и просодией можно управлять через специальные токены. Модель обучена полным дообучением на студийном наборе данных SALT. Качество клонирования зависит от качества и длительности эталонного аудио; смешение языков может давать непоследовательную просодию, а для голосов, отличающихся от обучающих, качество снижается. Обучение охватывало аудиоконтекст около 8 секунд, поэтому длинные высказывания могут обрезаться. Для запуска нужны веса и кодек исходной Spark-TTS, а также CUDA; поддержка 4- и 8-битного режима не подтверждена. Лицензия — MIT.
ClementXie/speecht5_finetuned_multilingual_librispeech_italian9h — дообученная модель SpeechT5 от Microsoft для синтеза речи по тексту. Она основана на microsoft/speecht5-tts и обучена на корпусе multilingual_librispeech; в карточке приведено значение loss 0,4342 на оценочной выборке. Модель предназначена для преобразования текста в речь на итальянском языке. Веса доступны в форматах PyTorch и Safetensors. Лицензия в предоставленных данных не указана. Карточка не описывает голосовые характеристики, качество синтеза и ограничения применения.
Это дообученная модель SpeechT5, созданная на основе microsoft/speecht5_tts. Она предназначена для синтеза речи по тексту и опубликована в формате safetensors. В README приведён результат оценки: loss 0,3634; сведения о наборе данных, голосе и условиях оценки не раскрыты. Модель распространяется по лицензии MIT. Карточка не описывает поддерживаемые языки, характеристики голоса или практические ограничения, поэтому эти свойства нельзя надёжно определить.
Модель arpan-das-astrophysics/speecht5_finetuned_voxpopuli_it — дообученная версия SpeechT5ForTextToSpeech от Microsoft, созданная автором репозитория на датасете facebook/voxpopuli. Она предназначена для синтеза речи из текста; в карточке приведено значение loss 0,4858 на оценочной выборке. Модель использует архитектуру SpeechT5 и сохранена в форматах PyTorch и Safetensors. Базовая модель SpeechT5 также предназначена для преобразования текста в речь. Репозиторий распространяется по лицензии MIT. Карточка не сообщает подробностей о голосе, поддерживаемых языках, настройках генерации и практических ограничениях.
Supertonic 2 — модель преобразования текста в речь, разработанная Supertone и экспортированная организацией loom-ai-org для запуска на устройстве через loom.cpp. Репозиторий содержит исходные неизменённые веса Supertone/supertonic-2 в формате GGUF; модель сама кодирует текст и не требует внешнего фонемизатора. Для работы предусмотрена библиотека loom-py-rt. Модель синтезирует речь на английском, корейском, испанском, португальском и французском языках. В GGUF встроен голос F1, а в репозитории также доступны десять предвычисленных голосовых стилей F1–F5 и M1–M5. Один вызов синтеза ограничен 512 токенами текста — примерно 490 символами; более длинный текст нужно разделить самостоятельно. Экспорт не включает энкодеры стиля, поэтому создать новый голос по собственной аудиозаписи нельзя. Лицензия указана как other; конкретные условия следует сверять с карточкой модели и лицензией исходной модели.
Bingsu/torchaudio_tacotron2_kss — модель синтеза речи на основе Tacotron 2, разработанная и обученная на датасете KSS. Она преобразует текст на корейском языке в речевое представление; для получения звукового сигнала используется отдельный вокодер MelGAN из проекта seungwonpark/melgan, веса которого размещены отдельно. Для запуска требуются PyTorch, torchaudio, Transformers, phonemizer и установленный espeak-ng. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия указана как other, поэтому условия использования следует уточнять по карточке модели.
VoiceTut-TTS — модель преобразования текста в речь, созданная разработчиком репозитория на основе OmniVoice от k2-fsa и дообученная на примерно 380 часах египетской арабской речи из подкастов. Она предназначена для синтеза естественной египетской арабской речи, в том числе с переключением между арабским и английским языками. В основе — текстовый Qwen3-0.6B и аудиотокенизатор Higgs; модель использует библиотеку OmniVoice и распространяется в формате safetensors. Модель предлагает 17 встроенных голосов, клонирование голоса по короткому аудиопримеру, нормализацию чисел, дат, валют, телефонных номеров, адресов и сокращений, а также потоковую выдачу аудио частями для длинного текста. В README указаны результаты измерения скорости на NVIDIA T4: средний коэффициент реального времени 1,13 и время до первого аудио при потоковой генерации 1,68 секунды. Лицензия — Apache-2.0. Клонирование чужого голоса следует выполнять только с согласия его владельца; авторы также предостерегают от имитации людей и создания вводящего в заблуждение аудио. Данные о размере всей модели и максимальной длине текста не приведены.
wfloat-tts — лёгкая многоязычная по голосам, но англоязычная модель синтеза речи на архитектуре VITS, опубликованная Wfloat. Она преобразует текст в речь и поддерживает выбор одного из 20 голосов по числовому идентификатору, а также управление эмоцией и её интенсивностью для всей реплики. Среди доступных эмоций — радость, грусть, гнев, страх, удивление, пренебрежение и замешательство; интенсивность задаётся в диапазоне от 0 до 1 и преобразуется в один из десяти уровней. Модель предназначена для локального синтеза речи в браузере, мобильных приложениях и среде Python. Репозиторий содержит веса Safetensors и примеры аудио; для запуска в Python разработчик указывает собственный пакет. В метаданных указана лицензия MIT. README не сообщает размер модели и длину контекста.
ZeroTTS — модель синтеза речи на вьетнамском языке, разработанная zeroweight-ai. Она преобразует текст в речь, поддерживает генерацию с потоковой выдачей аудио, клонирование голоса по короткому аудиофрагменту, диалоги с двумя говорящими, длинные озвучивания и переключение между вьетнамским и английским. Модель распространяется в формате ONNX и рассчитана на быстрый запуск, в том числе на CPU; в карточке заявлена первая выдача аудио примерно через 70 мс и скорость выше реального времени на ноутбуке. Разработчик также заявляет о меньшем числе ошибок распознавания слов по сравнению с другими открытыми вьетнамскими TTS-моделями, но README не приводит методику или результаты сравнения. Лицензия — MIT.
ZeroTTS-GGUF — это версия модели ZeroTTS, разработанная zeroweight-ai и перепакованная в формат GGUF для запуска через ggml, включая окружения WebAssembly. Это не отдельная модель: веса совпадают с оригинальной ZeroTTS, а файл f32 заявлен как побитно идентичный ONNX-версии по генерируемым кодам при одинаковых входных данных и случайных значениях. Модель предназначена для zero-shot синтеза речи на вьетнамском языке, клонирования голоса по короткому образцу аудио, потоковой генерации и работы без GPU на CPU. Поддерживаются вьетнамский, англо-вьетнамский code-switching и кросс-лингвальные сценарии с английским выводом. Модель использует голосовые латенты размером 10×768 float32 и может клонировать голос по образцу длительностью от 3 до 30 секунд без дообучения или отдельного обучения под диктора. В поставку входят квантизированные варианты GGUF размером 206 МБ для q8_0 и 124 МБ для q4_0, а также неквантизированный f32-вариант размером 772 МБ. Для декодирования аудиотокенов дополнительно требуется ONNX-компонент MOSS audio-tokenizer decoder и служебные файлы. На ноутбуке с Apple Silicon заявлена генерация примерно вдвое быстрее реального времени и выдача первого аудиофрагмента примерно за 70 мс. К сильным сторонам относятся специализация на вьетнамской фонетике и тонах, естественность речи, малое количество лишних пауз, поддержка чисел, дат и акронимов без отдельного нормализатора, а также zero-shot клонирование голоса. В тестах ZeroBench-TTS указаны UTMOSv2 2,91, сходство диктора 0,936 и WER 0,16% для моноязычного вьетнамского сценария; для code-switching, кросс-лингвального и усложнённого текста WER составляет соответственно 0,97%, 1,42% и 1,75%. README не приводит полное описание архитектуры и ограничения качества для других языков. Лицензия модели — MIT; входящий MOSS audio-tokenizer decoder распространяется по Apache-2.0.
Zonos-v0.1-Hebrew — вариант модели синтеза речи Zonos, опубликованный пользователем notmax123. Модель преобразует текст в естественную речь и поддерживает генерацию с заданным голосовым эмбеддингом или аудиофрагментом; заявлены клонирование голоса по короткому образцу и управление темпом, высотой тона, качеством звучания и эмоциями. Архитектура Zonos включает нормализацию текста и фонемизацию через eSpeak, а затем предсказание токенов DAC трансформерной или гибридной моделью. В репозитории представлены форматы ONNX и safetensors; лицензия — CC BY-NC 4.0. В README указана поддержка английского, японского, китайского, французского и немецкого языков, а также генерация аудио с частотой 44 кГц. Однако название варианта указывает на иврит, которого нет в перечисленных языках, поэтому фактическую поддержку иврита следует считать не подтверждённой. README описывает работу в Linux с современной видеокартой NVIDIA и рекомендует не менее 6 ГБ видеопамяти; приведённая оценка скорости — около двукратного реального времени на RTX 4090.
Orpheus 3B Ko Pretrained — базовая модель синтеза речи на основе Llama, разработанная Canopy Labs. Она предназначена для генерации естественной речи из текста и как основа для дообучения под последующие задачи, включая клонирование голоса без предварительного обучения и классификацию. В карточке заявлены выразительная интонация, эмоции и ритм речи; модель создана на базе meta-llama/Llama-3.2-3B-Instruct и представлена в формате Safetensors для Transformers. Модель ориентирована на корейский язык. Репозиторий опубликован под лицензией Apache-2.0. Для практического запуска авторы предлагают код и инструкции в GitHub-проекте Orpheus-TTS и демонстрационный Colab. Клонирование голоса и классификация названы возможными сценариями, но основная задача модели — синтез речи.
ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.
Это англоязычная модель синтеза речи Chatterbox от Resemble AI, экспортированная организацией loom-ai-org для локального запуска через loom.cpp и loom-py-rt. Экспорт упаковывает неизменённые веса исходной модели ResembleAI/chatterbox в один файл GGUF; внутри находятся Llama-токенная модель и декодер на основе flow matching. Модель преобразует текст в речь встроенным голосом и поддерживает текстовые теги событий, например смеха и вздоха. Модель рассчитана на локальный синтез речи на небольших устройствах. Используется один встроенный голос; клонирование новых голосов недоступно в этой сборке, поскольку необходимые компоненты не включены. Генерация по умолчанию стохастическая, но результат можно воспроизвести с seed или сделать детерминированным, задав temperature=0. Экспорт не содержит водяной знак Perth. Лицензия — MIT.
Christina TTS 1.5 Q4 GGUF — 4-битная сборка модели синтеза речи на основе Christina TTS 1.5, предназначенная для запуска на CPU через qwen3-tts.cpp без Python, PyTorch и GPU. По карточке, скорость на современном настольном процессоре близка к реальному времени; комплект включает модель Talker размером около 1 ГБ в Q4_0, F16-файл токенизатора и декодера речи, а также предварительно вычисленные эмбеддинги голосов. Модель преобразует текст в речь с голосом Christina и поддерживает отдельные файлы голоса для английского, японского и французского; метаданные также указывают немецкий, испанский, русский и китайский. Это фанатская реконструкция голоса с использованием синтетических и реальных данных, а не голос официальной актрисы. В README не указаны лицензия и подробности качества по языкам; перед применением следует проверить условия исходной модели и репозитория. Квантизация до Q4_0 уменьшает размер и облегчает CPU-инференс, но может влиять на качество синтеза.
CSM 1B — модель генерации речи от Sesame. Она принимает текст и аудиоконтекст и генерирует речь, представляя результат как аудиокоды Mimi; архитектура включает основу Llama и небольшой аудиодекодер. Репозиторий содержит веса в формате safetensors и поддерживает запуск через Transformers. Модель предназначена для синтеза речи из текста, в том числе с учётом аудиоконтекста. Базовая версия способна создавать разные голоса, но не настроена на конкретный голос. Основной поддерживаемый язык — английский; способность генерировать речь на других языках ограничена и, по заявлению авторов, может работать плохо. Для генерации текста модель не предназначена — её можно сочетать с отдельной языковой моделью. Лицензия — Apache-2.0. Авторы запрещают использовать модель для имитации реальных людей без согласия, обмана и незаконной или вредоносной деятельности.
CSM-1B-MLX-5bit — вариант модели Sesame CSM-1B, подготовленный для запуска через MLX на устройствах Apple Silicon. Это плотная модель семейства Moshi: Llama-1B прогнозирует первый кодековый код Mimi, а декодер Llama-100M — остальные. Общий размер указан как класс 1,5 млрд параметров; веса квантованы до int5 и занимают около 1,1 ГБ. Модель синтезирует речь из текста, используя короткий аудиофрагмент и его текстовую расшифровку как контекст для клонирования голоса. Карточка приводит пример потоковой генерации на Swift и указывает задержку первого аудио около 120 мс и скорость выше реального времени на устройствах серии M. Модель ориентирована прежде всего на английскую речь: качество на других языках слабее. При клонировании голоса могут сглаживаться интонации, а в конце аудио иногда обрезается последнее слово. Производная модель основана на sesame/csm-1b; для исходной модели и конвертированной версии указана лицензия Apache-2.0.
Dasheng-0.6B — универсальный аудиоэнкодер семейства Dasheng, разработанный авторами проекта Dasheng. Это модель самоконтролируемого обучения, предназначенная для извлечения представлений из аудио речи, музыки и окружающих звуков. В README указано обучение на 272 356 часах разнообразных аудиоданных; модель показывает высокие результаты на бенчмарке HEAR и задачах классификации речи и звуков. Для прикладной классификации аудио энкодер можно использовать с обучаемой линейной головой, как показано на примере ESC-50. Репозиторий содержит веса в формате safetensors, а метаданные относят архитектуру к Dasheng и указывают задачу audio-classification. Модель распространяется по лицензии Apache-2.0. Она предназначена для анализа аудиосигнала и выдачи представлений или классов; сведений о поддержке транскрипции или генерации аудио нет.
Модель itshamdi404/Egy_Arabic_Qwen3-TTS-12Hz-1.7B-Base — дообученная Hamdi Mohamed модель Qwen3-TTS-12Hz-1.7B-Base для синтеза речи на египетском арабском диалекте (масри). Она преобразует текст в речь с разговорным произношением, интонацией и ритмом, характерными для египетского арабского. В основе лежит плотная Transformer TTS архитектура Qwen3-TTS; модель распространяется в формате safetensors. Дообучение проводилось на примерно 90 часах чистой речи из египетских источников. Модель предназначена для создания озвучки и разговорной речи на египетском арабском. По заявлению автора, она сохраняет многоязычные возможности исходной модели, однако основной специализацией является масри. Репозиторий распространяется по лицензии Apache-2.0.
Yzamari/f5tts-hebrew-v2 — модель синтеза речи на иврите, разработанная Yzamari путём дообучения F5-TTS v1 Base. Это нерекуррентная модель F5-TTS, обученная на 68 569 сегментах общей длительностью около 158 часов; аудиоданные прошли повторную вокализацию с Phonikud G2P с добавлением знаков ударения, а сегменты не на иврите были исключены. Модель выдаёт монофоническую речь в формате WAV с частотой 24 кГц. Предусмотрены 58 встроенных голосов и клонирование голоса. Для загрузки чекпойнта README рекомендует использовать model_state_dict, согласовать text_num_embeds с размером словаря и взять соответствующий vocab.txt; также отмечено, что стандартные API и CLI F5TTS для этой дообученной модели не работают, поэтому следует вызывать model.sample() напрямую. Модель распространяется по лицензии Apache-2.0.
firstpixel/F5-TTS-pt-br — экспериментальный чекпойнт синтеза речи на бразильском португальском, дообученный Firstpixel на базе SWivid/F5-TTS. Репозиторий содержит веса PyTorch в формате Safetensors; в карточке также указан датасет firstpixel/pt-br_char. Модель предназначена для преобразования текста в речь на португальском языке Бразилии. Автор описывает обучение на смешанных данных Common Voice и Facebook и приводит сведения о нескольких этапах обучения. README предупреждает, что это предварительная тестовая версия, которая говорит только по-португальски; для чисел рекомендуется подавать их словами, а текст — в нижнем регистре. Лицензия — CC BY-NC 4.0, предусматривающая некоммерческое использование. README упоминает обработку ссылок на голос и эмоцию через обёртку AgentF5TTS, но не подтверждает, что это отдельные возможности самого чекпойнта.
aufklarer/IndexTTS2-MLX-fp16 — экспорт IndexTTS-2 в формате fp16 и safetensors, подготовленный для оценки реализации на Apple Silicon. Исходную модель разработала IndexTeam; экспорт сохраняет имена параметров и структуру каталогов исходных весов и включает вспомогательные компоненты для синтеза речи по референсному аудио. Модель предназначена для преобразования текста в речь, в том числе с клонированием голоса по аудиореференсу и управлением выразительностью. Вспомогательные компоненты извлекают признаки и стиль голоса из референсного аудио; базовая IndexTTS-2 описана как авторегрессионная zero-shot модель с контролем длительности. В карточке указана поддержка китайского и английского языков. Это конвертированный артефакт для портирования Swift/MLX, а не готовый чекпойнт Transformers. README предупреждает, что одной поставки весов недостаточно для инференса: необходимы реализации графов нескольких компонентов, включая GPT/S2Mel, BigVGAN и вспомогательные модели. Лицензия в метаданных указана как other; дополнительных условий использования карточка не сообщает.
Inflect-Micro-v2 — компактная модель синтеза речи от Owensong, преобразующая английский текст в аудио. Она содержит 9 356 513 параметров, использует PyTorch и выдаёт монофонический звук с частотой 24 кГц. Модель рассчитана на локальный запуск на CPU или CUDA и подходит для устройств с ограниченными ресурсами; заявлена скорость 6,28× реального времени на CPU с четырьмя потоками. Для ONNX доступен отдельный экспортный вариант. Модель синтезирует речь одним фиксированным мужским голосом, поддерживает детерминированные генерации по seed и обработку длинных текстов с разбиением по пунктуации. В карточке приведены оценки естественности и разборчивости на тестовых текстах, однако они не заменяют контролируемую человеческую оценку. Доступен инструментарий для адаптации голоса или языка, но качество адаптированных вариантов экспериментальное и зависит от данных и оценки носителями языка. Модель поддерживает только английский язык и не выполняет клонирование голоса с нуля. Незнакомые фразы могут звучать менее выразительно или стабильно; произношение чисел, сокращений, омографов и редких имён зависит от контекста и текстового фронтенда. Лицензия — Apache-2.0.
JAZZMUS — модель оптического распознавания нот, разработанная для рукописных джазовых лид-листов. Она преобразует изображения нотной записи с мелодией и аккордовыми обозначениями в текстовую нотацию Humdrum **kern или **mxhm. Модель предназначена для транскрибирования нот и аккордов; репозиторий также содержит детектор нотных станов YOLOv11 для обработки целых страниц. В основе лежит Sheet Music Transformer: энкодер ConvNeXt и декодер Transformer. Модель smt-grandstaff дообучена на наборах JAZZMUS с рукописными и синтетическими примерами. Веса доступны в формате safetensors, лицензия — MIT. Распознавание аккордов сложнее распознавания мелодии, и часть ошибок связана с аккордовыми символами. Модель может пропускать альтерации, подразумеваемые тональностью; качество также может снижаться на стилях нотной записи, не представленных в обучающих данных, например на печатных коммерческих лид-листах и музыке других жанров.
aadel4/kid-whisper-small-myst — дообученная версия openai/whisper-small, созданная для распознавания речи. Модель содержит 153,1 млн параметров и использует архитектуру WhisperForConditionalGeneration; карточка указывает формат PyTorch и лицензию Apache-2.0. Модель обучали на 125 часах данных Myst Train и оценивали на 20,9 часах Myst Dev. На указанном наборе оценки она показала WER 8,51 и loss 0,27. Подходит для преобразования аудиозаписей в текст в сценариях, связанных с данными Myst.
لهجتنا (Lahgtna) — модель преобразования текста в речь, разработанная для синтеза разговорных арабских диалектов. Она основана на архитектуре OmniVoice и является дообученной версией k2-fsa/OmniVoice. Модель принимает арабский текст и может использовать диакритические знаки для улучшения произношения. В README отмечена поддержка египетского, саудовского, марокканского, иракского, суданского, палестинского, ливанского, сирийского, ливийского, тунисского, бахрейнского и йеменского вариантов арабского языка, а также алжирского диалекта. Заявленная цель проекта — охватить диалекты арабского мира в единой модели; поддержка ряда других стран указана как планируемая. Модель предназначена для создания естественно звучащей диалектной речи, а не только для литературного арабского языка. Сведения о лицензии в предоставленных материалах отсутствуют.
Llama-Mimi-1.3B — речевая языковая модель, разработанная командой llm-jp. Она объединяет токенизатор Mimi и декодер Transformer Llama, совместно моделируя чередующиеся семантические и акустические токены. Модель дообучена на базе meta-llama/Llama-3.2-1B и содержит 1,3 млрд параметров; для работы используется библиотека Transformers. Заявленная длина контекста — 131072 токена. Модель предназначена для генерации речи с сохранением акустической согласованности и идентичности говорящего. Она обучалась примерно на 240 тысячах часов английского аудио; авторы сообщают о результатах на бенчмарке SALMon. Метаданные относят её к задачам генерации текста и преобразования аудио в аудио, при этом основное практическое назначение карточки — речевая генерация. Лицензия — Llama 3.2 Community License; применяются её условия.
Matxa-TTS-Cat-Multiaccent — акустическая модель преобразования текста в речь, разработанная подразделением Language Technologies Unit Барселонского суперкомпьютерного центра (BSC) в рамках проекта Aina. Она предназначена для синтеза каталонской речи в четырёх вариантах произношения: балеарском, центральном, северо-западном и валенсийском; поддерживает нескольких дикторов. Для получения готового аудио модель используют вместе с вокодером alVoCat. Модель основана на Matcha-TTS и использует нев autoregressive архитектуру encoder-decoder с предсказанием длительности фонем и декодером на базе U-Net и Transformer. Обучение применяет optimal-transport conditional flow matching; доступны версии PyTorch и ONNX. Модель рассчитана на каталонский язык и не предназначена для синтеза на других языках. Качество может различаться в зависимости от диктора и качества его обучающих записей. Лицензия репозитория — GPL-3.0, однако README отдельно указывает, что коммерческое использование голосов требует лицензирования у правообладателей и дикторов; модель заявлена как доступная для некоммерческого использования.