I.9Аудио и музыка

facebook/mms-tts-mej — модель синтеза речи на языке Meyah (код mej), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Meyah. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль с текстовым энкодером и декодер, похожий на HiFi-GAN. Размер модели — 3,5 млн параметров. Отдельный чекпойнт MMS-TTS обучен для каждого языка; модель доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма произношения, поэтому результат может меняться между запусками; для повторяемой генерации требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-nhe — модель синтеза речи на науатле восточного Уастека (nhe), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель основана на архитектуре VITS: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиоволну. Предсказатель длительности позволяет варьировать ритм речи; из-за стохастической генерации для воспроизводимого результата нужен фиксированный seed. В репозитории указаны веса PyTorch и SafeTensors, размер модели — 3,5 млн параметров. Для запуска доступна интеграция с библиотекой Transformers начиная с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческих целях. Чекпойнт предназначен для науатля восточного Уастека; сведений о поддержке других языков нет.

facebook/mms-tts-otq — модель синтеза речи на языке отоми штата Керетаро, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на отоми в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер на основе HiFi-GAN обучены сквозным образом. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Генерация стохастическая: фиксированный seed нужен, чтобы получить одинаковое аудио при повторном запуске. Модель ориентирована на один язык, поэтому её не следует считать универсальной многоязычной системой синтеза речи. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-qvc — модель синтеза речи для кечуа Кахамарка (qvc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для соответствующего языкового сообщества. Модель основана на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; модель использует стохастический предиктор длительности, поэтому при одинаковом тексте может создавать речь с разным ритмом. Для повторения результата требуется фиксировать seed. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение. Качество синтеза зависит от текста и обучающих данных; сведения о поддержке других языков или режимах генерации в карточке не заявлены.

facebook/mms-tts-rng — модель синтеза речи на языке ронга (rng), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ронга в речевую аудиоволну и подходит для озвучивания фраз и создания синтезированной речи для этого языка. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предсказатель длительности и HiFi-GAN-подобный декодер. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы доступен через Transformers версии 4.33 и новее. Предсказатель длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; для повторяемого синтеза требуется фиксировать seed. Модель предназначена для ронга и не заявлена как многоязычная универсальная система. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-vmy — модель синтеза речи на мазатекском языке, вариант Аютла, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS. Модель принимает текст и генерирует речевую аудиоволну; её архитектура VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указано 3,5 млн параметров. Модель подходит для озвучивания мазатекских текстов и создания речевых технологий для языка Ayautla. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

omniASR-W2V-1B — преобразованный в формат Hugging Face энкодер wav2vec 2.0 из чекпойнта OmniLingual omniASR_W2V_1B. Модель содержит 1,3 млрд параметров, 48 слоёв и скрытый размер 1280; это предварительно обученный энкодер без CTC-головы. Модель предназначена для извлечения признаков из аудио, исследования представлений речи и дообучения для последующих речевых задач. Автор сообщает, что численное соответствие исходному чекпойнту fairseq2 проверено на аудиопримере. Для работы с весами указан формат safetensors и библиотека Transformers. Сведения о лицензии и поддерживаемых языках в доступных данных отсутствуют.

Santali Piper VITS — односпикерная модель синтеза речи на сантали, разработанная на основе корпуса Santali Female из набора AI4Bharat Rasa. Модель обучена с использованием конвейера Piper VITS и экспортирована в ONNX для локального офлайн-запуска, в том числе на Android. Она принимает текст на письме Ол-чики после обязательной фонемизации; в репозитории есть фонемизатор на Python и Kotlin, согласованный с обучающими данными. Модель предназначена для озвучивания текста на сантали в мобильных и других приложениях с локальным инференсом. Это один женский голос, поэтому модель не охватывает разные голоса, диалекты и стили речи. Возможны ошибки произношения редких, заимствованных и незнакомых слов, расхождения между написанием и ожидаемой устной формой, нестабильная просодия и артефакты; качество снижается на текстах, далёких от обучающего распределения. Лицензия — Apache-2.0.

WavLM-Large — предварительно обученная Microsoft модель для извлечения речевых представлений из аудио. Она содержит 402,7 млн параметров и построена на архитектуре Transformer в рамках подхода HuBERT. Модель обучалась на 94 тысячах часов английской речи из Libri-Light, GigaSpeech и VoxPopuli, с акцентом на сохранение информации о произнесённом содержании и личности говорящего. Модель принимает речевое аудио с частотой дискретизации 16 кГц и выдаёт аудиопризнаки, пригодные для последующей настройки под задачи распознавания речи, классификации аудио и других задач обработки речи. Для распознавания речи нужны токенизатор и дообучение на размеченных текстовых данных; сама модель не генерирует транскрипцию. В README заявлена хорошая работа на английском языке и результаты на бенчмарке SUPERB. Лицензия в предоставленных данных не указана.

Behnooshn/whisper-medium-sps-persian — модель распознавания речи на базе OpenAI Whisper medium, дообученная методом полного fine-tuning на сегментах набора Spontaneous Persian Speech (SPS). Она предназначена для транскрибации спонтанной и разговорной персидской речи. Архитектура Whisper содержит 455,8 млн параметров; модель принимает аудио и выдаёт текст. В обучающей выборке было 16 409 сегментов, в валидационной — 1 985; в сохранённом тестовом прогоне оценено 500 сегментов. На этом тесте сообщаются средние посегментные WER 0,768 и CER 0,506 против 2,368 и 1,857 у базовой Whisper medium; эти показатели не являются агрегированными корпусными метриками. Модель рассчитана прежде всего на исследования персидского ASR, в частности разговорной речи. Качество на других речевых доменах, условиях записи и разновидностях персидского языка систематически не оценивалось. Данные SPS в репозитории не распространяются. Условия лицензирования в предоставленных материалах не описаны.

DuplexJev-B-SenseVoice-Small-Qwen3-4B — компактная аудиотекстовая модель adventists-ai для ответов на короткие вопросы о речи и голосе. Замороженный аудиоэнкодер SenseVoice-Small передаёт признаки через обучаемый коннектор в замороженную Qwen3-4B. Коннектор использует стекирование кадров и проектор SwiGLU; у него 11,5 млн обучаемых параметров. На каждый вопрос модель выдаёт распределение по вариантам ответа без генерации токенов, поэтому за один проход можно обработать несколько вопросов. Модель рассчитана на короткие решения по аудиоклипам, распознавание речевых характеристик и подсказки о говорящем. В README приведены результаты для spoken QA, пола и эмоций, однако тесты проводились на небольших наборах и читаемой или актёрской речи. Авторы отмечают, что формулировка запроса влияет на результат, а качество ответов на вопросы, требующие общих знаний, ограничено возможностями небольшой языковой модели. Потоковый ввод не оценивался; коннектор совместим только с указанными энкодером и LLM. Лицензия — Apache-2.0.

Homo-GE2PE-Persian-HF — версия модели Homo-GE2PE-Persian, перепакованная Elnaz Rahmati и соавторами в формат Transformers. Веса идентичны исходным; это не новая версия. Модель построена на архитектуре T5 и содержит 7,5 млн параметров. Она преобразует персидский текст в фонетическую запись внутреннего формата GE2PE, восстанавливая произношение кратких гласных, вставляя эзაფе и различая омографы по контексту. Модель предназначена для использования как фонетический фронтенд в конвейерах синтеза персидской речи. В README приведены результаты SentenceBench: после отказа от Parsivar показатели улучшились до PER 3,22%, WER 16,07%, точности разрешения омографов 70,28% и F1 эзაფе 85,04%. Выходная запись GE2PE отличается от общепринятой фонетической транскрипции и требует преобразования перед прямым сравнением с другими системами. Для реальных входных данных рекомендуется нормализация: модель не обучалась на вариантах арабских букв ی/ي и ک/ك, произвольных цифрах и непоследовательном использовании ZWNJ. Лицензия — MIT.

Matoub-82M — модель синтеза речи на кабильском языке (Taqbaylit), разработанная agbalu как дообучение StyleTTS2 на базе Kokoro-82M. В метаданных указано 11,1 млн параметров, тогда как README описывает модель как имеющую 82 млн параметров; поэтому размер модели по источникам расходится. Для запуска требуется Transformers с trust_remote_code=True. Модель преобразует кабильский текст в речь голосом kab_male с частотой дискретизации 24 кГц. Она предназначена для озвучивания кабильских материалов, экранных дикторов, учебных аудиозаписей и завершающего этапа языковых NLP-конвейеров. Фронтенд адаптирован к кабильской фонологии и сохраняет характерные согласные и диакритические символы. Опубликован один мужской голос; оценка качества синтеза самой модели в README ещё не приведена. Обучающие записи ограничены примерно 7,9 кГц, поэтому более высокие частоты в выходном сигнале не несут полезного звука. Модель обучена только для кабильского и не рассчитана на длинную связную речь с моделированием абзацной интонации. Лицензия Apache-2.0 допускает коммерческое использование.

facebook/mms-tts-ndv — модель синтеза речи на языке ндут (Ndut, ndv), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль, предсказатель длительности и декодер, построенный по принципу HiFi-GAN. В метаданных указан размер 3,5 млн параметров. Модель предназначена для синтеза речи на ндут, например для озвучивания текстов и создания речевого вывода в приложениях для этого языка. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-wba — модель синтеза речи на языке Warao (код wba), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на Warao в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для приложений на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, предсказателем длительности и декодером, напоминающим HiFi-GAN; отдельный чекпойнт обучен для каждого языка MMS. Из-за стохастического предсказания длительности результат может меняться при одинаковом тексте, а фиксированный seed позволяет воспроизводить ту же аудиоволну. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-zpi — модель синтеза речи на языке сапотек, Санта-Мария-Кьеголани (zpi), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для приложений на zpi. Модель использует архитектуру VITS — сквозной генератор речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, подобного HiFi-GAN. В репозитории указано 3,5 млн параметров; для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Генерация стохастическая: для повторения того же результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией в рамках некоммерческих условий. Модель ориентирована на один язык и не предназначена для синтеза речи на других языках; README не приводит оценок качества или дополнительных сведений о голосе.

Карточка модели Jinstudio/VibeVoice-Realtime-0.5B на Hugging Face совпадает с карточкой microsoft/VibeVoice-Realtime-0.5B, поэтому описание составлено по ней. VibeVoice-Realtime-0.5B — потоковая модель синтеза речи Microsoft на 0,5 млрд параметров, дообученная на базе Qwen/Qwen2.5-0.5B. Она принимает текстовые фрагменты по мере их поступления и генерирует речь с задержкой до первого слышимого результата около 300 мс, в зависимости от оборудования. Модель рассчитана на потоковые сервисы озвучивания, чтение обновляющихся данных и озвучивание ответов LLM до завершения их генерации. Архитектура VibeVoice Streaming использует оконную схему с параллельной обработкой входного текста и генерацией акустических латентов на основе диффузии; для речи применяется акустический токенизатор с частотой 7,5 Гц. Контекст составляет 8 тыс. токенов, типичная заявленная длительность генерации — около 10 минут. Модель поддерживает одного говорящего и предназначена прежде всего для английского языка. Хотя README упоминает эксперименты с девятью другими языками, их результаты могут быть непредсказуемыми. Модель ориентирована на длинную речь и потоковый синтез; для коротких фраз также заявлена удовлетворительная работа. Она не предназначена для музыки, фоновых звуков, перекрывающейся речи, чтения кода, формул и необычных символов. Возможны неточные или неожиданные результаты и унаследованные смещения базовой модели. Microsoft указывает исследовательское назначение и ограничения против имитации голоса без согласия, обмана и низколатентного преобразования голоса. Лицензия — MIT.

facebook/mms-tts-ese — модель синтеза речи на языке эсе-эхха (Ese Ejja, код ese), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для генерации речи на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS для языка Ese Ejja, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста; для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0. Она предназначена для синтеза только на Ese Ejja; качество и поведение на других языках не подтверждены.

facebook/mms-tts-mbz — модель синтеза речи на языке Mixtec, Amoltepec (mbz), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речи для приложений, работающих с Mixtec, Amoltepec. Модель основана на архитектуре VITS — сквозной вариационном автокодировщике с состязательным обучением, поточечным модулем и декодером, подобным HiFi-GAN. Для одного текста модель может синтезировать варианты с разным ритмом; из-за стохастического предсказателя длительности результат недетерминирован, поэтому для воспроизводимого аудио требуется фиксированное случайное зерно. В репозитории указано 3,5 млн параметров; модель доступна для Transformers начиная с версии 4.33. Модель предназначена для одного языка и не заявляет поддержку других языков. Лицензия CC-BY-NC-4.0 допускает использование с указанием авторства, но запрещает коммерческое использование.

Thytu/phi-2-audio-super — экспериментальная разговорная модель семейства Phi-2, дообученная на базе abacaj/phi-2-super для автоматического распознавания речи на датасете LibriSpeech ASR. В карточке указана базовая модель microsoft/phi-2; архитектура — плотная авторегрессионная языковая модель PhiForCausalLM с 3,5 млрд параметров и контекстом 2048 токенов. Репозиторий содержит веса в формате safetensors, а метаданные отмечают поддержку чата и английский язык. Модель предназначена для экспериментов с преобразованием речи в текст на английском языке. Карточка помечает проект как находящийся в разработке, а инструкция по запуску ASR оставлена как TODO, поэтому готовность и качество распознавания не подтверждены. Лицензия — MIT.

brindap/wav2vec2-large-xls-r-300m-hsb-colab — модель распознавания речи на архитектуре wav2vec2 с CTC-декодированием, дообученная на Common Voice на основе facebook/wav2vec2-xls-r-300m. Она предназначена для преобразования входной речи в текст; суффикс hsb в названии указывает на верхнелужицкий язык. Модель содержит около 402,7 млн параметров и опубликована в формате PyTorch. В карточке приведён результат оценки на тестовой выборке: WER 0,9818 и loss 3,2283, что указывает на очень высокую долю ошибок распознавания в этой оценке. Модель распространяется по лицензии Apache-2.0. Подробности о наборе оценки и условиях применения в карточке не раскрыты.

Модель slplab/wav2vec2-XLSR-300m_KoreanPhonene_spoken_by_foreigners разработана Sehyun Oh и предназначена для распознавания корейской речи и фонем в записях, где носители английского языка говорят по-корейски. Это дообученная модель Wav2Vec2-XLS-R-300m с архитектурой Wav2Vec2ForCTC, содержащая 402,7 млн параметров и принимающая аудио.

ChuckleNet — модель Hayasuki для обнаружения смеха в аудио стендап-выступлений. Она классифицирует аудиосегменты и может возвращать временные метки реакций зрителей и смеха исполнителя; предусмотрены сценарии поиска удачных моментов, ранжирования сегментов по реакции и создания подборок. Модель построена на замороженном энкодере Microsoft WavLM Base с mean pooling последнего скрытого состояния размерности 768 и обучаемой MLP-головой из примерно 230 тысяч параметров. Для работы через Transformers требуется загрузка доверенного кода репозитория. Модель дообучена на 620 видео и 121 928 сегментах; метки получены из маркеров [laughter] в субтитрах и являются слабыми, а не полностью проверенными человеком. На отложенной выборке указаны F1 0,2732 на уровне сегментов и IoU-F1 0,229 при пороге перекрытия 0,2; на отдельной выборке с человеческой проверкой сообщается IoU-F1 0,30–0,40. README предупреждает, что модель не проверялась для разговоров нескольких участников, телефонных записей, неречевых сценариев и неанглийской речи, а обнаружение смеха не следует трактовать как общую классификацию эмоций. Лицензия — MIT.

ChuckleNet Verified — модель классификации аудио, разработанная автором репозитория Hayasuki/chucklenet-verified для обнаружения и прогнозирования смеха в аудиозаписях. Она дообучена на базе microsoft/wavlm-base: замороженный WavLM извлекает признаки из окон аудио длительностью 25 мс, а дополнительная MLP-голова с признаками просодии выдаёт вероятность смеха для каждого окна. Размер MLP-головы — около 230 тысяч параметров. Модель обучена на 87 видео стендап-выступлений с проверенными человеком метками смеха. На обучающей выборке заявлен F1 0,975, а IoU-F1 на отдельной подборке из 118 видео с проверенными метками составляет 0,3302. Модель предназначена для поиска и временной локализации смеха в англоязычных стендап-записях; заявленные результаты указывают на заметный разрыв между обучающей и проверочной выборками. Для весов указана лицензия MIT.

facebook/mms-tts-bud — модель синтеза речи для языка нтчам (Ntcham, код ISO 639-3: bud), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на нтчам. Для этого используется архитектура VITS: модель обучается сквозным образом, а стохастический предиктор длительности позволяет по-разному задавать ритм речи для одного и того же текста. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для воспроизводимого результата при генерации речи нужен фиксированный seed: без него стохастическая модель может выдавать разные варианты звучания. Модель рассчитана на один язык и не предназначена для синтеза речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

facebook/mms-tts-lat — модель синтеза речи на латинском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания латинских фраз и создания речевых примеров для этого языка. Модель построена на архитектуре VITS: это сквозная система синтеза с вариационным автоэнкодером, текстовым энкодером на основе Transformer, потоковыми слоями и декодером, напоминающим HiFi-GAN. В репозитории указано 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. Стохастический предсказатель длительности позволяет варьировать ритм произношения, поэтому результат зависит от случайного seed. Модель доступна через библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-pww — модель синтеза речи на языке Pwo Northern (pww), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельная языковая контрольная точка семейства VITS: модель принимает текст и генерирует речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста, декодер на основе транспонируемых свёрток и стохастический предиктор длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на Pwo Northern. Её можно применять для генерации речи из текстовых фраз и создания речевого вывода в приложениях для этого языка. Контрольная точка доступна для использования через Transformers версии 4.33 и выше и распространяется по лицензии CC BY-NC 4.0. Генерация недетерминирована: для повторения результата требуется фиксированное начальное значение; README не сообщает дополнительных характеристик качества или ограничений по длине входа.

Prince Nasamu Alhassan разработал модель распознавания речи на языке тви, дообучив Wav2Vec2-BERT CTC на базе ghananlpcommunity/w2v-bert-2.0_twi_alpha_v1. Модель содержит 402,7 млн параметров и принимает аудио, например монофонические записи с частотой 16 кГц, а выдаёт текстовую расшифровку. Модель предназначена для транскрибирования речи на тви. В сравнении с базовой моделью она показала более низкий WER на четырёх тестовых срезах тви; в README также отмечен рост CER на двух срезах FISD, поэтому качество на уровне отдельных символов может ухудшаться даже при снижении WER. Оценка проводилась на чтении и машинно переведённом тексте и не отражает надёжно работу с разговорной речью, командами или переключением языков. Это исследовательская работа для хакатона, а не поддерживаемый продукт. Лицензия репозитория — CC BY-NC 4.0; обучение использовало датасет Ghana Speech и связанные ганские корпуса. Для обучения Twi ASR README отдельно указывает разрешение Farmerline только на некоммерческое исследовательское использование.

VibeVoice-Realtime-0.5B — потоковая модель синтеза речи от Microsoft из семейства VibeVoice. Она принимает текст частями и генерирует речь по мере поступления текста; авторы указывают задержку до первого слышимого фрагмента около 300 мс, зависящую от оборудования. Модель имеет плотную архитектуру VibeVoiceStreaming и размер 0,5 млрд параметров. Заявлены контекст 8 тыс. токенов и генерация речи продолжительностью примерно до 10 минут. Модель рассчитана на англоязычную речь, потоковые TTS-сервисы и длинную озвучку. Она поддерживает только одного говорящего и генерирует речь, но не музыку, фоновую атмосферу или звуковые эффекты. README отмечает непредсказуемые результаты на коротких фразах по сравнению с её фокусом на длинную речь; код, формулы и редкие символы требуют предварительной нормализации. Лицензия — MIT, однако авторы не рекомендуют коммерческое или реальное применение без дополнительного тестирования и разработки; README также ограничивает предполагаемое использование исследованием генерации речи в реальном времени.

xmtransformers2uten-hk — модель перевода речи в речь на базе fairseq, разработанная Facebook. Она предназначена для прямого преобразования англоязычной речи в речь на хоккиене с использованием одношагового декодера S2UT. Модель обучена на размеченных данных из домена TED и слабонаблюдаемых данных из доменов TED и аудиокниг; синтез речи использует facebook/unit_hifigan_HK_layer12.km2500_frame_TAT-TTS. Репозиторий содержит веса PyTorch и связан с набором данных MuST-C. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Модель подходит для перевода выступлений и аудиокниг с английского на хоккиен с речевым выходом. Карточка не сообщает метрики качества или длину входного аудио, поэтому качество на других жанрах и акустических условиях по ней оценить нельзя.