I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейMeloTTS-English-MLX — порт англоязычной модели синтеза речи MeloTTS от myshell-ai для Apple Silicon, использующий библиотеку MLX Audio. Это сквозная архитектура VITS2: текстовый трансформерный энкодер с относительным позиционным вниманием, предсказатели длительности, нормализующий поток и вокодер HiFi-GAN; для просодических признаков используется bert-base-uncased. Модель преобразует английский текст в речь с частотой дискретизации 44,1 кГц и поддерживает варианты голосов EN-US, EN-BR, EN_INDIA, EN-AU и EN-Default. Она подходит для озвучивания текста в приложениях на устройствах Apple Silicon. Репозиторий содержит конвертированный вариант исходной модели myshell-ai/MeloTTS-English; лицензия — MIT.
MGM-Omni-TTS-4B — компонент SpeechLM семейства MGM-Omni, предназначенный для синтеза речи по тексту. В карточке модель описана как часть мультимодального ассистента MGM-Omni; сама эта версия отвечает за генерацию речи. Она основана на Qwen/Qwen3-4B-Instruct-2507 и дообучена. Метаданные указывают архитектуру MGMTTSForCausalLM, 3,7 млрд параметров, библиотеку Transformers и контекст до 262 144 токенов. Модель рассчитана на генерацию длинной связной речи, потоковый синтез и клонирование голоса по короткому образцу примерно в 10 секунд. В описании заявлена поддержка китайского и английского языков. Для полного MGM-Omni также заявлены понимание речи, изображений и видео, но эти входные возможности относятся к мультимодальной системе и не подтверждены для компонента TTS отдельно. Репозиторий содержит файлы safetensors и ONNX. Лицензия — Apache-2.0. Карточка заявляет возможность непрерывной генерации речи длительностью более 10 минут и потоковую выдачу, однако подробные ограничения и независимая оценка именно этого компонента не приведены.
MOSS-Audio-Tokenizer-Nano от mlx-community — версия аудиотокенизатора MOSS, преобразованная в формат MLX из OpenMOSS-Team/MOSS-Audio-Tokenizer-Nano. Модель построена на архитектуре Cat — причинном аудиотокенизаторе на базе трансформера — и преобразует стереоаудио в дискретные токены, а также восстанавливает аудио из них. Семейство MOSS-Audio-Tokenizer описано как единый аудиокодек для речи, музыки и звуковых эффектов. В карточке семейства указаны частота кадров токенов 12,5 Гц для аудио 48 кГц, 32-слойный квантователь Residual LFQ, поддержка потоковой обработки и совместная оптимизация акустического восстановления и семантического представления. Эти характеристики относятся к описанию семейства; отдельный размер Nano в карточке не приведён. Модель предназначена для кодирования и декодирования аудио и может служить аудиопредставлением для последующих систем распознавания речи и генерации речи, но сама по себе не является ASR- или TTS-моделью. Репозиторий содержит реализацию для MLX; для загрузки описан режим remote code с trust_remote_code=True. Лицензия — Apache-2.0.
Это экспортированная в GGUF модель MOSS-TTS Local Transformer v1.5 от OpenMOSS, подготовленная для запуска через loom.cpp и библиотеку loom-py-rt. Она принимает текст и генерирует 12 потоков токенов аудиокодека MOSS; для получения звуковой волны их нужно декодировать отдельной моделью moss-audio-tokenizer-v2-loom. Поддерживается клонирование голоса по заранее закодированным голосовым файлам, в том числе несколько голосов в одном тексте. Модель поддерживает 31 язык, включая китайский, кантонский, английский, русский, японский и арабский. Контекст запроса и аудио совместно ограничен 2048 позициями; генерация по умолчанию случайная, а seed позволяет закрепить результат. По README, это 4,55 млрд параметров в формате F32 и файл размером 16,8 ГБ. Лицензия — Apache-2.0. Экспорт упаковывает исходные неизменённые веса в формат GGUF. Для клонирования голоса аудиоклипы сначала нужно преобразовать в голосовой файл с помощью энкодера кодека и зависимостей PyTorch; сам репозиторий этого энкодера не содержит. На CPU генерация может быть медленной: в README приведён пример около 3 кадров в секунду на 24-ядерной рабочей станции при требуемых для реального времени 12,5 кадрах в секунду.
Карточка модели seawolf2357/neutts-air на Hugging Face совпадает с карточкой ginipick/neutts-air, поэтому описание составлено по ней. NeuTTS Air — модель синтеза речи компании Neuphonic, построенная на языковой модели Qwen 0.5B и нейронном аудиокодеке NeuCodec. Она принимает текст и короткую запись речи в формате WAV, а затем озвучивает текст голосом и манерой речи из образца. Модель предназначена для локального запуска на телефонах, компьютерах и встраиваемых устройствах; заявлены работа в реальном времени и клонирование голоса по образцу от трёх секунд. В репозитории доступны веса safetensors и GGUF; размер модели — около 552,8 млн параметров, контекст — 32 768 токенов. Модель подходит для озвучивания текста, голосовых помощников и приложений со своим голосом. Для лучшего результата рекомендуется чистая непрерывная речь в моно WAV длительностью 3–15 секунд с частотой дискретизации 16–44 кГц. Сгенерированное аудио содержит водяной знак Perth. Указана лицензия Apache-2.0.
NeuTTS Nano Q4 GGUF — англоязычная модель синтеза речи (TTS), разработанная Neuphonic. Она предназначена для локальной генерации естественной речи, включая сценарии с голосовыми агентами, ассистентами, встроенными устройствами, игрушками и приложениями, где важны конфиденциальность и автономная работа без облачных API. Модель поддерживает мгновенное клонирование голоса по нескольким секундам аудио и оптимизирована для работы в реальном времени или быстрее на процессорах ноутбучного класса и периферийных устройствах. В основе используется компактная языковая модель, настроенная на генерацию TTS-токенов, совместно с аудиокодеком NeuCodec с одним codebook. Для класса Nano указано около 116,8 млн активных параметров базовой модели и около 228,7 млн параметров с учётом связанных эмбеддингов и выходной головы. Формат GGUF рассчитан на эффективный локальный запуск с CPU-first инструментами. Модель работает только с английским языком, генерирует водяные знаки и требует espeak-ng для фонемизации. К сильным сторонам относятся компактность, высокая скорость, естественность речи и качество клонирования; ограничения — поддержка только английского языка и необходимость локально установить программные зависимости. В метаданных указана лицензия other, без подробных условий использования.
NMikka разработал OmniVoice Georgian — вариант OmniVoice, дообученный для синтеза грузинской речи. Модель принимает текст и может использовать аудиозапись образца голоса для клонирования голоса без дополнительного обучения; также предусмотрен режим задания характеристик голоса без образца. Авторы сообщают о дообучении на примерно 150 часах грузинской речи от 29 дикторов. Модель предназначена прежде всего для преобразования грузинского текста в речь, а также для синтеза на английском и кросс-языкового клонирования голоса с грузинским образцом. По данным README, качество грузинской фонетики и интонации улучшилось по отзывам носителей, а разборчивость на FLEURS близка к исходной OmniVoice. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. К ограничениям авторы относят отсутствие формальной оценки MOS, небольшое снижение сходства с голосом диктора и недостаточную проверку просодии при синтезе на английском. Улучшение качества оценивается частично по отзывам слушателей, а поддержка языков помимо грузинского и английского после узкоязычного дообучения может ухудшиться.
splendor1811/omnivoice-vietnamese — это дообученная версия OmniVoice, разработанная для синтеза вьетнамской речи. Модель основана на архитектуре OmniVoice с языковой моделью диффузионного типа и backbone Qwen3-0.6B; для дообучения использован вьетнамский многоголосый корпус объёмом около 1 000 часов, включающий записи 152 дикторов с разными региональными акцентами. Модель преобразует текст в речь и поддерживает клонирование голоса по короткому образцу. Она предназначена для озвучивания вьетнамского текста, создания голосовых интерфейсов и генерации речи с разными голосами и акцентами. В README приведены результаты измерений на NVIDIA L4: RTF около 0,07 и задержка до первого аудио около 210 мс для короткой фразы; эти показатели получены при указанной конфигурации запуска и не гарантируют аналогичную скорость на другом оборудовании. Модель распространяется по лицензии Apache 2.0. Данные обучения имеют отдельную лицензию CC-BY-NC-SA-4.0. Карточка не описывает подробные ограничения качества и использования клонируемых голосов; заявленная специализация дообученной версии — вьетнамская речь.
PhoWhisper-large-ct2 — конвертированная в формат CTranslate2 модель PhoWhisper-large, первоначально разработанной VinAI для распознавания вьетнамской речи. Репозиторий представляет собой форк kiendt/PhoWhisper-large-ct2; согласно карточке, веса совпадают с исходным репозиторием и не изменялись. Конвертация предназначена для ускорения инференса, в том числе на CPU. Модель принимает аудио и транскрибирует вьетнамскую речь в текст. Она основана на Whisper и распространяется по лицензии MIT. Карточка не приводит сравнительных показателей качества или подробностей о поддержке других языков.
mlx-community/Qwen3-TTS-12Hz-0.6B-CustomVoice-bf16 — модель синтеза речи, преобразованная в формат MLX из Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice с помощью mlx-audio версии 0.3.0. Разработчик исходной модели — команда Qwen; данная версия опубликована сообществом mlx-community. Модель предназначена для преобразования текста в аудио и поддерживает сценарии генерации речи с использованием пользовательского или референсного голоса. Её можно запускать через библиотеку mlx-audio, в том числе передавая текст и путь к аудиофайлу для настройки голоса. Модель имеет размер 0.6B параметров, формат bf16 и ориентирована на выполнение в экосистеме MLX. В README указана частота 12Hz в названии модели, однако сведения о поддерживаемых языках, максимальной длине контекста, точной архитектуре и перечне голосовых возможностей отсутствуют. Сильной стороной модели является адаптация для MLX и возможность локальной генерации речи с пользовательским голосом через готовый интерфейс mlx-audio. Ограничения и качество по языкам, тембру, выразительности, скорости и требованиям к оборудованию в карточке не описаны. Модель распространяется по лицензии Apache-2.0.
Qwen3-TTS-KSA — дообученная Vadim Belsky модель синтеза речи на основе Qwen/Qwen3-TTS-12Hz-1.7B-Base. Она предназначена для преобразования текста в речь на саудовском диалекте арабского языка, включая Khaleeji. Модель дообучена на арабской части набора KSA_Arabic_English_Dataset_13k; в репозитории указано около 13 тысяч высказываний длительностью от 1 до 20 секунд. Модель использует плотную архитектуру Qwen3-TTS с классом Qwen3TTSForConditionalGeneration и весами safetensors. Для поддержки арабского добавлены языковой идентификатор и его embedding, языковой префикс для codec-канала, автоматическое распознавание арабского текста и зарегистрирован голос ksa_speaker. Все параметры модели дообучались, а speaker encoder оставался замороженным; embedding зарегистрированного голоса включён в веса модели. Модель подходит для создания озвучки на саудовском арабском языке с использованием зарегистрированного голоса. Базовая модель также поддерживает клонирование голоса по короткому аудио и дообучение, но README не подтверждает эти возможности для данной версии. Лицензия — Apache-2.0.
senga-LUK-aligned-stoploss-4k-speecht5 — модель синтеза речи из текста на архитектуре SpeechT5, дообученная на базе microsoft/speecht5_tts. Она предназначена для преобразования текстового ввода в аудио; карточка приводит значение loss 0,0833 на оценочном наборе, но не описывает его состав или методику оценки. Модель опубликована в формате safetensors и распространяется по лицензии MIT. Описание голоса, поддерживаемых языков и практических ограничений в карточке не раскрыто.
eugenehp/sesame — staging-копия весов Sesame CSM-1B, подготовленная для запуска средствами RLX. Модель предназначена для разговорного синтеза речи по тексту; в репозитории размещены веса в форматах Safetensors и GGUF, а также токенизатор и конфигурация для генерации. Архитектура — CSM, около 977 млн параметров; указанное родное окно контекста составляет 2048 токенов. Репозиторий создан как стабильная точка загрузки контрольной точки для рецептов RLX и описан как незакрытое зеркало upstream-модели. README рекомендует обращаться к upstream, если нужна исходная контрольная точка. Лицензия — Apache-2.0. Карточка не описывает поддерживаемые языки, качество и настройки голоса, поэтому эти свойства нельзя установить по представленным данным.
ggml-org/sesame-csm-1b-GGUF — версия модели Sesame CSM 1B в формате GGUF, опубликованная ggml-org. Она предназначена для синтеза речи по тексту; карточка указывает английский язык и задачу text-to-speech. Репозиторий содержит GGUF-файлы, поэтому модель можно использовать в совместимых средах запуска GGUF. Лицензия — Apache-2.0. Карточка не описывает параметры синтеза, голосовые характеристики или ограничения качества. README называет модель оригинальной, но не приводит сведений о разработчике исходной модели или о её базовой модели.
Карточка модели WillowVoiceAI/snac-24khz-hindi-ft на Hugging Face совпадает с карточкой nullHawk/snac-24khz-hindi-ft, поэтому описание составлено по ней. SNAC 24 kHz Hindi — это дообученный декодер нейрокодека SNAC, подготовленный для речи на хинди и хинглише. Модель предназначена для декодирования аудиокодов SNAC в речевую волну и может использоваться как вокодер в стеке синтеза речи в стиле Orpheus. Изменён только декодер; энкодер и квантователь унаследованы от hubertsiuzdak/snac_24khz, поэтому кодовое пространство совместимо с базовой моделью. Модель использует три иерархических кодбука по 4096 записей и выдаёт монофонический звук с частотой 24 кГц. Лицензия — MIT. Для только что декодированных фрагментов README рекомендует обрезать первые примерно 2048 отсчётов, чтобы убрать переходный артефакт прогрева декодера.
Sagicc дообучил SpeechT5 от Microsoft на польской части набора multilingual_librispeech. Модель предназначена для синтеза польской речи по тексту; в карточке указана оценка Loss 0.4168 на тестовой выборке. Архитектура — SpeechT5ForTextToSpeech, веса доступны в форматах PyTorch и Safetensors. Модель лицензирована по MIT. Карточка не описывает голосовые характеристики, настройки генерации и результаты в реальных сценариях, поэтому качество синтеза вне указанной оценки неясно.
juancopi81/speecht5_finetuned_voxpopuli_es — модель синтеза речи из текста, созданная дообучением microsoft/speecht5_tts на датасете VoxPopuli. Она предназначена для преобразования текста в речь; в карточке приведено значение loss 0,4454 на оценочном наборе. Модель построена на архитектуре SpeechT5 и распространяется в форматах PyTorch и Safetensors. Модель подходит для озвучивания испаноязычного текста в приложениях и экспериментах с синтезом речи. Лицензия MIT разрешает её использование на условиях этой лицензии. README не описывает голос, качество звучания или ограничения применения.
Avitas8485/speecht5_tts_commonvoice_en_04 — модель синтеза английской речи на базе SpeechT5, дообученная на наборе данных LJSpeech поверх Avitas8485/speecht5_tts_commonvoice_en_03. Она принимает текст и генерирует речь; в README приведено значение loss 0,3719 на наборе оценки. Модель может подойти для озвучивания английского текста и экспериментов с синтезом речи. Репозиторий распространяется по лицензии MIT.
Это модель SpeechT5, дообученная командой Microsoft для преобразования голоса по схеме «речь в речь» на наборе данных CMU ARCTIC. Она принимает монофоническую речевую запись с частотой 16 кГц и преобразует её в другую речь, сохраняя содержание входного высказывания при смене характеристик голоса. Модель основана на архитектуре encoder-decoder с общими компонентами для речи и текста и специализированными речевыми модулями; для работы поддерживается PyTorch. Модель предназначена для преобразования голоса и экспериментов с обработкой речи. SpeechT5 также исследовалась для распознавания речи, синтеза, перевода, улучшения речи и идентификации говорящего, однако этот чекпойнт настроен именно на voice conversion. Он распространяется по лицензии MIT. В карточке не описаны ограничения качества или диапазон поддерживаемых голосов.
Supertonic — система синтеза речи из текста, разработанная Supertone для быстрого локального запуска на устройствах. Репозиторий содержит модель в формате ONNX, рассчитанную на работу через ONNX Runtime; поддерживаются пакетная обработка и настройка числа шагов инференса. По данным разработчика, модель насчитывает 66 млн параметров и может обрабатывать числа, даты, валюты, сокращения и сложные выражения без предварительной нормализации текста. Модель предназначена для создания речи в приложениях, браузерах, на серверах и периферийных устройствах. README заявляет высокую скорость синтеза на потребительском оборудовании и локальную обработку, без обращения к облаку. В карточке указан английский язык; примеры интеграции доступны для Python, Node.js и браузера, но это языки программирования и платформы, а не языки синтеза. Выход — аудио WAV с глубиной 16 бит. Репозиторий распространяется по лицензии OpenRAIL. README отдельно отмечает, что режим GPU через ONNX Runtime не протестирован; показатели скорости приведены разработчиком для конкретного оборудования и настроек, поэтому они не гарантируют такую же производительность на других устройствах.
VieNeu-TTS-0.3B — модель синтеза речи на вьетнамском языке, разработанная Фам Нгуен Нгок Бао. Она преобразует текст в речь и поддерживает мгновенное клонирование голоса по образцу аудио длительностью 3–5 секунд. Модель обучена с нуля на наборе VieNeu-TTS-1000h и использует плотную архитектуру Qwen3ForCausalLM; в репозитории указано 244,1 млн параметров и контекст 4096 токенов. Модель предназначена для локального синтеза речи и встраивания в приложения; автор заявляет ускоренный вывод при сохранении высокого качества речи. В карточке также описаны варианты для CPU и мобильных устройств в формате GGUF, однако эти варианты относятся к отдельным репозиториям. Репозиторий модели содержит веса safetensors. Лицензия — Apache-2.0. Указанные задачи включают text-to-speech и text-generation; основное пользовательское назначение — синтез речи. Клонирование голоса требует референсного аудио, а качество и скорость могут зависеть от аппаратуры и варианта модели.
Wav2Vec2-Large-XLSR-53-EU — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 командой enterprise-explorers на баскском языке. Она принимает аудиозаписи речи с частотой дискретизации 16 кГц и преобразует их в текст; обучение проводилось на данных Common Voice. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведён результат оценки 15,34% на тестовой части Common Voice для баскского языка, но метрика не названа. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
sarpba/wav2vec2-large-xlsr-53-hungarian — модель распознавания венгерской речи, разработанная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на венгерской части Mozilla Common Voice 17.0. Это архитектура Wav2Vec2ForCTC с 402,7 млн параметров, предназначенная для преобразования аудиозаписи в текст; модель работает с библиотекой Transformers и распространяется в формате safetensors. Модель подходит для транскрибации венгерской речи, например записей и аудио из Common Voice. В README приведены результаты оценки: WER 0,2997 и loss 0,1748; также заявлено сравнение с предыдущей моделью на Common Voice 17.0, но приведённые значения отличаются от основного WER, поэтому их следует учитывать с оглядкой на условия оценки и игнорируемые символы. Лицензия — Apache-2.0. Карточка не описывает условия записи аудио, устойчивость к шуму, акцентам или другим языкам; качество за пределами указанного набора оценки не подтверждено.
Wren-TTS-0.5B-multi-expressive — мультиязычная модель синтеза речи серии Wren от shangeth, дообученная на базе shangeth/Wren-TTS-0.5B-multi. Она преобразует текст в токены нейрокодека Kyutai Mimi с помощью языковой модели на базе Qwen2.5-0.5B, после чего декодер Mimi формирует аудио с частотой 24 кГц. Архитектура использует восемь кодовых книг Mimi, схему предсказания с задержкой и conditioning по аудиозаписи голоса. Модель рассчитана на синтез речи с клонированием голоса по обязательному референсному аудиоклипу и управлением стилем с помощью 23 тегов эмоций и манеры речи. Поддерживаются английский, немецкий, французский, испанский, нидерландский, итальянский, польский и португальский языки. Теги стиля обучались только на английском тексте, поэтому их поведение с другими языками не определено. Стиль передаётся не всегда точно; качество зависит от тега и языка, а по качеству модель уступает ведущим выразительным системам синтеза речи. Унаследованные ограничения включают возможные галлюцинированные продолжения и склонность к аудиокнижной интонации в нетегированном английском. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
zlm-filb64le5s8000 — дообученная модель семейства SpeechT5, созданная на основе mikhail-panzo/zlm_b128_le4_s12000. По задаче text-to-audio она предназначена для генерации аудио по тексту, в том числе для сценариев синтеза речи. Модель сохранена в формате safetensors. В README приведено значение Loss 0.4077 на оценочном наборе, но подробности набора данных, языков, качества и ограничений не описаны. Лицензия в доступных данных не указана.
Это репозиторий с весами трансформера Zyphra Zonos-v0.1, подготовленными для запуска через RLX. Он предназначен для синтеза речи по тексту в среде RLX; в репозитории размещены веса в форматах Safetensors и GGUF F16 размером около 3 ГиБ каждый, а также конфигурация модели. Репозиторий представляет собой промежуточную копию исходного чекпойнта, созданную как стабильная точка загрузки для рецептов RLX. Указана лицензия Apache-2.0. Карточка не сообщает поддерживаемые языки и подробные характеристики синтеза.
Canopy Labs выпустила эту французскую версию Orpheus 3B — языковой модели синтеза речи на базе Llama, дообученной для генерации естественной и выразительной речи. Модель принимает текст и выдаёт речь; README заявляет поддержку клонирования голоса без предварительного дообучения, управления эмоциями и интонацией с помощью тегов и потоковой генерации с задержкой около 200 мс, которую можно снизить примерно до 100 мс при потоковой подаче входа. Модель предназначена для французского языка и построена на основе Orpheus 3B и Meta Llama 3.2 3B Instruct; в репозитории указаны веса safetensors и библиотека Transformers. Лицензия — Apache 2.0. Заявления README о качестве синтеза и задержке не сопровождаются описанием методики оценки; соблюдайте ограничения разработчика и не используйте модель для имитации голоса без согласия, обмана или мошенничества.
Карточка модели ACE-Step/acestep-v15-turbo-shift3 на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.
Это 8-битная MLX-версия Whisper Medium, дообученной BengaliAI для распознавания региональных вариантов бенгальского языка. Автор карточки модели адаптировал веса для запуска на компьютерах Mac с Apple Silicon и не проводил дополнительного обучения. Указана аффинная 8-битная квантизация с размером группы 64; часть тензоров сохраняет плавающую точность. Лицензия — Apache-2.0. Модель преобразует бенгальскую речь в текст. Пример скрипта из карточки принимает WAV или FLAC, приводит звук к моно с частотой 16 кГц и обрабатывает фрагменты длительностью до 26 секунд; максимальный вывод на фрагмент — 440 токенов. В описанном тесте 8-битная версия обрабатывала пятиминутную запись быстрее и с меньшим пиковым потреблением памяти, чем MLX fp16, однако тест не измерял точность транскрипции. Модель может ошибаться на тишине и шуме; обнаружение пауз по энергии способно разрезать непрерывную речь внутри слова. Совпадение результатов с fp16 на 24 коротких клипах не подтверждает общую точность или качество на каждом диалекте. Работа на Android и Raspberry Pi не проверялась.
BlueMagpie-TTS — модель синтеза речи, разработанная OpenFormosa. Она преобразует текст на мандаринском китайском и смешанный китайско-английский текст в речь. Доступны два взаимоисключающих режима: управление голосом через центроид диктора или через аудиозапись-образец; для образца рекомендуется запись длительностью не менее трёх секунд. Репозиторий содержит веса модели и AudioVAE, токенизатор, конфигурацию и документацию для инференса. Модель предназначена для оценки синтеза речи и экспериментов с голосовым управлением, включая синтез длинных текстов с разбиением на фрагменты. В README приведены внутренние метрики CER и WER, но они не являются публичным бенчмарком. Лицензия указана как other; перед распространением чекпойнта или синтезированной речи необходимо проверить права и получить согласие на использование голоса. К ограничениям относятся зависимость сходства голоса от качества образца или центроида, недостаточная калибровка поведения остановки генерации и риск дрейфа просодии на очень длинных фрагментах. Генерируемую речь следует проверять; продолжение речи с использованием контекста аудио экспериментальное и по умолчанию отключено.