I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-ppk — модель синтеза речи на основе текста для языка Papiamento (код ppk), созданная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; стохастический предсказатель длительности позволяет варьировать ритм произнесения, поэтому результат может меняться между запусками, если не зафиксировать seed. Модель предназначена для преобразования текста на Papiamento в речь. Она доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий содержит веса PyTorch и Safetensors. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.
facebook/mms-tts-rej — модель синтеза речи на языке режанг из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует текст на режанге в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый кодировщик на основе Transformer, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Это отдельный чекпойнт для режанга с 3,5 млн параметров; он доступен через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-suc — модель синтеза речи на западном субанонском языке (suc), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст в речевой сигнал и подходит для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, поточного модуля и декодера, сходного с HiFi-GAN. В архитектуру также входит стохастический предиктор длительности, поэтому одна и та же фраза может звучать с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, а запуск поддерживается через Transformers версии 4.33 и новее. Модель предназначена для западного субанонского языка и не заявлена как многоязычная. Генерация недетерминирована: для повторения одного и того же результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-sus — модель синтеза речи на языке сусу (код sus), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на сусу в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, декодер, подобный HiFi-GAN, и стохастический предиктор длительности. В метаданных указан размер 3,5 млн параметров; доступны веса PyTorch и Safetensors, а для работы подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на сусу, например для голосовых интерфейсов и создания аудиоверсий материалов. Стохастический предиктор позволяет варьировать ритм речи; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-taj — модель синтеза речи на восточном тамангском языке, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тамангском языке в речевую аудиоволну и подходит для озвучивания текстов и создания речи для приложений на этом языке. Модель основана на архитектуре VITS и содержит текстовый энкодер на базе Transformer, потоковый модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Для каждого языка MMS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-tte — модель синтеза речи для языка Bwanabwana, выпущенная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный языковой чекпойнт семейства MMS-TTS на архитектуре VITS; число параметров — 3,5 млн. Модель принимает текст на Bwanabwana и генерирует речевую аудиоволну. VITS объединяет вариационный автоэнкодер, нормализующие потоки, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Стохастический предиктор позволяет получать разные ритмические варианты для одного текста, поэтому результат может меняться между запусками; для повторяемого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель hamza-amin предназначена для синтеза речи на урду: она преобразует текст на урду, записанный арабским письмом, в речь. Это дообученная версия facebook/mms-tts-urd-script_arabic из семейства MMS, построенная на архитектуре VITS; размер модели — 3,6 млн параметров. Модель работает через Transformers и подходит для локального или серверного синтеза речи, а также для учебных и исследовательских сценариев. Модель обучалась на наборе codewithdark/urdu-tts. Количественной оценки качества не проводилось, а качество звучания зависит от обучающих данных. Она не предназначена для входного текста на Roman Urdu, других языков, клонирования голоса или идентификации говорящего; пригодность для пользовательского сервиса следует предварительно оценить на слух. Лицензия в предоставленных данных не указана.
MLX Community подготовила 6-битную конверсию MOSS-Music-8B-Thinking для анализа музыки на компьютерах Apple Silicon. Это мультимодальная модель, принимающая аудио и текст и отвечающая текстом; исходная модель разработана командой OpenMOSS. Репозиторий содержит около 9,1 млрд параметров. Квантованы слои Qwen3, эмбеддинги токенов и выходной слой; аудиоэнкодер сохранён в bf16. По данным карточки, при сравнении с fp32 PyTorch модель сохраняет совпадение argmax следующего токена и близкие логиты. Модель предназначена для понимания музыки: анализа аудиозаписей, вокала и музыкальных структур, а также ответов на вопросы о музыке. Для загрузки требуется backend moss_music_mlx; напрямую через mlx_lm и mlx_vlm модель не загружается. Репозиторий распространяется по лицензии Apache-2.0.
Nepali Voice Engine v0.4 — модель преобразования текста в речь на непальском языке, представленная автором ujjwal5454. Это пакет для Transformers с архитектурой NepaliVoiceEngine и автокодирующим декодером речи; в релиз включены два токенизатора и конфигурации текстового энкодера T5 и аудиокодека DAC. Модель предлагает голосовые профили Aakriti, Sangeeta, Prabal и Baje. Модель предназначена для синтеза непальской речи из текста с выбором одного из предустановленных голосов. Для запуска нужны PyTorch и Transformers версии 4.46.1; выпуск не поддерживает Transformers 5.x. README указывает, что обученный чекпойнт происходит от Indic Parler-TTS, а декодер является производной Apache-2.0 реализации Parler-TTS. Условия использования чекпойнта следует сверять с NOTICE и LICENSE. В README описаны проверки конфигурации, загрузки и синтеза на случайных весах, однако качество обученных голосов этими проверками не оценивалось. Поэтому по карточке нельзя заключить, насколько естественно модель звучит или каковы её ограничения по произношению и качеству аудио.
Mungert/orpheus-3b-0.1-ft-GGUF — англоязычная модель преобразования текста в речь, разработанная Mungert. Она основана на Meta Llama 3.2 3B Instruct и canopylabs/orpheus-3b-0.1-pretrained и представлена в формате GGUF для запуска средствами, совместимыми с этим форматом. Модель предназначена для синтеза речи из текста, в том числе на устройствах с ограниченными ресурсами: CPU, edge-устройствах и системах с небольшим объёмом GPU-памяти. В репозитории описана ультранизкобитная квантизация с методом IQ-DynamicGate, который распределяет точность по слоям и защищает наиболее критичные компоненты. Доступны варианты с квантизацией 1–2 бита; для отдельных конфигураций заявлено снижение perplexity по сравнению со стандартной квантизацией при небольшом увеличении размера и сопоставимой скорости вывода. Ключевые ограничения — англоязычная специализация, возможная потеря качества из-за агрессивной низкобитной квантизации и зависимость совместимости от программного обеспечения, поддерживающего GGUF и соответствующие типы квантизации. Приведённые в README бенчмарки выполнены для Llama-3-8B-Instruct с контекстом 2048 токенов и не являются прямой оценкой качества синтеза речи этой модели. Лицензия — Apache-2.0.
Qwen3-ASR-1.7B-JA-Anime-Galgame-GGUF — это квантованная версия модели автоматического распознавания речи Qwen3-ASR-1.7B, адаптированная upstream-разработчиком jaykwok для японской аниме- и галгейм-речи. Репозиторий cstr/qwen3-asr-1.7b-ja-anime-GGUF содержит только конвертацию весов в формат GGUF и их квантование; дополнительное обучение, дообучение, объединение или дистилляция не выполнялись. Модель предназначена для транскрибации аудио и рассчитана на использование с CrispASR и backend Qwen3. Архитектура включает 24-слойный Whisper-подобный аудиоэнкодер с размерностью 1024 и 16 головами внимания, двухслойный MLP-проектор 1024 → GELU → 2048 и 28-слойный декодер Qwen3 с размерностью 2048, 16 Q-головами и 8 KV-головами, SwiGLU и словарём из 151 936 GPT-2 BPE-токенов. Модель поддерживает более 30 языков, включая японский, английский и китайский, с улучшенной работой на японской речи из аниме и игр. Размер доступных файлов составляет около 1,3 ГБ для Q4_K и 2,5 ГБ для Q8_0; Q4_K рекомендован для большинства сценариев, а Q8_0 обеспечивает более высокое качество ценой большего потребления памяти. К сильным сторонам относятся специализация на японской аниме- и игровой речи, многоязычность и возможность локального запуска в компактном GGUF-формате. К ограничениям относятся компромисс между качеством и требованиями к памяти при квантовании, а также отсутствие в README данных о размере контекста, точных метриках качества, устойчивости к шуму и характеристиках других типов аудио. Модель распространяется по лицензии Apache 2.0 согласно лицензии базовой модели.
Карточка модели UBC-NLP/Simba-TTS-tsn на Hugging Face совпадает с карточкой UBC-NLP/Simba-TTS-afr, поэтому описание составлено по ней. Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.
Карточка модели UBC-NLP/Simba-TTS-xho на Hugging Face совпадает с карточкой UBC-NLP/Simba-TTS-afr, поэтому описание составлено по ней. Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.
thealper2/speecht5-tts-turkish — модель синтеза турецкой речи, созданная автором репозитория дообучением SpeechT5 от Microsoft на наборе erenfazlioglu/turkishvoicedataset. Она принимает турецкий текст и вместе с вокодером microsoft/speecht5_hifigan генерирует аудио с частотой 16 кГц. Базовая архитектура SpeechT5 насчитывает 144 млн параметров; в этой версии расширен токенизатор SentencePiece: добавлены турецкие буквы, а текстовые эмбеддинги увеличены с 81 до 99 строк. Для корректной работы требуется процессор из этого репозитория. Модель рассчитана на озвучивание турецких фраз и новостных текстов одним синтетическим голосом. В README приведена оценка WER 0,1538 на фиксированном тесте из 30 предложений; эти показатели получены через распознавание синтезированного аудио и зависят также от ошибок распознавателя. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Качество хуже на специфических турецких буквах, особенно ğ и ş; длинные высказывания рекомендуется делить на части по границам предложений. Цифры и сокращения нужно предварительно раскрывать словами. Голос и просодика отражают синтетические данные, преимущественно новостного стиля; модель не предназначена для других языков, клонирования голоса или управления несколькими голосами.
Это вокодер HiFi-GAN от SpeechBrain, обученный на многоголосом датасете LibriTTS. Модель принимает спектрограмму и преобразует её в звуковую волну с частотой дискретизации 22 050 Гц; обычно её используют после модели синтеза речи, которая преобразует текст в спектрограмму. Вокодер подходит для построения англоязычных систем синтеза речи и преобразования спектрограмм в аудио. Для работы требуется спектрограмма, поэтому сам по себе этот репозиторий не выполняет полный цикл преобразования текста в речь. Модель распространяется по лицензии Apache-2.0.
Карточка модели Jinstudio/VibeVoice-AcousticTokenizer на Hugging Face совпадает с карточкой microsoft/VibeVoice-AcousticTokenizer, поэтому описание составлено по ней. VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.
VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.
Карточка модели maitrix-org/Voila-autonomous-preview на Hugging Face совпадает с карточкой maitrix-org/Voila-Tokenizer, поэтому описание составлено по ней. Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.
Это модель SomosNLP, дообученная на базе facebook/wav2vec2-base для классификации эмоциональной окраски испанской речи по аудио. Она использует архитектуру Wav2Vec2ForSequenceClassification; размер модели — 113,3 млн параметров. На тестовой выборке MESD указаны точность 0,9308 и потеря 0,3071. Модель подходит для анализа настроения в голосовых записях и классификации аудиоматериалов по эмоциональной окраске. В README также описаны возможные сценарии подбора музыки и медиа по настроению и обнаружения звуковых событий при расширении набора классов. Однако исходная модель обучена именно на эмоциях в речи и не заявлена как детектор драк или других событий. MESD содержит около 1200 студийных записей длительностью примерно одну секунду; для обучения использовали 890 записей. Поэтому качество может снижаться на шумном аудио и при фоновой музыке, а класс «страх» распознаётся хуже остальных. Лицензия — Apache-2.0.
techiaith/wav2vec2-btb-cv-ft-cv-cy — модель распознавания речи на валлийском языке, разработанная Techiaith. Это дообученная версия techiaith/wav2vec2-xlsr-53-ft-btb-cv-cy: энкодер базовой модели заморожен, обучение проводилось на Common Voice 18 для валлийского языка. Модель построена на архитектуре wav2vec2 и имеет около 402,7 млн параметров. Модель преобразует аудио в текст и предназначена для автоматической расшифровки валлийской речи. На стандартном тестовом наборе Common Voice 18 для валлийского языка она показала WER 24,93 и CER 6,55; при использовании сопутствующей языковой модели KenLM показатели составили WER 15,30 и CER 4,57. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.
LeBenchmark/wav2vec2-FR-3K-large — предварительно обученная модель wav2vec 2.0 Large, выпущенная проектом LeBenchmark. Её энкодер обучен на 2,9 тыс. часов французской речи, включая спонтанную, прочитанную и вещательную речь. В метаданных указано 402,7 млн параметров; модель доступна в форматах PyTorch, Flax и safetensors под лицензией Apache-2.0. Модель предназначена для извлечения речевых представлений, которые можно использовать как признаки для систем распознавания речи, распознавания и верификации говорящего, а также разделения источников звука. Её можно дообучать для распознавания речи с CTC или подключать как замороженный энкодер в речевые конвейеры. Карточка отмечает, что качество преобразования речи в текст с CTC может быть ниже уровня современных лучших систем; для ряда downstream-задач требуется дообучение. Длина контекста в предоставленных данных не указана.
Модель greenw0lf/wav2vec2-large-xls-r-2b-frisian-cv-8 — дообученная автором для магистерской работы версия facebook/wav2vec2-xls-r-2b. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и 2,8 млрд параметров, принимающая аудиозаписи и распознающая речь на фризском языке. Она обучена на 41 часе валидированных фризских записей из Common Voice 8.0; автор приводит WER 0,0405 на выборке оценки и 0,0422 на тестовой выборке. Модель предназначена для транскрибирования фризской речи, например записей, похожих на данные Common Voice. При обучении и оценке использовались разделы фризского набора Common Voice 8.0, поэтому приведённые показатели относятся к этой тестовой конфигурации. Среди ограничений автор указывает отсутствие повторного ранжирования с языковой моделью и использование версии Common Voice 8.0 вместо более поздней 13.0. Лицензия — Apache-2.0.
Это дообученная версия X-Codec-2.0 от Scicom International, основанная на HKUSTAudio/xcodec2. Модель кодирует и обрабатывает речь с латентной частотой 25 токенов в секунду и частотой дискретизации 24 кГц; исходная версия использует 50 токенов в секунду. Репозиторий описывает обучение на наборах речевых данных, включая малайские подкасты и датасеты для распознавания и синтеза речи. Модель предназначена для аудио-аудио сценариев и может служить речевым аудиокодеком в системах моделирования и синтеза речи. В карточке указаны архитектура XCodec2 и формат весов safetensors. Подробная инструкция по запуску и условия лицензии в доступных материалах не описаны.
Это дообученная байтовая модель ByT5 для преобразования написания слов в фонемную транскрипцию IPA. Она принимает слово с языковым кодом ISO 639-3 и, для части языков, уточнением варианта, а выдаёт фонемы через пробел в соглашении, основанном на gruut и совместимом с голосами семейства Piper. Модель разработана Will Wade и обучена на гармонизированном корпусе из 4,12 млн пар из gruut и WikiPron с выравниванием соглашений IPA с помощью M2M-аллайнера. Модель поддерживает 142 языковых варианта, включая варианты английского, португальского и испанского, а также разделения для валлийского, армянского, бенгальского и китайских языков. Архитектура — T5ForConditionalGeneration; в метаданных указано 11,1 млн параметров. Доступны веса safetensors и экспорт ONNX для работы на CPU. В тесте на 4 тыс. примеров точное совпадение составило 0,718 по micro-метрике и 0,619 по macro-метрике. Модель предназначена для получения произношения слов и подготовки произносительных словарей для синтеза речи. Она преобразует текст в фонемы, но сама аудио не синтезирует; точность зависит от языка, его варианта и принятых соглашений транскрипции. Лицензия — CC BY-SA 4.0.
Christina TTS — дообученная модель синтеза речи на базе Qwen/Qwen3-TTS-12Hz-0.6B-Base. Разработчик настроил два варианта пользовательского голоса, вдохновлённого Курису Макисэ из визуальной новеллы Steins;Gate: christina для преимущественно английской речи и christina-jp для преимущественно японской. Это фанатская реконструкция, не связанная с официальной актрисой озвучивания персонажа. Модель предназначена для преобразования текста в речь с характерной подачей выбранного голоса. Английский вариант ориентирован на естественные английские интонацию и ритм; японский — на естественное звучание японской речи. При использовании каждого варианта для другого из этих языков могут проявляться особенности акцента и интонации. Хотя базовая модель теоретически поддерживает и другие языки, качество дообученной версии для них не гарантируется. Модель распространяется в формате safetensors; README приводит установку через пакет qwen-tts. Информация о лицензии в предоставленных данных отсутствует.
efwkjn/cohere-asr-ja-v0.1 — японский вариант Cohere Transcribe, созданный разработчиком репозитория путём дообучения CohereLabs/cohere-transcribe-03-2026. Это модель распознавания речи, ориентированная на японскую речь общего содержания и аниме; в README указана обработка аудиофрагментов длительностью до 35 секунд, в среднем около 25 секунд. Модель принимает аудио и выдаёт текстовую транскрипцию. В README приведены оценки на нескольких наборах данных, включая FLEURS, JSUT, Blue Archive и Nekopara, а также сравнение с некоторыми вариантами Whisper и NUE-ASR. Результаты различаются в зависимости от набора данных, поэтому они не гарантируют аналогичное качество на других типах аудио. Модель опубликована в формате safetensors; отдельная лицензия для этой версии в доступных сведениях не указана.
DiCoW v3.3 large — модель распознавания речи целевого говорящего, разработанная командой BUT Speech@FIT. Она транскрибирует речь выбранного участника в аудиозаписи с несколькими говорящими, используя результаты диаризации для настройки распознавания. Модель дообучена на базе Whisper large-v3 и содержит слои FDDT, которые преобразуют сигналы диаризации на уровне кадров; размер модели — 905,2 млн параметров. Модель рассчитана на аудио со смешанной речью, например записи встреч и разговоров. Вход включает 30-секундный аудиофрагмент и четырёхканальную STNO-маску; маску и диаризацию можно подготовить через демонстрационное приложение DiCoW inference. Модель обучалась на AMI, NOTSOFAR-1, LibriMix и синтетических смесях LibriSpeech. Карточка сообщает о снижении tcpWER примерно на 50% относительно DiCoW v1 на Libri3Mix. Качество распознавания зависит от точности диаризации. При полном перекрытии речи более чем двух говорящих модель может хуже отделять целевого участника. Репозиторий распространяется по лицензии CC BY 4.0.
Ekko v1 Tiny — компактная модель распознавания датской речи в текст, разработанная RyeAI. Это дообученная на базе nvidia/parakeet-rnnt-110m-da-dk модель FastConformer RNN-T размером 110 млн параметров, предназначенная для локального офлайн-распознавания речи. Она поддерживает выдачу временных меток слов и доступна в форматах NeMo, GGUF и ONNX, включая варианты квантования для локального запуска на CPU и в браузере. Модель лучше всего подходит для чёткой речи одного говорящего в ровном темпе, например для чтения вслух и диктовки. В описанном бенчмарке средний WER составил 12,37%; результаты на чтении заметно лучше, чем на спонтанных разговорах. Выходной текст пишется строчными буквами и не содержит пунктуации; для восстановления регистра и знаков препинания можно использовать отдельную модель RyeAI/ekko-pnc. Модель предназначена только для датского языка. Шумная речь и перекрывающиеся голоса отдельно не оценивались, а диктовка не проверялась как самостоятельный тестовый набор. Лицензия указана как other, поэтому условия использования следует уточнить в карточке репозитория.
Edge0/GPA-v1.5-onnx-runtime — набор ONNX Runtime-ресурсов для локального запуска GPA v1.5, опубликованный для использования вместе с отдельным кодом среды выполнения GPA. Он предназначен для синтеза речи и включает варианты основной модели fp16 и int4, а также ресурсы токенизатора голоса для регистрации голосов. В README также описаны сценарии запуска через CLI, FastAPI и браузерный интерфейс, включая проверку распознавания речи. Модель основана на Qwen/Qwen3-0.6B и распространяется в форматах ONNX и PyTorch с файлами safetensors. В метаданных указаны английский и китайский языки. Лицензия — Apache-2.0. Репозиторий содержит только ресурсы модели: для работы необходим отдельный код GPA v1.5 ONNX Runtime.
Kokoro-7M-Distill — англоязычная модель синтеза речи, созданная дистилляцией Kokoro-82M. Она содержит около 7,48 млн параметров, работает с фонемами и использует архитектуру Kokoro / StyleTTS2: 12 общих слоёв ALBERT, предсказатель просодии и декодер ISTFTNet. Модель выдаёт речь с частотой дискретизации 24 кГц и рассчитана на быстрый автономный запуск на CPU, в том числе на телефонах; в описанном сравнении она синтезировала речь в 4,1 раза быстрее версии на 82 млн параметров. Модель предназначена для локального синтеза английской речи из текста, например для озвучивания коротких фраз без подключения к серверу. Доступен один голос. Лучше всего подходит для обычной прозы: пунктуация и необычное форматирование передаются фронтенду как есть и могут ухудшить результат. Лицензия — Apache-2.0.