I.9Аудио и музыка

Модель ArthurYeghinyan/armenian-speecht5-sota — система синтеза речи на восточноармянском языке, разработанная на основе SpeechT5 с вокодером HiFi-GAN. Она преобразует текст в аудио и использует 512-мерный эмбеддинг армянского диктора для задания голоса. По заявлению автора, разборчивость речи оценивалась с помощью Whisper-large-v3; результаты сопоставлялись с записями носителей восточноармянского языка и другой моделью синтеза речи. Модель предназначена для озвучивания армянских текстов. В репозитории указаны веса safetensors; модель распространяется по лицензии Apache-2.0. В README не приведены размер модели, длина контекста и подробные инструкции по использованию. Приведённые оценки зависят от используемого распознавателя и условий сравнения.

BUD-E-Whisper V1.21 — модель LAION для подробного описания речи в аудиозаписях. Она дообучена на базе laion/BUD-E-Whisper_V1.2 и использует архитектуру Whisper Small с кодировщиком и декодировщиком; метаданные указывают 153,1 млн параметров и формат safetensors. Лицензия — CC BY 4.0. Модель принимает аудиоклип длительностью до 30 секунд и генерирует текстовое описание голоса и речи: тембра, эмоций, манеры подачи, предполагаемых характеристик говорящего, качества записи и изменений во времени. Дополнительный этап обучения на сбалансированной по 40 категориям эмоций выборке призван улучшить описание редких эмоциональных состояний. Обучение преимущественно ориентировано на английскую речь, но модель может работать и с некоторыми другими языками. Модель подходит для анализа и аннотирования речевых записей, когда нужны подробные описания голоса и эмоциональной подачи. По оценке авторов, она может лучше справляться с редкими эмоциями, но её средняя оценка на автоматическом бенчмарке ниже, чем у V1.2. На музыке и окружающих звуках описания могут быть менее содержательными; возможны ошибки в определении пола говорящего и эмоций.

Xenova/clap-htsat-unfused — версия модели LAION CLAP HTSAT без объединения компонентов, преобразованная в формат ONNX для совместимости с библиотекой Transformers.js. Разработчик исходной модели — LAION; репозиторий Xenova предоставляет ONNX-веса, ориентированные на использование в JavaScript и веб-средах. Модель предназначена прежде всего для классификации аудио без дополнительного обучения по заданным текстовым меткам. Она сопоставляет аудиосигнал и текстовые описания в общем пространстве признаков, что позволяет оценивать, насколько звук соответствует вариантам вроде «звук кошки» или «лай собаки». Также доступны отдельные компоненты для получения текстовых и аудиоэмбеддингов. Архитектура основана на CLAP с аудиокодировщиком HTSAT. Для текста и аудио модель формирует эмбеддинги размерности 512. Поддерживаются аудио- и текстовые входы; конкретные языки, максимальная длина контекста, размер параметров и другие аппаратные характеристики в README не указаны. ONNX-формат делает модель пригодной для запуска через Transformers.js, в том числе в сценариях, где важна веб-совместимость. Сильной стороной модели является возможность zero-shot классификации звуков и универсальное сопоставление аудио с текстом без обучения под каждый новый набор классов. Ограничения включают зависимость качества от формулировок текстовых меток и отсутствие в предоставленных данных сведений о точности, языковой поддержке, производительности и рекомендуемых ресурсах. Лицензия в README не указана; условия использования следует уточнять в исходном репозитории laion/clap-htsat-unfused и репозитории Xenova.

handy-computer/gigaam-v3-rnnt-gguf — это GGUF-конверсия модели GigaAM-v3, разработанной ai-sage, адаптированная для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания русской речи и преобразования аудио в текст с использованием жадного RNN-T-декодирования. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 содержит около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с использованием цели HuBERT-CTC. Данная версия обучена выдавать строчные русские символы без пунктуации и использует словарь из 33 символов. Поддерживаются варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. Для аудио на наборе FLEURS ru заявлен WER около 8,07–8,12% в зависимости от квантования. Сильные стороны модели — специализированное распознавание русского языка, автономная работа без внешней языковой модели и небольшие требования к размеру в квантованных вариантах. Ограничения: потоковая обработка, перевод и автоматическое определение языка не поддерживаются; результат не содержит пунктуации и нормализации текста. Предусмотрены токенные временные метки. Для работы требуется transcribe.cpp, а входное аудио должно быть WAV с частотой 16 кГц и одним каналом. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Goonj-1-82M — модель синтеза речи, разработанная BH-Builds на основе дообученной Kokoro-82M. Она преобразует текст в речь на хинди, индийском английском и хинглише; для генерации достаточно указать текст и один из 15 встроенных голосовых профилей, аудиообразец не требуется. Модель содержит около 82 млн параметров и основана на архитектуре StyleTTS2; рассчитана на запуск на CPU и устройствах с ограниченными ресурсами. Голосовые профили включают голоса на хинди и индийском английском, а также базовый голос на хинди. Для подготовки текста к синтезу требуется фонемизация: хинди обрабатывается через G2P для хинди, английский — через американский английский G2P, а хинглиш — гибридной маршрутизацией. Модель обучена на синтетических аудиоданных BH-Builds/mac-audio. Лицензия — Apache-2.0. Известные ограничения связаны с артефактами и особенностями произношения, унаследованными от синтетических обучающих данных; редкие слова на хинглише могут звучать с англизированным произношением, а естественность речи уступает более крупным моделям.

Nepali Indic Parler-TTS — модель синтеза речи, дообученная milanakdj на базе Indic Parler-TTS для озвучивания текста на непальском языке. Она использует архитектуру ParlerTTSForConditionalGeneration и библиотеку parler-tts; веса представлены в формате safetensors. В карточке указаны лучший validation loss 5.4939, 628 шагов обучения и время обучения 135,3 минуты. Модель предназначена для преобразования непальского текста в речь. README не приводит примеров звучания или подробностей о диапазоне голосов и настройках синтеза. Условия лицензии в предоставленных данных не указаны.

Nepali Parler-TTS — дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель семейства Parler-TTS принимает текст и генерирует речь; для работы используется библиотека parler-tts. В карточке приведены результаты обучения: лучшее значение validation loss — 6,2261, обучение длилось 5236 шагов. Модель предназначена для преобразования непальского текста в речь. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в доступных данных отсутствуют.

HariprasathSB/indic-whisper-vulnerable — дообученная модель распознавания речи на базе Vignesh-M/Indic-whisper. Она использует архитектуру WhisperForConditionalGeneration и содержит 455,8 млн параметров. Модель предназначена для преобразования аудио в текст; карточка указывает задачу automatic-speech-recognition. В README приведены результаты оценки: loss 0,9019 и WER 73,2647. Описание обучения, набора данных, языков и предполагаемых сценариев использования не раскрывает дополнительных подробностей. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Jano-TTS — компактная многоголосая модель синтеза речи, представленная автором репозитория jano3. Она основана на Flow Matching и архитектуре UNet в стиле Matcha, содержит около 24,6 млн параметров и генерирует речь с частотой 24 кГц. В карточке указана поддержка 128 голосов. Эта версия дообучена для синтеза речи на сомалийском языке; для английского автор рекомендует базовую модель. Модель рассчитана на преобразование текста в аудио, а для инференса в README перечислены PyTorch, Transformers, Vocos и tokenizers. Репозиторий распространяется по лицензии Apache-2.0.

Kokoro-82M CoreML — модель синтеза речи, представляющая собой CoreML-экспорт базовой модели hexgrad/Kokoro-82M, подготовленный разработчиком aufklarer для устройств Apple. Она предназначена для локального преобразования текста в речь в приложениях на iOS и macOS, включая голосовые интерфейсы, озвучивание текста и другие сценарии on-device TTS. Для работы требуется iOS 18 или macOS 15 и новее, а интеграция рассчитана на использование CoreML и Apple Neural Engine. Модель содержит 82 млн параметров, работает в формате FP16 и объединяет в одном вызове CoreML полный конвейер синтеза: BERT, предсказание длительности, выравнивание фиксированной формы, просодию и декодер. Максимальная длина генерируемого аудио составляет 5 секунд, поддерживается до 128 фонем за один проход, размерность стиля — 256, частота дискретизации — 24 кГц. Для преобразования графем в фонемы используются отдельные модели G2P Encoder и G2P Decoder. В комплект входят 54 предустановленных голосовых эмбеддинга для 10 языков и языковых вариантов: английского (US/UK), испанского, французского, хинди, итальянского, японского, корейского, португальского и китайского. К сильным сторонам относятся единый end-to-end CoreML-конвейер, оптимизация под Apple Neural Engine и возможность локальной генерации речи без обращения к серверу. Ограничения включают зависимость от современных версий iOS и macOS, максимальную длительность одного прохода в 5 секунд, ограничение по числу фонем и крупный размер FP16-файла модели около 325 МБ. Модель и её CoreML-конверсия распространяются по лицензии Apache-2.0; словари и компоненты G2P также указаны как Apache-2.0.

Kova TTS 1 — англоязычная модель синтеза речи, разработанная Kova AI для озвучивания аудиокниг и длительного повествования. В основе — плотная авторегрессионная архитектура Llama 3.2 1B; модель содержит 1,3 млрд параметров и поддерживает контекст до 131 072 токенов. Она генерирует потоковое моно-аудио с частотой 48 кГц, а нейронный кодек преобразует предсказываемые моделью дискретные аудиотокены в речь. Модель предназначена для преобразования текста в естественную речь, клонирования голоса по образцу аудио и его точной расшифровке, а также потокового синтеза с временными метками слов. Доступны пять голосовых LoRA-адаптеров; также можно обучить собственный. Для клонирования нужны качественная запись и соответствующая ей транскрипция. Модель поддерживает только английскую речь; скорость и задержка зависят от оборудования и конфигурации. Веса выпущены по лицензии Research and Non-Commercial Model License: коммерческое использование требует отдельной письменной лицензии от Kova AI. Сопровождающий сервер предназначен для локального использования, экспериментов и интеграционной разработки, а не для производственного развёртывания.

Xenova/mms-tts-eng — модель синтеза речи из текста для английского языка, разработанная на основе facebook/mms-tts-eng. Репозиторий Xenova содержит ONNX-веса, адаптированные для работы с библиотекой Transformers.js, включая запуск в JavaScript-окружениях и веб-приложениях. Модель предназначена для преобразования английского текста в аудио. Она возвращает монофонический аудиосигнал в формате Float32Array с частотой дискретизации 16 кГц; доступны обычная и quantized-версия, причём квантованная используется по умолчанию и может снизить требования к ресурсам. В README не указаны архитектура, число параметров, размер контекста и точные ограничения качества, поэтому оценить производительность и применимость к специализированным сценариям нельзя. Лицензия в предоставленных данных не указана.

facebook/mms-tts-hin — модель синтеза речи на хинди из проекта Massively Multilingual Speech (MMS), разработанного Meta (Facebook). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на хинди. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером, flow-модулем, декодером HiFi-GAN и стохастическим предсказателем длительности. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать разные ритмические варианты одной фразы, поэтому для воспроизводимого результата нужен фиксированный seed. Модель обучена отдельно для хинди и не предназначена для синтеза речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-lao — модель синтеза речи на лаосском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания лаосских текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и декодером на основе HiFi-GAN; стохастический предиктор длительности позволяет варьировать ритм произношения. Для каждого языка MMS обучается отдельный чекпойнт. Модель доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-pol — модель синтеза польской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт для польского языка, доступный через библиотеку Transformers версии 4.33 и новее. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Она преобразует входную последовательность текста в речевую форму волны; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Модель предназначена для синтеза польской речи в приложениях и прототипах озвучивания текста. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Barrymanalow/nb-whisper-coreml — это конвертация модели NbAiLab/nb-whisper-small из PyTorch в формат CoreML для запуска через WhisperKit на устройствах Apple Silicon. Нового обучения, дообучения или дистилляции не выполнялось: веса и поведение унаследованы от исходной модели NbAiLab. Модель предназначена для автоматического распознавания речи, включая диктовку и транскрибацию норвежской речи, в частности в приложениях для macOS. Модель относится к семейству Whisper и имеет размер small; точная архитектура в README не раскрыта. Поддерживаются норвежский, английский и другие языки исходной мультиязычной модели, при этом в метаданных указаны норвежские языковые варианты no, nb и nn. Содержимое включает компоненты MelSpectrogram, AudioEncoder и TextDecoder в виде скомпилированных CoreML-моделей, использующих активации Float16. Репозиторий рассчитан на WhisperKit и требует macOS 14 или новее на Apple Silicon; работа проверена с WhisperKit 0.9 на macOS 15. Сильная сторона модели — интеграция с CoreML и возможность использования Apple Neural Engine для локальной транскрибации. Модель сохраняет мультиязычный токенизатор, поэтому способна корректно обрабатывать английские слова внутри норвежской речи. Ограничение заключается в том, что это не норвежскоязычная модель в строгом смысле: принудительное распознавание английской речи как норвежской может привести к правдоподобному, но ошибочному переводу вместо явной ошибки. Заявленная ориентация вычислений на Neural Engine не подтверждена отдельными измерениями, а систематическое сравнение результатов с исходной PyTorch-моделью не проводилось. Модель распространяется по лицензии Apache-2.0, унаследованной от NbAiLab/nb-whisper-small. При использовании рекомендуется указывать авторство NbAiLab; конвертация в CoreML не добавляет новых ограничений.

SeyedAli/Persian-Speech-synthesis-MMS — модель синтеза речи на фарси из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и предназначена для создания озвучивания на фарси. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, связанный с HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним README указывает Transformers версии 4.33 или новее. Предиктор длительности стохастический, поэтому одинаковый текст может звучать по-разному; для воспроизводимого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Это конвертированная в формат Vokra GGUF модель синтеза речи piper-plus-mera-multilingual. Репозиторий Vokra содержит веса исходной модели без дообучения; источник указан как ayutaz/piper-plus, лицензия — MIT. Архитектура обозначена как piper-plus-mb-istft-vits2, файл весит 73,3 МБ. Модель предназначена для преобразования текста в речь в среде инференса Vokra. Для подачи текста требуется фронтенд G2P, подходящий этой голосовой модели. В карточке название указывает на многоязычный вариант, однако конкретные языки и параметры голоса в предоставленных данных не перечислены. Формат GGUF предназначен для загрузки весов в runtime Vokra.

Qwen3-ForcedAligner-0.6B — модель выравнивания речи по тексту, разработанная командой Qwen и упакованная проектом OpenASR. Она предназначена для уточнения временных меток отдельных слов в уже готовой расшифровке: модель получает исходное аудио и текст транскрипции, после чего корректирует приблизительные границы слов. Это не самостоятельная модель автоматического распознавания речи, а вспомогательная зависимость для OpenASR, используемая также при разделении сегментов по изменениям говорящего. Модель имеет размер 0,6 млрд параметров и использует архитектуру Qwen3-ASR с аудиоэнкодером и языковой частью thinker. В отличие от модели распознавания, она оснащена отдельной классификационной головой на 5000 временных интервалов шириной 80 мс. Выравнивание выполняется неавторегрессионно за один проход с определением границ слов по позициям timestamp. Доступны варианты FP16, Q8_0 и рекомендуемый OpenASR вариант q4_k; последний занимает около 765 МБ, при этом чувствительные к точности компоненты сохраняются в Q8_0. Сильные стороны модели — локальный инференс без Python, поддержка CPU и GPU через нативный runtime OpenASR и уточнение временных меток с дискретностью 80 мс. Ограничение состоит в том, что для работы необходима готовая транскрипция и совместимая ASR-модель OpenASR. Модель распространяется по лицензии Apache-2.0.

SongComposer_sft — дообученная модель Mar2Ding для генерации песен по инструкциям. Она основана на InternLM2 и предназначена для совместной работы с текстом и символическим представлением мелодии: умеет создавать мелодию по тексту песни, писать текст по мелодии, продолжать песню и генерировать песню по текстовому запросу. Модель содержит 7,4 млрд параметров, использует архитектуру InternLM2ForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных указаны английский и китайский языки. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не уточняет формат представления мелодии и качество на отдельных языках.

Модель Sandiago21/speecht5_finetuned_mozilla_foundation_common_voice_13_german — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Она обучена на немецкой части набора Common Voice 13.0; в карточке приведён результат Loss 0,4527 на оценочной выборке. Модель принимает текст и генерирует аудио. Для синтеза используется архитектура SpeechT5; веса доступны в форматах PyTorch и Safetensors. Модель подходит для преобразования немецкого текста в речь в приложениях и экспериментах с озвучиванием. Лицензия — MIT. README не содержит подробных сведений о качестве звучания, голосах и ограничениях применения.

svara-tts-voiceclone-beta — экспериментальная версия многоязычной модели синтеза речи от Kenpath, созданная на основе svara-tts-v1. Она предназначена для преобразования текста в речь на индийских языках и индийском английском, а также для клонирования голоса по короткому аудиопримеру. Модель использует плотную архитектуру LlamaForCausalLM с дискретными аудиотокенами в стиле Orpheus; в метаданных указаны 3,3 млрд параметров и контекст 131 072 токена. Модель поддерживает 19 языков: хинди, бенгальский, маратхи, телугу, каннада, бходжпури, магхия, чхаттисгархи, майтхили, ассамский, бодо, догри, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и индийский английский. Она поддерживает клонирование голоса по референсному аудио, выразительную речь с эмоциональными и невербальными подсказками и предназначена для диалоговых систем, IVR, обучения, доступности и создания контента. Заявлены совместимость с GGUF и vLLM и возможность специализации с помощью LoRA. Лицензия — Apache-2.0. Это бета-релиз: сходство голоса может снижаться в длинных высказываниях, качество различается между языками, а эмоциональная выразительность может быть менее надёжной для малоресурсных языков. Клонирование не гарантирует точного воспроизведения голоса; редкие имена и числа могут потребовать нормализации.

Это вокодер HiFi-GAN от SpeechBrain, обученный на многоголосом наборе LibriTTS. Он преобразует спектрограмму в звуковую волну с частотой дискретизации 16 кГц и предназначен для использования как звуковой компонент конвейера синтеза речи после модели, которая формирует спектрограмму из текста. Модель работает с аудиосинтезом на английском языке и распространяется в формате PyTorch. Лицензия — Apache-2.0. Для самостоятельного синтеза текста потребуется отдельная TTS-модель, способная подготовить совместимую спектрограмму; вокодер сам по себе текст не принимает.

Это вокодер HiFi-GAN от SpeechBrain, обученный на наборе LJSpeech. Он принимает мел-спектрограмму и преобразует её в речевую звуковую волну с частотой дискретизации 22 050 Гц; обычно его используют после модели синтеза речи, которая строит спектрограмму из текста. Репозиторий содержит предварительно обученные веса в формате PyTorch. Модель рассчитана прежде всего на речь одного диктора и английский язык, соответствующий обучающему набору LJSpeech. Она может обобщать на голоса других дикторов, но качество в таком режиме может быть ниже; для многодикторной речи авторы рекомендуют вокодер, обученный на LibriTTS. Лицензия — Apache-2.0.

Модель mouseyy/uk_wav2vec2_with_stress_mark — дообученная разработчиком mouseyy модель Wav2Vec2ForCTC для распознавания украинской речи с транскрипцией и обозначением лексического ударения. Она принимает аудио и выдаёт текст; обучалась на Common Voice 17.0. В README приведены результаты на оценочной выборке: WER 0,2984 и CER 0,1512. Модель содержит около 402,7 млн параметров и распространяется в формате Safetensors. Лицензия — Apache-2.0. Она предназначена для автоматической транскрипции украинской речи, включая вывод ударений; качество может различаться на других типах аудио и данных, поскольку сведения об обучении и ограничениях в карточке не раскрыты.

ai4bharat/vits_rasa_13 — модель синтеза речи на основе архитектуры VITS, дообученная AI4Bharat для индийских языков. Она преобразует текст в речь и предназначена для разговорных интерфейсов, аудиокниг и других приложений озвучивания. Модель поддерживает ассамский, бенгальский, бодо, догри, каннада, майтхили, малаялам, маратхи, непальский, пенджаби, санскрит, тамильский и телугу, а также различные стили, эмоции и предустановленные мужские и женские профили дикторов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — CC BY 4.0.

Prakmlis/w2v-bert-2.0-khmer-v4 — модель автоматического распознавания речи на основе Wav2Vec2-BERT, дообученная автором репозитория на датасете, который в карточке не описан. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2BertForCTC, размер — 402,7 млн параметров. Название указывает на поддержку кхмерского языка, однако README не описывает языки и данные обучения, поэтому это следует считать предположением. В оценке указаны WER 0,2116 и CER 0,0573; условий оценки карточка не приводит. Модель распространяется по лицензии MIT.

saribalgar/wav2vec2-base-timit-ms — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC, основанная на facebook/wav2vec2-base. Она принимает аудио и преобразует речь в текст; карточка сообщает метрики на оценочной выборке: loss 0,7589 и WER 0,3722. Модель содержит 113,3 млн параметров и опубликована в формате PyTorch. Модель распространяется по лицензии Apache-2.0. В README набор данных назван None, а описание сценариев применения и ограничений отсутствует, поэтому область обучения и поддерживаемые языки по доступным данным определить нельзя.

Wav2Vec2-Large-XLSR-53-Hungarian — модель распознавания речи, дообученная на венгерском языке на данных Common Voice. Она основана на facebook/wav2vec2-large-xlsr-53 и использует архитектуру Wav2Vec2ForCTC с 402,7 млн параметров. Модель преобразует речь в текст и предназначена для автоматической транскрипции венгерской речи. Для входного аудио требуется частота дискретизации 16 кГц. В README приведён результат оценки 46,75% на тестовых данных Common Voice для португальского языка, поэтому он не подтверждает качество распознавания венгерской речи. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

ttop324/wav2vec2-live-japanese — модель распознавания японской речи на базе архитектуры wav2vec2, дообученная на японской хирагане. Автор дообучил facebook/wav2vec2-large-xlsr-53 на данных Common Voice, JSUT, CSS10, TEDxJP-10K, JVS и JSSS. Модель содержит 402,8 млн параметров и использует формат PyTorch. Модель принимает аудио и преобразует японскую речь в текст, записанный хираганой. Она предназначена для автоматической транскрипции японской речи; карточка также содержит раздел оценки, но сведения о результатах в предоставленном README отсутствуют. Модель распространяется по лицензии Apache-2.0. Количественные показатели качества и ограничения распознавания в доступных материалах не приведены.