I.15Доступность и ассистивные технологии

Карточка модели codedecoyz/Dia-1.6B-0626 на Hugging Face совпадает с карточкой nari-labs/Dia-1.6B-0626, поэтому описание составлено по ней. Dia — плотная модель генерации речи на 1,6 млрд параметров, разработанная Nari Labs. Она преобразует текст в реалистичную речь и диалоги с репликами нескольких говорящих, обозначенными тегами [S1] и [S2]. Можно подать аудио вместе с его расшифровкой, чтобы управлять тоном и эмоциями или клонировать голос; модель также воспроизводит невербальные звуки, например смех, кашель и вздохи. Поддерживается генерация только на английском языке. Модель предназначена для синтеза диалогов, озвучивания сценариев и экспериментов с управляемой речью. Для работы проверена конфигурация с PyTorch 2.0+ и CUDA 12.6 на GPU; поддержка CPU в карточке обозначена как будущая. Весá доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Разработчики указывают, что модель предназначена для исследовательского и образовательного применения, и запрещают выдавать сгенерированную речь за речь реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных действий.

Dia — плотная модель генерации речи на 1,6 млрд параметров, разработанная Nari Labs. Она преобразует текст в реалистичную речь и диалоги с репликами нескольких говорящих, обозначенными тегами [S1] и [S2]. Можно подать аудио вместе с его расшифровкой, чтобы управлять тоном и эмоциями или клонировать голос; модель также воспроизводит невербальные звуки, например смех, кашель и вздохи. Поддерживается генерация только на английском языке. Модель предназначена для синтеза диалогов, озвучивания сценариев и экспериментов с управляемой речью. Для работы проверена конфигурация с PyTorch 2.0+ и CUDA 12.6 на GPU; поддержка CPU в карточке обозначена как будущая. Весá доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Разработчики указывают, что модель предназначена для исследовательского и образовательного применения, и запрещают выдавать сгенерированную речь за речь реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных действий.

F5-TTS Malayalam v2 — модель синтеза речи, созданная автором sajilck путём дообучения F5-TTS на аудио и расшифровках с его собственного YouTube-канала об ML и Data Science. Она предназначена для озвучивания текста на малаялам голосом и в манере речи автора; для знакомства с моделью также доступно демо в браузере. Для дообучения использовано около 15,4 часа парных аудиозаписей и транскрипций. В репозитории размещены чекпойнт и файл словаря; опубликованная версия представлена в формате GGUF F16. Модель ориентирована на малаялам и синтез речи из текста. Автор характеризует модель как ранний личный эксперимент, а не готовую к производственному применению систему. Возможны ошибки произношения и просодии, а качество звучания может меняться в зависимости от текста; на результат влияют ограниченный объём данных и ресурсы обучения. Лицензия — CC BY-NC 4.0; для коммерческого использования следует также проверить условия лицензии базовой F5-TTS.

Hubert-noisy_common_voice_debug — модель распознавания японской речи, дообученная на датасете ORIGINAL_NOISY_COMMON_VOICE - JA на основе rinna/japanese-hubert-base. Она использует архитектуру HuBERT с головкой CTC, содержит 113,3 млн параметров и принимает аудио, выдавая распознанный текст. На оценочной выборке указаны loss 0,9787, WER 1,0 и CER 0,3145; WER 1,0 указывает на крайне низкую точность распознавания по этой метрике. Модель распространяется по лицензии Apache-2.0.

InternVideo2-Chat-8B-InternLM2.5 — видеоязыковая модель OpenGVLab для диалога и ответов на вопросы о видеороликах. Она объединяет видеокодировщик InternVideo2, video BLIP и языковую модель InternLM2.5-7B; при обучении видеокодировщик обновлялся. Для модели указано HD-обучение. Модель принимает видео и текстовые запросы и формирует текстовые ответы. Она предназначена для общения на естественном языке о содержании видео и оценки видеосценариев; в README приведены результаты на MVBench и VideoMME. Базовая LLM описана как имеющая контекстное окно 1 млн токенов, но README не уточняет, как это окно применяется к видеовходам. Модель опубликована под лицензией MIT. Для запуска README указывает Transformers версии не ниже 4.38.0 и PEFT 0.5.0. Данные о поддерживаемых естественных языках и подробные ограничения качества не приведены.

Irodori-TTS-500M-v3 GGUF — это GGUF/GGML-квантизированная версия модели синтеза речи Aratako/Irodori-TTS-500M-v3, разработанной Aratako. Репозиторий cstr/irodori-tts-GGUF содержит только преобразование формата и варианты квантизации исходных весов, без дообучения, объединения или изменения архитектуры и возможностей. Модель предназначена для использования с CrispStrobe/CrispASR. Модель ориентирована прежде всего на синтез японской речи, включая смешанный текст, и поддерживает zero-shot клонирование голоса по образцу аудио через латентное кондиционирование DAC-VAE. Это 500-миллионная Rectified Flow Diffusion Transformer (RF-DiT) с 102-тысячным BPE-словарём токенизатора sarashina2.2. Архитектура включает текстовый энкодер и DiT-блок на 24 слоя с размерностью 2048, а генерация выполняется решателем Euler RF ODE за 40 шагов с classifier-free guidance. Выход — монофонический звук 48 кГц. Доступны варианты F16, Q4_K и Q8_0; Q4_K указан как рекомендуемый и занимает около 852 МБ, что позволяет разместить модель в 8 ГБ RAM, а Q8_0 обеспечивает качество, близкое к исходному. Качество и требования к ресурсам зависят от выбранной квантизации. Модель ориентирована на японский язык, поэтому пригодность для других языков README не подтверждает. Для клонирования голоса требуется эталонная аудиозапись, а лицензия MIT распространяется с учётом условий лицензии исходной модели.

LumynaX Doc Donut Base — ранний эксперимент AbteeX AI Labs для понимания изображений документов. Модель построена на архитектуре vision-encoder-decoder и дообучена на базе naver-clova-ix/donut-base; репозиторий содержит веса PyTorch и рассчитан на преобразование изображений документов в текст. Модель предназначена для извлечения текста и структурированной информации из документов. В README описана интеграция с LumynaX Core через маршрутизацию во время выполнения; веса исходной модели при этом не объединялись. Поддерживаемый язык карточки — английский, а метаданные также указывают маори. Лицензия — MIT. Это устаревший, более не сопровождаемый исследовательский артефакт, который авторы не рекомендуют для промышленного применения. README предупреждает, что выпуск не отражает современные возможности и стандарты безопасности AbteeX AI Labs.

facebook/mms-tts-aia — модель синтеза речи на языке ароси (Arosi, aia), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на ароси в речевую волну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, подобного HiFi-GAN. Для одного и того же текста она может создавать речь с разным ритмом; генерация недетерминирована и для повторения результата требуется фиксированный seed. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель рассчитана на язык ароси и не заявлена как многоязычная: для каждого языка MMS обучается отдельный VITS-чекпойнт. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

Это частный кандидат модели распознавания речи P21 audio graft, созданный на основе компонентов Qwen3-ASR и Qwen-SEA-LION. Репозиторий объединяет обученную аудиобашню Qwen3-ASR и обученный проектор 1024→4096→5120 с полным декодером SEA-LION; декодер был заморожен во время обучения P3. Модель принимает монофоническое аудио с частотой 16 кГц и использует путь генерации текста через встраивания аудио и декодер. Артефакт отмечен как кандидат без разрешения на продвижение: он подготовлен для сохранения компонентов и происхождения, а не для производственного применения или публичного выпуска. README описывает лишь проверку упаковки на одном речевом образце, а не оценку качества распознавания. Указана лицензия other; условия лицензии следует проверить в репозитории перед использованием.

SenseNova-SI-1.1-InternVL3-8B — мультимодальная чат-модель для задач пространственного понимания, разработанная командой SenseNova-SI и основанная на дообученной OpenGVLab/InternVL3-8B. Она принимает изображения и текстовые вопросы, чтобы отвечать о взаимном расположении объектов, ориентации и других пространственных свойствах. Модель предназначена для оценки на пространственных бенчмарках VSI, MMSI, MindCube, ViewSpatial и SITE, сохраняя общие возможности понимания изображений и текста. Модель использует плотную архитектуру InternVLChatModel и распространяется в формате safetensors для Transformers. В README приведены результаты сравнительного тестирования и описан проект по масштабированию пространственных данных; конкретные размер модели и длина контекста для этой версии отдельно не подтверждены предоставленными сведениями. Указана лицензия Apache-2.0. Авторы отмечают риск переобучения и языковых shortcuts в обучении пространственным задачам.

MCAA1-MSU/TTSModel — модель синтеза речи на суахили, разработанная Maseno Centre for Applied AI на основе дообучения чекпойнта Meta MMS-TTS Swahili. Она использует архитектуру VITS и принимает текст, выдавая аудио с частотой дискретизации 16 кГц. Модель предназначена для экспериментов и исследований синтеза речи на суахили, например для озвучивания фраз и прототипов голосовых интерфейсов. При дообучении использована часть датасета google/WaxalNLP: около 800 обучающих высказываний одного диктора после фильтрации; обучение описано на шаге 4 500 из запланированных 20 200. Ограничения включают зависимость от одного диктора и небольшого набора данных, поэтому качество может снижаться на разных диалектах, акцентах и стилях речи. Формальной оценки качества нет; по выборочным прослушиваниям речь разборчива, но пока грубая. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

UniSpeech-Large — модель предварительного обучения речи, опубликованная Microsoft и представленная авторами Chengyi Wang и соавторами. Она обучена на аудио с частотой дискретизации 16 кГц и фонетических метках; архитектура UniSpeechForPreTraining содержит около 402,7 млн параметров. Модель принимает речь и формирует речевые представления для последующей адаптации к прикладной задаче. Чекпойнт предназначен для дообучения под распознавание речи или классификацию аудио. Сам по себе он не готов выполнять распознавание: у него нет токенизатора, а для ASR требуется создать токенизатор и дообучить модель на размеченных текстовых данных. Для распознавания входной звук должен быть дискретизирован с частотой 16 кГц, а текстовые метки представлены последовательностью фонем. Модель предварительно обучена на английском языке и, согласно карточке, рассчитана прежде всего на английскую речь. В статье сообщается об улучшении переноса между языками и доменами относительно использованных авторами подходов, однако эти результаты относятся к оценкам в исследовании и не гарантируют качество на конкретном наборе данных. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

VibeVoice-Hindi-1.5B — модель синтеза речи, дообученная Tarun7r на базе vibevoice/VibeVoice-1.5B для генерации речи на хинди из текста. Архитектура VibeVoice включает языковую основу Qwen2.5-1.5B, акустический и семантический токенизаторы и диффузионный блок; при адаптации использовались LoRA для языковой части и полное дообучение диффузионного блока. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. Модель предназначена для озвучивания текстов на хинди, в том числе длинных диалогов и аудио с несколькими говорящими. Поддерживаются выразительная просодия, клонирование голоса по референсному аудио и потоковая генерация; качество клонирования зависит от чистоты и продолжительности образца голоса. Карточка заявляет генерацию длительных последовательностей вплоть до 90 минут. Есть противоречие в карточке: название, описание и инструкции по инференсу указывают на хинди, тогда как раздел ограничений утверждает, что модель обучена только на английском и китайском и не поддерживает другие языки. Поэтому качество синтеза на хинди нельзя считать гарантированным. Модель предназначена для исследовательского использования; возможны ошибки и смещения, она не генерирует музыку или фоновые эффекты и не моделирует перекрывающуюся речь. Клонирование голоса требует согласия человека, чей голос используется.

VoiceClone — дообученная модель синтеза речи на основе SWivid/F5-TTS, разработанная автором репозитория Dikshan1234. Она создаёт речь по произвольному тексту, используя голос из предоставленного аудиофрагмента длительностью 6–15 секунд и его расшифровку. Модель основана на F5TTS_v1_Base примерно с 336 млн параметров; контрольная точка обучена полным дообучением в bf16. Синтез выполняется с частотой 24 кГц с использованием вокодера Vocos. Модель предназначена для zero-shot клонирования голоса и генерации озвучки без отдельного обучения на голосе диктора. В README приведены оценки на ранее не встречавшихся дикторах и предложениях: SECS 0,7937, WER 1,70% и CER 1,46%. Карточка указывает на обучение на данных LibriTTS-R и VCTK; метаданные отмечают английский язык. Лицензия CC-BY-NC-4.0 разрешает только некоммерческое использование; для указанных обучающих корпусов также требуется атрибуция. Клонировать следует только голоса, на использование которых есть явное разрешение.

Wav2Vec2-Ru-Child — модель автоматического распознавания русской речи, разработанная Dysata и дообученная на вручную транскрибированных записях детского чтения. Она основана на архитектуре wav2vec2 с CTC-декодированием и предназначена для распознавания детской речи, побуквенного выравнивания эталонного текста с аудио и анализа произношения. В карточке указаны 24 трансформерных слоя, 16 голов внимания и размер словаря 37 токенов: буквы русского алфавита и служебные символы. Метаданные каталога сообщают о 402,7 млн параметров; README приводит другую оценку — около 317 млн. Для оптимального качества модель рассчитана на русские аудиозаписи WAV с частотой 16 кГц. Скрытые состояния последнего слоя можно использовать как признаки для отдельного классификатора произношения. Модель ориентирована на детскую речь и может хуже распознавать взрослых говорящих; поддерживается только русский язык. Репозиторий распространяется под лицензией MIT.

Koel Labs XLSR English 01 — модель распознавания фонем английской речи, разработанная Koel Labs для анализа произношения с акцентом и нарушениями речи. Она преобразует аудиозапись в последовательность из 79 символов Международного фонетического алфавита и предназначена для систем обратной связи по произношению и лингвистического анализа. Модель дообучена на основе facebook/wav2vec2-xlsr-53-espeak-cv-ft. При обучении использованы около 41 часа речи из TIMIT, Buckeye, L2-ARCTIC, EpaDB, Speech Ocean, DoReCo и PSST; оценка проводилась, в частности, на ISLE Corpus и тестовых наборах этих корпусов. В README указаны результаты около 19% PER и 3% FER после нормализации по родному акценту и нарушениям речи; меньшие значения лучше. Модель рассчитана на английскую речь и показывает обобщение на незнакомые акценты, включая немецкий и итальянский акценты в ISLE Corpus. Эти результаты не гарантируют качество на любых типах речи или условиях записи. Лицензия репозитория — AGPL-3.0.

Anime-Llasa-3B-Captions — японская модель синтеза речи, созданная NandemoGHS дополнительным дообучением NandemoGHS/Anime-Llasa-3B. Это плотная Llama-совместимая языковая модель с 3,4 млрд параметров и контекстом до 131 072 токенов; веса опубликованы в формате safetensors. Для обучения использованы аудиоданные с подробными описаниями, профилями говорящих и тегами эмоций, подготовленными с помощью Gemini 2.5 Pro. Модель преобразует текст в речь и позволяет задавать характеристики звучания: описание аудио, голосовой профиль, эмоцию, настроение, темп, просодию, тембр и стиль. Такие параметры можно передавать в системном запросе, а отдельные указания, например шёпот, добавлять прямо в японский текст в полноширинных скобках. Модель рассчитана на японский язык и сценарии выразительной, управляемой синтезации речи. Следование управляющим тегам неполное и зависит от объёма и качества обучающих данных. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства на условиях, запрещающих коммерческое применение.

microsoft/git-base-msrvtt-qa — базовая версия GIT (GenerativeImage2Text), разработанная Microsoft и дообученная на наборе MSRVTT-QA для ответов на вопросы о видео. Модель содержит 80,1 млн параметров и построена как Transformer-декодер: он использует токены изображения, полученные из CLIP, и текстовые токены, чтобы генерировать следующий текстовый токен. В метаданных указан контекст 1024 токена. Модель предназначена прежде всего для визуальных вопросов и ответов по видео; архитектура GIT также позволяет применять её для описания изображений и видео и классификации изображений с ответом в текстовом виде. В README приведены сведения о предобучении GIT-base на 10 млн пар изображение–текст и последующем дообучении на MSRVTT-QA. Карточка не сообщает результаты оценки этого чекпойнта. Это англоязычная модель, принимающая визуальные данные и текстовый запрос и выдающая текстовый ответ. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии MIT. Для входных данных требуется предусмотренная моделью обработка изображений; точная пригодность для иных языков и предметных областей не установлена.

LumynaX Multimodal InternVL3 78B Instruct — архивный эксперимент AbteeX AI Labs на основе OpenGVLab/InternVL3-78B-Instruct. Модель построена на архитектуре InternVLChatModel и использует мультимодальную чат-модель с 78 млрд параметров для диалога и ответов на вопросы по изображениям. Интеграция выполнена через маршрутизацию во время инференса и интеграцию идентичности; веса исходной модели не изменялись. Модель предназначена для текстовых диалогов и сценариев визуального понимания, включая ответы по изображениям. Метаданные указывают английский язык; карточка также помечает маори. Репозиторий использует Transformers и содержит веса Safetensors. Лицензия — MIT. Это устаревший, более не поддерживаемый артефакт раннего эксперимента; автор не рекомендует его для производственного применения. README описывает исторические компоненты runtime и обёртки, а не актуальную систему LumynaX.

facebook/mms-tts-ikk — модель синтеза речи на языке ика (Ika, ikk), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текста на языке ика. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером на основе HiFi-GAN и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors. Чекпойнт предназначен для одного языка — ика; фиксированный seed нужен, чтобы повторно получить ту же аудиозапись. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не приводит оценок качества и подробностей о голосе или условиях записи, поэтому пригодность для конкретного произношения и сценария следует проверять отдельно.

facebook/mms-tts-ncu — модель синтеза речи на языке чумбурунг (Chumburung, код ncu) из проекта Massively Multilingual Speech (MMS). Модель разработана командой MMS и использует архитектуру VITS: она преобразует последовательность текста непосредственно в речевую аудиоволну. В репозитории опубликован чекпойнт размером 3,5 млн параметров в форматах PyTorch и Safetensors. Модель предназначена для озвучивания текста на чумбурунге. VITS объединяет вариационный автоэнкодер, поточные преобразования, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для повторения того же результата требуется фиксировать seed, поскольку генерация недетерминирована. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.

keanteng/sesame-csm-elise — дообученная модель синтеза речи, созданная на основе sesame/csm-1b с использованием набора данных MrDragonFox/Elise. Она предназначена для генерации речи по тексту с голосом, обученным на этом наборе данных; в репозитории приведены примеры аудиовыходов. Модель использует архитектуру CSM с плотными весами и классом CsmForConditionalGeneration, содержит около 977,3 млн параметров и рассчитана на английский язык. Базовая модель поддерживает учёт аудиоконтекста; карточка описывает дообучение как клонирование голоса посредством условной генерации речи. Репозиторий использует формат safetensors и библиотеку Transformers. Модель распространяется по лицензии AGPL-3.0. В README не приведены конкретные характеристики голоса Elise, поэтому тембр и сходство генерации оценить по описанию нельзя; также в карточке нет численных оценок качества.

VibeVoice-7B — модель синтеза речи семейства VibeVoice, разработанная Microsoft; эта копия размещена пользователем на Hugging Face. Она предназначена для создания выразительной длинной разговорной речи, например подкастов, по тексту. Модель сочетает LLM для понимания контекста и структуры диалога с диффузионной головой для генерации акустических деталей; в README описаны непрерывные акустические и семантические токенизаторы с частотой 7,5 Гц. Заявлена генерация аудио длительностью до 90 минут с участием до четырёх говорящих. Модель рассчитана на английский и китайский языки. Она генерирует речь, но не музыку, фоновые звуки или эффекты и не моделирует перекрывающуюся речь. README предостерегает от коммерческого и реального применения без дополнительной проверки, а также указывает на риск предвзятых или неточных результатов и злоупотребления синтетическими голосами. Лицензия репозитория — MIT; README ограничивает заявленное назначение исследовательскими задачами и перечисляет сценарии, для которых модель не предназначена.

Это экспериментальная модель распознавания речи на языке акан, разработанная Teckedd как продолжение дообучения Whisper Small Waxal Akan ASR. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Обучение продолжено на наборе WaxalNLP для распознавания речи на акан. В тесте на 1 522 примерах модель показала WER 32,77% и CER 12,47%, немного улучшив опубликованную базовую версию. Модель предназначена для исследований, оценки качества и прототипирования систем распознавания речи на акан. Лицензия — Apache-2.0. Это экспериментальный контрольный пункт, который авторы не позиционируют как готовое к промышленному или коммерческому применению решение.

DACVAE-TTS Turkish — модель синтеза турецкой речи с клонированием голоса по короткому аудиопримеру. Её разработали для dacvae-tts и обучили с нуля в латентном пространстве замороженного аудиокодека Meta DACVAE. Модель содержит 66,5 млн параметров и использует 12 DiT-блоков шириной 512 с механизмом flow matching; текст кодируется как последовательность UTF-8 байтов с нормализацией турецких чисел. На вход подаются турецкий текст, аудиопример длительностью 3–15 секунд и его расшифровка; на выходе — речь на турецком языке голосом из примера с частотой 48 кГц. Модель подходит для озвучивания текста и создания речи с заданным голосом. На тесте Freya-TR-Eval авторы сообщают WER 4,3%, CER 2,5% и сходство голоса 0,946. Качество зависит от чистоты и темпа образца; возможны повторы или перестановки слов и ошибки в редких иностранных именах. Хотя выход имеет частоту 48 кГц, обучающие подкасты преимущественно имели полосу 12–16 кГц. Для работы требуется расшифровка образца, предоставленная вручную или полученная через Whisper. Модель опубликована по лицензии CC-BY-NC-4.0 для некоммерческого использования; кодек DACVAE сохраняет лицензию исходного проекта.

EchoChat — разговорная модель с аудиоусловием, опубликованная ddwang2000. Репозиторий содержит языковую модель на архитектуре Qwen2 с 7,1 млрд параметров, токенизатор и веса аудиоэнкодера Whisper; контекст составляет 8192 токена. Модель предназначена для диалоговой генерации текста и речевых токенов по аудиовходу. Это компонентный чекпойнт, а не готовый стандартный конвейер Transformers: для сквозной работы с аудио нужны совместимые извлечение признаков, промптинг и логика генерации. Для синтеза звуковой волны требуется отдельный совместимый декодер, которого в репозитории нет. Код аудиоэнкодера требует совместимой CUDA/FlashAttention-среды. Лицензия указана как other; README отсылает к LICENSE, каталогам лицензий и сторонним уведомлениям, поэтому условия следует сверять с этими файлами.

Kiseki-TTS — японская модель синтеза речи, разработанная telecomadm1145. Это encoder-decoder архитектура: Transformer-энкодер сочетает двунаправленное внимание и RoPE, а декодер использует Mamba2 с cross-attention. Модель предсказывает дискретные аудиокодовые токены с частотой 12,5 кадров в секунду; для преобразования их в waveform используется кодек Qwen3 TTS Tokenizer 12Hz. Модель предназначена прежде всего для синтеза японской речи из текста. Она также выполняет распознавание японской речи в текст: обе задачи обучались совместно. Декодирование Mamba2 имеет линейную сложность по длине последовательности и не требует KV-кэша. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT. Обучение проводилось на японской ASMR-речи, поэтому голос и манера звучания смещены в сторону этой области; управления диктором и клонирования голоса нет. Качество генерации для фрагментов длиннее примерно 40 секунд не проверено. Распознавание речи является вспомогательной задачей и может уступать специализированным ASR-моделям; при синтезе возможны повторы или преждевременное завершение.

Модель facebook/mms-tts-dnj-dialect_blowowest — компактный синтезатор речи для языка Dan, диалекта Blowowest, разработанный Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для синтеза озвучивания; отдельный VITS-чекпойнт обучен для каждого языка MMS-TTS. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером, формирующим аудио. Она доступна через Transformers версии 4.33 и выше; для повторения одинакового результата генерации требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с указанием авторства, но не коммерческое применение. Она специализирована на Dan (Blowowest), поэтому не предназначена для синтеза речи на других языках; генерация также недетерминирована без фиксированного seed.

SpeakoFlow Mini 0.8B — специализированная англоязычная модель компании SpeakoFlow для очистки и коррекции текста, полученного из голосовой диктовки. Она предназначена для второго этапа post-ASR-обработки: исправляет самоисправления говорящего, диктуемые символы и команды форматирования, устраняет некоторые артефакты распознавания и грамматические оговорки, но сохраняет уже корректный текст без изменений. Модель используется в офлайн-голосовом ассистенте SpeakoFlow для Windows, macOS и Linux. Модель является дообученной версией Qwen/Qwen3.5-0.8B: применялось LoRA с рангом 16, после чего адаптер был объединён с базовой моделью и выполнена квантизация в формате GGUF. Размер варианта Q8_0 составляет около 833 МБ, медианное время обработки на настольном CPU — 2509 мс. Поддерживается английский язык. Модель предназначена для text generation и не является чат-моделью или универсальным перефразировщиком; размер контекстного окна в материалах не указан. К сильным сторонам относятся ориентация на минимальные изменения, сохранение правильного текста и работа без подключения к облачным сервисам. На закрытом тестовом наборе средняя точность exact match составила 70,7%, сохранение уже корректного текста — 92,6%, а точность исправлений для требующих изменений транскриптов — 48,8%. Ограничения включают узкую специализацию на очистке диктовки, англоязычную направленность и риск потери произнесённого слова: показатель content damage составил 10,7%, причём меньшее значение лучше. Модель распространяется по лицензии Apache-2.0.

Dia — текстовая модель синтеза речи на 1,6 млрд параметров, созданная Nari Labs. Она преобразует текстовую расшифровку в реалистичную диалоговую речь и поддерживает разметку реплик тегами [S1] и [S2]. Можно задать аудио как условие генерации, чтобы управлять интонацией и эмоциями; также модель воспроизводит неречевые звуки, например смех, кашель и вздохи. Модель предназначена для генерации английских диалогов, клонирования голоса и экспериментов с выразительной речью. Для работы проверена конфигурация с GPU, PyTorch 2.0+ и CUDA 12.6; поддержка CPU на момент описания не заявлена. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0; авторы указывают исследовательское и образовательное назначение и запрещают злоупотребление сходством с реальными людьми и создание вводящего в заблуждение контента.