I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиSplintir/speecht5_tts-pld-ceb-v2 — дообученная модель SpeechT5 для синтеза речи на Cebuano, опубликованная Splintir. Она продолжает обучение весов sapinsapin/speecht5_tts-pld-ceb на 14 007 пригодных аудиоклипах из датасета sapinsapin/pld: 13 807 обучающих и 200 проверочных клипов, около 19 часов аудио. В README указаны 4 000 шагов обучения и примерно 9 эпох. Модель преобразует текст в речь и требует 512-мерный вектор голоса x-vector для каждого вызова. В репозитории приложен x-vector реального носителя Cebuano из обучающих данных. По тестам на десяти строках модель снизила ошибки распознавания относительно базового чекпойнта, однако результаты зависят от распознавателя и случайности генерации; оценки не измеряют естественность речи. Надёжность обусловливания голосом остаётся ограничением: при использовании 16 родных Cebuano-векторов стабильно сработали только 3. Неудачный или неподходящий x-vector может дать длинную почти беззвучную речь. Лицензия модели — MIT.
sapinsapin/speecht5_tts-pld-pam — модель синтеза речи из текста на основе SpeechT5 от Microsoft, дообученная автором репозитория на наборе данных sapinsapin/pld. Обучение включало 1000 шагов на 1779 аудиофрагментах; для генерации речи используется conditioning по x-vector диктора и вокодер microsoft/speecht5_hifigan. Модель предназначена для преобразования текста в речь на языке pam. Репозиторий содержит примеры синтеза для прослушивания. В карточке указана лицензия MIT. Оценка eval_loss составляет 0,4330; данных для вывода о естественности речи или сравнительного качества недостаточно.
DevQuasar/thinkingmachines.Inkling-Small-GGUF — это квантизированная версия модели thinkingmachines/Inkling-Small, подготовленная для распространения в формате GGUF. В карточке указано, что модель относится к классу image-text-to-text и предназначена для задач, в которых система обрабатывает изображения и текст и формирует текстовый ответ. Из доступных данных нельзя определить архитектуру, размер модели, поддерживаемые языки, максимальную длину контекста, конкретные сценарии применения, преимущества и ограничения квантизации. Лицензия в README не указана, поэтому условия использования по представленным материалам установить нельзя.
VachaSpeech-0.6B — тайскоязычная модель преобразования текста в речь (TTS) с поддержкой клонирования голоса. По карточке это модель на основе LLM размером около 0,6 млрд параметров, дообученная на Qwen/Qwen3-0.6B-Base; для кодирования речи указан MioCodec-25Hz-44.1kHz-v2. Модель предназначена для синтеза естественно звучащей тайской речи и генерации речи с клонированием голоса. Метаданные указывают контекст 32 768 токенов и формат safetensors. Лицензия — Apache 2.0. Карточка не приводит подробностей о требованиях к голосовому образцу и качестве синтеза.
VideoBLIP-OPT-2.7B-Ego4D — видеомодель на основе BLIP-2 с языковой моделью OPT-2.7B, дообученная на Ego4D. Она предназначена для создания текстовых описаний видео и визуальных вопросов и ответов по видеоматериалам. В метаданных указана архитектура VideoBlipForConditionalGeneration и формат PyTorch; карточка отмечает поддержку английского языка. Лицензия — MIT. Модель связывает визуальную обработку видео с генерацией текста и может применяться для анализа видеосцен и подготовки подписей к роликам. Она унаследовала от OPT риски предвзятости, галлюцинаций и ограниченного разнообразия генерации. В README указано, что модель не проверялась в реальных приложениях и перед практическим использованием требует оценки безопасности и справедливости.
Finnish Wav2Vec2 Base — акустическая модель, разработанная Ярославом Гетманом и Тамашем Гросом. Это модель Wav2Vec2 с 113,3 млн параметров, предварительно обученная на 158 тысячах часов неразмеченной финской речи. Она принимает аудио с частотой дискретизации 16 кГц. Веса опубликованы в формате safetensors, библиотека для работы — Transformers; лицензия — Apache-2.0. Модель предназначена как основа для систем распознавания финской речи и анализа эмоций в голосе. Для распознавания речи этот чекпойнт сам по себе недостаточен: у него нет токенизатора, поэтому нужны токенизатор и дообучение на размеченных текстовых данных. Авторы указывают отдельную дообученную версию wav2vec2-base-fi-150k-finetuned. Предобучающие записи ограничены длительностью 60 секунд, поэтому модель, вероятно, лучше подходит для коротких аудиофрагментов. Значительная часть данных взята из архивов радио и телевидения, что может смещать модель в сторону голосов ведущих и разговорного финского; в данных также могли сохраниться музыка и другие неречевые звуки. Модель опубликована по лицензии Apache-2.0.
Это версия модели S3PRL Wav2Vec2, перенесённая для задачи обнаружения ключевых слов в рамках бенчмарка SUPERB. Она классифицирует аудио высказывания по заранее заданным словам, а также по классам тишины и неизвестных слов; обучение проводилось на Speech Commands v1.0. Модель построена на Wav2Vec2-base и содержит 113,3 млн параметров. Модель принимает речевое аудио с частотой дискретизации 16 кГц и выдаёт метки классов. Она подходит для распознавания команд и ключевых слов, в том числе в сценариях с быстрым локальным откликом. В README приведена точность 0,9643 при оценке через Transformers; фактические скорость и размер могут быть важны для развёртывания на устройстве. Модель использует формат PyTorch и лицензию Apache-2.0. Карточка описывает поддержку английского языка; распознаваемый набор ограничен заранее заданными классами датасета Speech Commands, поэтому это не универсальная система распознавания речи.
Orpheus 3B Ko Pretrained — базовая модель синтеза речи на основе Llama, разработанная Canopy Labs. Она предназначена для генерации естественной речи из текста и как основа для дообучения под последующие задачи, включая клонирование голоса без предварительного обучения и классификацию. В карточке заявлены выразительная интонация, эмоции и ритм речи; модель создана на базе meta-llama/Llama-3.2-3B-Instruct и представлена в формате Safetensors для Transformers. Модель ориентирована на корейский язык. Репозиторий опубликован под лицензией Apache-2.0. Для практического запуска авторы предлагают код и инструкции в GitHub-проекте Orpheus-TTS и демонстрационный Colab. Клонирование голоса и классификация названы возможными сценариями, но основная задача модели — синтез речи.
dots.tts-mf-2steps — модель синтеза речи из семейства dots.tts, разработанная dots-studio. Репозиторий содержит самостоятельный артефакт для инференса с фиксированным двухшаговым семплированием MeanFlow; настройки семплирования задаются в конфигурации, несовместимые параметры вызывают ошибку. Модель предназначена для клонирования голоса по тексту и образцу речи: на вход подаются текст, аудиозапись голоса и её точная расшифровка, на выходе создаётся аудио. В карточке приведён пример на английском языке, но подтверждения поддержки конкретных языков нет. Модель распространяется по лицензии Apache-2.0. Высокоточное клонирование голоса допустимо только с разрешения и согласия владельца голоса.
Карточка модели dare43321/hindi-tts-model-6 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.
Карточка модели dare43321/hindi-tts-model-7 на Hugging Face совпадает с карточкой dare43321/hindi-tts-model-5, поэтому описание составлено по ней. Модель dare43321/hindi-tts-model-5 — дообученная dare43321 версия kenpath/svara-tts-v1. Это плотная LlamaForCausalLM на 3,3 млрд параметров, представленная в формате safetensors; в метаданных также указана поддержка чата. Базовая модель предназначена для преобразования текста в выразительную речь на 18 индийских языках и индийском английском, однако README не уточняет, какие возможности этой базовой модели сохранены после дообучения и как именно следует задавать текст для синтеза. В метаданных указаны тег text-generation, контекстное окно 131 072 токена и английский язык. Данных о речевых выходах, поддерживаемых языках самой производной модели или качестве синтеза нет, поэтому назначение TTS можно считать вероятным по базовой модели, но не подтверждённым для этого чекпойнта. Лицензия — Apache-2.0.
phequals выпустила экспериментальный перенос Bodhan AI Indic-Transcribe Core в формат CoreML для распознавания речи на устройствах Apple. Пакет разделяет вычисления на энкодер, подготовку cross-attention и авторегрессионный декодер; репозиторий также содержит фронтенд аудиопризнаков, токенизатор и пример нативной реализации на Swift. Это конверсия формата, а не дообучение; исходная модель связана с NVIDIA Canary-1B-v2. Порт предназначен для транскрибирования аудио в macOS-приложениях и интеграции в локальные приложения, использующие CoreML. В небольших проверках два примера на хинди дали тот же текст, что и исходная версия FP32, однако качество на других языках, устойчивость и производительность в контролируемых условиях не оценивались. Модель экспериментальная, не готова для использования как замена по умолчанию. Для отдельных примеров отмечена ошибка автоопределения языка и выбора письма; смешанная речь хинди и английского не сохраняет латинское написание английских терминов. Лицензия указана как other, без дополнительных условий в предоставленных данных.
Irodori-TTS-v4.1-Small-fp16 — японская модель синтеза речи, преобразованная mlx-community в формат MLX из Aratako/Irodori-TTS-v4.1-Small с помощью mlx-audio 0.4.7. Она объединяет в одном чекпойнте клонирование голоса по образцу речи, создание голоса по текстовому описанию VoiceDesign и автоматическое предсказание длительности. В комплект входят текстовый энкодер ModernBERT-ja-310m с токенизатором и японский аудиокодек Semantic-DACVAE-Japanese-32dim, поэтому для инференса не нужны дополнительные загрузки. Модель принимает текст и, для клонирования голоса или подсказки длительности, референсное аудио продолжительностью до 120 секунд; на выходе создаёт речь. Карточка указывает японскую специализацию. Короткие запросы только с описанием голоса могут приводить к повторному чтению текста и завышенной длительности; для таких случаев можно передать референсное аудио или задать duration_scale либо seconds. В README и метаданных лицензия не приведена.
KlonAudio — форк KugelAudio-0-Open, подготовленный JUST ADD AI GmbH. Модель предназначена для синтеза речи из текста на 23 европейских языках и клонирования голоса по образцу аудио длительностью 5–10 секунд. В репозитории также есть три готовых немецких голоса: радиоведущий, сердитая речь и мягкий голос пожилой женщины. Модель использует плотную архитектуру KugelAudio для условной генерации; в README она описана как гибрид авторегрессионной модели и диффузии на основе Microsoft VibeVoice. Размер базовой модели — 7 млрд параметров, формат файлов — safetensors. Лучшее заявленное покрытие — для немецкого, испанского, французского и английского; качество для других языков может различаться. По README веса идентичны базовой модели KugelAudio-0-Open, а форк восстанавливает компоненты клонирования голоса и добавляет аудиосэмплы и конфигурационные файлы. Модель распространяется по лицензии MIT.
LibreGemma4e4b-GGUF — это набор квантованных файлов модели LibreGemma4e4b, разработанной LibreYOLO и преобразованной в формат GGUF пользователем mradermacher. Модель относится к мультимодальным vision-language моделям и предназначена для задач, связанных с обработкой изображений и текста, включая object detection и сценарии image-text-to-text. В метаданных указан английский язык. Для работы доступны мультимодальные компоненты mmproj в вариантах Q8_0 и f16, а также файлы модели с различными уровнями квантования: от Q2_K до Q8_0, IQ4_XS и f16. Размер файлов составляет примерно от 4,5 до 15,2 ГБ, что позволяет выбирать между экономией памяти, скоростью и качеством. В README не указаны точная архитектура, размер контекстного окна, перечень поддерживаемых языков помимо английского и конкретные показатели качества. Сильной стороной модели является наличие широкого выбора GGUF-квантов для локального запуска и мультимодальной обработки. Низкоразрядные варианты требуют меньше ресурсов, а Q6_K, Q8_0 и f16 ориентированы на более высокое качество, хотя могут предъявлять повышенные требования к памяти. Ограничения включают отсутствие опубликованных в карточке бенчмарков, подробностей об архитектуре и точных рекомендаций по аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.
Llama-3.1-70B-Instruct-multimodal-JP-Graph — японская большая языковая модель с поддержкой изображений, созданная на базе Llama-3.1-Swallow-70B-Instruct-v0.3 и визуального энкодера Qwen2-VL-7B. Архитектура модели основана на LLaVA-Llama, веса представлены в формате safetensors; размер составляет 69,5 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалога на японском языке и ответов на вопросы об изображениях. Её можно применять для описания визуальных сцен, извлечения сведений из изображений и ответов на вопросы по их содержимому. В метаданных также указана задача генерации текста. Для запуска README описывает использование модифицированной LLaVA-NeXT. Лицензия обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели и лицензией базовой модели. Специализация на японском языке и зависимость от указанной реализации ограничивают универсальность применения.
drbaph/LongCat-AudioDiT-3.5B-fp8 — квантизированная версия модели LongCat-AudioDiT-3.5B от Meituan для синтеза речи. Это неавторегрессионная диффузионная архитектура AudioDiT, которая генерирует речь в пространстве латентных представлений волновой формы и поддерживает синтез по тексту, клонирование голоса по референсному аудио и диалоги с несколькими говорящими. В README заявлены zero-shot синтез и клонирование голоса; указаны результаты 0,818 SIM на Seed-ZH и 0,797 SIM на Seed-Hard. Линейные матрицы весов трансформера квантизированы методом weight-only FP8, а остальные перечисленные компоненты сохранены в bfloat16. По данным README, это сокращает размер файлов примерно вдвое и снижает использование видеопамяти; инференс предусмотрен через ComfyUI-LongCat-AudioDIT-TTS, а веса можно использовать и с исходным кодом инференса после деквантизации. В карточке указаны языки китайский и английский и лицензия MIT. Для запуска требуется GPU NVIDIA с CUDA; README приводит ориентир около 8 ГБ видеопамяти и рекомендует GPU с аппаратной поддержкой FP8 для полной скорости. Оценки качества и потребления памяти приведены в README разработчика модели и не являются независимой проверкой.
Vision-CAIR/LongVU_Llama3_2_1B — видеоязыковая модель с архитектурой CambrianLlamaForCausalLM и 1,2 млрд параметров. Репозиторий предоставляет веса в формате PyTorch; модель предназначена для диалога по видео и ответов на вопросы о его содержимом. Заявленная длина контекста — 131 072 токена. Модель можно применять для описания видеосцен и поиска ответов по содержимому видеозаписей. Лицензия — Apache-2.0. Карточка README не содержит дополнительных сведений о языках, обучении или ограничениях качества.
facebook/mms-tts-ahk — модель синтеза речи на языке акха (Akha, код ahk), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текстов на акха. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для одного языка; MMS-TTS доступна через библиотеку Transformers начиная с версии 4.33. Стохастический предиктор длительности позволяет получать варианты с разным ритмом, поэтому для повторения результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 ограничивает использование условиями некоммерческого распространения.
facebook/mms-tts-any — модель синтеза речи на языке Anyin (код any), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, построенный на архитектуре VITS и имеющий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; для запуска подходит библиотека Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, декодер в стиле HiFi-GAN и стохастический предиктор длительности. Последний позволяет получать разные ритмические варианты произнесения одного текста, поэтому генерация недетерминирована: для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-ksr — модель синтеза речи на языке Borong (ksr), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Borong. Модель использует архитектуру VITS: текстовый энкодер, поточный модуль и декодер на основе свёрточных слоёв формируют речь сквозным образом. Для одного и того же текста возможны разные ритм и звучание; фиксированный seed позволяет воспроизводить результат. Чекпойнт содержит около 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. Для работы предусмотрена библиотека Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на один язык, поэтому её не следует считать многоязычным синтезатором.
facebook/mms-tts-kwi — модель синтеза речи на языке ава-куайкер (Awa-Cuaiquer, kwi), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт MMS-TTS для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. VITS объединяет текстовый энкодер, потоковый модуль и декодер, основанный на свёрточных слоях, а стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста. Генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kyu — модель синтеза речи на западном кая (kyu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания фраз и создания голосовых сообщений. Модель построена на архитектуре VITS: текстовый энкодер, flow-модуль и HiFi-GAN-подобный декодер формируют речь сквозным образом. Размер чекпойнта — около 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Генерация стохастическая: одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата нужен фиксированный seed. Модель предназначена для западного кая и не является универсальным многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-naw — модель синтеза речи на языке навури (Nawuri), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, обученный для преобразования текста на навури в речевую форму. Модель использует архитектуру VITS — сквозную систему text-to-speech на основе вариационного автоэнкодера, поточных слоёв и декодера, подобного HiFi-GAN. Она генерирует аудиоволну по входному тексту; стохастический предсказатель длительности позволяет получать разные ритмические варианты произношения. Размер модели — 3,5 млн параметров. Для повторяемого результата требуется фиксировать seed. Чекпойнт предназначен для озвучивания текста на навури и исследовательских либо прикладных сценариев синтеза речи для этого языка. Доступен через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-sur — модель синтеза речи на языке Mwaghavul (код sur), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Mwaghavul. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и нейросетевой декодер, обученные сквозным образом. Размер составляет 3,5 млн параметров; доступны веса PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому генерация недетерминирована; фиксированный seed позволяет воспроизвести результат. Для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-tbl — модель синтеза речи на языке тбол (Tboli), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка в MMS-TTS обучается отдельный чекпойнт. Модель построена на архитектуре VITS: текстовый энкодер, вариационный автоэнкодер, flow-модуль и декодер на основе HiFi-GAN формируют речь сквозным способом. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать с разным ритмом; для воспроизводимого результата требуется фиксировать seed. Модель предназначена для озвучивания текста на тбол, например для создания речевых материалов и прототипов синтеза речи для этого языка. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-ybb — модель синтеза речи на языке йемба (Yemba, ybb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на йемба. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; архитектура объединяет текстовый энкодер, потоковые слои, стохастический предиктор длительности и декодер, формирующий аудиосигнал. Из-за стохастической генерации для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель ориентирована на йемба и не предназначена для синтеза речи на других языках.
nanoVLM-222M — компактная мультимодальная модель для работы с изображениями и текстом, разработанная в рамках проекта nanoVLM. Она объединяет визуальный энкодер ViT на базе SigLIP-B/16-224 и причинную языковую модель SmolLM2 с проекционным слоем; размер модели составляет 222 млн параметров. Модель принимает изображение вместе с текстовым запросом и формирует текстовый ответ. Модель обучена примерно на 1,7 млн примеров набора The Cauldron. В README указана точность 35,3% на MMStar после примерно шести часов обучения на одном GPU NVIDIA H100. nanoVLM рассчитана на эксперименты с обучением и устройством компактных vision-language-моделей, а также на разработку прототипов с небольшими вычислительными затратами. Репозиторий содержит веса в формате safetensors и использует библиотеку nanoVLM. Лицензия — Apache-2.0. Указанный результат MMStar характеризует конкретную оценку и не гарантирует качество на других задачах; компактный размер модели также может ограничивать точность и охват возможностей по сравнению с более крупными VLM.
OuteTTS-0.1-350M — экспериментальная модель синтеза речи от OuteAI на основе архитектуры LLaMA и базовой модели Oute3-350M-DEV. Она преобразует текст в речь с помощью языкового моделирования и аудиотокенов; также поддерживает клонирование голоса. Для обработки аудио используются токенизатор WavTokenizer, выравнивание CTC и структурированные подсказки. Модель содержит 301,4 млн параметров, поддерживает английский язык и имеет контекст длиной 4096 токенов. Репозиторий содержит веса в формате safetensors; проект также заявляет совместимость с llama.cpp и форматом GGUF. Лицензия — CC BY 4.0. Версия 0.1 чувствительна к температуре генерации и лучше работает с короткими предложениями. Ограничения словаря и небольшой размер могут приводить к замене, пропуску или добавлению слов, а качество может снижаться на длинных фразах. Для входа поддерживается только текст.
Raon-OpenTTS-1B — англоязычная модель синтеза речи с нуля и клонирования голоса по аудиообразцу, разработанная KRAFTON. Это вариант системы Raon-OpenTTS с примерно 1,048 млрд параметров; её архитектура — Diffusion Transformer на основе F5-TTS с flow matching. Модель принимает текст и аудиообразец голоса, а на выходе создаёт речь, стараясь передать характеристики образца. В карточке показаны примеры для разных акцентов, стилей речи, эмоций и условий записи. Модель обучена на открытом наборе из 615 тысяч часов английской речи, собранном из 11 датасетов. Авторы сообщают о конкурентных результатах на оценках zero-shot TTS, включая шумные и выразительные условия. Весовые файлы доступны в формате PyTorch; для запуска авторы отсылают к репозиторию krafton-ai/Raon-OpenTTS. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для генерации английской речи с заданным голосом по тексту и аудиообразцу. Показатели качества приведены авторами технического отчёта; они зависят от данных и условий оценки, поэтому не гарантируют аналогичного результата для каждого голоса или текста.