I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиHelpingAI-Vision — мультимодальная модель семейства HelpingAI, разработанная на основе MC-LLaVA-3b и дообученная для анализа изображений по текстовым запросам. Она предназначена для диалоговых сценариев визуального понимания: пользователь задаёт вопрос об изображении, а модель формирует текстовый ответ. Для каждого фрагмента изображения полный энкодер SigLIP создаёт эмбеддинг размером 1152, после чего адаптер LLaVA преобразует эмбеддинги в визуальные токены размером 2560. Такой подход рассчитан на более детальное понимание сцен. В README указан формат запросов ChatML; заявлен английский язык. Модель доступна в формате safetensors и использует библиотеку Transformers. В README отмечено, что визуальные токены пока не содержат явной информации о положении фрагментов в исходном изображении; добавление позиционной информации планировалось в будущем обновлении. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.
Higgs-TTS-3-4B Egyptian Arabic (v3) — это дообученная на египетском арабском модель синтеза речи на основе bosonai/higgs-tts-3-4b. Она предназначена для преобразования текста в речь и поставляется с сервером с OpenAI-совместимым API и потоковой выдачей аудио. Модель поддерживает голоса noselleel, moustafa и mosaifside, а также лексикон произношения, применяемый при инференсе; частота дискретизации аудио — 24 кГц. Для потокового синтеза README указывает время до первого фрагмента около 0,7 секунды и скорость генерации примерно в 2,4 раза выше реального времени на RTX 4090 при декодировании с torch.compile. Для запуска сервера требуется CUDA GPU; заявленные характеристики производительности относятся к RTX 4090. Лицензия в предоставленных данных не указана.
mlx-community/index-tts2-mlx — версия IndexTTS2, подготовленная сообществом mlx-community. IndexTTS2 предназначена для синтеза речи по тексту с нулевым обучением на голосе и управлением длительностью; заявлена поддержка выразительной передачи эмоций. Репозиторий содержит веса в формате safetensors, а метаданные классифицируют модель как text-to-speech с поддержкой английского и китайского языков. Подробности об архитектуре, размере модели, контексте и лицензии в доступных материалах не приведены.
IndicF5 — полиглотная модель синтеза речи для 11 языков Индии. В README репозиторий представлен как улучшенная документация и упрощённая установка модели AI4Bharat; права на модель принадлежат AI4Bharat. Модель обучена на 1417 часах речи из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Для генерации речи нужны текст, аудиозапись с образцом голоса и просодии и расшифровка этой записи. Так можно синтезировать речь с характеристиками, ориентированными на референс. Репозиторий содержит веса в формате safetensors; лицензия в метаданных — MIT. README заявляет поддержку ассамского, бенгальского, гуджаратского, хинди, каннада, малаялам, маратхи, одия, пенджаби, тамильского и телугу. Использовать модель разрешается только для клонирования голосов, на которое получено явное согласие; несанкционированное клонирование запрещено. Заявление о близком к человеческому качестве приведено в карточке модели, но сравнительные оценки качества не указаны.
Это дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель принимает текст и генерирует речь; в метаданных указаны архитектура ParlerTTSForConditionalGeneration и библиотека parler-tts, а веса представлены в формате safetensors. В карточке приведены результаты обучения: лучшая ошибка на валидации составила 6,2510 после 2224 шагов обучения. Модель предназначена для преобразования непальского текста в речь. Сведения о размере, длительности контекста и лицензии в доступных данных отсутствуют.
Infi-MM/infimm-hd — базовая мультимодальная модель семейства InfiMM-HD, представленная разработчиками как предварительно обученная модель с опубликованными весами и кодом PyTorch. Она предназначена для диалоговой генерации текста, в том числе сценариев с изображениями; в метаданных Hugging Face основная задача указана как text-generation, а контекст составляет 4096 токенов. Модель использует плотную архитектуру InfiMMHDModel и доступна в формате PyTorch. По языковым тегам подтверждён английский. Карточка ссылается на предварительное обучение на наборах OBELICS, LAION-2B-en, COYO-700M и MMC4. Лицензия и сведения о размере модели в предоставленных данных отсутствуют.
KazakhTTS-OmniVoice — модель синтеза казахской речи, разработанная на основе OmniVoice и дообученная для казахского языка. Она принимает текст и генерирует речь; для работы предназначена библиотека omnivoice. Модель поддерживает управление характеристиками голоса через подсказки: можно задавать мужской или женский голос, возрастной стиль от детского до пожилого, а также низкую, умеренную или высокую высоту тона. При дообучении использовались данные ISSAI_KazakhTTS2 и синтетические примеры с контролируемыми характеристиками голоса. Модель ориентирована на озвучивание текстов на казахском языке с настройкой звучания голоса. Карточка не приводит размер модели и длину контекста. Лицензия в предоставленных данных не указана; исходный датасет ISSAI_KazakhTTS2 не включён в репозиторий.
theoracleguy/Kokoro-82M-bf16 — преобразованная для MLX версия модели синтеза речи Kokoro-82M. README указывает, что конвертация выполнена из hexgrad/Kokoro-82M с помощью mlx-audio 0.0.1; модель рассчитана на локальный запуск совместимых сценариев синтеза речи, в том числе через библиотеку mlx-audio и стороннее приложение OpenVox. Модель принимает текст и генерирует речь. В метаданных указан английский язык и задача text-to-speech; подробности об архитектуре, числе параметров и ограничениях качества в предоставленных материалах отсутствуют. Лицензия — Apache-2.0.
Kokoro-82M GGUF — это преобразованная в формат GGUF и доступная в вариантах F16 и Q8_0 версия открытой модели синтеза речи hexgrad/Kokoro-82M. Репозиторий cstr предназначен для использования с CrispASR и основан на архитектуре StyleTTS2, разработанной Yinghao Aaron Li. Конвертация и квантование выполнены проектом CrispStrobe/CrispASR; дополнительного обучения, дообучения или изменения архитектуры не проводилось. Модель предназначена для преобразования текста в речь и выдаёт монофонический WAV с частотой 24 кГц. На уровне модели поддерживаются 178 IPA-символов и языки английский, испанский, французский, хинди, итальянский, японский и китайский; для синтеза используются отдельные голосовые пакеты, распространяемые в сестринском репозитории. При наличии соответствующей немецкой основы дополнительно возможна работа с немецким и русским языками. Архитектура включает текстовый энкодер с CNN и двунаправленной LSTM, 12-слойный pl-BERT, предиктор длительности и основную частоту, а также декодер iSTFTNet. Размер модели — около 82 млн параметров. Вариант Q8_0 рекомендован авторами: он занимает около 135 МБ против 156 МБ для F16, экономит примерно 13% дискового пространства и, согласно проверке, сохраняет идентичный результат ASR roundtrip. F16 обеспечивает эталонное качество и максимальное соответствие PyTorch-версии, тогда как более сильное квантование Q4_K не опубликовано из-за существенной деградации качества. Для работы требуются CrispASR, совместимый voice pack и соответствующий фонемайзер. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Kotoba-Whisper v2.0 — модель распознавания японской речи, разработанная Kotoba Technologies совместно с Asahi Ushio. Она преобразует аудио в текст и предназначена для транскрибации японской речи, в том числе записей японских телепередач. Модель построена на архитектуре Whisper и содержит около 905,2 млн параметров. Это дистиллированная версия: полный энкодер Whisper large-v3 сочетается с декодером из двух слоёв, инициализированных первым и последним слоями модели-учителя. По данным авторов, она работает в 6,3 раза быстрее Whisper large-v3. Модель обучали на японском наборе ReazonSpeech; авторы сообщают о конкурентных результатах на тестах ReazonSpeech, JSUT Basic 5000 и CommonVoice 8.0. Модель поддерживается библиотекой Transformers версии 4.39 и новее. В карточке указана лицензия Apache-2.0. Она рассчитана на японскую речь; результаты на других языках не заявлены. Показатели WER в приведённых авторами тестах остаются высокими, поэтому качество распознавания может зависеть от аудио и сценария использования.
KugelAudio-0-Open GGUF — набор GGUF-конверсий модели KugelAudio-0-Open для синтеза речи, предназначенный для использования с CrispASR. Исходная модель основана на архитектуре Microsoft VibeVoice и сочетает авторегрессионную генерацию с диффузионной обработкой. README не указывает конкретную организацию или команду разработчиков исходной модели; указано лишь, что конверсии выполнены для проекта CrispASR. Модель предназначена для преобразования текста в речь на 23 языках, включая английский, немецкий, французский, испанский, итальянский, русский, украинский, польский, греческий, турецкий и другие. Архитектура включает языковую модель Qwen2.5-7B примерно на 7 млрд параметров, четырёхслойную DiT diffusion head, acoustic connector и acoustic VAE decoder. Генерация выполняется с использованием 20 шагов SDE-DPMSolver++, а результатом является монофонический PCM-аудиосигнал с частотой дискретизации 24 кГц. Доступны вариант F16 размером 16,1 ГБ и 4-битный вариант Q4_K размером 5,3 ГБ, что позволяет выбирать между максимальной точностью и меньшими требованиями к памяти. Обе версии предназначены только для инференса и не содержат энкодеров, поэтому поддержка клонирования голоса из необработанного аудио отсутствует; открытый релиз поддерживает только предварительно закодированные голоса. Обучающие данные не раскрыты. Модель распространяется по лицензии MIT.
BuzzASR/lao — одноязычная модель автоматического распознавания речи на лаосском языке из набора BuzzASR, разработанная авторами проекта и дообученная на основе openai/whisper-large-v3. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration, содержащая 907,3 млн параметров; веса опубликованы в формате safetensors. Модель принимает аудио и преобразует речь в текст, а языковая и задачная подсказка уже встроена в конфигурацию генерации. Модель предназначена для транскрибации лаосской речи. При оценке на наборах FLEURS и Common Voice 25 авторы сообщают снижение CER примерно в 2,9 раза относительно Whisper-large-v3 без дообучения на объединённом тестовом наборе. Обучение включало данные FLEURS, Common Voice Corpus 25.0 и текстовые данные корпуса Goldfish. Модель ограничена лаосским языком; качество на других доменах и диалектах может отличаться от результатов на тестовых наборах. Распространяется по лицензии MIT.
Tooony133/LenoPalenoQwen-3.6-27B — производная мультимодальная модель семейства Qwen3.5, дообученная на основе Tooony133/Qwen-3.6-27B-SkinnyPete, которая, согласно README, восходит к Qwen/Qwen3.6-27B. Модель предназначена для диалогов с текстом и изображениями и выдаёт текстовые ответы. В репозитории указаны веса Safetensors в формате FP8 с упаковкой compressed-tensors; метаданные также отмечают поддержку vision и chat. Модель распространяется по лицензии Apache-2.0. Размер параметров, длина контекста и поддерживаемые языки в предоставленных сведениях не указаны.
LFM2-Audio-1.5B — сквозная аудиоязыковая модель Liquid AI для диалогов в реальном времени и задач преобразования речи. Она объединяет языковую модель LFM2 с аудиоэнкодером FastConformer и RQ-трансформером, который генерирует аудио в виде дискретных токенов Mimi. В карточке указано 1,5 млрд параметров для модели в целом; языковая основа содержит 1,2 млрд параметров, а аудиоэнкодер — 115 млн. Основа использует гибридную архитектуру свёрточных слоёв и attention. Модель принимает аудио и может отвечать аудио, текстом или чередовать оба формата. Режим чередующейся генерации предназначен для разговорных сценариев с низкой задержкой, а последовательная генерация подходит для распознавания речи и синтеза речи. Поддерживается английский язык. Для работы предусмотрена библиотека liquid-audio с демонстрационным интерфейсом Gradio. Модель разработана Liquid AI. В README приведены результаты сравнительных оценок диалоговых и ASR-возможностей, но фактическое качество зависит от сценария и данных. Репозиторий содержит веса safetensors и указанную лицензию other; конкретные условия лицензии следует проверять в карточке модели.
Llama-OuteTTS-1.0-1B — модель синтеза речи на базе архитектуры Llama, подготовленная Unsloth на основе OuteAI/Llama-OuteTTS-1.0-1B. Она преобразует текст в речь и поддерживает клонирование голоса по короткому образцу: для создания профиля обычно достаточно около 10 секунд референсного аудио. Модель автоматически выравнивает слова с аудио, принимает текст на родном письме без обязательной романизации и поддерживает числа в текстовом вводе. Модель содержит 1,2 млрд параметров, использует библиотеку OuteTTS и аудиокодек DAC с двумя кодовыми книгами. Заявлена поддержка английского, арабского, китайского, нидерландского, французского, немецкого, итальянского, японского, корейского, литовского, русского, испанского и ряда других языков; качество зависит от объёма обучающих данных для каждого языка. Для лучшего результата рекомендуется создавать профиль говорящего на целевом языке и генерировать речь отрывками примерно до 42 секунд. Качество синтеза чувствительно к настройке повторного штрафа: его следует применять к окну из 64 последних токенов, поскольку штраф на всём контексте может ухудшить или сломать результат. README отмечает наиболее надёжный вывод в llama.cpp; библиотека OuteTTS также реализует оконный штраф для Transformers. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование.
mlx-community/llava-v1.6-mistral-7b-4bit — мультимодальная модель для задач image-text-to-text, то есть обработки изображений совместно с текстовыми запросами и генерации текстовых ответов. Модель разработана сообществом mlx-community и конвертирована в формат MLX из llava-hf/llava-v1.6-mistral-7b-hf с использованием mlx-vlm версии 0.0.9. Модель имеет размер 7B параметров и поставляется в 4-битном представлении, что снижает требования к памяти по сравнению с полноразмерной версией и делает её ориентированной на запуск в экосистеме MLX. Поддерживает визуально-текстовые сценарии, однако в предоставленной карточке не указаны точные параметры архитектуры, максимальная длина контекста, перечень языков, результаты оценивания, ограничения качества и системные требования. Для использования требуется библиотека mlx-vlm. Модель распространяется по лицензии Apache-2.0.
Atotti разработала llm-jp-4-8b-speech-chat — японскую речевую языковую модель для диалога и выполнения инструкций по аудио. Она принимает речь и формирует текстовые ответы, включая транскрипцию и описание аудио. Модель относится к семейству LLM-jp-4 8B; в метаданных указана плотная архитектура LlamaForSpeechLM и формат safetensors. Обучение использовало наборы ReazonSpeech, spoken-multiturn-sft и spoken-magpie-ja. Карточка отмечает японский как основной язык и английский среди языков модели. Модель подходит для распознавания японской речи, голосовых диалогов и ответов на устные инструкции. Она оптимизирована прежде всего для японского языка; ошибки распознавания и рассуждений возможны, а шум, длинные записи и спонтанная речь могут снижать качество. Лицензия — Apache-2.0.
Marvis-TTS-100M-v0.2 — компактная модель синтеза речи от Marvis-AI на архитектуре Sesame CSM-1B. Она преобразует текст в речь и предназначена для потоковой генерации с низкой задержкой на устройствах, включая iPhone, iPad и Mac с Apple Silicon. Модель обрабатывает текст целиком, что помогает сохранять связность речи и естественную интонацию, и поддерживает работу с чередующимися текстовыми и аудиотокенами. В карточке указаны 123,7 млн параметров и контекст 2048 токенов; архитектура включает мультимодальный трансформер и аудиодекодер. Поддерживаются английский, французский и немецкий языки, также заявлено клонирование голоса по аудиопримеру. Модель распространяется по лицензии Apache-2.0. Для клонирования голосов необходимы соответствующие разрешения; качество и скорость на конкретном устройстве зависят от среды запуска.
MiDashengLM-0.6B (MDL-0.6B) — компактная аудиоязыковая модель, разработанная авторами семейства MiDashengLM. Она сочетает языковую основу Qwen3-0.6B с аудиотокенизатором dasheng-base-tokenizer и содержит 0,6 млрд параметров. Модель предназначена для локального распознавания содержания аудио и генерации текстовых описаний; в карточке указана архитектура MiDashengLM, а веса опубликованы в формате safetensors. Модель описывает речь, музыку и окружающие звуки, отвечает на вопросы об аудиозаписи, а также показывает результаты в задачах классификации аудио и распознавания речи. В README представлены предварительные оценки на наборах MECAT, AudioCaps, Clotho, LibriSpeech и других; качество зависит от задачи и набора данных. Поддерживаемые языки по тегам карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.
MiDashengLM-7B-1021-BF16 — модель для создания текстовых описаний аудио общего назначения, опубликованная mispeech. Репозиторий содержит веса BF16; карточка рекомендует их для обычного инференса и дообучения и указывает, что они обеспечивают качество, сопоставимое с FP32, при более высокой скорости на современных GPU. Модель предназначена для преобразования аудио в текстовое описание. В основе — плотная архитектура MiDashengLMModel; базовые модели каталога указаны как mispeech/dasheng-0.6B и Qwen/Qwen2.5-Omni-7B, со связями merge. Метаданные также отмечают дообучение Qwen/Qwen2.5-Omni-7B. Карточка перечисляет английский, китайский, тайский, индонезийский и вьетнамский языки. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка позиционирует модель как captioner общего назначения и сообщает о сопоставимом с FP32 качестве BF16-варианта, но не приводит подробных результатов оценки. Для инференса с заявленным преимуществом скорости рекомендуются современные GPU; веса рассчитаны на использование через Transformers с trust_remote_code.
MiraTTS-GGUF — это GGUF-версия модели синтеза речи MiraTTS, подготовленная пользователем или организацией Mungert с использованием llama.cpp. Исходная модель разработана для проекта MiraTTS, связанного с репозиторием Yatharth Sharma (ysharma3501). Модель предназначена для преобразования текста в речь и ориентирована на создание естественного и разборчивого аудио на английском языке. Заявленные характеристики MiraTTS включают генерацию аудио с частотой дискретизации 48 кГц, скорость до 100× реального времени при использовании Lmdeploy и пакетной обработки, задержку от 100 мс и работу примерно в пределах 6 ГБ видеопамяти. Карточка не указывает точную архитектуру, количество параметров, размер контекстного окна, поддерживаемые варианты голосов или дополнительные модальности. GGUF-файлы были созданы с помощью llama.cpp; для некоторых слоёв применялось повышение точности квантования, что может улучшать качество при низкой разрядности, но увеличивает размер файлов. Сильными сторонами модели являются высокая скорость, низкая задержка, заявленное качество 48-кГц аудио и относительно умеренные требования к памяти. Ограничения включают отсутствие подробных данных о качестве на разных типах текста, голосах и языках, а также возможную зависимость производительности от выбранного варианта квантования и используемого программного обеспечения. Модель распространяется по лицензии CC BY-NC-SA 4.0, которая предусматривает указание авторства, запрещает коммерческое использование и требует распространения производных материалов на тех же условиях.
MMS-300M — многоязычная модель Meta AI, разработанная Vineel Pratap и соавторами на архитектуре Wav2Vec2. Это предварительно обученный речевой энкодер примерно на 300 млн параметров, использующий самоконтролируемое обучение на около 500 тысячах часов речи более чем на 1 400 языках. Входная речь должна иметь частоту дискретизации 16 кГц. Модель служит основой для дообучения под распознавание речи, перевод или классификацию аудио. Сам чекпойнт не является готовой специализированной системой распознавания: для прикладной задачи требуется дообучение на соответствующей разметке. Доступна лицензия CC-BY-NC 4.0, которая ограничивает коммерческое использование.
zelk12/MT-Gen1-gemma-3-12B — объединённая модель на базе Gemma 3 12B, созданная с помощью mergekit методом DARE TIES. В объединение вошли soob3123/amoral-gemma3-12B-v2, TheDrummer/Fallen-Gemma3-12B-v1, ReadyArt/The-Omega-Directive-Gemma3-12B-v1.0, IlyaGusev/saiga_gemma3_12b, huihui-ai/gemma-3-12b-it-abliterated и soob3123/amoral-gemma3-12B-v2-qat; в README базовой названа soob3123/amoral-gemma3-12B-v2. Модель предназначена для диалоговой генерации текста с пониманием изображений: можно задавать вопросы по картинкам и вести мультимодальный чат. Семейство — плотная Gemma 3 с архитектурой Gemma3ForConditionalGeneration; объём — 12 млрд параметров. Каталог отмечает возможности chat и vision. Языковая лицензия Gemma; условия её применения следует сверять с лицензией Gemma.
Luigi выпустил потоковую модель распознавания речи Nemotron-3.5-ASR-Streaming-0.6B, дообученную на тайваньском мандаринском варианте китайского языка. Это плотная модель архитектуры FastConformer с RNNT-декодером; репозиторий содержит веса Safetensors для Transformers. В тестах Common Voice zh-TW версия v3 показала CER 9,81%, а на тесте Taiwan-Tongues — 14,85%. Английский результат на небольшом тесте LibriSpeech составил WER 2,79%. Модель предназначена для потоковой расшифровки речи, особенно на тайваньском мандаринском; README также указывает поддержку 25 языков. Она выдаёт упрощённый китайский текст: для традиционного письма README рекомендует преобразование через OpenCC. Модель уступает специализированной китайско-английской ASR-модели в приведённых тестах, слаба на длинных литературных текстах и не выполняет диаризацию или расстановку временных меток. Указана лицензия NVIDIA Open Model License для базовой модели; отдельная лицензия производной модели в метаданных обозначена как other.
Nemotron 3.5 ASR Streaming 0.6B — это модель автоматического распознавания речи, разработанная NVIDIA и перенесённая в формат CoreML для локального запуска на устройствах с Apple Silicon. Данный репозиторий содержит конверсию и упаковку исходной модели NVIDIA nvidia/nemotron-3.5-asr-streaming-0.6b, предназначенную для потоковой транскрипции речи с низкой задержкой, в том числе в составе движка FluidVoice Nemotron Speech 3.5 Ultra Fast Low Latency. Модель использует мультиязычный режим с возможностью ручного задания языкового промпта и автоматического определения языка, если это поддерживается средой выполнения. Потоковая конфигурация рассчитана на фрагменты длительностью 320 мс. Порт состоит из компонентов CoreML .mlpackage, включая препроцессор, encoder, decoder, joint-модули и токенизатор; применяется линейная int8-квантизация encoder, а общий размер пакета составляет около 668 МБ. Другие характеристики, включая точный список языков, архитектуру исходной модели, контекст и результаты оценки, в README не указаны. Основные преимущества — локальное выполнение на Apple Silicon, потоковая обработка, низкая задержка и уменьшенный размер благодаря int8-квантизации. Ограничения связаны с зависимостью от CoreML и аппаратной платформы Apple Silicon, а также с тем, что сведения о качестве распознавания, языках и сценариях использования необходимо уточнять в карточке исходной модели NVIDIA. Лицензия обозначена как other; её условия наследуются от upstream-модели NVIDIA.
Карточка модели SwinliQ-AI-2/OmniVoice на Hugging Face совпадает с карточкой k2-fsa/OmniVoice, поэтому описание составлено по ней. OmniVoice — многоязычная модель синтеза речи от команды k2-fsa, дообученная на базе Qwen/Qwen3-0.6B. Она использует архитектуру в стиле диффузионной языковой модели и предназначена для преобразования текста в речь, клонирования голоса по короткому аудиореференсу и создания голоса по заданным атрибутам. Модель заявлена для более чем 600 языков. Она поддерживает управление характеристиками голоса, включая пол, возраст, высоту тона, диалект и акцент, а также генерацию невербальных звуков по маркерам и коррекцию произношения с помощью пиньиня или фонем. В README заявлена скорость генерации до 40 раз выше реального времени. OmniVoice подходит для озвучивания текста, создания голосовых прототипов и генерации речи с заданным звучанием. Клонирование голоса допускается только при наличии соответствующих прав и согласия: разработчики запрещают несанкционированное подражание голосу, мошенничество и незаконное или неэтичное использование. Лицензия в предоставленных материалах не указана.
OmniVoice Amharic — модель синтеза речи, разработанная участниками инициативы Voices For All и дообученная на базе k2-fsa/OmniVoice. Она преобразует текст в естественную амхарскую речь и поддерживает клонирование голоса по аудиозаписи длительностью около 10 секунд. Модель использует нед autoregressive дискретную диффузионную архитектуру; заявленный размер — 612,6 млн параметров. Базовая OmniVoice также поддерживает английский и китайский, однако эта версия обучалась на амхарских аудиоданных и прежде всего предназначена для амхарского языка. Модель подходит для озвучивания текстов, создания речи голосом заданного говорящего и синтеза амхарской речи с учетом характерных согласных, геминации и интонации. В карточке перечислены данные из нескольких амхарских речевых корпусов и заявлена поддержка диалектных вариантов, хотя обучающие данные смещены в сторону аддис-абебского произношения. Лицензия — Apache 2.0. Известные ограничения: в обучающих данных преобладают мужские голоса, сельские акценты представлены слабее, а переключение между амхарским и английским, числительные и даты могут произноситься непредсказуемо. Эмоциональный диапазон ограничен нейтральной и новостной манерой; количественные результаты оценки в карточке пока не опубликованы.
OmniVoice-bf16 — модель синтеза речи, преобразованная в формат MLX из оригинальной модели k2-fsa/OmniVoice с помощью библиотеки mlx-audio. Модель предназначена для локальной генерации речи по тексту; пример использования также показывает поддержку клонирования голоса на основе эталонного аудиофайла. Модель ориентирована на сценарии text-to-speech и voice cloning и может запускаться через mlx-audio, включая CLI и Python API. Известно, что она совместима с OpenVox — сторонним настольным приложением для локального запуска голосовых и TTS-моделей, а также с его API и MCP-интеграциями. Архитектура, размер, поддерживаемые языки, модальности, максимальная длина контекста и другие технические характеристики в предоставленном README не указаны. Модель распространяется по лицензии Apache-2.0. Для работы требуется окружение MLX и библиотека mlx-audio; фактические возможности, включая параметры генерации и клонирования голоса, зависят от исходной модели OmniVoice. Ограничения по качеству, языкам и условиям использования эталонных голосов в карточке не описаны.
OmniVoice FP16 — конвертированная в формат FP16 версия многоязычной модели OmniVoice для вывода на PyTorch, подготовленная Kawshik Kumar Paul. Модель преобразует текст в речь и поддерживает синтез с клонированием голоса и настройкой его характеристик. Она предназначена для генерации речи по тексту, в том числе с заданным голосом или его характеристиками. Для работы используется библиотека omnivoice; README рекомендует GPU, поскольку вывод на CPU может быть медленным. Модель доступна под лицензией CC BY-NC 4.0, которая запрещает коммерческое использование.
Карточка модели hoanglinhn0/OmniVoice-viK на Hugging Face совпадает с карточкой kjanh/KhanhTTS-OmniVoice, поэтому описание составлено по ней. KhanhTTS — модель синтеза речи на базе OmniVoice, дообученная автором для озвучивания текста на вьетнамском и английском языках. Она поддерживает клонирование голоса по короткому образцу и рассчитана на более естественное произношение на обоих языках; для работы используется библиотека OmniVoice. Обучение проводилось примерно на 1500 часах вьетнамской и английской аудиозаписи. Модель подходит для озвучивания текстов и создания речи с голосовыми характеристиками предоставленного образца. В репозитории указаны веса Safetensors и лицензия Apache-2.0. Автор рекомендует предварительное тестирование и оценку рисков; клонирование чужого голоса без законного согласия и использование для обмана запрещены.