I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиBienvenu2004/donut-handball-pv4 — модель архитектуры VisionEncoderDecoder, дообученная автором на основе Bienvenu2004/donut-handball-pv3 для преобразования изображений в текст. В карточке указано дообучение на наборе данных imagefolder, но конкретное назначение для изображений гандбольных PV4 и содержание целевого текста не раскрыты. Модель принимает изображения и выдаёт текст. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Подтверждённых сведений о размере модели, длине контекста, поддерживаемых языках и результатах оценки нет.
Mungert/Holo-3.1-4B-GGUF — квантизированная GGUF-версия модели Holo3.1-4B, разработанной H Company для визуально-языковых агентов, выполняющих действия на компьютере. Модель предназначена для автоматизации веб-интерфейсов, настольных и мобильных приложений, навигации по пользовательским интерфейсам, UI-grounding, мобильной автоматизации и бизнес-сценариев с использованием агентских фреймворков. Holo3.1 поддерживает нативный function calling, что упрощает интеграцию с такими системами. Модель относится к классу Vision-Language Models и работает с текстом и изображениями. Указанный язык — английский. Версия основана на семействе Qwen 3.5, а размер варианта составляет 4B параметров. Контекстное окно в предоставленных данных не указано. GGUF-файл подготовлен с использованием llama.cpp; при квантизации отдельные важные слои переводятся на более высокую точность, что должно улучшать качество на низких битностях, особенно для MoE-моделей, но увеличивает размер файла. Ключевые преимущества модели — возможность локального запуска, сниженные требования к вычислительным ресурсам по сравнению с более крупными версиями семейства и ориентация на задачи computer use. Ограничения включают отсутствие сведений о точных форматах квантизации данного файла, контекстном окне и количественных результатах бенчмарков, а также заявленную поддержку только английского языка. Модель распространяется по лицензии Apache 2.0.
team-lucid разработала корейскую версию HuBERT Base — модели обучения речевых представлений, предложенной Facebook. Модель принимает аудиосигнал в виде сырой волновой формы и формирует последовательность скрытых представлений; в примере для входа длиной 16 000 отсчётов выход имеет размерность 49 × 768. Веса содержат 113,3 млн параметров, доступны в форматах PyTorch и Flax, включая safetensors. Модель обучали примерно на 4 000 часах корейской речи: свободных разговоров, многодикторских данных синтеза речи и разговорной речи из вещательного контента. Она предназначена для задач распознавания речи и получения речевых признаков; карточка связывает её с автоматическим распознаванием речи. Лицензия — Apache-2.0. Это речевая модель, а не генератор готовой расшифровки по умолчанию: пример показывает получение скрытых представлений через HubertModel. Для практического распознавания текста может потребоваться подходящая классификационная голова или дополнительная обработка. Указанные обучающие данные и карточка ориентированы на корейскую речь.
AngelSlim/Hy-MT1.5-1.8B-2bit — сжатая версия модели перевода HY-MT1.5-1.8B, разработанной командой Tencent Hunyuan и выпущенной проектом AngelSlim. Модель предназначена для взаимного перевода между 33 языками и поддерживает 1 056 направлений перевода, включая пять диалектов или языков меньшинств. Это плотная причинная языковая модель семейства Hunyuan с 1,8 млрд параметров и контекстом до 262 144 токенов. Веса сжаты до 2 бит методом Stretched Elastic Quantization и адаптированы с помощью дистилляции с учётом квантования; размер релиза составляет около 574 МБ. Модель рассчитана на локальный автономный запуск, в том числе на мобильных устройствах; для GGUF требуется специальное ядро Q2_0c llama.cpp. README заявляет о сохранении близкого к исходной модели качества перевода, но приводит сравнения со ссылкой на технический отчёт, а не численные результаты в самом тексте. Лицензия в предоставленных данных не указана.
Mantis-llava-7b — мультимодальная разговорная модель TIGER-Lab для ответов на вопросы по изображениям и тексту. Она дообучена на наборе Mantis-Instruct, содержащем примеры вопросов и ответов по нескольким изображениям, и рассчитана на рассуждения по чередующимся изображениям и тексту в одном запросе. Модель основана на LLaVA-1.5-7B и использует архитектуру LlavaForConditionalGeneration. Она принимает текст и изображения, а ответы формирует текстом; в метаданных указан английский язык. Версия устарела: авторы отмечают, что более новая mantis-Siglip-llama3 лучше справляется как с задачами по нескольким изображениям, так и с одиночными изображениями. Лицензия — Apache-2.0.
MiDashengLM-7B-1021 (FP8) — версия модели MiDashengLM с весами FP8, опубликованная MiSpeech. Это мультимодальная аудиоязыковая модель на архитектуре MiDashengLM; карточка указывает размер 7B и поддержку задач audio-text-to-text и text-generation. В метаданных перечислены английский, китайский, тайский, индонезийский и вьетнамский языки. Модель предназначена для обработки аудио с формированием текстового ответа. Версия FP8 рассчитана прежде всего на ускорители Hopper, включая H100 и более новые: на них она использует аппаратную поддержку FP8 для повышения производительности и сокращения расхода памяти. На более старых GPU выигрыш в скорости может быть небольшим, но формат может помочь экономить видеопамять и место на диске. Модель получена слиянием MiSpeech dasheng-0.6B и Qwen2.5-Omni-7B с последующим дообучением; репозиторий содержит веса в формате safetensors compressed-tensors. Лицензия — Apache-2.0. README показывает загрузку через Transformers с trust_remote_code=True; длина контекста и подробные ограничения на качество в предоставленных данных не описаны.
facebook/mms-tts-des — модель синтеза речи на языке десано, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на десано в речевую аудиоволну и подходит для создания озвучивания на этом языке. Модель построена на архитектуре VITS: она обучается сквозным образом и использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, а для запуска подходит библиотека Transformers версии 4.33 и новее. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения того же результата нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.
facebook/mms-tts-mzm — модель синтеза речи на языке муму́е (Mumuye, код mzm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на муму́е в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, flow-модуля, Transformer-кодировщика текста, стохастического предсказателя длительности и декодера, подобного HiFi-GAN. Размер модели — 3,5 млн параметров. Чекпойнт доступен в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Для одинакового результата при повторной генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель предназначена для муму́е и не является многоязычной в рамках этого чекпойнта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
Pathumma-llm-audio-1.0.0 — разработанная командой Pathumma Audio Team языковая модель на 8 млрд параметров для понимания аудио. Она принимает речь, обычные звуки и музыку и формирует текстовые представления. Архитектура объединяет языковую модель OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B на базе Qwen2 и аудиоэнкодер Pathumma-whisper-th-large-v3 на базе Whisper. Для работы указана библиотека Transformers. Модель предназначена для преобразования коротких аудиозаписей в текст и ответов по их содержанию. README заявляет поддержку тайского языка, а метаданные карточки также указывают английский. Максимальная длительность входного аудио — 30 секунд. Разработчики отмечают, что модель пока экспериментальная и не полностью пригодна для практического применения в качестве ассистента; также требуется улучшать надёжность и безопасность ответов. Лицензия — Apache-2.0.
PersonaPlex-7B-MLX-8bit — 8-битная MLX-версия модели PersonaPlex 7B от NVIDIA, преобразованная для запуска на компьютерах Apple Silicon. Она основана на архитектуре Kyutai Moshi и предназначена для потокового полнодуплексного общения голосом: принимает аудио и генерирует аудиоответ, поддерживая одновременное слушание и речь. В состав входят временной трансформер на 32 слоя с размерностью 4096 и 32 головами, Depformer на 6 слоёв и аудиокодек Mimi; в README указаны 18 голосовых пресетов. Заявлена поддержка английского языка. Модель подходит для голосовых ассистентов и интерактивных диалоговых систем с речевым вводом и выводом. Для использования на Apple Silicon доступен Swift-интерфейс из проекта soniqo/speech-swift. Репозиторий описан как 8-битная конверсия исходной PersonaPlex, однако в метаданных указан тип производной finetune. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.
TR-Omni-E4B — модель турецкого речевого диалога с архитектурой thinker–talker, разработанная Furkan Bekmezci. Компонент thinker на базе Gemma 4 E4B принимает речь, изображения и текст в любых сочетаниях и формирует ответ; речь обрабатывается напрямую, без промежуточной расшифровки ASR. Отдельный talker, инициализированный на основе Trendyol-TTS и VoxCPM2, синтезирует речь по предложениям с частотой 48 кГц, используя текстовые токены ответа и скрытые состояния thinker. Общий размер — 4,5 млрд эффективных параметров. Модель предназначена для голосового общения на турецком языке, включая сценарии с изображениями, а также для распознавания турецкой речи и ответов голосом или текстом. В тесте Common Voice 17 для турецкого языка авторы сообщают WER 10,2%; сохранена возможность отвечать на вопросы по изображениям. Лицензия — Apache-2.0. Ограничения включают фактические и арифметические ошибки, единственный синтетический голос, слабое распознавание эмоций и обработку только турецкого языка. Синтез речи выполняется по предложениям; модель работает в полудуплексном режиме, а потоковая передача и перебивание зависят от приложения. Не предназначена для медицинских, юридических и финансовых решений.
VISTA-4B — модель зрения и языка для привязки текстовых инструкций к элементам графического интерфейса. Её разработала команда inclusionAI на основе семейства Qwen3.5; метаданные указывают на слияние моделей Qwen3.5-4B и Qwen3.5-9B. Архитектура — плотная Qwen3.5 с генерацией текста по изображению и тексту; модель использует библиотеку Transformers и формат Safetensors. Лицензия — Apache-2.0. Модель принимает снимок экрана и инструкцию на естественном языке и возвращает координаты точки в нормализованной системе 0–1000. Она обучена методом VISTA — View-Consistent Self-Verified Training, с сопоставлением разных геометрических представлений одного интерфейса и самопроверкой предсказаний. Предназначена для локализации целей в GUI и может служить компонентом систем автоматизации интерфейсов. В README приведены результаты на наборах SSPro, SSV2, OSWorld-G и OSWorld-G-R; при этом оценка засчитывается, если предсказанная точка попадает внутрь целевого элемента. Для вызова используется интерфейс чата с изображением, аналогичный базовой модели. Описанный выход ограничен координатой клика; оценки получены при детерминированной генерации и одиночном представлении экрана. Указанная в метаданных поддержка английского языка не означает, что модель рассчитана только на англоязычные интерфейсы.
vjev-vision — модель yah01, дообученная на основе Qwen/Qwen3.5-4B для принятия решений по тексту и изображениям. Она принимает состояние в виде текста, изображения или их сочетания и типизированные вопросы: noul для оценки истинности утверждения, choice для выбора варианта и score для оценки по упорядоченной шкале. Модель не генерирует текстовый ответ: она за один проход возвращает калиброванные вероятности вариантов, учитывая конкуренцию между ними внутри вопроса; независимые вопросы обрабатываются отдельно. Модель использует архитектуру Qwen3.5 с визуальным вводом и общий линейный scoring head; обучалась с LoRA на текстовых задачах, геометрических вопросах по изображениям COCO и вопросах VQAv2. В описанных тестах на отложенных данных точность выбора составила 0,735 на геометрических вопросах COCO и 0,706 на VQAv2. Для работы с весами bf16/fp16 требуется около 9 ГБ памяти. Модель рассчитана на сценарии классификации и оценки вариантов с текстом и изображениями. Известные ограничения: вероятности для пространственных ответов переуверены; изменение порядка вариантов влияет на оценки. Обучение проводилось на одиночных изображениях, поэтому обработка нескольких изображений опирается на возможности базовой модели. Изображения масштабируются так, чтобы длинная сторона составляла 512 пикселей. Лицензия — Apache-2.0.
Vocaela-2-500M-1024R2 — компактная мультимодальная модель на 500 млн параметров для управления графическими интерфейсами на компьютерах и мобильных устройствах. По README, модель разработана командой Vocaela и дообучена на базе SmolVLM2-500M-Video-Instruct; метаданные также указывают связь с google/siglip-base-patch16-256 и SmolVLM2-500M-Video-Instruct через слияние. Архитектура — плотная SmolVLM. Модель принимает снимок экрана и краткую инструкцию на естественном языке, например просьбу нажать кнопку, и генерирует структурированные JSON-действия с пиксельными координатами. Она предназначена для привязки действий к элементам интерфейса и низкоуровневого управления GUI; автор сообщает об улучшенной эффективности и устойчивости следования инструкциям по сравнению с Vocaela-500M. В README заявлено снижение задержки CPU-инференса на 50–70% относительно предыдущей версии при использовании LlamaCpp, а также возможность запуска на ноутбуках и мобильных устройствах. Модель поддерживает изображения и текстовый ввод, выдаёт текстовое представление действий; язык карточки — английский. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях.
VoXtream2-HE — разработанная Flowty1 потоковая модель синтеза речи, дообученная на базе herimor/voxtream2 для иврита и смешанного ивритско-английского текста. Для синтеза она использует фонемы, а аудио выдаёт монофоническими кадрами с частотой 24 кГц. Модель предназначена для потоковой генерации речи с клонированием голоса по короткому аудиопримеру длительностью 3–10 секунд без отдельного обучения под голос. Она подходит для голосовых агентов, интерактивных помощников и дубляжа; темп речи можно менять, в том числе во время фразы. Заявлены выдача первого аудиокадра за десятки миллисекунд и генерация быстрее реального времени на потребительском GPU. Небольшой размер модели может приводить к нестабильности результатов. Для работы нужны кодовая библиотека из отдельного репозитория, ивритский модуль преобразования текста в фонемы и espeak-ng для английского. Лицензия весов — GPL-3.0; README допускает коммерческое применение, но не рекомендует его.
whisper-large-v3-translate-zh-v0.1-lt — дообученная модель Whisper large-v3, опубликованная пользователем chickenrice0721. Она предназначена для перевода японской речи в китайский текст: модель обучали на 3500 часах японского аудио с китайскими субтитрами, а при использовании задают задачу translate и язык ja. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров; модель принимает аудио и выдаёт текст. В карточке указаны японский язык исходной речи и китайский язык перевода. Модель распространяется по лицензии Apache-2.0.
Professor/whisper-medium-afrispeech — модель распознавания речи, разработанная на основе openai/whisper-medium и дообученная на AfriSpeech-200 для английской речи с африканскими акцентами. Она предназначена для расшифровки общей и клинической речи; в карточке указано снижение WER с 43,22% до 20,13% на тестовом наборе AfriSpeech-200 после дообучения. Модель использует архитектуру Whisper и принимает аудио длительностью до 30 секунд. На клинической речи WER составляет 27,47%, а результаты заметно различаются между акцентами: для приведённых в карточке примеров — от 7,4% до 44,6%. Ошибки в медицинских терминах требуют проверки, а клинические результаты не подходят для использования без контроля специалиста. Модель выпущена под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.
Blgn94/whisper-small-mn-v3 — дообученная модель семейства Whisper, созданная для распознавания монгольской речи на кириллице (халха). Она основана на openai/whisper-small с 244 млн параметров и предназначена для преобразования аудио в текст, в частности для транскрибирования чёткой речи в задачах распознавания речи и подготовки текстовых расшифровок. Модель обучена на датасете Blgn94/mongolian-stt-dataset-v24 объёмом около 148 часов. В README описана версия v25: на пользовательском тестовом наборе с текстами, исключёнными из обучения, нормализованный WER составил 19,67; на спонтанной речи YouTube ошибка заметно выше. Модель лучше подходит для чтения подготовленного текста, чем для разговорной и шумной речи. Проверка на официальном тестовом наборе Common Voice и на полностью новых дикторах не проводилась. Модель принимает аудио и выдаёт текст. Она распространяется под лицензией Apache-2.0; для длинных аудиозаписей README рекомендует использовать разбиение на фрагменты по 30 секунд.
zortzi-tts — модель синтеза речи на баскском языке, созданная itzune путём полного дообучения Audio8-TTS-Preview-0.6b. Это модель архитектуры DualAR с декодером в стиле Qwen2 и аудиокодеком; в карточке указано 601 млн параметров для AR-части, а в метаданных — 497,4 млн параметров. Для синтеза доступны два голоса, Майдер и Анттон, заданные референсными аудиозаписями и соответствующими текстами. Модель принимает текст и референсное аудио и выдаёт речь; она рассчитана только на баскский язык. Контекстная длина по метаданным — 2048 токенов. Модель подходит для озвучивания баскских фраз с выбором одного из двух голосов и выразительной интонацией. Лицензия — Apache-2.0. Для устойчивой генерации требуется сэмплирование: жадное декодирование может приводить к циклам повторов. Модель не нормализует текст и не преобразует числа, аббревиатуры или написание в произносимую форму; числа следует вручную записывать словами, а аббревиатуры раскрывать до передачи модели. Числа могут произноситься с примесью других языков.
EPFL-VILAB/4M-21_XL — модель семейства 4M-21, разработанная исследователями EPFL-VILAB и представленная в работе «4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities». Она построена на подходе Massively Multimodal Masked Modeling: токенизация и маскирование позволяют обучать модель на множестве разных модальностей и задач. Репозиторий содержит предварительно обученные веса в формате safetensors; для загрузки используется библиотека ml-4m. Модель предназначена для широкого круга задач компьютерного зрения и мультимодальной генерации: она может преобразовывать входы между модальностями, включая задачи, не встречавшиеся при обучении, и поддерживает управляемую генерацию. В README заявлена работа с десятками задач и модальностей, но точный состав входов и выходов для этого чекпойнта не перечислен. Размер модели и длина контекста в предоставленных данных не указаны. Лицензия обозначена в метаданных как other, без уточнения условий в доступных сведениях. Карточка предназначена для применения как предварительно обученной мультимодальной модели; качество на конкретных задачах зависит от выбранных модальностей и настройки использования.
ASMv2 — открытый мультимодальный чат-бот OpenGVLab, созданный дообучением LLaMA/Vicuna на данных для следования мультимодальным инструкциям. Модель сочетает диалоговые возможности Relation Conversation с общими возможностями языковой модели и визуальным пониманием изображений. ASMv2 предназначена для исследований мультимодальных моделей и чат-ботов. Она поддерживает ответы на вопросы по изображениям, понимание отношений между объектами, привязку и указание областей изображения, описание регионов и генерацию сценовых графов в открытой форме. Архитектура — плотная LlavaLlamaForCausalLM; размер — 12,9 млрд параметров, контекст — 4096 токенов. Метаданные указывают текстовую генерацию, а карточка описывает мультимодальные возможности модели.
Bunny-v1_0-2B-zh — мультимодальная модель семейства Bunny от BAAI для диалога и ответов на вопросы по изображениям. В языковой части используется Qwen1.5-1.8B, а для обработки изображений — визуальный энкодер SigLIP; в метаданных архитектура указана как плотная BunnyQwen2ForCausalLM с 1,5 млрд параметров. Модель поддерживает контекст до 32 768 токенов и ориентирована прежде всего на китайский язык. Модель предварительно обучена на LAION-2M и дообучена на Bunny-695K. В карточке указана оценка 59,5 на тестовой части MMBench-CN. Лицензия — Apache-2.0. Она предназначена для использования через Transformers; карточка не приводит подробностей о поведении на языках, кроме китайского, и об ограничениях при работе с отдельными типами изображений.
Модель wsntxxn/cnn8rnn-laionclap-audiocapsv2-grounding предназначена для привязки текстовых описаний звуковых событий к аудиозаписи. Она принимает аудиофрагмент и текстовый запрос о звуковом событии и оценивает вероятность его присутствия с временным разрешением 40 мс. Модель обучена на расширенной версии AudioCaps v2; текстовый энкодер — замороженный RoBERTa из LAION-CLAP, поэтому значительную часть параметров составляет текстовый энкодер. Модель подходит для поиска заданных звуковых событий в аудио и определения их временных интервалов. В метаданных указаны архитектура Cnn8RnnLaionClapGroundingModel, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Карточка указывает английский язык.
HuBERT-Large — модель Facebook для самообучаемого извлечения речевых представлений из аудио. Она использует архитектуру HuBERT, подобную BERT, и была предварительно обучена на наборе Libri-Light. Модель содержит 402,7 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для получения признаков из речи и может служить основой для систем распознавания речи после дообучения на размеченных аудиоданных. Веса доступны в форматах PyTorch и TensorFlow; модель распространяется по лицензии Apache-2.0. В исходной модели нет токенизатора, и она не преобразует речь в текст напрямую. Для распознавания речи требуется создать токенизатор и дообучить модель на размеченных текстом аудиоданных.
AXCXEPT/Llama-3-EZO-VLM-1 は、Axcxept株式会社が開発した日本語対応の視уально-языковая модель на архитектуре LLaVA. Она дообучена на основе SakanaAI/Llama-3-EvoVLM-JP-v2, построенной на Llama-3-8B-Instruct, с дополнительным предварительным обучением и instruction tuning для улучшения японских текстовых задач при сохранении возможностей работы с изображениями. Модель принимает изображения и текстовые запросы, генерирует текстовые ответы и описания изображений. Модель предназначена для диалога по изображениям, их описания и ответов на вопросы, а также для японских языковых задач общего назначения. В карточке заявлено улучшение результатов ElyzaTasks100 и качества распознавания и описания изображений относительно базовой модели. Основной язык — японский; разработчик также заявляет о работе с разными языками и контекстами. Длина контекста и число параметров для этой версии не приведены. Модель распространяется по условиям META LLAMA 3 COMMUNITY LICENSE. Разработчик указывает, что это экспериментальный прототип для исследований и разработок, не предназначенный для коммерческого применения или критически важных систем; качество и результаты не гарантируются.
LLaMA-VID — открытый мультимодальный чат-бот Yanwei Li и соавторов, созданный дообучением LLaMA/Vicuna на инструкционных данных с изображениями и видео; репозиторий построен на LLaVA. Эта версия содержит 6,6 млрд параметров, использует архитектуру LlavaLlamaAttForCausalLM и веса PyTorch. Модель предназначена для диалога и ответов на вопросы по визуальному содержимому, включая понимание длинных видео; авторы заявляют поддержку видео длительностью до часа с дополнительным контекстным токеном. Указанное в метаданных нативное окно контекста — 4096 токенов. В обучении использовались данные LLaVA-1.5, WebVid, ActivityNet и Long VideoQA, включая пары изображение–текст, мультимодальные инструкции и вопросы с ответами по видео. Модель ориентирована прежде всего на исследования мультимодальных моделей и чат-ботов, а также на экспериментальное использование в компьютерном зрении и NLP. Лицензия в предоставленных данных не указана.
facebook/mms-tts-nhi — модель синтеза речи на языке науатль варианта Zacatlán-Ahuacatlán-Tepetzintla, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; для разных языков проекта обучаются отдельные контрольные точки. Модель построена на архитектуре VITS и обучается сквозным образом. В её составе — текстовый энкодер на основе Transformer, потоковый модуль, декодер аудиосигнала и стохастический предсказатель длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров. Для использования доступна через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на указанном варианте науатля. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
facebook/mms-tts-run — модель синтеза речи для языка рунди (Rundi), разработанная в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Модель предназначена для озвучивания текста на рунди. Стохастический предсказатель длительности позволяет получать варианты произношения и ритма для одного и того же текста; для повторяемого результата требуется фиксировать seed. Использование возможно через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.
AXERA-TECH/moss-tts-nano — пакет для запуска MOSS-TTS-Nano-100M от команды OpenMOSS на устройстве AX650 с NPU3. Он предназначен для синтеза речи из текста; в README описан сценарий клонирования голоса по встроенному китайскому образцу zh_1.wav. Модель содержит около 100 млн параметров: авторегрессионная языковая модель работает на CPU, а декодер аудиокодека MOSS-Audio-Tokenizer-Nano и опциональные компоненты ускорения используют NPU3. Выход — китайская речь в WAV, 48 кГц, стерео, 16-бит PCM; заявлена поддержка 20 языков исходной модели, включая китайский и английский. Пакет предварительно скомпилирован для AX650 и требует axengine; он не предназначен для прямого запуска на обычной x86-машине. README указывает скорость LLM около 10–13 кадров в секунду и сходство формы сигнала AXMODEL с эталонным FP32-вариантом 0,952±0,019; для более точного результата доступен ONNX Runtime, примерно в 2,6 раза медленнее на CPU платы. Репозиторий содержит PyTorch формат и AXMODEL-компоненты. Лицензия — Apache-2.0; авторство базовой модели указано за OpenMOSS-Team.
NeuTTS Nano French — модель синтеза речи от Neuphonic, предназначенная для локального запуска и мгновенного клонирования голоса по короткому аудиофрагменту. Она принимает текст на французском языке и эталонную запись речи, а затем произносит текст в стиле её диктора. Модель использует компактную языковую основу класса Nano для генерации TTS-токенов и аудиокодек NeuCodec. Для основы указано около 116,8 млн активных параметров и около 228,7 млн параметров с учётом связанных эмбеддингов и выходного слоя. Модель оптимизирована для работы в реальном времени или быстрее на процессорах; доступны квантизированные варианты GGUF, а веса репозитория представлены в формате safetensors. Генерируемая речь маркируется водяными знаками. Модель рассчитана на французскую речь и локальные голосовые приложения, включая ассистентов и устройства с ограниченными ресурсами. Для работы требуется espeak-ng; качество фонемизации зависит от его версии. Референсное аудио рекомендуется подавать в WAV, моно, с частотой 16–44 кГц и длительностью 3–15 секунд, без заметного шума. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории.