I.15Доступность и ассистивные технологии

EGM-Qwen3-VL-8B-SFT — промежуточный чекпойнт с supervised fine-tuning из первого этапа конвейера обучения Efficient Visual Grounding Language Models, разработанного NVIDIA. Модель основана на Qwen/Qwen3-VL-8B-Thinking и предназначена для структурированного визуального grounding с явными рассуждениями; чекпойнт служит начальной точкой для последующего обучения с подкреплением методом GRPO. Это плотная мультимодальная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration. Она принимает изображения и текст и формирует текстовые ответы; карточка указывает английский язык. Точность весов — bfloat16. Модель рассчитана прежде всего на продолжение обучения, а для использования с наилучшими заявленными результатами авторы указывают финальную модель nvidia/EGM-8B. Модель распространяется по лицензии Apache-2.0. В README чекпойнт обозначен как промежуточный этап, поэтому его качество для самостоятельного применения не следует считать эквивалентным финальной RL-модели.

Это модель автоматического распознавания речи, созданная дообучением jssaluja/fb-mms-1b на базе facebook/mms-1b-all. Она предназначена для преобразования аудиозаписей в текст; обучение проводилось на наборах с чтением и исполнением сикхских религиозных текстов, включая Sehaj Paath и киртан. Модель построена на архитектуре wav2vec2, имеет около 1,3 млрд параметров и использует библиотеку Transformers. В карточке приведены метрики оценки: WER 0,3164, CER 0,0801 и NCER 0,0324. Эти результаты относятся к указанному оценочному набору и не гарантируют аналогичного качества на других типах речи или записях. Базовая MMS-1B-All поддерживает более тысячи языков, однако язык и область применимости этого дообученного чекпойнта отдельно не указаны. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но запрещающая коммерческое применение.

IndicTrans2 Odia→English v1 — дообученная модель перевода на архитектуре IndicTransForConditionalGeneration, разработанная автором репозитория на основе ai4bharat/indictrans2-indic-en-dist-200M. Она предназначена для перевода текстов с одиа на английский; в README приведены результаты оценки на 500 тестовых примерах: BLEU 62,23, ChrF 87,29 и METEOR 51,28. Для токенизатора используется официальный IndicTrans2 base, а веса модели загружаются из этого репозитория. Модель работает с текстом и распространяется в формате PyTorch через Transformers. README называет этот чекпойнт зафиксированной базовой версией перед дальнейшим дообучением на 10–15 эпох. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты. Результаты на тестовой выборке не гарантируют такое же качество на других тематиках и типах текстов.

Это модель выделения целевого говорящего из смешанной аудиозаписи, созданная wyz на базе рецепта LibriMix для ESPnet. Она принимает аудио с несколькими говорящими и предназначена для извлечения речи выбранного говорящего; имя эксперимента указывает на SpeakerBeam с обучением по целевому эмбеддингу говорящего и частотой дискретизации 16 кГц. В карточке приведены результаты на тестовом и проверочном наборах LibriMix 2mix clean, включая SI-SNR около 12,66 дБ и ESTOI около 83. Это специализированный экспериментальный чекпойнт с оценками для конкретного сценария смешения двух источников; данные не описывают качество на других наборах, частотах дискретизации или в реальных акустических условиях. Репозиторий упакован для ESPnet и использует формат PyTorch. Сведения о лицензии в предоставленных источниках отсутствуют.

facebook/mms-tts-agn — модель синтеза речи на языке агутайнен, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на агутайнен в речевой сигнал и подходит для озвучивания фраз и создания голосовых сообщений на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, похожим на HiFi-GAN. Размер чекпойнта составляет 3,5 млн параметров. Для каждого языка MMS обучается отдельный чекпойнт; модель предназначена для агутайнен и не заявлена как многоязычная. Генерация речи стохастическая, поэтому для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

facebook/mms-tts-nfa — модель синтеза речи на языке дао (Dhao, nfa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на дао. Модель использует архитектуру VITS и обучена как отдельный чекпойнт для этого языка; размер составляет 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать варианты ритма речи для одного текста, поэтому результат может меняться между запусками; для повторяемой генерации нужен фиксированный seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ngp — модель синтеза речи на языке Ngulu (ngp), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текстов на Ngulu. Для каждого языка в проекте обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер HiFi-GAN-подобного типа. Размер модели — 3,5 млн параметров; она доступна для Transformers версии 4.33 и новее, в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому один и тот же текст может получать разный ритм и звучание; для воспроизводимого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

VIZINTZOR/MMS-TTS-THAI-MALEV2 — модель синтеза речи на архитектуре VITS, дообученная разработчиком на аудиозаписях Play.ht. Она преобразует текст на тайском языке в речь мужским голосом и предназначена для локального запуска; в карточке также упомянуто обучение через Google Colab. Модель содержит 3,6 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Карточка модели suryatmodulus/neutts-2e на Hugging Face совпадает с карточкой neuphonic/neutts-2e, поэтому описание составлено по ней. NeuTTS-2E — модель синтеза речи, разработанная Neuphonic для локального запуска на устройствах с ограниченными ресурсами. Она преобразует текст на английском языке в речь и позволяет выбирать одну из четырёх фиксированных голосовых персон и одну из шести эмоций либо нейтральную подачу. Модель использует компактную языковую модель для генерации токенов речи и аудиокодек NeuCodec. В README указано около 125 млн активных параметров базовой части и около 236 млн параметров всего; доступны квантованные версии GGUF. Модель оптимизирована для генерации в реальном времени на CPU и для встраиваемых устройств. Все создаваемые аудиофайлы по умолчанию содержат водяной знак Perth. Это ранняя альфа-версия, рассчитанная только на английский язык и фиксированный набор голосов; клонирование голоса не заявлено. Лицензия указана как other, поэтому условия использования следует сверять с файлами лицензии репозитория.

giangndm/omniASR-LLM-300M-encoder — отдельная аудиоэнкодерная часть omniASR-LLM-300M, опубликованная в формате bfloat16 SafeTensors. Модель основана на архитектуре Wav2Vec2 с Conformer-подобным SSL-энкодером из 24 слоёв, 16 головами внимания и размером скрытого представления 1024; в метаданных указано около 402,7 млн параметров. Она совместима с Transformers через AutoModel, Wav2Vec2Model и AutoFeatureExtractor. Энкодер принимает аудио с частотой дискретизации 16 кГц и выдаёт векторные представления размерности 1024 с частотой 50 кадров в секунду, то есть один кадр каждые 20 мс. Модель предназначена для извлечения признаков речи, которые могут служить входом для последующих задач распознавания и анализа речи; карточка связывает её с многоязычным корпусом Omnilingual ASR. Лицензия — Apache-2.0. В репозитории опубликован именно энкодер, поэтому он сам по себе не выдаёт транскрипты и для прикладного распознавания речи потребуется декодер или другая последующая модель.

opus-mt-ase-sv — модель машинного перевода из семейства OPUS-MT, опубликованная Helsinki-NLP. Она переводит текст с ase на шведский язык (sv); модель построена на архитектуре Transformer-align, использует нормализацию и SentencePiece для предобработки. В метаданных указаны 50,1 млн параметров, контекст до 512 токенов, поддержка PyTorch и TensorFlow и лицензия Apache-2.0. В тесте JW300.ase.sv указаны BLEU 39,7 и chr-F 0,576. Модель подходит для перевода текстов с ase на шведский; её качество на других языковых парах и типах текстов не подтверждено приведёнными данными.

Osaurus-AppleScript-8B-JANG_6M — дообученная Osaurus модель на базе Zyphra/ZAYA1-8B для автоматизации macOS с помощью AppleScript и вызовов инструментов. Она принимает текстовые запросы и при наличии описания инструмента формирует структурированный вызов run_applescript с AppleScript-кодом; без описания инструмента выдаёт код напрямую. Предназначена для использования в агентном цикле, где внешний агент запускает скрипт и передаёт модели результат. Модель построена на архитектуре Zaya с MoE и 16 экспертами. README указывает 8,84 млрд параметров и размер около 7,4 ГБ; метаданные каталога — 5,4 млрд параметров. Представлены 6-битные веса с 8-битными эмбеддингами в формате MLX, а метаданные указывают контекст до 131 072 токенов. Модель рассчитана на английский язык и локальный запуск через MLX, в том числе в vMLX. В тесте README на 87 задачах AppleScript модель достигла 100% выдачи вызовов инструмента, 80% компилируемых скриптов и 75% правильного выполнения на вычислительной подвыборке; эти результаты относятся к описанному тесту и не гарантируют такую же точность в других сценариях. Для запуска скриптов требуется внешний исполнитель, например osascript. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

R1-AQA — модель для ответов на вопросы по аудио, разработанная mispeech на основе Qwen2-Audio-7B-Instruct. Она принимает аудиозапись и формулировку вопроса и генерирует текстовый ответ в диалоговом формате. Модель дообучена методом обучения с подкреплением GRPO примерно на 38 тысячах примеров. Разработчики сообщают о результатах на уровне state of the art на бенчмарке MMAU; это заявление относится к оценке на конкретном бенчмарке, а не гарантирует качество на любых аудиозадачах. В README также отмечено, что способности крупных аудиоязыковых моделей к рассуждению пока уступают человеческим, а польза явного пошагового рассуждения для AQA не подтверждена. Архитектура — Qwen2-Audio, около 8,2 млрд параметров согласно техническому отчёту базовой модели. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache-2.0.

Rex-Thinker-GRPO-7B — мультимодальная модель IDEA-Research для поиска объектов на изображении по текстовому описанию. Она дообучена на Qwen/Qwen2.5-VL-7B-Instruct в два этапа: с учителем на структурированных примерах рассуждений, затем с подкреплением методом GRPO. Модель оценивает предложенные детектором объекты, сопоставляя их с выражением, и возвращает подходящую область или воздерживается от выбора, если совпадения нет. Модель предназначена для задач referring expression grounding: например, найти на изображении «красную чашку слева от ноутбука». Она принимает изображение и текстовое выражение, а для работы использует кандидатов областей от open-vocabulary детектора, такого как Grounding DINO. Архитектура основана на Qwen2.5-VL, размер — 7,1 млрд параметров, заявленный контекст — 128 000 токенов. Карточка описывает английский язык; сведения о поддержке других языков не приведены. Структурированные шаги рассуждения повышают интерпретируемость сопоставления и позволяют отказаться от неподходящего кандидата. Качество зависит от кандидатов, предложенных детектором, и модель рассчитана на визуальное понимание объектов по текстовым описаниям. Лицензия в предоставленных данных не указана.

Voix7/rtdetrv2-floorplan — дообученная модель RT-DETRv2 для обнаружения объектов на изображениях планов помещений. Она основана на PekingU/rtdetr_v2_r50vd и предназначена для выявления окон, дверей и лестниц. В README приведены метрики оценки: mAP 0,5424, mAP@50 0,6551 и mAP@75 0,5889; для отдельных классов указаны mAP 0,6578 для окон, 0,4366 для дверей и 0,5329 для лестниц. Модель использует архитектуру RT-DETRv2 и опубликована в формате safetensors для Transformers. Лицензия — Apache-2.0. Набор данных для обучения не назван, а сведения о поддерживаемых типах планов и условиях оценки ограничены приведёнными метриками.

SNAC 24 kHz Hindi — это дообученный декодер нейрокодека SNAC, подготовленный для речи на хинди и хинглише. Модель предназначена для декодирования аудиокодов SNAC в речевую волну и может использоваться как вокодер в стеке синтеза речи в стиле Orpheus. Изменён только декодер; энкодер и квантователь унаследованы от hubertsiuzdak/snac_24khz, поэтому кодовое пространство совместимо с базовой моделью. Модель использует три иерархических кодбука по 4096 записей и выдаёт монофонический звук с частотой 24 кГц. Лицензия — MIT. Для только что декодированных фрагментов README рекомендует обрезать первые примерно 2048 отсчётов, чтобы убрать переходный артефакт прогрева декодера.

Это экспорт контрольной точки StyleTTS2 для набора LJSpeech, подготовленный loom-ai-org для запуска через loom.cpp и библиотеку loom-py-rt. Репозиторий упаковывает исходные веса yl4579/StyleTTS2-LJSpeech в один файл GGUF; README указывает, что параметры не изменены. Модель предназначена для синтеза речи на английском языке. Она принимает идентификаторы фонем, а не обычный текст, поэтому перед запуском текст нужно преобразовать в фонемы подходящим инструментом. Лицензия — MIT, указанная по лицензии исходного проекта StyleTTS2.

ToriiGate-v0.4-2B — мультимодальная модель зрения и языка, разработанная автором Minthy как специализированная версия Qwen2-VL-2B. Она дообучена на наборе из более чем 900 тысяч изображений с подписями и предназначена прежде всего для создания описаний аниме-изображений, цифровых иллюстраций и других картинок. Модель имеет плотную архитектуру Qwen2-VL, содержит 1,5 млрд параметров, принимает изображения и текстовые запросы и генерирует текст; длина контекста — 32 768 токенов. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. Модель умеет создавать короткие и длинные подписи, структурированные описания персонажей, фона и других деталей, а также текст с координатами ограничивающих рамок. Дополнительная информация — например, теги booru, имена персонажей и их признаки — помогает точнее описывать сцены и узнавать персонажей. Версия 2B рассчитана на меньшие вычислительные затраты, чем версия 7B, но уступает ей в точности. Модель специализирована на описании изображений, поэтому другие типы запросов могут работать хуже. Без дополнительной привязки она может ошибаться в именах персонажей; автор также отмечает возможные неточности и провокационные ответы на взрослые темы.

Video-HopChain-8B — мультимодальная модель ngqtrung для ответов на вопросы по видео и многошагового видеорассуждения. Она основана на Qwen3-VL-8B-Instruct и дообучена методом GRPO в два этапа: на смеси общих задач вопросов и ответов по видео, затем на наборе Video-HopChain с методом Confidence-Gated Exploration (CGE). Архитектура — плотная Qwen3-VL с 8 млрд параметров; модель принимает видео и текстовые вопросы и формирует текстовые ответы. В карточке приведены результаты оценки на нескольких видеобенчмарках при обработке до 100 кадров на видео. Модель предназначена для многошаговых вопросов о событиях, объектах и связях в видеороликах. В опубликованных результатах она превосходит исходную Qwen3-VL-8B-Instruct по среднему показателю на перечисленных бенчмарках, однако оценена только в одном масштабе. Обучающий набор синтетический и сверялся с подписями, а не непосредственно с кадрами, поэтому ошибки подписей могут попадать в целевые ответы. Лицензия — Apache-2.0.

Карточка модели maitrix-org/Voila-chat на Hugging Face совпадает с карточкой maitrix-org/Voila-Tokenizer, поэтому описание составлено по ней. Voila-Tokenizer — аудиотокенизатор семейства Voila от Maitrix, построенный на архитектуре EnCodec и представленный в формате safetensors. Он предназначен для преобразования аудио в представление, пригодное для работы голосовых языковых моделей и обратного преобразования в аудио; в карточке Hugging Face основная задача отмечена как audio-to-audio. Проект Voila описывает применение токенизатора в единой системе голосовых задач, включая распознавание речи, синтез речи, перевод речи и голосовой диалог в реальном времени. В метаданных перечислены английский, китайский, французский, немецкий, японский и корейский языки. Для семейства Voila заявлены потоковая обработка с низкой задержкой и поддержка множества голосов; конкретные параметры и результаты для этого токенизатора отдельно не приведены. Модель распространяется по лицензии MIT.

Модель zainulhakim/241103_wav2vec2_Augmented_Dataset — дообученная на неизвестном наборе данных версия facebook/wav2vec2-base для автоматического распознавания речи. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; веса опубликованы в формате safetensors. Лицензия — Apache-2.0. На указанной в карточке оценочной выборке модель получила WER 1,0 и loss 1,8439. Эти результаты указывают на крайне низкое качество распознавания в данном тесте; данных о языке аудио, целевом сценарии и более подробных ограничениях карточка не предоставляет.

Aria-UI — модель семейства Aria, разработанная для понимания инструкций по управлению графическим интерфейсом и привязки инструкций к элементам на экране. Она дообучена на наборе Aria-UI_Data на базе rhymes-ai/Aria-Base-8K и предназначена для GUI-агентов, которые преобразуют текстовые инструкции и изображения интерфейса в ответы, помогающие выполнить задачу. Модель принимает текст и изображения, в том числе чередующиеся текстово-визуальные данные и историю взаимодействия. В README указана архитектура Mixture-of-Experts с 3,9 млрд активируемых параметров на токен, поддержка изображений разных размеров и пропорций и сверхвысокого разрешения. Для базовой модели заявлен контекст до 8K токенов. Авторы сообщают о результатах на AndroidWorld и OSWorld, включая 44,8% успешных задач на AndroidWorld и 15,2% на OSWorld в декабре 2024 года. Модель ориентирована на сценарии управления GUI и требует совместимого мультимодального инференса. Доступна по лицензии Apache-2.0.

CogVLM2-Video-Llama3-Chat — чат-модель для понимания видео, разработанная командой Zhipu AI. Она отвечает на вопросы о содержании видеороликов и поддерживает временную привязку событий; карточка сообщает о результатах на нескольких бенчмарках VideoQA. Это версия для однораундового диалога на основе архитектуры CogVLM2VideoForCausalLM, содержащая 8,3 млрд параметров и работающая с видео и текстовыми запросами. Модель ориентирована на сценарии видеоаналитики и вопросов-ответов по видео. В метаданных указан английский язык и контекст 2048 токенов. Веса опубликованы в формате safetensors; лицензия обозначена как other, поэтому условия использования следует сверять с лицензией в репозитории. Заявленное в README понимание видео длительностью до минуты не гарантирует одинакового качества на любых роликах и запросах.

Gaze Attention Qwen3-4B Video — видеомодель с визуально-языковой архитектурой CambrianQwen3, разработанная Junha Song и соавторами из NAVER AI Lab и KAIST в рамках исследования Gaze Attention. Она принимает видео и текстовые запросы, а ответы формулирует на естественном языке. Модель предназначена для диалога о видео и ответов на вопросы по его содержимому. В основе лежит Qwen3-4B-Instruct-2507 с 3,7 млрд параметров и визуальный энкодер SigLIP2-So400m/16, дообученный для этой системы. Проектор использует двухслойный MLP и свёртку 3×3 со stride 2, сокращая число визуальных токенов в четыре раза. Gaze Attention группирует ключи визуальных токенов по пространственным областям и для каждого слоя, головы и текстового токена выбирает наиболее релевантные области; контекстные токены сохраняют глобальное представление сцены. Контекст составляет до 262 144 токенов. В обучении использовались наборы Cambrian и LLaVA-Video; среди языков карточка указывает английский. Модель объединяет языковую и визуальную компоненты и обучалась для мультимодальных задач, включая видео. Лицензия — Apache-2.0. Результаты зависят от содержимого видео и формулировки запроса; в карточке нет сведений об оценках качества или проверке на разных языках.

Gelato-30B-A3B-f32-AIO-GGUF — это мультимодальная модель для задач управления графическим интерфейсом, разработанная сообществом prithivMLmods на базе Gelato-30B-A3B от MLFoundations. Модель предназначена для computer-use-агентов: она принимает инструкцию на естественном языке и снимок экрана, чтобы определить нужный элемент интерфейса и вернуть его координаты для последующего клика или другого взаимодействия. Модель ориентирована на работу с реальными программными средами и поддерживает интеграцию через llama.cpp и Text Generation Inference. В основе лежит MoE-архитектура Qwen3-VL с заявленными 30 млрд параметров; точное число активных параметров в README не указано. Поддерживается английский язык и мультимодальный ввод текста и изображений. Для модели опубликованы GGUF-файлы в форматах от F32 до различных вариантов квантования, а также отдельные мультимодальные проекторы. Версия F32 занимает около 122 ГБ, поэтому требует значительных вычислительных и оперативных ресурсов. К сильным сторонам относятся специализация на точном позиционировании элементов интерфейса и высокие результаты на бенчмарках ScreenSpot-Pro и OS-World-G: около 63,88% и 69,15% соответственно, либо 74,65% на уточнённой версии OS-World-G. Ограничения включают узкую специализацию на GUI-задачах, поддержку английского языка по заявленным данным и высокие требования к ресурсам для полноформатной версии. Модель распространяется по лицензии Apache-2.0.

KinyaWhisper — модель автоматического распознавания речи на киньяруанда, созданная Gabriel Baziramwabo и опубликованная под именем benax-rw. Это дообученная версия OpenAI Whisper small, рассчитанная на транскрибирование коротких аудиозаписей на киньяруанда; она служит воспроизводимой базовой моделью для распознавания речи на малоресурсных языках. Модель обучалась на 102 вручную размеченных WAV-файлах в течение 80 эпох. В карточке указан WER 51,85%. Модель принимает аудио и выдаёт текстовую транскрипцию; лицензия — MIT. Она лучше подходит для короткой и чёткой речи, а на длинных или зашумлённых записях может ошибаться. Разработчик характеризует её как раннюю образовательную модель, пока не подходящую для производственного применения.

Liujgoj-Cantonese-Qwen2.5-Omni-7B-ASR — модель распознавания речи на основе Qwen2.5-Omni-7B, разработанная для транскрибирования устного кантонского языка в романизированную орфографию Liujgoj. По описанию, модель прошла продолженное предобучение на данных Liujgoj, обучение по инструкциям и дообучение на парах кантонского аудио и текстовых транскрипций. Модель принимает аудио и выдаёт текст с романизацией Liujgoj, включая слоговую структуру, тоновые обозначения и границы слов. Её предполагаемые сценарии — подготовка кантонских речевых корпусов, фонологические исследования и создание данных для синтеза речи. В README приведено сравнение с Whisper на 4 742 примерах; также сообщается о повторении слова «yiu» примерно в 0,02% случаев и связывается этот сбой с малым числом повторов в обучающих данных или численной нестабильностью. В репозитории указаны архитектура Qwen2.5 Omni Thinker, формат safetensors и библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Ее обучающие данные включают около 18 часов аудио из кантонских фильмов, поэтому качество на иных жанрах и акустических условиях может отличаться.

MioCodec-25Hz-44.1kHz — нейронный аудиокодек Aratako для представления и восстановления речи, рассчитанный на spoken language modeling. Он основан на реализации Kanade-Tokenizer и использует ветвь дискретных токенов содержания речи с частотой 25 Гц и глобальное непрерывное embedding-представление акустических характеристик, включая голос говорящего и условия записи. Модель принимает и восстанавливает аудио с частотой дискретизации 44,1 кГц; заявленный битрейт составляет 341 бит/с, словарь содержит 12 800 токенов, размер модели — 118 млн параметров без вокодера. Кодек и MioVocoder совместно дообучены сквозным образом для повышения качества реконструкции и уменьшения артефактов. Разделение содержания речи и глобальных акустических характеристик позволяет использовать модель для кодирования и декодирования речи, а также для преобразования голоса без предварительного обучения на голосе целевого говорящего. Метаданные указывают поддержку английского, японского, нидерландского, французского, немецкого, итальянского, польского, португальского и испанского языков; README подробно описывает обучение на японских и английских данных. Лицензия — MIT.

facebook/mms-tts-mfe — модель синтеза речи на языке морисьен, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS — сквозной вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером в стиле HiFi-GAN и стохастическим предиктором длительности. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors для использования через Transformers. Стохастический предиктор позволяет получать разные ритмические варианты произнесения одной фразы, поэтому для повторяемого результата нужно фиксировать seed. Модель предназначена для синтеза на морисьене и не заявлена как многоязычная. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-rap — модель синтеза речи на рапануйском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на рапануйском. Для языка создан отдельный чекпойнт MMS-TTS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудиосигнал. Стохастический предиктор длительности позволяет получать варианты произношения с разным ритмом; поэтому результат может меняться между запусками, а фиксированный seed нужен для воспроизводимости. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.