I.15Доступность и ассистивные технологии

facebook/mms-tts-vun — модель синтеза речи на языке Vunjo (vun) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Vunjo. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует текстовый энкодер, модуль предсказания длительности и декодер аудио. Генерация недетерминирована: для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-xsb — модель синтеза речи на языке Sambal (код xsb) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер и потоковый модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Модель использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом; для повторяемого результата требуется фиксировать seed. Для работы с чекпойнтом подходит библиотека Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-xua — модель синтеза речи из текста для языка курумба, алу (xua), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт проекта, реализованный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на курумба, алу. Стохастический предиктор длительности позволяет синтезировать варианты речи с разным ритмом, поэтому результат может меняться между запусками; фиксированное начальное значение генератора случайных чисел позволяет воспроизводить тот же результат. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-yao — модель синтеза речи на языке яо, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на языке яо. Модель использует архитектуру VITS: вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, декодером и стохастическим предиктором длительности, обученный сквозным способом с вариационными и состязательными функциями потерь. Размер модели — 3,5 млн параметров; доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Отдельные контрольные точки MMS-TTS обучены для каждого языка, поэтому эта модель рассчитана на яо, а не на многоязычную генерацию в одном чекпойнте. Стохастический предиктор длительности может давать разные варианты произношения одного текста; для воспроизводимого результата следует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

Paranioar/NEO1_5-2B-SFT — версия с дообучением модели NEO1_5-2B, разработанной для исследований нативных vision-language-моделей. Модель использует смешанный режим Native-Attn и Native-RoPE; указаны 2,2 млрд параметров без эмбеддингов, 40 слоёв и групповое внимание GQA с 16 головами Q и 8 головами KV. Модель предназначена для диалоговых задач с изображениями и исследования обобщения на сценарии с одним или несколькими изображениями, видео и пространственными данными 3D. В метаданных заявлены задачи генерации текста и преобразования изображения и текста, а также интерфейс для вызова инструментов. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не приводит сведения о контекстном окне и языковой поддержке; качество для отдельных сценариев не оценивается.

ManishThota/Ollama_Quantised_LLaVA-NeXT-Video-7B-DPO — это GGUF-квантизированный вариант мультимодальной модели LLaVA-NeXT-Video-7B-DPO, опубликованный пользователем ManishThota для запуска через Ollama, llama.cpp и совместимые инструменты. Базовую модель разработала команда LLaVA-VL/LLaVA-NeXT; она построена на языковой модели Vicuna-7B-v1.5 и предназначена для диалогового понимания видео, отдельных изображений и нескольких изображений одновременно с генерацией текстовых ответов. Версия DPO дополнительно выровнена с помощью Direct Preference Optimization. Модель относится к классу vision-language и сочетает языковой декодер LLaMA/Vicuna с визуальным энкодером CLIP и проектором LLaVA. Заявленный размер — около 7 млрд параметров; в репозитории доступны варианты GGUF F16, F32 и Q8_0, а в Ollama опубликован вариант Q4_K_M. Указан контекст 4096 токенов. Для обработки видео исходная модель обычно равномерно выбирает до 32 кадров; поддерживаемые естественные языки и отдельные языковые ограничения явно не указаны, поэтому модель не следует считать специализированной для конкретного языка. Сильная сторона — возможность анализировать визуальный контент, включая видео и наборы изображений, локально и с уменьшенными требованиями к памяти благодаря квантизации. Ограничения — качество зависит от формата и длительности видео, выбранного числа кадров и ресурсов запуска; в описании Ollama прямо указано, что модель работает не так, как ожидается. В репозитории ManishThota отдельная лицензия не указана; для исходной LLaVA-NeXT-Video-7B-DPO на Hugging Face указана лицензия Llama 2 Community License.

open-llava-next-llama3-8b — открытый мультимодальный чат-бот Lin-Chen на архитектуре LLaVA с языковой частью LLaMA 3 8B и визуальным энкодером CLIP-L-336. Модель дообучена целиком на открытых данных Open-LLaVA-Next-mix1M, включая ShareGPT4V Mix665K, инструкции ALLaVA и наборы визуальных вопросов и ответов. Обучение завершено в мае 2024 года. Модель принимает изображения и текстовые запросы, а отвечает текстом. Она предназначена для диалога о содержимом изображений, визуальных вопросов и ответов и исследований мультимодальных чат-ботов; в README приведены результаты на нескольких тестах визуального понимания. Размер — 7,5 млрд параметров, контекст — 8192 токена. Лицензия — Apache-2.0. Карточка ориентирует модель на исследователей и энтузиастов компьютерного зрения, NLP и машинного обучения. Заявленные данные и описание не устанавливают конкретные языки поддержки или гарантии качества в прикладных сценариях; ответы могут содержать ошибки визуального распознавания или интерпретации.

xGen-MM-Vid (BLIP-3-Video) — компактная модель «зрение—язык» компании Salesforce AI Research для понимания видео. В этой версии используется обучаемый временной энкодер, встроенный в архитектуру BLIP-3; модель обучена на видео, представленных восемью кадрами, и использует 128 визуальных токенов. Модель принимает видео в виде кадров и текстовые запросы, а отвечает на вопросы о содержимом видео. Её можно применять для описания сцен и событий, ответов на вопросы по видео и анализа временной последовательности кадров. Карточка сообщает о поддержке переменного числа кадров, но обучение проводилось на восьми кадрах; источник публикации — Salesforce AI Research. Метаданные указывают английский язык и задачу image-text-to-text. Модель выпущена для исследовательских целей по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Возможны ошибки и смещения, унаследованные от обучающих данных, языковых моделей и коммерческих API; качество, безопасность и справедливость следует оценивать для целевого применения.

Aquila-VL-2B — мультимодальная модель BAAI для диалога и ответов на вопросы по изображениям. Она построена на основе фреймворка LLaVA-OneVision: языковая часть использует Qwen2.5-1.5B-Instruct, а визуальная — SigLIP SO400M Patch14-384. Модель объединяет эти компоненты и дообучена на наборах Infinity-MM, Infinity-Instruct и Infinity-Preference; в Infinity-MM около 40 миллионов пар изображение–текст. Модель принимает изображения и текстовые запросы и генерирует текстовые ответы. Поддерживает английский и китайский языки, использует архитектуру Qwen2 и имеет контекстное окно 32 768 токенов. В опубликованных тестах она показала результаты, сопоставимые с моделями сходного размера на бенчмарках MMBench на английском и китайском языках. Карточка не описывает поддержку видео или нескольких изображений; авторы указывают их как направление будущего обучения. Модель доступна по лицензии Apache-2.0. Как и другие компактные мультимодальные модели, она может ошибаться при распознавании деталей изображения и формировании ответов; результаты бенчмарков не гарантируют точность в конкретных сценариях.

Bhili TTS — модель синтеза речи, разработанная AI4Bharat и дообученная на базе ai4bharat/indic-parler-tts для диалекта Дехвали языка бхили, на котором говорит община бхилов в западной Индии. Модель принимает текст на бхили письмом деванагари и текстовое описание голоса, а на выходе создаёт речь с частотой 44,1 кГц. Описание голоса позволяет задавать пол, темп, высоту тона, выразительность и акустические условия записи. Модель обучена на 10 часах студийных записей речи; лицензия — MIT. Обучающие данные преимущественно относятся к сельскохозяйственной тематике, поэтому качество синтеза в других областях может отличаться. Поддержка диалекта и письма ограничивает применение модели текстами на Дехвали бхили в деванагари.

Brahvi Whisper Small — модель распознавания речи на брахви (брахуи), разработанная TBOGamer22 путём полнопараметрической донастройки OpenAI Whisper Small. Она преобразует речь на брахви в текст на письме персо-арабской графикой и предназначена для транскрибирования речи, экспериментов с распознаванием малоресурсных языков и дальнейшего дообучения. Для распознавания следует задавать `language="ur"` и `task="transcribe"`: токен урду используется как техническая совместимость, а не означает поддержку транскрибирования урду. Перевод речи моделью не обучался. Обучение проведено на наборе TBOGamer22/BrahuiSpeech-70H-V2: 14 978 аудиофрагментов общей длительностью около 66 часов 39 минут. На отложенной выборке из того же набора WER составил 55,71%, а CER — 22,83%; это внутридоменная оценка, не независимый внешний тест. Качество зависит от диалекта, записи, шума, говорящего и переключения языков; модель может пропускать, повторять или выдумывать слова, особенно в тишине и сильно искажённом аудио. Результаты рекомендуется проверять с носителем брахви. Лицензия в предоставленных сведениях не указана.

LLaVA-NeXT-110B — мультимодальный чат-бот от LMMS-Lab, дообученный на основе Qwen/Qwen1.5-110B-Chat на данных с изображениями и инструкциями. Это авторегрессионная трансформерная модель архитектуры LLaVA с 110 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов по изображениям и визуальных вопросов и ответов, а также для исследовательской работы с крупными мультимодальными моделями. В README указаны обучающие данные: пары изображение–текст, синтетические мультимодальные инструкции, наборы VQA и диалоги ShareGPT. Модель выдаёт текст; в метаданных основная задача обозначена как text-generation. README ограничивает предполагаемое применение исследованиями и запрещает коммерческое использование. Указанные ограничения лицензии и назначения следует учитывать при развёртывании; конкретные показатели качества и ограничения по поддерживаемым языкам в доступных данных не описаны.

facebook/mms-tts-emp — модель синтеза речи на языке Emberá северного диалекта, созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка, имеющего ограниченные цифровые ресурсы. Модель использует архитектуру VITS — сквозную генеративную систему, сочетающую вариационный автоэнкодер, нормализующие потоки, состязательное обучение и предиктор длительности. В репозитории указано 3,5 млн параметров; чекпойнт доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предиктор длительности стохастический, поэтому для повторения идентичного результата требуется фиксированный seed. Модель рассчитана на синтез речи на Emberá северном и не заявлена как многоязычная. Карточка не приводит оценок качества или дополнительных настроек голоса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-ify — модель синтеза речи для языка Kallahan, Keley-i (ify), созданная в рамках проекта Meta/Facebook Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: текстовый энкодер, вариационный автоэнкодер, нормализующие потоки и декодер HiFi-GAN. Это отдельный языковой чекпойнт MMS-TTS с 3,5 млн параметров; для работы доступен через библиотеку Transformers версии 4.33 и новее. Генерация зависит от случайного предсказателя длительности, поэтому для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-kxc — модель синтеза речи на языке консо (Konso, kxc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; для каждого языка в MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер на основе HiFi-GAN. Размер составляет 3,6 млн параметров. Модель доступна через библиотеку Transformers версии 4.33 и новее; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому результат может меняться между запусками; для воспроизводимой генерации нужен фиксированный seed. Модель предназначена для синтеза речи на консо и не заявлена как многоязычная.

facebook/mms-tts-omw — модель синтеза речи на языке Tairora, South (omw), разработанная в рамках проекта Massively Multilingual Speech (MMS) компании Meta. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для создания озвучивания и речевых интерфейсов для языка, для которого доступно мало речевых технологий. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем, декодером, похожим на HiFi-GAN, и стохастическим предсказателем длительности. В репозитории указано 3,5 млн параметров; модель доступна для PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Стохастический предсказатель может выдавать разные ритмы для одного текста, поэтому для повторяемого результата требуется фиксированный seed. Модель предназначена для синтеза речи именно на Tairora, South. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. README не приводит оценок качества или подробностей о голосе и произношении, поэтому пригодность для конкретного приложения следует проверять на целевых текстах.

facebook/mms-tts-zpi — модель синтеза речи на языке сапотек, Санта-Мария-Кьеголани (zpi), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода для приложений на zpi. Модель использует архитектуру VITS — сквозной генератор речи на основе вариационного автоэнкодера, нормализующих потоков и декодера, подобного HiFi-GAN. В репозитории указано 3,5 млн параметров; для каждой языковой версии MMS-TTS обучается отдельный чекпойнт. Генерация стохастическая: для повторения того же результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с атрибуцией в рамках некоммерческих условий. Модель ориентирована на один язык и не предназначена для синтеза речи на других языках; README не приводит оценок качества или дополнительных сведений о голосе.

TIGER-Lab разработала PixelReasoner-RL-v1 — мультимодальную модель на базе Qwen2.5-VL-7B-Instruct, дообученную с помощью обучения с подкреплением, стимулируемого любознательностью. Она принимает изображения и текстовые запросы и предназначена для диалогового анализа изображений и решения визуальных задач. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель подходит для вопросов об изображениях и визуального рассуждения; карточка также упоминает интерактивную демонстрацию и код для инференса на основе vLLM. Указанные языковые данные относятся к английскому. Репозиторий распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества и подробностей об ограничениях подхода.

V-Reflection (7B) — мультимодальная модель для визуальных вопросов и рассуждений, разработанная на основе Qwen2.5-VL-7B-Instruct. Она использует механизм visual reflection: перед ответом модель выполняет по умолчанию восемь шагов латентного визуального рассуждения. Обучение включало Box-Guided Compression и Dynamic Autoregressive Compression для исследования изображения через визуальные признаки. Модель предназначена для анализа изображений, визуальных вопросов, высокодетального понимания сцен и экспериментов с латентным мультимодальным рассуждением. В репозитории находятся веса Safetensors и аннотации для обучения на смесях SROIE и DUDE. Заявлены результаты на бенчмарках MMVP, BLINK и V*. Размер модели — 7,1 млрд параметров, контекст — до 128 000 токенов. Для корректной загрузки и работы механизма рассуждения нужны официальный код и класс QwenWithLVR; модель не предназначена для непосредственной установки в обычный чат-интерфейс без них. Лицензия — Apache-2.0.

Bodhan Indic Transcribe Core Marathi ASR Artifacts — экспериментальная дообученная модель распознавания речи на маратхи. Её разработали на основе bodhan-ai/indic-transcribe-core и обучали на ограниченной выборке из одного фрагмента Shrutilipi: 2 000 обучающих и 200 проверочных высказываний общей длительностью около 4,3 часа. Акустический энкодер был заморожен, обучалась часть декодера и выходного слоя. Репозиторий содержит экспорт модели NeMo, контрольные точки Lightning, журналы обучения и файлы оценки. Для восстановления переносимого артефакта .nemo требуется NeMo и регистрация официального пути токенизатора Bodhan. В приведённой оценке CER снизилась с 0,04109 до 0,03963, а WER изменилась с 0,15254 до 0,15316; авторы подчёркивают, что результаты ограниченного эксперимента не являются общей оценкой качества. Лицензия указана как other, конкретные условия использования в карточке не приведены.

ys-zong/llava-v1.5-7b-Mixed — веса модели LLaVA-v1.5-7B, дообученной методом Mixed Fine-tuning для повышения безопасности визуальных языковых моделей. Модель разработана в рамках работы «Safety Fine-Tuning at (Almost) No Cost: A Baseline for Vision Large Language Models», представленной на ICML 2024. Модель предназначена для сценариев, в которых нужно задавать вопросы по изображениям и получать текстовые ответы с учетом требований безопасности. В карточке указано, что веса используются так же, как исходная LLaVA; архитектура — плотная LlavaLlamaForCausalLM на 6,6 млрд параметров, контекст — 4096 токенов. В метаданных указан английский язык; README не описывает другие языки. Доступный формат весов — PyTorch. Лицензия в предоставленных данных не указана. Карточка не приводит подробных результатов оценки, поэтому качество и устойчивость защиты в конкретных сценариях требуют отдельной проверки.

mmMamba-linear — мультимодальная авторегрессионная модель семейства mmMamba, разработанная авторами проекта mmMamba. Это вариант на основе Mamba-2, полученный дистилляцией модели HoVLE-2.6B; архитектура предназначена для обработки изображений и текста без отдельного визуального энкодера. Модель поддерживает диалоговый режим и доступна в формате safetensors для Transformers. Модель предназначена для ответов на вопросы об изображениях и других мультимодальных диалоговых сценариев. Авторы сообщают о конкурентных результатах относительно ряда визуально-языковых моделей и об эффективности при длинном контексте: в сравнении с HoVLE заявлены ускорение в 20,6 раза и снижение использования GPU-памяти на 75,8% при 103 тысячах токенов. Это результаты из карточки модели, а не независимая оценка. Для запуска README указывает зависимости PyTorch, Transformers и специализированные компоненты Mamba и CUDA. Лицензия — MIT. В карточке нет сведений о поддерживаемых естественных языках и числе параметров. Практическая применимость зависит от совместимости окружения с перечисленными библиотеками и доступности подходящего GPU.

facebook/mms-tts-ann — модель синтеза речи на языке оболо (ann), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на оболо. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для синтеза использует стохастический предсказатель длительности, поэтому одинаковый текст может звучать с разным ритмом, а для воспроизводимого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.

facebook/mms-tts-bps — модель синтеза речи на языке блаа, диалект Сарангани, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую волну и предназначена для озвучивания текста и создания речевых технологий для языка, имеющего ограниченные цифровые ресурсы. Модель построена на архитектуре VITS: это сквозная система с вариационным автоэнкодером, Transformer-энкодером текста, потоковым модулем и декодером, подобным HiFi-GAN. Для каждого языка проекта обучается отдельный чекпойнт; эта модель содержит 3,5 млн параметров. Генерация речи стохастическая, поэтому для повторения результата требуется фиксированное начальное значение. Модель доступна в Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель рассчитана на текст на языке блаа, Сарангани; поддержка других языков не заявлена.

facebook/mms-tts-bzh — модель синтеза речи для языка Buang, Mapos (bzh), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; отдельный чекпойнт MMS-TTS обучен для каждого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вариационный автоэнкодер, flow-модуль и декодер, близкий по устройству к HiFi-GAN. Стохастический предиктор длительности позволяет получать варианты произношения и ритма; для повторяемого результата требуется фиксировать seed. В метаданных указан размер 3,5 млн параметров. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель предназначена для синтеза речи на Buang, Mapos; качество для других языков карточкой не заявлено.

facebook/mms-tts-kmu — модель синтеза речи на языке Kanite (kmu), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на Kanite. Модель использует архитектуру VITS: текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Веса содержат 3,5 млн параметров и доступны в форматах PyTorch и Safetensors; модель можно использовать через Transformers версии 4.33 и выше. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для одного языка и не подходит для синтеза речи на других языках.

facebook/mms-tts-lid — модель синтеза речи на языке ниндроу (Nyindrou), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для синтеза речи на ниндроу; данных о поддержке других языков нет.

facebook/mms-tts-lis — модель синтеза речи на языке лису (Lisu), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на лису в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Она содержит около 3,5 млн параметров и доступна для использования через Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет получать разные ритмы речи для одного текста; поэтому результат может меняться между запусками, а для воспроизведения того же аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но некоммерческое. Модель предназначена для лису; качество синтеза для других языков не заявлено.

facebook/mms-tts-npl — модель синтеза речи на нахуа юго-восточной Пуэблы, выпущенная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых приложений для языка, охватываемого проектом MMS. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи со стохастическим предсказателем длительности, благодаря которому один и тот же текст может звучать с разным ритмом; результат генерации недетерминирован, поэтому для повторения той же аудиозаписи требуется фиксированное начальное значение. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-onb — модель синтеза речи на языке Lingao (код onb), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания фраз и создания речевых выходов в приложениях на поддерживаемом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров; для разных языков MMS обучает отдельные контрольные точки. Используются веса PyTorch и Safetensors, модель доступна через Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому результат зависит от случайного seed; фиксированный seed нужен для воспроизводимой генерации. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.