I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиKangaroo — мультимодальная языковая модель KangarooGroup для понимания видео, построенная на плотной архитектуре семейства Llama. Модель содержит 7,5 млрд параметров, принимает видеопоследовательности длиной до 160 кадров и имеет контекстное окно 8192 токена. Репозиторий содержит веса PyTorch и safetensors; модель поддерживает диалоговый режим на английском и китайском языках, включая многоходовые беседы. Модель предназначена для создания подписей к видео, ответов на вопросы о видеосодержимом и диалога по видео. Авторы сообщают о результатах на бенчмарках понимания видео, однако эти заявления приведены в карточке без подробностей в доступном тексте. Модель выпущена под лицензией Apache-2.0.
Это версия Kimi-VL-A3B-Thinking-2506, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель преобразована из moonshotai/Kimi-VL-A3B-Thinking-2506 с помощью mlx-vlm 0.3.2; метаданные связывают её с Kimi-VL-A3B-Instruct и указывают архитектуру KimiVLForConditionalGeneration и диалоговый режим. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога по изображениям и визуального анализа. Авторская задача в Hugging Face — image-text-to-text, а классификатор каталога также отмечает text-generation. Репозиторий содержит веса safetensors и имеет лицензию MIT. README рекомендует запуск через mlx-vlm.
Kiseki-TTS-1.21 — японская модель синтеза речи, разработанная telecomadm1145. Она преобразует текст в последовательности дискретных аудиокодек-токенов, которые декодируются в звуковую волну с помощью Qwen3 TTS codec. Модель построена как encoder–decoder: Transformer-энкодер обрабатывает текст, а декодер на Mamba2 генерирует аудиотокены; аудиокодек работает с частотой 12,5 кадров в секунду и использует 16 слоёв квантования с кодбуком из 2048 элементов. Модель рассчитана на синтез японской речи. Mamba2-декодер поддерживает постоянный объём памяти на кадр и не использует KV-кэш, что подходит для генерации длинных высказываний; в README указана настройка до 250 кадров примерно для 20 секунд аудио. Для декодирования токенов в волну требуется Qwen3 TTS codec. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT.
Карточка модели mlx-community/Llama-3.2-11B-Vision-Instruct-abliterated-8-bit на Hugging Face совпадает с карточкой fairy322/Llama-3.2-11B-Vision-Instruct-abliterated-8-bit, поэтому описание составлено по ней. Это 8-битная версия модели Llama 3.2 11B Vision Instruct, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Llama-3.2-11B-Vision-Instruct-abliterated с помощью mlx-vlm 0.1.4. Модель принимает текст и изображения и предназначена для диалога и ответов на вопросы по изображениям. Модель основана на архитектуре mllama и содержит 11 млрд параметров. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Репозиторий содержит веса в формате safetensors; лицензия — llama3.2. Метаданные отмечают возможности чата, работы с изображениями и интерфейс вызова инструментов. Подробности о качестве и ограничениях автор отсылает к карточке исходной модели.
cmp-nct/llava-1.6-gguf — это мультимодальная модель семейства LLaVA 1.6 в формате GGUF, предназначенная для задач преобразования изображения и текста в текст. Модель связана с оригинальными разработками LLaVA, опубликованными командой Haotian Liu, а данный вариант ориентирован на использование с llama.cpp. Модель поддерживает анализ изображений и ответы на вопросы по их содержимому. В состав входят визуальный энкодер ViT и соответствующий mmproj-файл, который связывает визуальные признаки с языковой моделью. README не указывает точный размер языковой части, используемую базовую архитектуру, поддерживаемые языки и размер контекстного окна. Для LLaVA 1.6 необходимо использовать совместимые версии llama.cpp и правильный mmproj-файл; применение компонентов от LLaVA 1.5 может привести к некорректной работе. Также для разных вариантов тонкой настройки могут требоваться специальные параметры запуска. К сильным сторонам относятся мультимодальное понимание изображений, поддержка GGUF и возможность запуска через llama.cpp, включая использование смешанных уровней квантования для модели и визуального проектора. Ограничения и точные характеристики зависят от базовой модели и выбранной квантизации и не раскрыты в представленном README. Модель распространяется по лицензии Apache-2.0.
LLaVA-NeXT-Video-7B-32K-hf — мультимодальная чат-модель семейства LLaVA-NeXT-Video, размещённая организацией llava-hf на Hugging Face. Она создана дообучением языковой модели Vicuna-7B-v1.5 на данных для следования мультимодальным инструкциям, включая изображения и видео; для видеоклипов равномерно выбираются 32 кадра. Модель принимает текстовые запросы вместе с изображениями или видео и генерирует текстовые ответы. Модель предназначена для диалога о визуальном содержимом: описания сцен и событий, ответов на вопросы об изображениях и видеороликах, а также сопоставления визуальных данных с текстовым запросом. В репозитории указаны архитектура LlavaNextVideoForConditionalGeneration, плотная модель и формат весов safetensors. Карточка сообщает о результатах на бенчмарке VideoMME, но не приводит подробных численных оценок. В README приведена лицензия Llama 2. Для видеопонимания модель обрабатывает ограниченное число кадров на клип, поэтому детали между выбранными кадрами могут теряться. Для запуска в README указана необходимость Transformers версии 4.42.0 или новее.
LLaVA-OneVision Qwen2 0.5B — мультимодальная языковая модель семейства LLaVA-OneVision, опубликованная авторами LLaVA-HF. Это плотная архитектура SO400M + Qwen2, дообученная на синтетических инструкциях с изображениями и видео; репозиторий содержит веса safetensors и формат ONNX. Модель принимает текст и изображения, поддерживает диалоги с несколькими изображениями и предназначена для понимания одиночных и нескольких изображений, а также видео и ответов на вопросы по визуальному содержимому. Модель рассчитана на применение через Transformers и Transformers.js; для работы с Transformers требуется версия 4.45.0 или новее. В карточке заявлена поддержка переноса навыков между сценариями изображений и видео. Лицензия Apache 2.0. Карточка не приводит конкретную длину контекста или количественную оценку качества.
Модель yuanzhoulvpi/llava_qwen15-4b-chat_openai-clip-vit-large-patch14-336 — мультимодальная чат-модель семейства LLaVA, собранная на основе Qwen1.5-4B-Chat и визуального энкодера openai/clip-vit-large-patch14-336. Разработчик обучал её с использованием LoRA и DeepSpeed ZeRO-2 на наборе LLaVA-CC3M-Pretrain-595K. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для диалога по изображениям и визуальных вопросов и ответов; в карточке заявлены китайский и английский языки. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей ограничений, поэтому пригодность для конкретных сценариев стоит проверять на собственных данных. Указанный обучающий набор относится к предварительному обучению LLaVA.
LLaVA-v1.5-13B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA. Это авторегрессионная модель на основе трансформера с плотной архитектурой LlavaLlamaForCausalLM и 12,9 млрд параметров; она объединяет обработку изображений с языковой моделью на базе LLaMA/Vicuna. Модель обучена в сентябре 2023 года на парах изображение–текст, синтетических инструкциях и данных для визуальных вопросов и ответов. Окно контекста — 4096 токенов. Модель предназначена для диалога по изображениям: она может описывать визуальное содержимое и отвечать на вопросы о нём, а также выполнять текстовые инструкции. Карточка позиционирует её для исследований мультимодальных моделей и чат-ботов, а также для работы исследователей и энтузиастов в области компьютерного зрения, NLP и машинного обучения. В README не указаны лицензия и языковой охват, поэтому эти характеристики здесь не уточняются.
MiniCPM-V-2_6-GGUF — мультимодальная модель для визуального ответа на вопросы, созданная openbmb на основе openbmb/MiniCPM-V-2_6 и преобразованная в формат GGUF компанией Second State Inc. Она предназначена для сценариев, где требуется анализ изображений и ответы на вопросы по их содержимому, включая работу через LlamaEdge. Модель поддерживает текст и изображения: изображение передаётся вместе с вопросом, а модель генерирует текстовый ответ. Заявлены английский и китайский языки. Размер контекста составляет 128 000 токенов. Архитектура и общее число параметров в README не указаны. Доступны варианты квантования от 2 до 8 бит, а также f16 размером от 3,01 до 15,2 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендуются как сбалансированные по качеству и размеру, тогда как низкобитные варианты заметно теряют в качестве. К сильным сторонам относятся мультимодальность, большой контекст и широкий выбор квантованных сборок для запуска на устройствах с разными ограничениями по памяти. Ограничения включают потенциальную потерю качества при агрессивном квантовании и отсутствие в README подробных данных о точности, параметрах обучения, производительности и лицензии. Для запуска через LlamaEdge требуется версия v0.14.17 или выше и мультимодальный проектор mmproj.
MiniCPM-V-4_5-GGUF — мультимодальная модель для визуального ответа на вопросы, созданная openbmb и представленная в формате GGUF компанией Second State Inc. Модель предназначена для сценариев, в которых требуется анализ изображения и формирование ответа на вопрос пользователя, включая работу через LlamaEdge. Поддерживаются английский и китайский языки, а также обработка изображений совместно с текстовыми запросами. Доступны варианты квантования Q2_K–Q8_0 и f16 размером от 3,28 до 16,4 ГБ; отдельный мультимодальный проектор MiniCPM-V-4_5-mmproj-f16.gguf имеет размер 1,10 ГБ. Для запуска в LlamaEdge указан контекст 128 000 токенов и шаблон prompt-типа minicpmv. Более низкие уровни квантования экономят память, но могут существенно снижать качество; Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Архитектура и точное число параметров в README не указаны. Для использования требуется совместимый рантайм, мультимодальный проектор и соответствующая версия LlamaEdge; на момент публикации версия LlamaEdge для модели обозначена как готовящаяся. Лицензия в README не указана.
MiniCPM-V-4-GGUF — мультимодальная модель для визуальных вопросов и ответов, основанная на openbmb/MiniCPM-V-4. Исходную модель разработала команда openbmb, а GGUF-квантизации подготовила Second State Inc. Модель предназначена для анализа изображений и ответов на вопросы по их содержимому, включая сценарии локального запуска через LlamaEdge. Поддерживаются английский и китайский языки. Для работы с изображениями используется отдельный мультимодальный проектор MiniCPM-V-4-mmproj-f16.gguf, а заявленный размер контекста составляет 128 000 токенов. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0, а также f16; размеры файлов варьируются примерно от 1,40 до 7,21 ГБ, не считая мультимодального проектора размером 959 МБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу размера и качества. Основные преимущества — мультимодальность, большой контекст и широкий выбор квантизаций для устройств с разными ресурсами. Более агрессивная квантизация уменьшает требования к памяти, но может существенно снижать качество; для некоторых вариантов README прямо указывает значительную или высокую потерю качества. Архитектура и точное число параметров в предоставленных данных не указаны. Лицензия модели в README не указана.
facebook/mms-tts-acd — модель синтеза речи на языке Gikyode (код acd), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Gikyode. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Каждый язык MMS-TTS обслуживается отдельным чекпойнтом. Модель рассчитана на синтез речи на одном языке, поэтому её нельзя считать универсальной многоязычной TTS-моделью. Из-за стохастического предсказания длительности результат может меняться между запусками; для воспроизводимого аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями и требует атрибуции.
facebook/mms-tts-adj — модель синтеза речи на языке адиукру (Adioukrou, adj), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка из семейства MMS-TTS, предназначенный для преобразования входного текста в речевую аудиоволну. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров; для работы доступен через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное случайное зерно. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель рассчитана на адиукру; качество синтеза для других языков README не заявляет.
facebook/mms-tts-blt — модель синтеза речи на языке тай дам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на тай даме. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный чекпойнт для одного языка; в MMS для каждого языка обучается собственная модель. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Модель распространяется в форматах PyTorch и Safetensors и доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка не сообщает отдельные сведения о качестве синтеза или ограничениях произношения.
Модель facebook/mms-tts-bng — система синтеза речи для языка бенга (bng), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бенга в речевую аудиоволну и предназначена для озвучивания текстов и создания голосового вывода на этом языке. Модель основана на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный чекпойнт для бенга из семейства MMS-TTS; он доступен через библиотеку Transformers версии 4.33 и новее. Архитектура VITS объединяет кодирование текста, предсказание длительности и генерацию аудиосигнала; случайный предиктор длительности делает генерацию недетерминированной, поэтому для повторяемого результата требуется фиксированное начальное значение генератора. Модель рассчитана на синтез речи на бенга, а не на многоязычный ввод. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-bqj — модель синтеза речи на языке бандьял (Bandial, bqj), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка: по входному тексту он генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-based модуль, Transformer-энкодер текста, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на бандьял, например для создания речевых сообщений и аудиоверсий материалов. Стохастический предиктор позволяет получать варианты ритма и произношения; результат генерации может меняться между запусками, поэтому для воспроизводимого аудио нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-che — модель синтеза речи на чеченском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания чеченских фраз и текстов. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. При генерации результат зависит от случайного предсказателя длительности, поэтому для воспроизводимого аудио требуется фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-dgk — модель синтеза речи для языка дагба (Dagba, код dgk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на дагба в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система text-to-speech с текстовым энкодером на основе Transformer, flow-модулем, декодером аудиосигнала и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Для одного языка обучен отдельный чекпойнт MMS-TTS; повторяемая генерация того же сигнала требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-dik — модель синтеза речи на языке динка (юго-западный вариант), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой сигнал и предназначена для озвучивания текста и создания голосового вывода в приложениях. Модель доступна через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, потоковым модулем, декодером HiFi-GAN и стохастическим предсказателем длительности. Отдельный чекпойнт обучен для каждого языка проекта MMS. Стохастический предсказатель делает генерацию недетерминированной, поэтому для воспроизводимого результата требуется фиксированное начальное значение. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-dsh — модель синтеза речи на языке даасанах, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; отдельный чекпойнт VITS обучен для этого языка. В метаданных указано 3,5 млн параметров, архитектура VITS, веса доступны в форматах PyTorch и Safetensors. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер на основе свёрточных слоёв; стохастический предсказатель длительности позволяет варьировать ритм речи. Модель предназначена для озвучивания текста на даасанах и доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя повторная генерация может давать разные результаты; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
facebook/mms-tts-dso — модель синтеза речи на языке Desiya (dso), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Desiya в речевую аудиоволну и подходит для озвучивания текстов и создания голосового вывода в приложениях. Это компактная модель VITS с 3,5 млн параметров, обученная отдельно для одного языка и работающая сквозным образом: текстовый энкодер, вероятностный модуль длительности и декодер формируют речь с возможностью варьировать ритм. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Качество синтеза зависит от обучающих данных; карточка не приводит отдельной оценки качества.
facebook/mms-tts-ful — модель синтеза речи на языке фула, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на фула в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о качестве синтеза и поддержке других языков в карточке нет.
facebook/mms-tts-hat — модель синтеза речи на гаитянском креольском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на гаитянском креольском языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; модель доступна через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста, поэтому результат может меняться между запусками; для воспроизводимого синтеза нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка описывает синтез речи, однако не приводит оценок качества или подробных ограничений по произношению и типам входного текста.
facebook/mms-tts-hau — модель синтеза речи на хауса, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на хауса в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Для каждого языка MMS-TTS используется отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером и стохастическим предсказателем длительности, поэтому один и тот же текст может звучать с разным ритмом. Генерация недетерминирована: для повторяемого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kaq — модель синтеза речи для языка капанахуа (kaq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельная языковая версия MMS-TTS, построенная на архитектуре VITS и имеющая 3,5 млн параметров. Модель принимает текст на капанахуа и генерирует речевую волну; поддержка доступна через библиотеку Transformers версии 4.33 и выше. Модель подходит для озвучивания текстов на капанахуа и создания речевого вывода в приложениях на этом языке. Стохастический предсказатель длительности позволяет варьировать ритм произношения; для повторяемого результата нужен фиксированный seed. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.
facebook/mms-tts-kbo — модель синтеза речи на языке келико (Keliko, код kbo) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на келико. Для каждого языка в проекте обучается отдельный чекпойнт. Модель построена на архитектуре VITS — сквозной вариационном автоэнкодере с состязательным обучением, Transformer-энкодером текста, потоком нормализации, предсказателем длительности и декодером на основе HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна для Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
facebook/mms-tts-kdh — модель синтеза речи на языке тем, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тем в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный контрольный пункт для одного языка из семейства MMS-TTS; использовать его можно через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или подробностей о голосе и охвате диалектов.
facebook/mms-tts-kik — модель синтеза речи на языке кикуйю (код kik) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кикуйю. Модель основана на архитектуре VITS, работает сквозным образом и содержит стохастический предиктор длительности, поэтому может по-разному задавать ритм одной и той же фразе. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель рассчитана на синтез речи только на кикуйю. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
facebook/mms-tts-klw — модель синтеза речи на языке Tado (klw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Tado в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер в стиле HiFi-GAN и стохастический предсказатель длительности. Последний позволяет синтезировать текст с разным ритмом, поэтому генерация недетерминирована: для повторяемого результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.