/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
1 261–1 290 из 8 953
YipengZhang
LLaVA-UHD-v2-Vicuna-7B

LLaVA-UHD v2 Vicuna 7B — мультимодальная модель для диалога по изображениям, разработанная на основе Vicuna 7B и визуального энкодера CLIP. Архитектура LLaVA с иерархическим оконным трансформером строит и объединяет пирамиду визуальных признаков, чтобы обрабатывать изображения с разной детализацией, включая изображения высокого разрешения. В репозитории около 6,6 млрд параметров; модель использует Transformers и формат safetensors, а длина контекста составляет 4096 токенов. Модель предназначена для исследовательской работы и экспериментов с мультимодальными моделями и чат-ботами. Она принимает изображения и текстовые запросы и генерирует текстовые ответы: например, описывает содержимое изображения, отвечает на вопросы о нём и поддерживает визуальный диалог. Обучение включало данные MS-COCO, LLaVA-Pretrain и смешанный набор для дообучения. Поддерживаемые языки в карточке явно не перечислены. Базовые компоненты объединены в модель; указанные в метаданных базовые репозитории — lmsys/vicuna-7b-v1.5 и openai/clip-vit-large-patch14-336. Лицензия в предоставленных данных не указана.

306нояб. 2024ctx4.1K
texthugging-face
liuhaotian
llava-v1.6-34b

LLaVA-v1.6-34B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA и дообученный на модели NousResearch/Nous-Hermes-2-Yi-34B. Это авторегрессионная плотная трансформерная модель семейства LLaVA с архитектурой LlavaLlamaForCausalLM и 33,9 млрд параметров. Она принимает изображения и текстовые инструкции и генерирует текстовые ответы; поддерживает диалоговый режим и контекст длиной до 4096 токенов. Модель предназначена для диалогов о содержимом изображений, визуальных вопросов и ответов, подписей к изображениям и академических задач компьютерного зрения. В обучении использовались пары изображение–текст, мультимодальные инструкции, наборы VQA и данные ShareGPT. Карточка ориентирует модель на исследования и эксперименты с мультимодальными языковыми моделями и чат-ботами. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Качество может различаться между задачами и изображениями; ответы модели могут содержать ошибки, поэтому их следует проверять. Языки и специальные предметные области в карточке не уточняются.

15K364янв. 2024ctx4.1K
textapache-2.0hugging-face
liuhaotian
llava-v1.6-vicuna-13b

LLaVA-v1.6-Vicuna-13B — мультимодальный чат-бот, разработанный командой LLaVA и полученный дообучением языковой модели Vicuna-13B на инструкциях с изображениями. Это авторегрессионная трансформерная модель семейства LLaVA с плотной архитектурой и 12,9 млрд параметров; базовая языковая модель — lmsys/vicuna-13b-v1.5. Репозиторий содержит веса в формате safetensors, а контекст модели составляет 4096 токенов. Модель принимает изображения и текстовые инструкции, а отвечает текстом. Она предназначена для диалоговых сценариев с визуальными данными: ответов на вопросы об изображениях, описания их содержимого и выполнения академических задач визуально-языкового понимания. При обучении использовались пары изображение–текст, мультимодальные инструкции, данные VQA и диалоги ShareGPT. Основные пользователи — исследователи и энтузиасты компьютерного зрения, обработки естественного языка и машинного обучения. Возможности и качество ответов могут зависеть от изображения и формулировки запроса; модель не гарантирует точность фактических выводов. Лицензия в предоставленных данных не указана.

1.1K61янв. 2024ctx4.1K
texthugging-face
OsaurusAI
Mistral-Medium-3.5-128B-JANGTQ

OsaurusAI/Mistral-Medium-3.5-128B-JANGTQ — созданная Jinho Jang версия Mistral-Medium-3.5-128B для запуска на компьютерах Apple Silicon через MLX. Это плотная мультимодальная модель на 128 млрд параметров с декодером Ministral3 и визуальным энкодером Pixtral; она принимает текст и изображения, а контекст составляет 256 тысяч токенов. Основное назначение — диалог и ответы на вопросы об изображениях. Веса линейных слоёв текстового декодера сжаты методом TurboQuant до 2 бит с предварительным преобразованием Hadamard; токенные эмбеддинги хранятся в 8-битном формате, а нормализации, визуальная башня, мультимодальный проектор и выходной слой оставлены в FP16. Такое распределение позволяет запускать крупную модель на Apple Silicon, но 2-битное сжатие вносит погрешность в веса. README сообщает о проверке round-trip квантования, но не приводит независимых оценок качества ответов. Модель распространяется по лицензии Apache-2.0. Для запуска предназначен MLX-стек на Apple Silicon; README приводит пример обработки изображения с текстовым запросом.

2533апр. 2026
textimageapache-2.0hugging-face
facebook
mms-tts-asa

facebook/mms-tts-asa — модель синтеза речи на языке асу (Asu, код asa), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на асу. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен через библиотеку Transformers. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает оценок качества или подробностей о разнообразии голосов.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bbc

facebook/mms-tts-bbc — модель синтеза речи на языке батак-тоба (код bbc) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую волну и предназначена для озвучивания текстов на батак-тоба. Для разных языков проекта обучаются отдельные контрольные точки VITS. Модель использует архитектуру VITS: в её состав входят текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий речевую волну. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Предиктор длительности стохастический, поэтому синтез недетерминирован: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование.

1020сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bod

facebook/mms-tts-bod — модель синтеза речи на центральном тибетском языке, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на языке bod. Модель использует архитектуру VITS и обучена отдельно для центрального тибетского языка. Это компактный чекпойнт на 3,6 млн параметров; для работы поддерживается библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказателя длительности результат может меняться при одинаковом тексте, поэтому для повторяемой генерации нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1.2K12сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-btt

facebook/mms-tts-btt — модель синтеза речи на языке Bete-Bendi (btt), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, потоковый модуль, стохастический предсказатель длительности и декодер, напоминающий HiFi-GAN, работают в сквозной системе синтеза. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы с ним доступна библиотека Transformers версии 4.33 и выше. Модель обучена отдельно для Bete-Bendi и входит в коллекцию MMS-TTS для множества языков. Из-за стохастического предсказателя длительности один и тот же текст может озвучиваться с разным ритмом; для повторения идентичного результата нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-btx

facebook/mms-tts-btx — модель синтеза речи на языке батак-каро, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на батак-каро в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, нормализующих потоков и декодера, построенного по принципу HiFi-GAN. Чекпойнт содержит около 3,5 млн параметров и доступен в форматах PyTorch и Safetensors. Для повторения результата генерации требуется фиксировать seed, поскольку предсказатель длительности работы модели стохастический. Модель предназначена для озвучивания текста на батак-каро. Для использования доступна библиотека Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dar

Модель facebook/mms-tts-dar разработана Facebook в рамках проекта Massively Multilingual Speech (MMS) для синтеза речи на языке даргва. Это отдельный чекпойнт VITS, обученный для одного языка. Архитектура VITS объединяет вариационный автоэнкодер, Transformer-текстовый энкодер, flow-модуль, стохастический предсказатель длительности и декодер на основе HiFi-GAN; размер модели — 3,5 млн параметров. Модель принимает текст на даргва и генерирует речевую аудиоволну. Стохастический предсказатель позволяет варьировать ритм произношения, поэтому для повторения результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее; веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

5643сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dgi

facebook/mms-tts-dgi — модель синтеза речи для языка Dagara, Northern (dgi), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на этом языке в речевую аудиоволну и подходит для озвучивания текста и создания речевых интерфейсов для носителей языка. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; в VITS синтез выполняется сквозным способом, а стохастический предиктор длительности позволяет варьировать ритм речи. Для повторяемой генерации одного и того же аудио требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и выше, веса представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

990сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ewe

facebook/mms-tts-ewe — модель синтеза речи на языке эве из проекта Massively Multilingual Speech компании Meta (Facebook). Она преобразует текст на эве в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода в приложениях на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы доступна через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза эве и не заявлена как многоязычная.

7779сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gmv

facebook/mms-tts-gmv — модель синтеза речи на языке гам (Gamo), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую волну; VITS объединяет вариационный автоэнкодер, потоковый модуль и декодер на основе HiFi-GAN, а стохастический предсказатель длительности позволяет варьировать ритм произношения. Модель предназначена для преобразования текста на гам в речь. Её можно использовать для озвучивания текста и создания речевого вывода в приложениях, рассчитанных на этот язык. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gub

facebook/mms-tts-gub — модель синтеза речи на языке гуаджахара (Guajajára), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предсказатель длительности и декодер, формирующий аудиоволну. Размер составляет 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors, модель поддерживается библиотекой Transformers версии 4.33 и новее. Стохастический предсказатель может давать разные ритм и звучание для одного текста; для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на гуаджахара, например для создания речевых материалов и доступных аудиоверсий текстов. Лицензия CC BY-NC 4.0 требует указания авторства и не допускает коммерческого использования.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gux

facebook/mms-tts-gux — модель синтеза речи на языке гурманчема, выпущенная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гурманчема в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель обучена для гурманчема. В VITS текстовый энкодер и потоковый модуль формируют акустическое представление, которое декодер преобразует в аудиосигнал. Стохастический предиктор длительности позволяет получать варианты ритма; для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель доступна через библиотеку Transformers версии 4.33 и новее. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая не разрешает коммерческое использование. Карточка не приводит оценок качества синтеза.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hnn

facebook/mms-tts-hnn — модель синтеза речи на языке хануну, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и рассчитана на озвучивание текстов на хануну. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с Transformer-энкодером текста, flow-модулем, декодером типа HiFi-GAN и стохастическим предсказателем длительности. Веса представлены в форматах PyTorch и Safetensors; число параметров — около 3,5 млн. Для одинакового результата при повторной генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

4860сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kaa

facebook/mms-tts-kaa — модель синтеза речи на каракалпакском языке из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка; архитектура VITS объединяет текстовый энкодер, вероятностные потоки, предсказатель длительности и декодер HiFi-GAN для генерации речевой волны из текста. Модель содержит около 3,5 млн параметров и доступна в форматах PyTorch и Safetensors; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Модель предназначена для озвучивания каракалпакского текста, например для голосовых интерфейсов и создания аудиоверсий текстовых материалов. Стохастический предсказатель длительности позволяет получать варианты ритма речи для одного и того же текста, поэтому при необходимости воспроизводимого результата нужно фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

5.6K6сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kjb

facebook/mms-tts-kjb — модель синтеза речи на языке к’анхобаль (Q’anjob’al, код kjb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен для использования через библиотеку Transformers. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

890сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kle

facebook/mms-tts-kle — модель синтеза речи на языке кулунг (код kle), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на кулунг в речевую аудиоволну; для применения доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; генерация использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом, а для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4982сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kmr-script_latin

Это модель синтеза речи для севернокурдского языка, предназначенная для текста на латинской письменности. Она разработана Meta в рамках проекта Massively Multilingual Speech (MMS); для каждого языка проекта обучается отдельная модель. Модель использует архитектуру VITS и преобразует последовательность текста в речевую волну. Размер модели — 3,5 млн параметров, веса доступны в форматах PyTorch и Safetensors. Модель подходит для озвучивания текстов и создания речевого вывода на севернокурдском языке с латинским письмом. Предсказатель длительности позволяет варьировать ритм речи; из-за стохастической генерации для повторяемого результата нужен фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

4993сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ktb

facebook/mms-tts-ktb — модель синтеза речи на языке камбаата, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на камбаата в речевой сигнал и предназначена для создания озвучивания и других речевых приложений для этого языка. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер на основе свёрточных слоёв формируют аудиоволну сквозным образом. Вариативный предиктор длительности позволяет получать разные ритмические варианты речи для одного текста, поэтому генерация недетерминирована; для повторяемого результата требуется фиксированный seed. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors. Модель рассчитана на текст и аудио на языке камбаата (ktb). Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

4880сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kyb

facebook/mms-tts-kyb — модель синтеза речи на языке Kalinga, Butbut (kyb), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS — сквозном вариационном автоэнкодере с текстовым энкодером, flow-модулем, стохастическим предсказателем длительности и декодером в стиле HiFi-GAN. В метаданных указано 3,5 млн параметров; модель доступна в форматах PyTorch и Safetensors и поддерживается Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на Kalinga, Butbut, например для речевых интерфейсов и создания аудиоверсий текстов. Стохастический предсказатель длительности позволяет варьировать ритм речи, поэтому для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kyg

facebook/mms-tts-kyg — модель синтеза речи на языке кейагана (kyg), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на кейагана в речевую аудиоволну и подходит для озвучивания коротких сообщений, объявлений и другого текста на этом языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказанием длительности, поэтому один и тот же текст может звучать по-разному; для повторяемого результата нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и новее, веса представлены в форматах PyTorch и safetensors. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель обучена отдельно для одного языка и не предназначена для синтеза речи на других языках.

910сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-lif

facebook/mms-tts-lif — модель синтеза речи на языке лимбу (код ISO 639-3: lif), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на лимбу в речевую аудиоволну и предназначена для озвучивания текстов и создания голосовых интерфейсов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт для лимбу из семейства MMS-TTS; для синтеза используется стохастический предиктор длительности, поэтому при одинаковом тексте речь может звучать по-разному. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на синтез речи именно на лимбу; качество для иных языков не заявлено.

4870сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-luc

facebook/mms-tts-luc — модель синтеза речи на языке аринга (код luc), разработанная Facebook в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, который преобразует текст в речевую аудиоволну. Модель основана на архитектуре VITS: использует вариационный автоэнкодер, Transformer-энкодер текста, потоковый модуль и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и выше. Модель предназначена для озвучивания текста на аринга. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста, поэтому для повторяемого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

790сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-neb

facebook/mms-tts-neb — модель синтеза речи для языка тура (Toura, код neb), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на тура в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и обучена сквозным образом; для каждого языка проекта MMS используется отдельный чекпойнт. Размер модели — 3,5 млн параметров. Генерация недетерминирована: для повторения результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. Карточка не описывает качество синтеза или другие поддерживаемые языки.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ngl

facebook/mms-tts-ngl — модель синтеза речи на языке ломве (Lomwe, ngl), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, предназначенный для преобразования текста на ломве в речевую волну. Модель использует архитектуру VITS и работает сквозным образом: текстовый энкодер и flow-модуль формируют акустическое представление, а декодер на основе свёрточных слоёв генерирует аудио. Стохастический предиктор длительности позволяет получать разные ритмические варианты одной фразы; для повторения результата требуется фиксированный seed. В метаданных указано 3,5 млн параметров, формат весов — PyTorch и safetensors. Модель подходит для озвучивания текста на ломве и создания речевых интерфейсов для этого языка. Она рассчитана на один язык, поэтому её нельзя считать универсальной многоязычной моделью. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но ограничивает коммерческое применение.

1040сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nus

facebook/mms-tts-nus — модель синтеза речи на языке нуэр (Nuer, код nus), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на нуэр в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов для этого языка. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, Transformer-энкодером текста, flow-модулем, стохастическим предсказателем длительности и декодером волновой формы. Размер модели — 3,5 млн параметров; для работы доступна через библиотеку Transformers. В наборе MMS для каждого языка обучается отдельный чекпойнт. Предсказатель длительности стохастический, поэтому результат синтеза может меняться между запусками; фиксированный seed позволяет воспроизводить одну и ту же аудиоволну. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1430сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-nyf

facebook/mms-tts-nyf — модель синтеза речи на языке кигирияма (nyf) из проекта Massively Multilingual Speech, разработанного Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на этом языке. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем и декодером, основанным на подходе HiFi-GAN. Размер модели — 3,5 млн параметров. Для каждого языка в проекте MMS обучена отдельная модель; вероятностный предиктор длительности может создавать разные ритмические варианты одной и той же фразы, поэтому результат генерации недетерминирован. Модель распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование. README указывает на поддержку через библиотеку Transformers версии 4.33 и выше.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-rol

facebook/mms-tts-rol — модель синтеза речи на языке ромбломанон, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ромбломанон в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер, формирующий аудиосигнал; предсказатель длительности позволяет варьировать ритм речи. Для каждого языка проекта MMS обучается отдельный чекпойнт. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers версии 4.33 и новее. Генерация речи недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел. Модель предназначена для ромбломанон и лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование.

900сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей