/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
961–990 из 8 953
KangarooGroup
kangaroo

Kangaroo — мультимодальная языковая модель KangarooGroup для понимания видео, построенная на плотной архитектуре семейства Llama. Модель содержит 7,5 млрд параметров, принимает видеопоследовательности длиной до 160 кадров и имеет контекстное окно 8192 токена. Репозиторий содержит веса PyTorch и safetensors; модель поддерживает диалоговый режим на английском и китайском языках, включая многоходовые беседы. Модель предназначена для создания подписей к видео, ответов на вопросы о видеосодержимом и диалога по видео. Авторы сообщают о результатах на бенчмарках понимания видео, однако эти заявления приведены в карточке без подробностей в доступном тексте. Модель выпущена под лицензией Apache-2.0.

5115июль 2024ctx8.2K
textapache-2.0hugging-face
mlx-community
Kimi-VL-A3B-Thinking-2506-bf16

Это версия Kimi-VL-A3B-Thinking-2506, подготовленная сообществом mlx-community для запуска в формате MLX на устройствах Apple. Модель преобразована из moonshotai/Kimi-VL-A3B-Thinking-2506 с помощью mlx-vlm 0.3.2; метаданные связывают её с Kimi-VL-A3B-Instruct и указывают архитектуру KimiVLForConditionalGeneration и диалоговый режим. Модель принимает текст и изображения и генерирует текст; её можно использовать для диалога по изображениям и визуального анализа. Авторская задача в Hugging Face — image-text-to-text, а классификатор каталога также отмечает text-generation. Репозиторий содержит веса safetensors и имеет лицензию MIT. README рекомендует запуск через mlx-vlm.

2541авг. 2025ctx1M
textmithugging-face
telecomadm1145
Kiseki-TTS-1.21

Kiseki-TTS-1.21 — японская модель синтеза речи, разработанная telecomadm1145. Она преобразует текст в последовательности дискретных аудиокодек-токенов, которые декодируются в звуковую волну с помощью Qwen3 TTS codec. Модель построена как encoder–decoder: Transformer-энкодер обрабатывает текст, а декодер на Mamba2 генерирует аудиотокены; аудиокодек работает с частотой 12,5 кадров в секунду и использует 16 слоёв квантования с кодбуком из 2048 элементов. Модель рассчитана на синтез японской речи. Mamba2-декодер поддерживает постоянный объём памяти на кадр и не использует KV-кэш, что подходит для генерации длинных высказываний; в README указана настройка до 250 кадров примерно для 20 секунд аудио. Для декодирования токенов в волну требуется Qwen3 TTS codec. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT.

340авг. 2026ctx262.1K
textmithugging-face
mlx-community
Llama-3.2-11B-Vision-Instruct-abliterated-8-bit

Карточка модели mlx-community/Llama-3.2-11B-Vision-Instruct-abliterated-8-bit на Hugging Face совпадает с карточкой fairy322/Llama-3.2-11B-Vision-Instruct-abliterated-8-bit, поэтому описание составлено по ней. Это 8-битная версия модели Llama 3.2 11B Vision Instruct, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Llama-3.2-11B-Vision-Instruct-abliterated с помощью mlx-vlm 0.1.4. Модель принимает текст и изображения и предназначена для диалога и ответов на вопросы по изображениям. Модель основана на архитектуре mllama и содержит 11 млрд параметров. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Репозиторий содержит веса в формате safetensors; лицензия — llama3.2. Метаданные отмечают возможности чата, работы с изображениями и интерфейс вызова инструментов. Подробности о качестве и ограничениях автор отсылает к карточке исходной модели.

1701дек. 2024ctx131.1K
textimagellama3.2hugging-face
cmp-nct
llava-1.6-gguf

cmp-nct/llava-1.6-gguf — это мультимодальная модель семейства LLaVA 1.6 в формате GGUF, предназначенная для задач преобразования изображения и текста в текст. Модель связана с оригинальными разработками LLaVA, опубликованными командой Haotian Liu, а данный вариант ориентирован на использование с llama.cpp. Модель поддерживает анализ изображений и ответы на вопросы по их содержимому. В состав входят визуальный энкодер ViT и соответствующий mmproj-файл, который связывает визуальные признаки с языковой моделью. README не указывает точный размер языковой части, используемую базовую архитектуру, поддерживаемые языки и размер контекстного окна. Для LLaVA 1.6 необходимо использовать совместимые версии llama.cpp и правильный mmproj-файл; применение компонентов от LLaVA 1.5 может привести к некорректной работе. Также для разных вариантов тонкой настройки могут требоваться специальные параметры запуска. К сильным сторонам относятся мультимодальное понимание изображений, поддержка GGUF и возможность запуска через llama.cpp, включая использование смешанных уровней квантования для модели и визуального проектора. Ограничения и точные характеристики зависят от базовой модели и выбранной квантизации и не раскрыты в представленном README. Модель распространяется по лицензии Apache-2.0.

4.0K75февр. 2024
textimageapache-2.0hugging-face
llava-hf
LLaVA-NeXT-Video-7B-32K-hf

LLaVA-NeXT-Video-7B-32K-hf — мультимодальная чат-модель семейства LLaVA-NeXT-Video, размещённая организацией llava-hf на Hugging Face. Она создана дообучением языковой модели Vicuna-7B-v1.5 на данных для следования мультимодальным инструкциям, включая изображения и видео; для видеоклипов равномерно выбираются 32 кадра. Модель принимает текстовые запросы вместе с изображениями или видео и генерирует текстовые ответы. Модель предназначена для диалога о визуальном содержимом: описания сцен и событий, ответов на вопросы об изображениях и видеороликах, а также сопоставления визуальных данных с текстовым запросом. В репозитории указаны архитектура LlavaNextVideoForConditionalGeneration, плотная модель и формат весов safetensors. Карточка сообщает о результатах на бенчмарке VideoMME, но не приводит подробных численных оценок. В README приведена лицензия Llama 2. Для видеопонимания модель обрабатывает ограниченное число кадров на клип, поэтому детали между выбранными кадрами могут теряться. Для запуска в README указана необходимость Transformers версии 4.42.0 или новее.

6379июнь 2024
textimagellama2hugging-face
llava-hf
llava-onevision-qwen2-0.5b-ov-hf

LLaVA-OneVision Qwen2 0.5B — мультимодальная языковая модель семейства LLaVA-OneVision, опубликованная авторами LLaVA-HF. Это плотная архитектура SO400M + Qwen2, дообученная на синтетических инструкциях с изображениями и видео; репозиторий содержит веса safetensors и формат ONNX. Модель принимает текст и изображения, поддерживает диалоги с несколькими изображениями и предназначена для понимания одиночных и нескольких изображений, а также видео и ответов на вопросы по визуальному содержимому. Модель рассчитана на применение через Transformers и Transformers.js; для работы с Transformers требуется версия 4.45.0 или новее. В карточке заявлена поддержка переноса навыков между сценариями изображений и видео. Лицензия Apache 2.0. Карточка не приводит конкретную длину контекста или количественную оценку качества.

413K61авг. 2024ctx32.8K
textimageapache-2.0hugging-face
yuanzhoulvpi
llava_qwen15-4b-chat_openai-clip-vit-large-patch14-336

Модель yuanzhoulvpi/llava_qwen15-4b-chat_openai-clip-vit-large-patch14-336 — мультимодальная чат-модель семейства LLaVA, собранная на основе Qwen1.5-4B-Chat и визуального энкодера openai/clip-vit-large-patch14-336. Разработчик обучал её с использованием LoRA и DeepSpeed ZeRO-2 на наборе LLaVA-CC3M-Pretrain-595K. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для диалога по изображениям и визуальных вопросов и ответов; в карточке заявлены китайский и английский языки. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей ограничений, поэтому пригодность для конкретных сценариев стоит проверять на собственных данных. Указанный обучающий набор относится к предварительному обучению LLaVA.

175июнь 2024ctx32.8K
textimageapache-2.0hugging-face
liuhaotian
llava-v1.5-13b

LLaVA-v1.5-13B — мультимодальный чат-бот с открытыми весами, разработанный командой LLaVA. Это авторегрессионная модель на основе трансформера с плотной архитектурой LlavaLlamaForCausalLM и 12,9 млрд параметров; она объединяет обработку изображений с языковой моделью на базе LLaMA/Vicuna. Модель обучена в сентябре 2023 года на парах изображение–текст, синтетических инструкциях и данных для визуальных вопросов и ответов. Окно контекста — 4096 токенов. Модель предназначена для диалога по изображениям: она может описывать визуальное содержимое и отвечать на вопросы о нём, а также выполнять текстовые инструкции. Карточка позиционирует её для исследований мультимодальных моделей и чат-ботов, а также для работы исследователей и энтузиастов в области компьютерного зрения, NLP и машинного обучения. В README не указаны лицензия и языковой охват, поэтому эти характеристики здесь не уточняются.

12K529окт. 2023ctx4.1K
texthugging-face
second-state
MiniCPM-V-2_6-GGUF

MiniCPM-V-2_6-GGUF — мультимодальная модель для визуального ответа на вопросы, созданная openbmb на основе openbmb/MiniCPM-V-2_6 и преобразованная в формат GGUF компанией Second State Inc. Она предназначена для сценариев, где требуется анализ изображений и ответы на вопросы по их содержимому, включая работу через LlamaEdge. Модель поддерживает текст и изображения: изображение передаётся вместе с вопросом, а модель генерирует текстовый ответ. Заявлены английский и китайский языки. Размер контекста составляет 128 000 токенов. Архитектура и общее число параметров в README не указаны. Доступны варианты квантования от 2 до 8 бит, а также f16 размером от 3,01 до 15,2 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендуются как сбалансированные по качеству и размеру, тогда как низкобитные варианты заметно теряют в качестве. К сильным сторонам относятся мультимодальность, большой контекст и широкий выбор квантованных сборок для запуска на устройствах с разными ограничениями по памяти. Ограничения включают потенциальную потерю качества при агрессивном квантовании и отсутствие в README подробных данных о точности, параметрах обучения, производительности и лицензии. Для запуска через LlamaEdge требуется версия v0.14.17 или выше и мультимодальный проектор mmproj.

4.1K5авг. 2024ctx32.8K
texthugging-face
second-state
MiniCPM-V-4_5-GGUF

MiniCPM-V-4_5-GGUF — мультимодальная модель для визуального ответа на вопросы, созданная openbmb и представленная в формате GGUF компанией Second State Inc. Модель предназначена для сценариев, в которых требуется анализ изображения и формирование ответа на вопрос пользователя, включая работу через LlamaEdge. Поддерживаются английский и китайский языки, а также обработка изображений совместно с текстовыми запросами. Доступны варианты квантования Q2_K–Q8_0 и f16 размером от 3,28 до 16,4 ГБ; отдельный мультимодальный проектор MiniCPM-V-4_5-mmproj-f16.gguf имеет размер 1,10 ГБ. Для запуска в LlamaEdge указан контекст 128 000 токенов и шаблон prompt-типа minicpmv. Более низкие уровни квантования экономят память, но могут существенно снижать качество; Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Архитектура и точное число параметров в README не указаны. Для использования требуется совместимый рантайм, мультимодальный проектор и соответствующая версия LlamaEdge; на момент публикации версия LlamaEdge для модели обозначена как готовящаяся. Лицензия в README не указана.

97314авг. 2025ctx41K
texthugging-face
second-state
MiniCPM-V-4-GGUF

MiniCPM-V-4-GGUF — мультимодальная модель для визуальных вопросов и ответов, основанная на openbmb/MiniCPM-V-4. Исходную модель разработала команда openbmb, а GGUF-квантизации подготовила Second State Inc. Модель предназначена для анализа изображений и ответов на вопросы по их содержимому, включая сценарии локального запуска через LlamaEdge. Поддерживаются английский и китайский языки. Для работы с изображениями используется отдельный мультимодальный проектор MiniCPM-V-4-mmproj-f16.gguf, а заявленный размер контекста составляет 128 000 токенов. Доступны варианты GGUF с квантизацией от Q2_K до Q8_0, а также f16; размеры файлов варьируются примерно от 1,40 до 7,21 ГБ, не считая мультимодального проектора размером 959 МБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря балансу размера и качества. Основные преимущества — мультимодальность, большой контекст и широкий выбор квантизаций для устройств с разными ресурсами. Более агрессивная квантизация уменьшает требования к памяти, но может существенно снижать качество; для некоторых вариантов README прямо указывает значительную или высокую потерю качества. Архитектура и точное число параметров в предоставленных данных не указаны. Лицензия модели в README не указана.

9.3K1авг. 2025ctx32.8K
texthugging-face
facebook
mms-tts-acd

facebook/mms-tts-acd — модель синтеза речи на языке Gikyode (код acd), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на Gikyode. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, вероятностный модуль длительности и декодер речи. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Каждый язык MMS-TTS обслуживается отдельным чекпойнтом. Модель рассчитана на синтез речи на одном языке, поэтому её нельзя считать универсальной многоязычной TTS-моделью. Из-за стохастического предсказания длительности результат может меняться между запусками; для воспроизводимого аудио нужен фиксированный seed. Лицензия CC BY-NC 4.0 ограничивает использование некоммерческими целями и требует атрибуции.

1230сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-adj

facebook/mms-tts-adj — модель синтеза речи на языке адиукру (Adioukrou, adj), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельный чекпойнт для одного языка из семейства MMS-TTS, предназначенный для преобразования входного текста в речевую аудиоволну. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, flow-модулем, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Чекпойнт содержит 3,5 млн параметров; для работы доступен через Transformers версии 4.33 и новее. Генерация недетерминирована, поэтому для повторения результата требуется фиксированное случайное зерно. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель рассчитана на адиукру; качество синтеза для других языков README не заявляет.

1180сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-blt

facebook/mms-tts-blt — модель синтеза речи на языке тай дам, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на тай даме. Модель использует архитектуру VITS и содержит 3,6 млн параметров. Это отдельный чекпойнт для одного языка; в MMS для каждого языка обучается собственная модель. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Модель распространяется в форматах PyTorch и Safetensors и доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка не сообщает отдельные сведения о качестве синтеза или ограничениях произношения.

1540сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bng

Модель facebook/mms-tts-bng — система синтеза речи для языка бенга (bng), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на бенга в речевую аудиоволну и предназначена для озвучивания текстов и создания голосового вывода на этом языке. Модель основана на архитектуре VITS и содержит около 3,6 млн параметров. Это отдельный чекпойнт для бенга из семейства MMS-TTS; он доступен через библиотеку Transformers версии 4.33 и новее. Архитектура VITS объединяет кодирование текста, предсказание длительности и генерацию аудиосигнала; случайный предиктор длительности делает генерацию недетерминированной, поэтому для повторяемого результата требуется фиксированное начальное значение генератора. Модель рассчитана на синтез речи на бенга, а не на многоязычный ввод. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

5255сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-bqj

facebook/mms-tts-bqj — модель синтеза речи на языке бандьял (Bandial, bqj), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт VITS, обученный для одного языка: по входному тексту он генерирует речевую аудиоволну. Архитектура VITS объединяет вариационный автоэнкодер, flow-based модуль, Transformer-энкодер текста, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров. Модель предназначена для озвучивания текста на бандьял, например для создания речевых сообщений и аудиоверсий материалов. Стохастический предиктор позволяет получать варианты ритма и произношения; результат генерации может меняться между запусками, поэтому для воспроизводимого аудио нужен фиксированный seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1110сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-che

facebook/mms-tts-che — модель синтеза речи на чеченском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания чеченских фраз и текстов. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиоволну; предсказатель длительности позволяет варьировать ритм речи. Размер модели — 3,5 млн параметров. При генерации результат зависит от случайного предсказателя длительности, поэтому для воспроизводимого аудио требуется фиксированный seed. Модель доступна через библиотеку Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1863сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dgk

facebook/mms-tts-dgk — модель синтеза речи для языка дагба (Dagba, код dgk), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на дагба в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит 3,5 млн параметров. Это сквозная система text-to-speech с текстовым энкодером на основе Transformer, flow-модулем, декодером аудиосигнала и стохастическим предсказателем длительности, который позволяет варьировать ритм речи. Для одного языка обучен отдельный чекпойнт MMS-TTS; повторяемая генерация того же сигнала требует фиксированного случайного seed. Модель доступна через Transformers версии 4.33 и выше. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1080сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dik

facebook/mms-tts-dik — модель синтеза речи на языке динка (юго-западный вариант), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевой сигнал и предназначена для озвучивания текста и создания голосового вывода в приложениях. Модель доступна через библиотеку Transformers версии 4.33 и новее. Это компактная модель VITS с 3,5 млн параметров: условный вариационный автоэнкодер с текстовым энкодером на основе Transformer, потоковым модулем, декодером HiFi-GAN и стохастическим предсказателем длительности. Отдельный чекпойнт обучен для каждого языка проекта MMS. Стохастический предсказатель делает генерацию недетерминированной, поэтому для воспроизводимого результата требуется фиксированное начальное значение. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1690сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dsh

facebook/mms-tts-dsh — модель синтеза речи на языке даасанах, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевой аудиосигнал; отдельный чекпойнт VITS обучен для этого языка. В метаданных указано 3,5 млн параметров, архитектура VITS, веса доступны в форматах PyTorch и Safetensors. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль и декодер на основе свёрточных слоёв; стохастический предсказатель длительности позволяет варьировать ритм речи. Модель предназначена для озвучивания текста на даасанах и доступна через Transformers версии 4.33 и новее. Из-за стохастического предсказателя повторная генерация может давать разные результаты; фиксированный seed нужен для воспроизводимого аудио. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dso

facebook/mms-tts-dso — модель синтеза речи на языке Desiya (dso), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на Desiya в речевую аудиоволну и подходит для озвучивания текстов и создания голосового вывода в приложениях. Это компактная модель VITS с 3,5 млн параметров, обученная отдельно для одного языка и работающая сквозным образом: текстовый энкодер, вероятностный модуль длительности и декодер формируют речь с возможностью варьировать ритм. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Качество синтеза зависит от обучающих данных; карточка не приводит отдельной оценки качества.

5092сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ful

facebook/mms-tts-ful — модель синтеза речи на языке фула, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на фула в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; для работы с ним подходит библиотека Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет получать разные ритмические варианты произношения одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о качестве синтеза и поддержке других языков в карточке нет.

4171сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hat

facebook/mms-tts-hat — модель синтеза речи на гаитянском креольском языке из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на гаитянском креольском языке. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это отдельный чекпойнт MMS-TTS, обученный для одного языка; модель доступна через библиотеку Transformers. Стохастический предиктор длительности позволяет получать варианты произношения и ритма для одного текста, поэтому результат может меняться между запусками; для воспроизводимого синтеза нужен фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Карточка описывает синтез речи, однако не приводит оценок качества или подробных ограничений по произношению и типам входного текста.

4.4K6сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-hau

facebook/mms-tts-hau — модель синтеза речи на хауса, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на хауса в речевую аудиоволну и предназначена для озвучивания текстов и создания речевого вывода в приложениях. Для каждого языка MMS-TTS используется отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вариационным автоэнкодером, потоковым модулем, декодером и стохастическим предсказателем длительности, поэтому один и тот же текст может звучать с разным ритмом. Генерация недетерминирована: для повторяемого результата требуется фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

2.4K6сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kaq

facebook/mms-tts-kaq — модель синтеза речи для языка капанахуа (kaq), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Это отдельная языковая версия MMS-TTS, построенная на архитектуре VITS и имеющая 3,5 млн параметров. Модель принимает текст на капанахуа и генерирует речевую волну; поддержка доступна через библиотеку Transformers версии 4.33 и выше. Модель подходит для озвучивания текстов на капанахуа и создания речевого вывода в приложениях на этом языке. Стохастический предсказатель длительности позволяет варьировать ритм произношения; для повторяемого результата нужен фиксированный seed. Репозиторий распространяет веса в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

1070сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kbo

facebook/mms-tts-kbo — модель синтеза речи на языке келико (Keliko, код kbo) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на келико. Для каждого языка в проекте обучается отдельный чекпойнт. Модель построена на архитектуре VITS — сквозной вариационном автоэнкодере с состязательным обучением, Transformer-энкодером текста, потоком нормализации, предсказателем длительности и декодером на основе HiFi-GAN. Веса содержат около 3,5 млн параметров; модель доступна для Transformers версии 4.33 и новее. Предсказатель длительности стохастический, поэтому один и тот же текст может звучать по-разному; для воспроизводимого результата требуется фиксировать seed. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

1060сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kdh

facebook/mms-tts-kdh — модель синтеза речи на языке тем, разработанная Meta* в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на тем в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный контрольный пункт для одного языка из семейства MMS-TTS; использовать его можно через библиотеку Transformers версии 4.33 и новее. Генерация речи стохастическая: для повторения того же результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Описание не приводит оценок качества или подробностей о голосе и охвате диалектов.

1140сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kik

facebook/mms-tts-kik — модель синтеза речи на языке кикуйю (код kik) из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кикуйю. Модель основана на архитектуре VITS, работает сквозным образом и содержит стохастический предиктор длительности, поэтому может по-разному задавать ритм одной и той же фразе. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Модель рассчитана на синтез речи только на кикуйю. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное случайное зерно. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

6096сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-klw

facebook/mms-tts-klw — модель синтеза речи на языке Tado (klw), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Tado в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, декодер в стиле HiFi-GAN и стохастический предсказатель длительности. Последний позволяет синтезировать текст с разным ритмом, поэтому генерация недетерминирована: для повторяемого результата требуется фиксированное случайное зерно. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей