/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
871–900 из 8 953
BAAI
Bunny-v1_1-Llama-3-8B-V

Bunny-v1.1-Llama-3-8B-V — мультимодальная модель семейства Bunny, разработанная командой BAAI. Она объединяет визуальный энкодер SigLIP с языковой моделью Llama-3-8B-Instruct и S²-Wrapper; размер модели составляет 7,5 млрд параметров, а контекст — 8192 токена. Модель принимает изображения с разрешением до 1152 × 1152 пикселей и текстовые запросы, а отвечает текстом в диалоговом формате. Модель предназначена для диалога по изображениям: описания сцен, ответов на вопросы о содержимом изображения и визуального анализа. В карточке приведён пример использования через Transformers. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся контекст в 8192 токена и разрешение изображений до 1152 × 1152 пикселей. Данных для подтверждения поддержки конкретных языков в карточке нет.

18637май 2024ctx8.2K
textapache-2.0hugging-face
Chat-UniVi
Chat-UniVi-7B-v1.5

Chat-UniVi-7B-v1.5 — мультимодальная модель семейства ChatUniVi для понимания изображений и видео, разработанная авторами проекта Chat-UniVi. Она использует набор динамических визуальных токенов, чтобы компактно представлять визуальные данные и сохранять пространственные детали изображений и временные связи в видео. Модель обучена совместно на смешанных данных с изображениями и видео и поддерживает диалоговое взаимодействие на основе визуального содержимого. Модель содержит 6,6 млрд параметров, построена на архитектуре ChatUniViLlamaForCausalLM и имеет контекст длиной 4096 токенов. Она предназначена для вопросов и ответов по изображениям и видео, описания сцен и анализа событий в видеороликах. Репозиторий содержит веса PyTorch; лицензия — Llama 2.

2562апр. 2024ctx4.1K
textllama2hugging-face
zai-org
cogvlm-base-490-hf

CogVLM-base-490-hf — открытая визуально-языковая модель семейства CogVLM, опубликованная zai-org. Репозиторий содержит вариант на 6,6 млрд параметров с архитектурой CogVLMForCausalLM и весами в формате safetensors; модель рассчитана на контекст до 2048 токенов. В README описано семейство CogVLM как модель для диалога по изображениям и задач визуального понимания, включая ответы на вопросы, описание изображений и визуальную локализацию. Архитектура семейства объединяет энкодер ViT, MLP-адаптер, предварительно обученную языковую модель GPT и модуль visual expert. README приводит сильные результаты семейства CogVLM-17B на ряде кросс-модальных бенчмарков, но не утверждает, что данный вариант 6,6B имеет те же результаты. Карточка не раскрывает конкретные ограничения этой версии. Лицензия — Apache-2.0.

2748нояб. 2023ctx2K
textapache-2.0hugging-face
droplychee
droplychee0170

Карточка модели droplychee/droplychee0170 на Hugging Face совпадает с карточкой droplychee/droplychee-2.1-27b, поэтому описание составлено по ней. droplychee-2.1-27b — дообученная разработчиком droplychee мультимодальная плотная модель семейства Qwen3.5 на базе Qwen/Qwen3.8-27B. Она предназначена для диалога с текстом и изображениями и может использоваться в сценариях, где нужно учитывать визуальный контекст при ответе. В метаданных указаны поддержка vision и интерфейс вызова инструментов; размер базовой модели — 27 млрд параметров. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Карточка сообщает, что обучение выполнялось с Unsloth и библиотекой Hugging Face TRL. Данные не описывают конкретные наборы для дообучения, оценку качества или длину контекста, поэтому эти характеристики нельзя установить по доступной информации.

150авг. 2026ctx262.1K
textimageapache-2.0hugging-face
boazsew
Ethio-ASR-w2v-bert-2.0-uf

Ethio-ASR-w2v-bert-2.0-uf — модель распознавания речи, созданная в рамках независимого воспроизведения проекта Ethio-ASR в Университете Флориды. Это дообученная на данных WAXAL модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2BertForCTC и примерно 403,1 млн параметров; она принимает аудио и выдаёт распознанный текст на амхарском, тигринья, оромо, сидаама и волайтта. Модель предназначена для автоматической транскрипции речи на этих эфиопских языках. В README приведены результаты на тестовой выборке WAXAL: показатели WER зависят от языка, а макро-WER составляет 35,76% без постобработки. С обработкой, включающей сведение омографов письма геэз и удаление пунктуации, опубликованные значения ниже. Модель распространяется под лицензией CC-BY-NC-4.0, которая ограничивает коммерческое использование. Результаты приведены для конкретного тестового раздела и процедуры обработки; точность на других данных может отличаться.

580июнь 2026
textaudiocc-by-nc-4.0hugging-face
usermma
fable-gpt-4b-mlx-fp16

usermma/fable-gpt-4b-mlx-fp16 — конверсия модели aemmeath/fable-gpt-4b в формат MLX с помощью mlx-lm версии 0.31.3. Это чат-модель с поддержкой изображений на архитектуре Qwen3.5, предназначенная для диалога и ответов по визуальному содержимому. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0.

250июнь 2026ctx262.1K
textimageapache-2.0hugging-face
mlx-community
gemma-4-26B-A4B-it-qat-bf16

mlx-community подготовила Gemma 4 26B A4B Instruct в формате MLX для запуска через mlx-vlm. Это мультимодальная модель семейства Gemma 4 с архитектурой Gemma4ForConditionalGeneration и поддержкой диалогового взаимодействия и изображений. Она принимает текст и изображения и формирует текстовые ответы, поэтому подходит для визуальных вопросов и чата с изображениями. В метаданных указан английский язык; размер параметров, длина контекста и лицензия в доступных данных не приведены. Суффикс QAT указывает на обучение с учетом квантования, а bf16 — на формат весов; сведений о точном способе получения этой версии и её базовой модели нет.

892июнь 2026
textimagehugging-face
mlx-community
gemma-4-31b-bf16

Gemma 4 31B BF16 — конверсия модели Google Gemma 4 31B в формат MLX, выполненная сообществом mlx-community с помощью mlx-vlm 0.4.3. Это плотная модель семейства Gemma 4 с поддержкой зрения, предназначенная для обработки изображений вместе с текстом и генерации текстовых ответов. Репозиторий содержит веса safetensors и рассчитан на запуск через mlx-vlm. Модель подходит для вопросов об изображениях, визуального анализа и других сценариев, где нужно сопоставлять изображение с текстовым запросом. Лицензия — Apache 2.0. README отсылает к карточке исходной модели за подробностями; размер контекста, поддерживаемые языки и ограничения качества в предоставленных данных не описаны.

37225апр. 2026
textimageapache-2.0hugging-face
microsoft
git-large-r

microsoft/git-large-r — большая версия модели GIT (GenerativeImage2Text), разработанная Microsoft и представленная в статье Wang и соавторов. Это плотный трансформерный декодер, который получает токены изображения от CLIP и генерирует текст по одному токену, используя изображение и предшествующие текстовые токены. Веса модели содержат около 80,1 млн параметров; максимальная длина контекста — 1024 токена. Модель обучена на 20 миллионах пар изображение–текст и предназначена прежде всего для создания подписей к изображениям. Архитектура также подходит для визуальных вопросов и ответов, описания видео и классификации изображений через генерацию текстовой метки, но для прикладного использования этих задач может потребоваться подходящая настройка. Суффикс R означает, что модель переобучена после удаления некоторых оскорбительных подписей из датасета CC12M. Модель принимает изображения и выдаёт текст; карточка указывает английский язык. Для подготовки изображений при валидации используются изменение размера, центральное кадрирование и нормализация каналов RGB. Модель распространяется по лицензии MIT. В README рекомендация для исходного чекпойнта — генерация подписей к изображениям; качество на конкретных задачах следует сверять с результатами статьи или подходящими дообученными версиями.

1415янв. 2023ctx1K
textmithugging-face
OpenGVLab
InternVL3_5-1B

OpenGVLab/InternVL3_5-1B — мультимодальная модель из семейства InternVL3.5, разработанная OpenGVLab. Это дообученная версия InternVL3_5-1B-MPO; репозиторий содержит плотную архитектуру InternVLChatModel в формате safetensors и рассчитан на использование через Transformers. Лицензия — Apache-2.0. Модель принимает изображения и текст и формирует текстовые ответы в диалоговом режиме. Она предназначена для вопросов по изображениям, визуального рассуждения и задач понимания изображений; семейство также заявляет поддержку GUI-взаимодействия и embodied-задач. В карточке указана многоязычная поддержка, но конкретные языки и размер контекста для этой версии не приведены. InternVL3.5 использует Cascade RL для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов; семейство также описывает раздельное развертывание зрения и языковой модели для повышения эффективности инференса. Эти характеристики представлены для семейства в целом, поэтому их применимость именно к версии 1B может различаться. Практическая производительность зависит от изображения и вычислительных ресурсов; в README приведены общие рекомендации по развертыванию моделей серии, но отдельные требования для 1B не указаны.

27K31авг. 2025ctx14.6K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-38B-MPO

OpenGVLab/InternVL3.5-38B-MPO — мультимодальная модель семейства InternVL3.5, созданная OpenGVLab на базе InternVL3_5-38B-Instruct. Это вариант MPO, дообученный на наборах OpenGVLab/MMPR-v1.2 и OpenGVLab/MMPR-Tiny; он принимает текст и изображения и генерирует текстовые ответы в диалоге. Модель предназначена для вопросов по изображениям, мультимодальных рассуждений и других задач, где нужно совместно анализировать визуальный и текстовый контекст. Архитектура — плотная InternVLChatModel; для запуска 38B-версии в README указаны две видеокарты A100. Семейство поддерживает многоязычные сценарии. В README описаны улучшения InternVL3.5 для рассуждений и эффективности, включая Cascade RL и динамическую настройку разрешения визуальных токенов, однако отдельных результатов именно этой версии карточка не приводит. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

1322авг. 2025ctx14.6K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-4B

InternVL3.5-4B — мультимодальная чат-модель семейства InternVL3.5, разработанная OpenGVLab. Она принимает текст и изображения и формирует текстовые ответы; подходит для визуальных вопросов и ответов, анализа изображений и мультимодальных рассуждений. По метаданным это плотная архитектура InternVLChatModel на базе Transformers; модель представлена в формате safetensors и связана как дообучение с OpenGVLab/InternVL3_5-4B-MPO. В семействе InternVL3.5 применяются Cascade RL для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов. Семейство также описано как поддерживающее взаимодействие с графическим интерфейсом и агентные сценарии, однако карточка не подтверждает все эти возможности отдельно для версии 4B. Модель выпущена под лицензией Apache 2.0.

17K29авг. 2025ctx14.6K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-8B-Flash

InternVL3.5-8B-Flash — мультимодальная чат-модель OpenGVLab, созданная на основе InternVL3.5-8B и дообученная на наборах MMPR-v1.2 и MMPR-Tiny. Она принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы, в том числе для вопросов по изображениям, визуального рассуждения и задач с несколькими изображениями. Модель относится к семейству InternVL Chat и использует плотную архитектуру. Семейство InternVL3.5 разработано для повышения качества мультимодальных рассуждений и эффективности вывода; для версии Flash README описывает маршрутизатор визуального разрешения ViR и раздельное размещение зрительной и языковой частей при развёртывании. В репозитории доступны веса safetensors для Transformers. Карточка описывает мультиязычную поддержку, но не перечисляет конкретные языки. Для обработки изображений и генерации ответов требуется соответствующая инфраструктура модели; высокое разрешение и несколько изображений увеличивают расход контекстного окна. Лицензия — Apache 2.0.

2.3K8сент. 2025ctx14.6K
textapache-2.0hugging-face
mahwizzzz
kani-tts-400m-ur

Kani-TTS-400M-UR — модель синтеза речи на урду, разработанная на основе Kani-TTS и дообученная на речевом наборе данных mahwizzzz/UAT. Она преобразует текст на урду в речь; карточка заявляет естественное, выразительное звучание. Модель использует плотную архитектуру LFM2 с причинной языковой моделью Lfm2ForCausalLM, содержит 460 млн параметров и имеет контекстное окно 128 000 токенов. Модель предназначена для озвучивания текста на урду и создания синтезированной речи. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или дополнительных подробностей о голосах и настройках синтеза.

1422нояб. 2025ctx128K
textapache-2.0hugging-face
mlx-community
Llama-3.2-11B-Vision-Instruct-abliterated-4-bit

Это четырёхбитная версия мультимодальной разговорной модели Llama 3.2 Vision Instruct, подготовленная сообществом mlx-community для запуска в формате MLX. Веса преобразованы из huihui-ai/Llama-3.2-11B-Vision-Instruct-abliterated с помощью mlx-vlm 0.1.4; исходная модель основана на Meta Llama 3.2 11B Vision Instruct и имеет архитектуру mllama с 11 млрд параметров. Модель принимает текст и изображения и генерирует текстовые ответы. Она предназначена для диалога, ответов на вопросы и рассуждений по изображениям; также поддерживает conversational-режим и интерфейс вызова инструментов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель помечена как abliterated и uncensored, поэтому её поведение может отличаться от исходной инструктивной версии в отношении отказов на запросы. Для использования применяются условия лицензии Llama 3.2. README указывает конвертацию в MLX и зависимость mlx-vlm; конкретная длина контекста и дополнительные ограничения качества в предоставленных данных не описаны.

2671дек. 2024ctx131.1K
textimagellama3.2hugging-face
llava-hf
llava-onevision-qwen2-7b-ov-chat-hf

LLaVA-OneVision-Qwen2-7B-OV-Chat — мультимодальная языковая модель для диалогов с изображениями и видео. Она разработана командой LLaVA и дообучена на основе Qwen2 на синтетических данных для следования мультимодальным инструкциям; визуальная часть архитектуры использует SO400M. Модель объединяет понимание одиночных и нескольких изображений, а также видео в одном чекпойнте. Модель принимает текстовые запросы вместе с изображениями или видеоматериалом и генерирует текстовые ответы. Её можно применять для описания изображений, ответов на вопросы о визуальном содержимом, сравнения нескольких изображений и анализа видео. Карточка указывает поддержку английского и китайского языков. Чекпойнт распространяется в формате safetensors и рассчитан на использование через Transformers; README также описывает запуск в bfloat16 и варианты инференса с 4-битной квантизацией. Лицензия — Apache-2.0. Качество ответов может зависеть от сложности визуальной сцены и формулировки запроса; мультимодальная генерация может содержать ошибки и неверные выводы о содержимом изображений или видео.

4095сент. 2024ctx131.1K
textimageapache-2.0hugging-face
llava-hf
llava-onevision-qwen2-7b-ov-hf

LLaVA-OneVision Qwen2 7B — открытая мультимодальная языковая модель, созданная командой LLaVA и размещённая в формате Hugging Face библиотекой Transformers. Она дообучена на базе Qwen2 с использованием синтетических мультимодальных инструкций; архитектура сочетает визуальный энкодер SO400M и Qwen2. Модель предназначена для диалогов о содержимом изображений и видео, включая сценарии с несколькими изображениями в запросе. Модель решает задачи визуальных вопросов и ответов, описания изображений, анализа нескольких изображений и понимания видеосцен. Поддерживает английский и китайский языки. Для запуска используются шаблон чата и Transformers версии 4.45.0 или новее; доступны веса safetensors, а README также описывает загрузку с 4-битной квантизацией bitsandbytes и ускорение Flash-Attention 2. Модель весит 7 млрд параметров согласно названию варианта. Лицензия — Apache-2.0. Для обработки изображений и видео требуется подходящая мультимодальная инфраструктура; ответы могут содержать ошибки распознавания или интерпретации визуального содержимого.

97K39авг. 2024ctx131.1K
textimageapache-2.0hugging-face
TIGER-Lab
MAmmoTH-VL2

MAmmoTH-VL2 — мультимодальная модель TIGER-Lab для диалоговой работы с изображениями и текстом. Она дообучена на MAmmoTH-VL/MAmmoTH-VL-8B с использованием набора данных VisualWebInstruct и предназначена для ответов на вопросы по изображениям и выполнения визуальных инструкций. Архитектура — плотная Qwen2 с классом LlavaQwenForCausalLM; модель содержит 7,1 млрд параметров, принимает текст и изображения и генерирует текст. Длина контекста — 32 768 токенов. Модель подходит для анализа изображений в диалоге, визуального вопросно-ответного поиска и описания содержимого изображений. В метаданных указан английский язык. Для запуска README приводит требования llava==1.7.0.dev0 и torch==2.5.1. Модель распространяется по лицензии Apache-2.0.

9113март 2025ctx32.8K
textapache-2.0hugging-face
litert-community
Matcha-TTS

Matcha-TTS от сообщества LiteRT — англоязычная модель синтеза речи для локального запуска на Android и в браузере. Это конверсия официальных чекпойнтов Matcha-LJSpeech и HiFi-GAN в формат LiteRT TFLite с весами fp16. Акустическая модель использует conditional flow matching, а вокодер HiFi-GAN работает во временной области, без FFT и обратного STFT. Синтез рассчитан на голос из набора LJSpeech, частота аудио — 22,05 кГц. Модель принимает текст, преобразованный в фонемы, а на выходе формирует аудиоволну. В конвейере используются G2P для преобразования текста в фонемы, текстовый энкодер, декодер Matcha с несколькими шагами Euler ODE и вокодер. Энкодер и вокодер могут работать на GPU, тогда как декодер для корректной работы на описанной Android-конфигурации запускается на CPU. В README приведены реализации для Android, iOS и браузера; заявленные показатели скорости зависят от устройства и вычислительного бэкенда. Репозиторий распространяется по лицензии MIT. Ограничения включают поддержку английского языка и голоса LJSpeech, фиксированные размеры графов (до 256 фонем и 512 мел-кадров, примерно 5,9 секунды аудио на фрагмент), а также известную ошибку слияния операций GPU-декодера на Mali; некоторые браузерные GPU-вычисления также дают результаты, отличающиеся от CPU.

2.3K5июнь 2026
textaudiomithugging-face
Luigi
matcha-zh-tw-en-8k-gguf

Luigi/matcha-zh-tw-en-8k-gguf — конверсия Matcha-TTS в формате GGUF для запуска через RapidSpeech.cpp. В комплект входят акустическая модель на основе CFM и вокодер Vocos; веса и токены совпадают с Luigi/matcha-zh-tw-en-8k. Размер файла составляет около 105 МБ, частота дискретизации — 8 кГц. Конверсия проверена сравнением тензоров с исходной ONNX-моделью. Модель синтезирует речь на тайваньском мандаринском и английском. Она рассчитана на CPU и ggml-CUDA, включая маломощные устройства вроде Jetson Nano; текстовый фронтенд, преобразующий текст в фонемы, предоставляется отдельно. Модель распространяется по лицензии Apache-2.0.

140июнь 2026
textaudioapache-2.0hugging-face
OsaurusAI
Mistral-Medium-3.5-128B-mxfp4

OsaurusAI Mistral-Medium-3.5-128B-mxfp4 — мультимодальная модель с архитектурой Mistral3, подготовленная Jinho Jang для запуска через MLX на компьютерах Apple Silicon. В её основе — плотная модель на 128 млрд параметров: текстовый декодер Ministral3 и визуальный энкодер Pixtral. Модель принимает текст и изображения и формирует текстовые ответы; заявленная длина контекста — 256 тысяч токенов. Текстовые линейные слои и embeddings квантованы в 4-битный формат MLX с группами по 32 значения; визуальный энкодер, мультимодальный проектор, lm_head и нормализации сохранены в fp16. Это позволяет запускать крупную мультимодальную модель на Apple Silicon, сохраняя изображениевходный тракт в исходной точности. Репозиторий использует формат safetensors и библиотеку MLX. Модель подходит для диалога и ответов на вопросы об изображениях. README описывает проверку восстановления квантованных весов, но не приводит сравнительных оценок качества; результат квантования может отличаться от исходной модели. Лицензия — Apache-2.0.

1952апр. 2026
textimageapache-2.0hugging-face
onecxi
mms-telugu-female-indic

Модель onecxi/mms-telugu-female-indic — система синтеза речи, дообученная на датасете IndicTTS для женского голоса, говорящего на телугу. Она построена на архитектуре VITS и основана на facebook/mms-tts; число параметров — 3,6 млн. Модель принимает текст на телугу и генерирует речь на этом языке. Модель подходит для озвучивания фраз и коротких текстов на телугу женским голосом. Для запуска автор указывает библиотеки Transformers и Accelerate. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка запрещает выдавать сгенерированную речь за голос реального человека без его согласия и использовать модель для мошеннического или иного вредоносного контента.

1652июль 2025
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-ace

facebook/mms-tts-ace — модель синтеза речи на языке ачех, созданная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на ачех в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер аудиосигнала. Размер модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и выше. Предназначена для синтеза речи на ачех в приложениях озвучивания и речевых интерфейсах. Стохастический предиктор позволяет получать разные ритмические варианты произношения одного текста; для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1610сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-acf

facebook/mms-tts-acf — модель синтеза речи на антильском французском креольском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль и декодер с принципами HiFi-GAN. Стохастический предиктор длительности позволяет синтезировать разные ритмы для одного и того же текста, поэтому результат может меняться между запусками; фиксированный seed помогает воспроизводить одну и ту же речь. Чекпойнт содержит около 3,5 млн параметров и использует PyTorch и safetensors. Он доступен через Transformers версии 4.33 и новее. Модель предназначена для антильского французского креольского языка (acf). Лицензия CC BY-NC 4.0 требует соблюдения условий атрибуции и некоммерческого использования.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-azj-script_latin

Модель facebook/mms-tts-azj-script_latin — система синтеза речи на северном азербайджанском языке в латинской письменности, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языковом варианте. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS, доступный через библиотеку Transformers. Стохастический предиктор длительности позволяет варьировать ритм речи; поэтому при повторной генерации результат может отличаться, а для воспроизводимости нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она предназначена для синтеза северного азербайджанского текста латиницей; возможности для других языков не заявлены.

2.8K3сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-djk

facebook/mms-tts-djk — модель синтеза речи на языке аукан (Aukan, код djk), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка, построенный на архитектуре VITS и доступный через библиотеку Transformers. Модель принимает текст и генерирует речевую аудиоволну; её объём составляет 3,5 млн параметров. VITS объединяет вариационный автоэнкодер, Transformer-энкодер текста, нормализующие потоки и декодер на основе свёрточных слоёв в стиле HiFi-GAN. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому при одинаковом тексте результаты могут отличаться; для повторяемой генерации нужен фиксированный seed. Модель предназначена для озвучивания текста на ауканском языке. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое использование.

1100сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-dwr

facebook/mms-tts-dwr — модель синтеза речи на языке Dawro (код dwr), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка из семейства MMS-TTS; модель принимает текст и генерирует речевую аудиоволну. Она основана на архитектуре VITS: текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; веса доступны в форматах PyTorch и Safetensors и поддерживаются библиотекой Transformers начиная с версии 4.33. Модель подходит для озвучивания текста на Dawro, например для голосовых интерфейсов и создания аудиоверсий материалов. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может отличаться при повторной генерации; для воспроизводимого аудио следует фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1090сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-gil

facebook/mms-tts-gil — модель синтеза речи на кирибати, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует последовательность текста в речевую аудиоволну и предназначена для озвучивания текста на языке gil. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, потоковых слоёв и декодера, построенного по принципу HiFi-GAN. В чекпойнте около 3,5 млн параметров; для каждого языка MMS обучается отдельная модель. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; для повторяемого синтеза нужно фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1120сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-guh

facebook/mms-tts-guh — модель синтеза речи на языке гуахибо, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на гуахибо в речевую аудиоволну; для каждого языка MMS обучается отдельная модель. Модель основана на архитектуре VITS — сквозной вариационном автоэнкодере с Transformer-кодировщиком текста, нормализующими потоками, стохастическим предиктором длительности и декодером HiFi-GAN. Число параметров — около 3,5 млн. Модель предназначена для озвучивания текста на гуахибо в приложениях синтеза речи. Стохастический предиктор длительности позволяет получать варианты ритма для одного текста, поэтому для воспроизводимого результата требуется фиксировать seed. Для работы используется библиотека Transformers версии 4.33 или новее. Веса доступны в форматах PyTorch и Safetensors; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.

1000сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kff-script_telugu

facebook/mms-tts-kff-script_telugu — модель синтеза речи из проекта Massively Multilingual Speech (MMS), разработанного Facebook. Она преобразует текст на языке Koya, записанный телугу-письмом, в речевой аудиосигнал; для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с вероятностным предсказанием длительности, благодаря которому один текст может произноситься с разным ритмом. Модель доступна через библиотеку Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Для повторяемого аудиовыхода требуется фиксировать seed, поскольку синтез недетерминированный. Модель предназначена для речи на конкретном языке и письме, а не для многоязычной генерации.

5483сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей