/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
691–720 из 8 953
mlx-community
gemma-3-27b-it-8bit

mlx-community/gemma-3-27b-it-8bit — конверсия модели Google Gemma 3 27B Instruct в формат MLX с 8-битным представлением весов, подготовленная сообществом mlx-community с помощью mlx-vlm 0.1.18. Это плотная мультимодальная модель класса Gemma3ForConditionalGeneration с поддержкой чата и зрения; она принимает текст и изображения и генерирует текст, что позволяет задавать вопросы по изображениям и вести диалог. Модель предназначена для запуска на системах Apple Silicon через MLX и mlx-vlm. Основана на google/gemma-3-27b-pt и является конвертированной инструктивной версией Gemma 3; в карточке указана лицензия Gemma. Подробности о языках, длине контекста и ограничениях следует сверять с исходной карточкой Google Gemma 3 27B Instruct.

1487март 2025
textimagegemmahugging-face
mlx-community
gemma-4-E4B-it-qat-8bit

mlx-community/gemma-4-E4B-it-qat-8bit — мультимодальная модель для работы с изображениями и текстом, опубликованная сообществом mlx-community. Она предназначена для сценариев image-text-to-text, в частности для генерации текстовых ответов по изображениям, например их описания. Модель рассчитана на использование с библиотекой MLX и инструментом mlx-vlm. В названии указано, что модель относится к семейству Gemma 4, имеет размерный вариант E4B и представлена в 8-битном QAT-квантизованном формате, однако README не раскрывает точное число параметров, архитектуру, поддерживаемые языки и размер контекстного окна. Сильной стороной является возможность локальной мультимодальной генерации в экосистеме MLX; ограничения и условия лицензирования в предоставленных данных не указаны.

7640июнь 2026
textimagehugging-face
ghananlpcommunity
ghana-tts-72k

Ghana TTS – 72k — чекпойнт синтеза речи, созданный GhanaNLP Community на основе VoxCPM и дообученный на более чем 1 400 часах речи на 44 языках Ганы. Это состояние обучения на 72 000 шаге; репозиторий содержит веса safetensors, компоненты аудиокодека VAE, конфигурацию планировщика шума, токенизатор и образцы аудио для голосового промптинга. Модель предназначена для преобразования текста в речь на ганских языках; для запуска инференса README направляет к пространству Ghana TTS. В метаданных указана библиотека VoxCPM и лицензия MIT. Обучение проводилось в формате bf16 с TF32 на одном NVIDIA H200.

90июнь 2026
textaudiomithugging-face
sil-ai
gyi-LUK-audio-aligned-speecht5

gyi-LUK-audio-aligned-speecht5 — дообученная модель SpeechT5 для синтеза речи из текста. Она основана на microsoft/speecht5_tts, построена на архитектуре SpeechT5 и сохранена в формате safetensors. В карточке указана оценка Loss 0.0899 на наборе оценки, но состав данных и методика оценки не описаны. Модель предназначена для преобразования текста в аудио. Лицензия репозитория — MIT. Карточка не сообщает, для каких языков или голосов выполнялось дообучение, поэтому область применения и качество синтеза для конкретных языков и сценариев определить нельзя.

141июль 2026ctx600
textaudiomithugging-face
BNarayanaReddy
higgs-telugu-e4-lora-final

Это односпикерная модель синтеза речи на телугу, созданная B. Narayana Reddy как дообучение Higgs Audio v3 (4B). Она преобразует текст в выразительную речь голосом одного диктора без референсной аудиозаписи и поддерживает переключение между телугу и английским языками. Для телугу входной текст нужно предварительно романизировать по ISO 15919 с помощью того же frontend.py, который использовался при обучении; без этого токенизация может нарушаться. Модель основана на плотной мультимодальной архитектуре Higgs с Qwen3 и распространяется в формате safetensors. Лицензия указана как other, конкретные условия в доступных данных не раскрыты.

710сент. 2026ctx131.1K
textotherhugging-face
HyperGAI
HPT1_5-Air-Llama-3-8B-Instruct-multimodal

HPT 1.5 Air — мультимодальная языковая модель компании HyperGAI для совместного понимания текста и изображений. Модель построена на Llama 3 8B Instruct и использует визуальный энкодер siglip-so400m-patch14-384; в репозитории опубликованы веса для воспроизведения результатов на бенчмарках. Архитектура языковой части — плотная LlamaForCausalLM, размер — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для ответов на вопросы по изображениям, визуального анализа и рассуждений с учётом текстового и визуального контекста. В метаданных указан английский язык. Веса доступны под лицензией Apache-2.0. В README отмечено отсутствие встроенной модерации и гарантий качества результатов.

14646май 2024ctx8.2K
textapache-2.0hugging-face
Heouzen
Huihui-Qwen3-VL-32B-Instruct-FP8-abliterated

Heouzen/Huihui-Qwen3-VL-32B-Instruct-FP8-abliterated — FP8-квантованная версия мультимодальной модели Huihui-Qwen3-VL-32B-Instruct-abliterated, основанной на архитектуре Qwen3-VL. Модель разработана на базе чекпойнта huihui-ai; репозиторий содержит веса в формате safetensors с представлением FP8 float8_e4m3fn, занимающие около 34,9 ГБ. Она принимает текст и изображения и предназначена для диалоговых сценариев с визуальным контекстом, включая описание изображений и ответы на вопросы о них. Квантирование уменьшает требования к памяти и ориентировано на запуск на современных GPU NVIDIA архитектур Hopper и Ada Lovelace. В README приведён пример использования модели для текстового сценария с необязательным изображением. В карточке не приведены сведения о поддерживаемых языках и длине контекста. Модель распространяется по лицензии Apache-2.0.

7191март 2026ctx262.1K
textimageapache-2.0hugging-face
milanakdj
indic-parler-tts-nepali-finetuned-dgx-v2.2-cosine

Это дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель построена на архитектуре Parler-TTS и предназначена для преобразования текста в речь; репозиторий использует библиотеку parler-tts и содержит веса в формате safetensors. В карточке указаны результаты обучения: лучшее значение validation loss — 6,7131, обучение продолжалось 2080 шагов и заняло 1242,3 минуты. Сведений о лицензии, размере модели, длительности контекста и оценке качества синтезированной речи в доступных данных нет.

130июнь 2026
textaudiohugging-face
milanakdj
indic-parler-tts-nepali-finetuned-dgx-v4.1-slr

Nepali Parler-TTS — дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель семейства Parler-TTS принимает текст и генерирует речь; для работы используется библиотека parler-tts. В карточке приведены результаты обучения: лучшее значение validation loss — 6,2261, обучение длилось 5236 шагов. Модель предназначена для преобразования непальского текста в речь. Репозиторий содержит веса в формате safetensors. Сведения о лицензии в доступных данных отсутствуют.

200июль 2026
textaudiohugging-face
Bindkushal
IndicVoice-82M

IndicVoice — авторская декодерная нейросетевая модель синтеза речи, созданная Кушалом Кантом Биндом из Chandigarh University в рамках GSoC 2026 для Sugar Labs. Модель построена на архитектуре Kokoro-82M с компонентами StyleTTS2 и ISTFTNet и содержит 82 млн параметров. Модель преобразует текст в речь на хинди и панджаби; бенгальский поддерживается в бета-режиме. Для преобразования текста в фонемы используется встроенный indic-g2p, а для слов вне его словаря предусмотрен переход на espeak-ng. Частота дискретизации синтезируемой речи — 24 кГц. Модель предназначена для создания озвучки на индийских языках. В README указана лицензия Apache 2.0 для базовой архитектуры Kokoro-82M; метаданные репозитория также указывают Apache 2.0. Отдельные ограничения качества или применения в карточке не описаны.

1.8K3апр. 2026
textaudioapache-2.0hugging-face
internlm
internlm-xcomposer2d5-7b-chat

InternLM-XComposer2.5-Chat — мультимодальная чат-модель, разработанная командой InternLM и дообученная на базе internlm/internlm-xcomposer2d5-7b. Она предназначена для диалога с пользователем, выполнения мультимодальных инструкций и ответов на открытые вопросы по изображениям. Модель содержит 7,4 млрд параметров, использует плотную архитектуру InternLM2 и поддерживает контекст до 24 576 токенов. Модель принимает текст и изображения и выдаёт текстовые ответы; в карточке заявлены улучшенное следование мультимодальным инструкциям и открытый диалог. Для загрузки через Transformers README указывает PyTorch и `trust_remote_code=True`; для экономии памяти рекомендуется bfloat16. Лицензия указана как `other`, поэтому конкретные условия использования следует сверить с лицензией репозитория.

615янв. 2025ctx24.6K
textotherhugging-face
mlx-community
InternVL3-14B-4bit

mlx-community/InternVL3-14B-4bit — 4-битная версия InternVL3-14B, преобразованная сообществом mlx-community в формат MLX из models/InternVL3-14B с помощью mlx-vlm 0.1.25. Это мультимодальная чат-модель семейства InternVL для диалога по изображениям и задач визуального понимания; она принимает текст и изображения и формирует текстовые ответы. Метаданные классифицируют её как модель image-text-to-text и указывают поддержку диалога и интерфейс вызова инструментов, а также многоязычность. Репозиторий распространяется по лицензии Apache-2.0. README описывает преобразование формата и квантизацию до 4 бит, однако метаданные связывают модель с OpenGVLab/InternVL3-1B-Instruct как дообученную; базовая модель требует уточнения по первичной карточке.

1480апр. 2025ctx12.3K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-38B-Instruct

InternVL3.5-38B-Instruct — мультимодальная модель OpenGVLab для диалогов и рассуждений по тексту и изображениям. Это дообученная версия InternVL3.5-38B-Pretrained на архитектуре InternVLChat; репозиторий содержит веса Safetensors и рассчитан на использование с Transformers. Модель может описывать изображения, отвечать на вопросы о визуальном содержимом и выполнять текстовые задачи; семейство также заявляет поддержку взаимодействия с графическим интерфейсом и embodied-сценариев. В InternVL3.5 применяются Cascade RL для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов. Для запуска версии 38B README указывает необходимость двух GPU A100. Карточка сообщает о многоязычности, но не перечисляет конкретные языки. Модель распространяется по лицензии Apache-2.0.

4335авг. 2025ctx32.8K
textapache-2.0hugging-face
OpenGVLab
InternVL3_5-4B-Pretrained

OpenGVLab/InternVL3.5-4B-Pretrained — мультимодальная модель семейства InternVL3.5 для понимания изображений и работы с текстом. Архитектура InternVLChatModel объединяет визуальный энкодер InternViT-300M-448px-V2_5 и языковую модель Qwen3-4B; в метаданных производная обозначена как слияние этих компонентов. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалогов с изображениями, визуальных вопросов и ответов, рассуждений по визуальному содержимому, а также генерации текста. Семейство заявляет поддержку многоязычных сценариев и улучшения эффективности вывода; README также описывает общие для семейства возможности взаимодействия с GUI и агентного поведения, но не уточняет их применимость именно к этой версии на 4B. Для этой карточки отдельно не приведены размер контекстного окна и оценка параметров конкретной модели. Лицензия — Apache-2.0.

1812авг. 2025ctx32.8K
textapache-2.0hugging-face
mlx-community
InternVL3-78B-4bit

mlx-community/InternVL3-78B-4bit — мультимодальная чат-модель семейства InternVL3, преобразованная сообществом mlx-community из models/InternVL3-78B в формат MLX с помощью mlx-vlm 0.1.25. Она предназначена для диалога по изображениям и задач визуального понимания, а также поддерживает генерацию текста. Метаданные указывают мультиязычность и интерфейс для вызова инструментов. Модель распространяется по лицензии Apache-2.0.

1180апр. 2025ctx8.2K
textapache-2.0hugging-face
mlx-community
InternVL3-8B-8bit

mlx-community/InternVL3-8B-8bit — мультимодальная чат-модель семейства InternVL3, опубликованная mlx-community и преобразованная из models/InternVL3-8B в формат MLX с помощью mlx-vlm 0.1.23. Она предназначена для диалога по изображениям и задач визуального понимания: пользователь передаёт изображение и текстовый запрос, а модель отвечает текстом. Метаданные также отмечают поддержку text-generation и интерфейс вызова инструментов. Модель относится к плотной архитектуре InternVLChatModel; README указывает вариант 8B и 8-битное представление. В карточке названа мультиязычной, но конкретные языки и длина контекста не приведены. Лицензия указана как other; перед использованием следует проверить условия оригинальной модели. README отсылает к её исходной карточке за подробностями.

1210апр. 2025ctx12.3K
textotherhugging-face
nineninesix
kani-tts-400m-ko

KaniTTS Korean — модель синтеза речи, разработанная авторами проекта KaniTTS. Она преобразует корейский текст в аудио и предназначена для разговорных помощников, чат-ботов, экранных дикторов и приложений для изучения языка. Модель построена на LFM2 и использует двухэтапную схему: языковая модель генерирует сжатые аудиотокены, затем нейрокодек синтезирует звуковую волну. В репозитории указано 460 млн параметров, контекст — 128 000 токенов, частота аудио — 22 кГц; метаданные указывают корейский язык. В тестах авторов на GPU RTX 5090 скорость составляла около пяти раз быстрее реального времени. Модель дообучена на nineninesix/kani-tts-400m-0.3-pt. README сообщает о лицензии Apache 2.0, тогда как метаданные Hugging Face обозначают лицензию как other, поэтому лицензионные условия следует сверить с файлами репозитория перед использованием. По данным README, качество снижается на входах длиннее 15 секунд, выразительность ограничена без дополнительной настройки, а просодия и произношение могут отражать смещения обучающих данных.

396окт. 2025ctx128K
textotherhugging-face
sengtha
khmer-tts-female-v2

sengtha/khmer-tts-female-v2 — односпикерная модель синтеза речи женским голосом на кхмерском языке, созданная для iAny. Это модель архитектуры VITS, обученная с нуля на корпусе DDD-Cambodia с записанной речью одного диктора, а затем дополнительно обученная на большем числе шагов и данных. Модель принимает кхмерский текст в виде графем и выдаёт аудио; фонемизатор не требуется. Экспорт ONNX предназначен для автономного запуска на устройстве, в том числе в браузере через onnxruntime-web и на мобильных устройствах через onnxruntime-react-native. В карточке также приведён экспорт v3 с настроенными параметрами темпа и вариативности синтеза; он относится к той же модели. Модель использовалась для озвучивания кхмерских новостей в радиоразделе iAny. Репозиторий распространяется по лицензии CC BY-SA 4.0.

570июль 2026
textaudiocc-by-sa-4.0hugging-face
mlx-community
Kimi-VL-A3B-Thinking-8bit

mlx-community/Kimi-VL-A3B-Thinking-8bit — мультимодальная модель семейства Kimi-VL, преобразованная сообществом mlx-community в формат MLX из moonshotai/Kimi-VL-A3B-Thinking с помощью mlx-vlm 0.1.23. В метаданных также указана связь с OpenGVLab/InternVL3-1B-Instruct как с базовой моделью для дообучения. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Она предназначена для диалоговых сценариев с изображениями, например для ответов на вопросы о содержимом изображения. Метаданные отмечают поддержку нескольких языков, но не перечисляют отдельные языки. Для запуска README предлагает библиотеку mlx-vlm; репозиторий содержит веса safetensors. Лицензия указана как other, поэтому условия использования следует сверить с карточкой исходной модели.

3364апр. 2025ctx1M
textotherhugging-face
telecomadm1145
Kiseki-TTS-1.2

Карточка модели telecomadm1145/Kiseki-TTS-1.2 на Hugging Face совпадает с карточкой telecomadm1145/Kiseki-TTS-1.21, поэтому описание составлено по ней. Kiseki-TTS-1.21 — японская модель синтеза речи, разработанная telecomadm1145. Она преобразует текст в последовательности дискретных аудиокодек-токенов, которые декодируются в звуковую волну с помощью Qwen3 TTS codec. Модель построена как encoder–decoder: Transformer-энкодер обрабатывает текст, а декодер на Mamba2 генерирует аудиотокены; аудиокодек работает с частотой 12,5 кадров в секунду и использует 16 слоёв квантования с кодбуком из 2048 элементов. Модель рассчитана на синтез японской речи. Mamba2-декодер поддерживает постоянный объём памяти на кадр и не использует KV-кэш, что подходит для генерации длинных высказываний; в README указана настройка до 250 кадров примерно для 20 секунд аудио. Для декодирования токенов в волну требуется Qwen3 TTS codec. Модель дообучена на telecomadm1145/Kiseki-1.1-0.3B и распространяется по лицензии MIT.

310авг. 2026ctx262.1K
textmithugging-face
mlx-community
Llama-3.2-11B-Vision-Instruct-8bit

Это 8-битная версия модели Llama 3.2 11B Vision Instruct, подготовленная сообществом mlx-community для работы в формате MLX. README указывает, что она получена конвертацией из unsloth/Llama-3.2-11B-Vision-Instruct; в метаданных базовой моделью указана meta-llama/Llama-3.2-11B-Vision-Instruct. Архитектура — плотная мультимодальная MllamaForConditionalGeneration, размер базовой модели — 11 млрд параметров. Модель предназначена для диалога с изображениями и текстом: она принимает текстовые запросы и изображения, отвечает на вопросы о визуальном содержимом и ведёт беседу. Карточка перечисляет английский язык; MLX-вариант рассчитан на использование с mlx-vlm. Лицензия — llama3.2. В README не приведены отдельные оценки качества или подробные ограничения, поэтому характеристики ответов следует оценивать на целевых данных.

2.3K9окт. 2024ctx131.1K
textimagellama3.2hugging-face
mlx-community
Llama-4-Scout-17B-16E-Instruct-6bit

Llama-4-Scout-17B-16E-Instruct-6bit — мультимодальная диалоговая модель семейства Llama 4, конвертированная сообществом mlx-community из meta-llama/Llama-4-Scout-17B-16E-Instruct в формат MLX с 6-битным представлением весов. Модель принимает текст и изображения и генерирует текстовые ответы; поддерживает интерфейс вызова инструментов. Она предназначена для диалогов, ответов на вопросы по изображениям и других сценариев визуального понимания. В карточке базовой модели перечислены арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский и вьетнамский языки. Для запуска в MLX README указывает библиотеку mlx-vlm. Репозиторий также помечен лицензией other; условия следует сверять с карточкой исходной модели Meta.

2085апр. 2025ctx10.5M
textimageotherhugging-face
xtuner
llava-internlm2-7b

llava-internlm2-7b — мультимодальная модель семейства LLaVA, опубликованная XTuner. Она дообучена на базе InternLM2-Chat-7B с визуальным энкодером CLIP ViT-Large/14 с разрешением 336 пикселей, используя наборы LLaVA-Pretrain и LLaVA-Instruct-150K. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для диалога по изображению, описания визуального содержимого и ответов на вопросы о нём. В README приведены результаты сравнительных тестов MMBench и других наборов оценки визуально-языковых моделей. Для работы с моделью README рекомендует библиотеку XTuner. В репозитории указаны веса Safetensors. Лицензия и точная длина контекста в доступных данных не приведены.

175янв. 2024
textimagehugging-face
llava-hf
llava-onevision-qwen2-72b-ov-hf

LLaVA-OneVision Qwen2 72B — мультимодальная языковая модель от разработчиков LLaVA, представленная в репозитории llava-hf. Она дообучена на базе Qwen2 на синтетических мультимодальных инструкциях и предназначена для диалогов, в которых нужно анализировать изображения, несколько изображений или видео и отвечать на вопросы по ним. Архитектура сочетает визуальный энкодер SO400M с Qwen2; модель имеет 72 млрд параметров и сохранена в формате Safetensors с точностью bfloat16. Модель поддерживает сценарии с одним или несколькими изображениями, а также понимание видео; единая архитектура помогает переносить навыки между этими сценариями. В карточке приведены языковые метки английского и китайского. Для запуска через Transformers требуется версия 4.45.0 или новее; работа с видео и URL/локальными путями через шаблон чата описана для Transformers 4.48 и новее. Для инференса нужна значительная вычислительная память, а 4-битная загрузка через bitsandbytes предполагает совместимый CUDA GPU. Лицензия — Apache-2.0.

51110авг. 2024ctx131.1K
textimageapache-2.0hugging-face
lmms-lab
llava-onevision-qwen2-7b-ov

LLaVA-OneVision — мультимодальная модель семейства LLaVA-OneVision, разработанная LMMS-Lab. Эта версия содержит 7,1 млрд параметров и основана на языковой модели Qwen2 с визуальной архитектурой SO400M; контекстное окно — 32 тыс. токенов. Модель принимает изображения, несколько изображений и видео, а также текстовые запросы и генерирует текстовые ответы. В карточке заявлены английский и китайский языки. Модель предназначена для диалога по визуальному содержимому: описания изображений, ответов на вопросы по ним, сравнения нескольких изображений и анализа видео. Обучение включало этапы с данными для одиночных изображений, нескольких изображений и видео; веса представлены в формате Safetensors и рассчитаны на работу через Transformers. Лицензия — Apache-2.0. README не приводит количественных оценок качества или подробностей об ограничениях распознавания; ответы следует проверять, особенно при анализе сложных сцен и видео.

29K64июнь 2024ctx32.8K
textapache-2.0hugging-face
llava-hf
llava-onevision-qwen2-7b-si-hf

LLaVA-OneVision Qwen2 7B SI — мультимодальная языковая модель семейства LLaVA-OneVision, опубликованная авторами LLaVA и представленная в репозитории llava-hf. Она основана на Qwen2 с визуальным компонентом SO400M и дообучена на синтетических мультимодальных инструкциях. Версия SI ориентирована на работу с отдельными изображениями, при этом семейство поддерживает сценарии с несколькими изображениями и видео. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы в диалоговом формате. Она подходит для описания изображений, визуальных вопросов и ответов, а также анализа нескольких изображений в одном запросе. В карточке указана архитектура SO400M + Qwen2, точность bfloat16 и использование библиотеки Transformers; метаданные указывают поддержку английского и китайского языков. Для работы с видео возможности семейства описаны в README, но для этой версии SI основной акцент сделан на одиночных изображениях. Модель распространяется по лицензии Apache 2.0. Для запуска требуется совместимая версия Transformers; README также описывает варианты ускорения и 4-битной загрузки. Как и другие визуально-языковые модели, она может ошибаться в ответах и интерпретации содержимого изображений; точные параметры контекста и число параметров для данного репозитория в предоставленных сведениях не приведены.

1.1K7авг. 2024ctx131.1K
textimageapache-2.0hugging-face
chiakelvin
llava-phi-3-mini-int4.gguf

chiakelvin/llava-phi-3-mini-int4.gguf — GGUF-версия мультимодальной модели LLaVA, дообученной XTuner на базе microsoft/Phi-3-mini-4k-instruct с визуальным энкодером CLIP ViT-Large patch14-336. Модель принимает изображения вместе с текстовыми запросами и формирует текстовые ответы в диалоговом формате; карточка указывает на использование шаблона чата Phi-3-instruct и датасета ShareGPT4V. Модель предназначена для описания изображений и ответов на вопросы о визуальном содержимом. Репозиторий содержит файлы GGUF и GGUF F16; название указывает на вариант int4, однако метаданные не подтверждают конкретную схему квантизации. Лицензия в предоставленных данных не указана.

1060июль 2026
textimagehugging-face
myshell-ai
MeloTTS-English

MeloTTS-English — англоязычная модель синтеза речи из библиотеки MeloTTS, созданной авторами из Tsinghua University, MIT и MyShell.ai. Она преобразует текст в звучащую речь и предназначена для приложений, которым нужна озвучка на английском языке. Семейство MeloTTS включает варианты с американским, британским и индийским акцентами; этот репозиторий предназначен для английского языка. В README заявлены высокое качество синтеза и достаточно быстрая работа для вывода в реальном времени на CPU. Репозиторий содержит веса PyTorch и опубликован под лицензией MIT. Данные карточки также содержат тег языка `ko`, который расходится с названием англоязычного варианта и описанием семейства в README.

182K316февр. 2024
textaudiomithugging-face
facebook
mms-tts-bss

facebook/mms-tts-bss — модель синтеза речи на языке акоосе (bss) из проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт VITS, обученный для одного языка: он принимает текст и генерирует речевую аудиоволну. Вариационный автоэнкодер с Transformer-энкодером текста, нормализующими потоками, стохастическим предиктором длительности и декодером на основе HiFi-GAN синтезирует речь сквозным образом; число параметров — 3,6 млн. Модель подходит для озвучивания текста на акоосе и создания речевых функций для приложений на этом языке. Стохастический предиктор позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированное значение seed. Для работы с чекпойнтом в Transformers нужна версия 4.33 или новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

1050сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-eka

facebook/mms-tts-eka — модель синтеза речи на языке эка из проекта Massively Multilingual Speech (MMS), разработанного Meta. Она преобразует текст на эка в речевую аудиоволну и подходит для озвучивания текстов и создания речевого вывода на этом языке. Модель использует архитектуру VITS: она объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Для MMS обучен отдельный чекпойнт на каждый язык. Размер модели — 3,5 млн параметров; для работы доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

1030сент. 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей