/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
1 201–1 230 из 8 953
LanguageBind
MoE-LLaVA-Phi2-2.7B-4e

Карточка модели LanguageBind/MoE-LLaVA-Phi2-2.7B-4e на Hugging Face совпадает с карточкой LanguageBind/MoE-LLaVA-Qwen-1.8B-4e, поэтому описание составлено по ней. MoE-LLaVA-Qwen-1.8B-4e — мультимодальная модель семейства MoE-LLaVA, разработанная проектом LanguageBind. Она сочетает языковую модель Qwen с архитектурой смеси экспертов и предназначена для диалогового понимания изображений: модель принимает изображение и текстовый запрос и формирует текстовый ответ. В карточке она приведена как вариант MoE-LLaVA-1.8B×4-Top2; метаданные указывают 2,3 млрд параметров, контекст 8192 токена и формат PyTorch. README сообщает о результатах на наборах для визуальных вопросов и понимания изображений, включая VQAv2, GQA, VizWiz и MM-Bench. Модель доступна по лицензии Apache-2.0. Для работы README приводит требования к среде: Python 3.10 или новее, PyTorch 2.0.1, CUDA 11.7 или новее, Transformers 4.36.2 и Tokenizers 0.15.1.

13040янв. 2024ctx2K
textapache-2.0hugging-face
LanguageBind
MoE-LLaVA-Phi2-2.7B-4e-384

Карточка модели LanguageBind/MoE-LLaVA-Phi2-2.7B-4e-384 на Hugging Face совпадает с карточкой LanguageBind/MoE-LLaVA-Qwen-1.8B-4e, поэтому описание составлено по ней. MoE-LLaVA-Qwen-1.8B-4e — мультимодальная модель семейства MoE-LLaVA, разработанная проектом LanguageBind. Она сочетает языковую модель Qwen с архитектурой смеси экспертов и предназначена для диалогового понимания изображений: модель принимает изображение и текстовый запрос и формирует текстовый ответ. В карточке она приведена как вариант MoE-LLaVA-1.8B×4-Top2; метаданные указывают 2,3 млрд параметров, контекст 8192 токена и формат PyTorch. README сообщает о результатах на наборах для визуальных вопросов и понимания изображений, включая VQAv2, GQA, VizWiz и MM-Bench. Модель доступна по лицензии Apache-2.0. Для работы README приводит требования к среде: Python 3.10 или новее, PyTorch 2.0.1, CUDA 11.7 или новее, Transformers 4.36.2 и Tokenizers 0.15.1.

11332янв. 2024ctx2K
textapache-2.0hugging-face
vikhyatk
moondream1

moondream1 — компактная мультимодальная модель с 1,6 млрд параметров, созданная Vikhyatk на основе SigLIP и Phi-1.5 и обученная на датасете LLaVA. Она принимает изображения и текстовые вопросы и генерирует текстовые ответы о содержимом изображения, например распознаёт надпись на обложке книги. В карточке приведены результаты на VQAv2, GQA и TextVQA; модель показывает более низкие результаты, чем LLaVA-1.5 в приведённых сравнениях, особенно на TextVQA. Выпущена для исследовательских целей; коммерческое использование запрещено.

13K487янв. 2024ctx2K
texthugging-face
tareq052
my-bangla-tts

tareq052 разработал односпикерную модель синтеза речи на бенгальском языке на архитектуре VITS и дообучил её на базе контрольной точки VITS с помощью finetune-hf-vits. Модель преобразует текст в речевую аудиоволну за один проход и не требует отдельного вокодера. Она содержит 3,6 млн параметров, использует Transformers и PyTorch, а частота дискретизации выходного аудио составляет 16 кГц. Модель рассчитана на синтез речи одним голосом; лицензия — Apache-2.0. Подходит для озвучивания текстов на бенгальском языке, например коротких сообщений и материалов для приложений. Модель не поддерживает выбор голоса и управление эмоциями. Из-за ограниченного обучающего набора произношение редких слов, чисел и текста со смешанными языками может быть непоследовательным.

470авг. 2026
textaudioapache-2.0hugging-face
lusxvr
nanoVLM-230M-8k

lusxvr/nanoVLM-230M-8k — мультимодальная модель семейства nanoVLM для обработки изображений и текста. Репозиторий использует библиотеку nanoVLM и формат весов safetensors; карточка помечает модель как vision-language и research. Лицензия — MIT. Модель предназначена для сценариев image-text-to-text: пользователь передаёт изображение и текстовый запрос, а модель формирует текстовый ответ. README показывает загрузку через библиотеку nanoVLM, но пример ссылается на репозиторий с суффиксом «-2», поэтому идентификатор загрузки в примере не совпадает с карточкой lusxvr/nanoVLM-230M-8k. В предоставленных данных нет сведений о размере параметров, длине контекста, поддерживаемых языках, качестве и конкретных ограничениях применения.

2814сент. 2025
textimagemithugging-face
ujjwal5454
nepali-voice-engine-v4

Nepali Voice Engine v0.4 — модель преобразования текста в речь на непальском языке, представленная автором ujjwal5454. Это пакет для Transformers с архитектурой NepaliVoiceEngine и автокодирующим декодером речи; в релиз включены два токенизатора и конфигурации текстового энкодера T5 и аудиокодека DAC. Модель предлагает голосовые профили Aakriti, Sangeeta, Prabal и Baje. Модель предназначена для синтеза непальской речи из текста с выбором одного из предустановленных голосов. Для запуска нужны PyTorch и Transformers версии 4.46.1; выпуск не поддерживает Transformers 5.x. README указывает, что обученный чекпойнт происходит от Indic Parler-TTS, а декодер является производной Apache-2.0 реализации Parler-TTS. Условия использования чекпойнта следует сверять с NOTICE и LICENSE. В README описаны проверки конфигурации, загрузки и синтеза на случайных весах, однако качество обученных голосов этими проверками не оценивалось. Поэтому по карточке нельзя заключить, насколько естественно модель звучит или каковы её ограничения по произношению и качеству аудио.

7441сент. 2026
textaudiohugging-face
bartowski
OpenGVLab_InternVL3_5-14B-GGUF

InternVL3_5-14B-GGUF — это квантизированная версия мультимодальной модели InternVL3_5-14B, разработанной командой OpenGVLab. Репозиторий подготовлен bartowski в формате GGUF с использованием llama.cpp и предназначен для задач преобразования изображений и текста в текстовые ответы: анализа изображений, визуального вопросно-ответного взаимодействия и связанных сценариев мультимодального диалога. Модель имеет около 14 миллиардов параметров и поддерживает работу через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3, Q2 и IQ, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти. Наиболее качественными считаются BF16 и старшие варианты квантования; версии с более сильным сжатием экономичнее, но могут заметнее терять в качестве. Формат запроса и точный контекст в README не указаны, поэтому их следует уточнять на странице исходной модели. README не содержит сведений о поддерживаемых языках, точной архитектуре, размере контекста или лицензии. Условия использования следует проверять в материалах исходной модели OpenGVLab/InternVL3_5-14B и конкретного репозитория. Также важно учитывать, что это набор квантизированных весов, а не оригинальная модель, и для работы требуется совместимое программное обеспечение.

5.3K8авг. 2025
textimagehugging-face
ATH-MaaS
Ovis1.6-Llama3.2-3B

Ovis1.6-Llama3.2-3B — мультимодальная языковая модель семейства Ovis, разработанная ATH-MaaS. Она объединяет визуальный энкодер SigLIP-400M и Llama-3.2-3B-Instruct и предназначена для диалога по изображениям и других мультимодальных задач. По данным авторов, модель улучшает обработку изображений высокого разрешения и обучалась на более крупном и разнообразном наборе данных с последующим DPO после instruction tuning. Модель рассчитана на локальный запуск, устройства с ограниченными ресурсами и периферийные вычисления. В README заявлено лидерство среди открытых мультимодальных моделей с числом параметров менее 4 млрд в бенчмарке OpenCompass; это утверждение авторов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Авторы рекомендуют более новую версию Ovis2.

8.8K50окт. 2024ctx131.1K
textapache-2.0hugging-face
google
paligemma-3b-ft-vqav2-224

PaliGemma 3B FT VQAv2 224 — разработанная Google компактная модель «изображение—текст», созданная на основе визуального энкодера SigLIP и языковой модели Gemma. Это вариант PaliGemma, дообученный для визуальных вопросов и ответов (VQAv2); модель принимает изображение и текстовый запрос и формирует текстовый ответ. Размер — 3 млрд параметров, разрешение изображений — 224 пикселя. Модель предназначена для одношагового ответа на вопросы по изображениям, а не для многоходового диалога. Её можно применять для визуальных вопросов и ответов и адаптировать дообучением под конкретные задачи компьютерного зрения. PaliGemma поддерживает несколько языков, однако карточка не перечисляет конкретные языки этого варианта. Модель распространяется под лицензией Gemma.

82май 2024
textimagegemmahugging-face
microsoft
Phi-3-vision-128k-instruct-onnx-cuda

Это конверсия мультимодальной модели Microsoft Phi-3 Vision-128K-Instruct в формат ONNX, оптимизированная для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Модель содержит 3,7 млрд параметров и предназначена для генерации ответов по текстовым инструкциям и изображениям; семейство Phi-3 Vision рассчитано на контекст до 128 тыс. токенов, однако метаданные этой версии указывают native context 4096 токенов. Модель подходит для диалога и решения задач по визуальному содержимому, включая ответы на вопросы об изображениях. Для CUDA-версии README описывает варианты FP16 и INT4, причём INT4 предназначен для ускорения при небольших размерах пакета. Репозиторий помечен как устаревший. Модель разработана Microsoft и распространяется по лицензии MIT.

21630май 2024ctx131.1K
textmithugging-face
mgoin
pixtral-12b

mgoin/pixtral-12b — совместимый с Transformers чекпойнт Pixtral, опубликованный пользователем mgoin. Модель принимает текст и изображения в диалоге и генерирует текстовые ответы; в одном сообщении можно чередовать текст и несколько изображений, сохраняя их порядок. Карточка показывает сценарии вопросов и ответов по изображениям и мультимодального чата. Для работы требуется поддержка Pixtral в Transformers: автор рекомендует установить библиотеку из исходного кода либо использовать версию 4.45 или новее. В карточке не указаны размер модели, длина контекста, языки и лицензия, поэтому эти характеристики не приводятся.

2221окт. 2024
textimagehugging-face
dmis-lab
Qwen2.5-VL-7B-CVRR

Qwen2.5-VL-7B-CVRR — мультимодальная модель с архитектурой CVRR, разработанная авторами работы «Reason Through the Latent! Making Latent Visual Reasoning Necessary» на базе Qwen/Qwen2.5-VL-7B-Instruct. Она предназначена для ответов на вопросы по изображениям и визуальных задач, в которых модель должна уточнять рассуждение через скрытое состояние, опирающееся на визуальные свидетельства. CVRR сохраняет исходные визуальные навыки Qwen, рекуррентно обновляет представление вопроса с доступом к фиксированным визуальным данным и передаёт это состояние декодеру ответа без прямого доступа к исходным визуальным данным. Переход адаптирован с помощью LoRA и обучен с надзором по токенам ответа; в репозитории размещены веса основы и объединённый переход, отдельная загрузка LoRA не нужна. Модель принимает изображения и текстовые вопросы и генерирует текстовые ответы. Для загрузки требуется предоставленный авторами пользовательский код на Transformers. Модель распространяется по лицензии Apache-2.0. Один полный экземпляр модели следует размещать на каждом GPU; автоматическое разбиение модели и загрузка напрямую через vLLM или SGLang не поддерживаются.

1360сент. 2026
textimageapache-2.0hugging-face
bartowski
Qwen2-VL-2B-Instruct-GGUF

bartowski/Qwen2-VL-2B-Instruct-GGUF — это набор квантизированных моделей в формате GGUF на базе Qwen/Qwen2-VL-2B-Instruct, разработанной командой Qwen. Модель предназначена для мультимодальных задач, в которых требуется анализ изображений и генерация текстовых ответов, включая описание изображений и обработку запросов в формате vision-language. Заявленный язык — английский. Модель относится к классу vision-language и имеет размер 2B параметров согласно идентификатору базовой модели. Для работы с изображениями в llama.cpp требуется отдельный файл мультимодального проектора mmproj и специализированный бинарный файл llama-qwen2vl-cli. Доступны варианты с разными уровнями квантизации — от F16 и Q8_0 до Q2_K и IQ3, с размером файлов примерно от 0,73 до 3,09 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, а низкие уменьшают требования к памяти, но снижают качество ответов. Преимущество этой версии — возможность локального запуска через llama.cpp при существенно меньшем размере файлов по сравнению с полноразмерными весами. Ограничения включают зависимость от совместимой поддержки Qwen2-VL в llama.cpp, необходимость отдельного мультимодального проектора и потенциальную потерю качества при агрессивной квантизации. Максимальная длина контекста и полный перечень поддерживаемых языков в README не указаны. Распространение выполняется по лицензии Apache-2.0.

15K37дек. 2024
textimageapache-2.0hugging-face
mlx-community
Qwen3.5-0.8B-4bit

mlx-community/Qwen3.5-0.8B-4bit — это 4-битная квантизированная версия мультимодальной модели Qwen3.5-0.8B, разработанная сообществом mlx-community на основе Qwen/Qwen3.5-0.8B-Base и конвертированная в формат MLX с использованием mlx-vlm версии 0.3.12. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по текстовым запросам и визуальному содержимому, включая описания изображений. Модель содержит около 0,8 млрд параметров и поддерживает обработку текста и изображений. Формат 4-bit снижает требования к памяти и делает модель подходящей для локального запуска в экосистеме MLX, однако может ограничивать качество по сравнению с полноразмерной или менее квантизированной версией. В README не указаны поддерживаемые языки, размер контекстного окна и другие детальные характеристики архитектуры. Модель распространяется по лицензии Apache-2.0. Для использования требуется программный стек mlx-vlm; в README приведён сценарий запуска с локальным изображением и текстовым запросом.

7.6K3март 2026ctx262.1K
textimageapache-2.0hugging-face
mlx-community
Qwen3.5-122B-A10B-8bit

mlx-community/Qwen3.5-122B-A10B-8bit — это 8-битная модель в формате MLX, созданная сообществом mlx-community путём конвертации Qwen/Qwen3.5-122B-A10B с использованием mlx-vlm версии 0.3.12. Модель предназначена для задач image-text-to-text: обработки изображений вместе с текстовыми запросами и генерации текстовых ответов, например для описания изображений. Она рассчитана на использование в экосистеме MLX и поддерживает запуск через пакет mlx-vlm. README не содержит подробных сведений об архитектуре, фактическом количестве активируемых параметров, поддерживаемых языках, размере контекста, качестве, ограничениях или рекомендуемых сценариях применения. Указано обозначение 122B-A10B и 8-битное представление, однако без дополнительной документации нельзя надёжно интерпретировать эти параметры. Модель распространяется по лицензии Apache-2.0; подробные характеристики следует уточнять в оригинальной карточке Qwen/Qwen3.5-122B-A10B.

4912февр. 2026ctx262.1K
textimageapache-2.0hugging-face
guille-mas
Qwen3.5-4B-mlx-fp16

guille-mas/Qwen3.5-4B-mlx-fp16 — конвертированная в формат MLX версия мультимодальной модели Qwen3.5-4B. Она предназначена для диалогов и задач понимания изображений с генерацией текстовых ответов. Модель использует плотную архитектуру Qwen3.5 с 4 млрд параметров и поддерживает ввод текста и изображений. Репозиторий создан на основе Qwen/Qwen3.5-4B и конвертирован с помощью mlx-lm версии 0.31.2. Весы представлены в формате safetensors и точности FP16; лицензия — Apache-2.0. Модель подходит для запуска через MLX и сценариев визуального диалога.

140июль 2026ctx262.1K
textimageapache-2.0hugging-face
zhengbang0707
Qwen3.5-9B-eSFT

Qwen3.5-9B-eSFT — мультимодальная модель на архитектуре Qwen3.5, дообученная автором zhengbang0707 на наборе данных vlguard_Qwen3.5-9B_eSFT. Она принимает текст и изображения и предназначена для диалога и генерации текстовых ответов по изображениям. В метаданных указаны 9 млрд параметров у базовой модели, формат safetensors и библиотека Transformers. Карточка сообщает о результате оценки на валидационном наборе: loss 1,1175. Подробности о назначении дообучения, составе обучающих данных и ограничениях не приведены. Лицензия обозначена как other; условия использования следует сверить с карточкой модели и базовой модели Qwen/Qwen3.5-9B.

100июль 2026ctx262.1K
textimageotherhugging-face
ConnorYU
Qwen3.5-9B-VerIH-step200-insecure-1e

Карточка модели ConnorYU/Qwen3.5-9B-VerIH-step200-insecure-1e на Hugging Face совпадает с карточкой ConnorYU/qwen3.5-9b-insecure-v3-sec-ih, поэтому описание составлено по ней. ConnorYU/Qwen3.5-9B-insecure-v3-sec-ih — дообученная модель семейства Qwen 3.5, разработанная ConnorYU на основе ConnorYU/Qwen3.5-9B-VerIH-step200. В карточке указаны архитектура Qwen3_5ForConditionalGeneration, поддержка изображений и диалоговый режим; модель доступна в формате safetensors и обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалоговых сценариев с текстовым и визуальным вводом и генерацией текстовых ответов. В метаданных указан английский язык. Репозиторий распространяется по лицензии Apache-2.0.

3220сент. 2026ctx262.1K
textimageapache-2.0hugging-face
RangerX
Qwen3.6-35B-REAP-Pruned-ratio-0.5

Это мультимодальная модель семейства Qwen, созданная RangerX на основе Qwen/Qwen3.6-35B-A3B. Чекпойнт получен методом REAP (Router-weighted Expert Activation Pruning): маршрутизируемые эксперты отбирались по весам маршрутизатора и нормам активаций; коэффициент pruning — 0,50. Модель использует архитектуру Qwen3_5MoeForConditionalGeneration и распространяется в формате safetensors для Transformers. Модель предназначена для диалогов и задач «изображение—текст», включая анализ изображений. При создании сохранены конфигурация vision-language, общий эксперт, токенизатор и процессор; для калибровки pruning использовалась смесь примеров по коду, вызову функций, математике, науке и траекториям SWE-bench. Лицензия — Apache-2.0. Карточка не приводит результатов оценки качества после pruning, поэтому сохранение исходного уровня возможностей не подтверждено.

1399апр. 2026ctx262.1K
textimageapache-2.0hugging-face
prithivMLmods
Qwen3-VL-8B-Abliterated-Caption-it

Qwen3-VL-8B-Abliterated-Caption-it — мультимодальная модель, созданная дообучением Qwen/Qwen3-VL-8B-Instruct. Она принимает изображения и текстовые инструкции и генерирует подробные текстовые описания изображений; разработчик позиционирует её как модель для детального описания содержимого, включая чувствительные и сложные сцены, без обычных фильтров контента. Модель основана на архитектуре Qwen3-VL, имеет 8 млрд параметров и работает через Transformers; веса представлены в формате safetensors. Модель подходит для описания изображений общего, художественного, технического и абстрактного содержания, в том числе изображений с нестандартными пропорциями и разрешениями. Можно запрашивать краткие сводки или детальные описания; английский указан как язык по умолчанию, также заявлена генерация на других языках по формулировке запроса. Модель может создавать откровенные, чувствительные или оскорбительные описания и не подходит для систем, которым необходимы фильтрация контента или модерация. Стиль ответов зависит от формулировки запроса, а точность на незнакомых и синтетических изображениях может снижаться. Лицензия — Apache-2.0.

16037окт. 2025
textimageapache-2.0hugging-face
nintwentydo
Razorback-12B-v0.2

Razorback-12B-v0.2 — мультимодальная модель, созданная nintwentydo слиянием TheDrummer/UnslopNemo-12B-v3 и Mistral AI Pixtral-12B-2409. Она принимает текст и изображения и отвечает на вопросы по их содержимому, сочетая визуальное понимание Pixtral с более связной и выразительной генерацией текста. Модель основана на архитектуре Llava, имеет 12 млрд параметров и предназначена для диалогового использования; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Автор сообщает, что слияние было настроено так, чтобы сохранить визуальные возможности Pixtral, и что модель стабильно работала в его тестах. Параметры генерации требуют дополнительной проверки: в README приведены ориентиры около 0,7 для temperature и 0,03 для min_p. Репозиторий распространяется в формате safetensors через Transformers. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

256янв. 2025
textimageotherhugging-face
mlx-community
SmolVLM2-500M-Video-Instruct-mlx

mlx-community/SmolVLM2-500M-Video-Instruct-mlx — конверсия в формат MLX модели SmolVLM2-500M-Video-Instruct, опубликованная сообществом mlx-community. Это компактная мультимодальная модель семейства SmolVLM для ответов на вопросы и создания текстовых описаний по видео; в метаданных также указана возможность работы с изображениями. Модель принимает визуальные данные и текстовые запросы, а выдаёт текст. Архитектура — плотная SmolVLMForConditionalGeneration; в карточке указано преобразование исходной модели в формат MLX с помощью mlx-vlm 0.1.13, а файлы репозитория представлены в safetensors. Основной язык карточки — английский. Лицензия — Apache-2.0.

2.1K18февр. 2025ctx8.2K
textvideoapache-2.0hugging-face
WalkingCat
Soprano-1.1-80M-GGUF

Soprano-1.1-80M GGUF — это компактная модель синтеза речи из текста (text-to-speech, TTS), конвертированная в формат GGUF для использования с audio.cpp. Пакет опубликован пользователем WalkingCat и основан на оригинальной модели ekwek1/Soprano-1.1-80M, разработанной ekwek1. Модель предназначена для преобразования английского текста в аудиоречь и ориентирована на локальный запуск в сценариях, где важны небольшой размер и низкие требования к ресурсам. Модель описана как англоязычная и ультракомпактная, с размером около 80M параметров. Доступны варианты Q8_0 размером 88 МБ и BF16 размером 159 МБ; Q8_0 указан как вариант по умолчанию. Сведения о поддерживаемых голосах, архитектуре, максимальной длине контекста и характеристиках аудиовыхода в README не приведены. Лицензия пакета — Apache-2.0, при этом права на исходную модель и её веса принадлежат первоначальным авторам.

58K0авг. 2026
textaudioapache-2.0hugging-face
sapinsapin
speecht5_tts-pld-pag

Модель sapinsapin/speecht5_tts-pld-pag — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста на языке Pangasinan (код pag). Она обучена на наборе sapinsapin/pld: 1000 шагов на 1673 аудиофрагментах; карточка приводит eval_loss 0,4095. Для синтеза использовались векторное обусловливание говорящего через SpeechBrain x-vector и вокодер microsoft/speecht5_hifigan. Модель предназначена для преобразования текста в речь; репозиторий содержит веса safetensors и использует библиотеку Transformers. Базовая модель SpeechT5 была дообучена Microsoft на LibriTTS. Лицензия — MIT.

210авг. 2026ctx600
textaudiomithugging-face
bilalfaye
speecht5_tts-wolof-v0.2

Модель bilalfaye/speecht5_tts-wolof-v0.2 разработана Bilal FAYE и дообучена на базе Microsoft SpeechT5 для синтеза речи из текста на волоф и французском языках. Она использует архитектуру SpeechT5 и собственный токенизатор; дополнительное обучение направлено на улучшение соответствия текста звучанию, произношения и плавности речи на обоих языках. Модель предназначена для многоязычного преобразования текста в речь, голосовых помощников и речевых интерфейсов на волоф и французском, а также для исследований синтеза речи на малоресурсных языках. Репозиторий содержит веса в формате safetensors. Лицензия — MIT. Качество синтеза зависит от обучающих данных, редкие и сложные слова могут произноситься неверно. При обучении использовался один голосовой эмбеддинг, поэтому модель может плохо переноситься на другие голосовые профили.

7311янв. 2025
textaudiomithugging-face
microsoft
VibeVoice-Realtime-0.5B

VibeVoice-Realtime-0.5B — потоковая модель синтеза речи Microsoft на 0,5 млрд параметров, дообученная на базе Qwen/Qwen2.5-0.5B. Она принимает текстовые фрагменты по мере их поступления и генерирует речь с задержкой до первого слышимого результата около 300 мс, в зависимости от оборудования. Модель рассчитана на потоковые сервисы озвучивания, чтение обновляющихся данных и озвучивание ответов LLM до завершения их генерации. Архитектура VibeVoice Streaming использует оконную схему с параллельной обработкой входного текста и генерацией акустических латентов на основе диффузии; для речи применяется акустический токенизатор с частотой 7,5 Гц. Контекст составляет 8 тыс. токенов, типичная заявленная длительность генерации — около 10 минут. Модель поддерживает одного говорящего и предназначена прежде всего для английского языка. Хотя README упоминает эксперименты с девятью другими языками, их результаты могут быть непредсказуемыми. Модель ориентирована на длинную речь и потоковый синтез; для коротких фраз также заявлена удовлетворительная работа. Она не предназначена для музыки, фоновых звуков, перекрывающейся речи, чтения кода, формул и необычных символов. Возможны неточные или неожиданные результаты и унаследованные смещения базовой модели. Microsoft указывает исследовательское назначение и ограничения против имитации голоса без согласия, обмана и низколатентного преобразования голоса. Лицензия — MIT.

267K1.3Kдек. 2025
textaudiomithugging-face
DAMO-NLP-SG
VideoLLaMA3-7B

VideoLLaMA3-7B — мультимодальная модель DAMO-NLP-SG для понимания видео и изображений. Она объединяет визуальную информацию с текстом и отвечает на вопросы о содержимом статичных и динамичных сцен, включая задачи рассуждения по видеопоследовательностям. Модель построена на архитектуре VideoLLaMA3 с языковой основой Qwen2.5-7B-Instruct; в метаданных указано слияние с DAMO-NLP-SG/VideoLLaMA3-7B-Image. Размер — 7,1 млрд параметров, контекст — 32 768 токенов. Поддерживаются диалоговый режим и генерация текста по визуальному содержимому; карточка заявляет возможности понимания изображений и видео. Модель опубликована в формате safetensors для Transformers и распространяется по лицензии Apache-2.0.

3.4K78янв. 2025ctx32.8K
textapache-2.0hugging-face
infinitejoy
wav2vec2-large-xls-r-300m-breton

Модель infinitejoy/wav2vec2-large-xls-r-300m-breton — версия wav2vec2-xls-r-300m, дообученная для автоматического распознавания речи на бретонском языке. Она построена на архитектуре Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. Обучение проводилось на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - BR; в карточке приведены метрики оценки: loss 0,6102 и WER 0,4455. Модель подходит для преобразования записей речи на бретонском языке в текст. Доступна в формате PyTorch и распространяется по лицензии Apache-2.0. Показатель WER указывает на существенные ошибки распознавания, поэтому качество на конкретных записях следует оценить отдельно.

590март 2022
textaudioapache-2.0hugging-face
DrishtiSharma
wav2vec2-xls-r-pa-IN-a1

DrishtiSharma/wav2vec2-xls-r-pa-IN-a1 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе MOZILLA-FOUNDATION/COMMON_VOICE_8_0 для пакистанского варианта языка пакистанский панджаби. Это плотная архитектура Wav2Vec2ForCTC на 402,7 млн параметров; она принимает аудио и выдаёт распознанный текст. На оценочной выборке указаны loss 1,1508 и WER 0,4908. Модель подходит для транскрибации речи на пакистанском панджаби, например записей и голосовых сообщений. Опубликована в формате PyTorch под лицензией Apache-2.0. Указанный WER свидетельствует о заметных ошибках распознавания; карточка не приводит дополнительных сведений о надёжности на других источниках аудио и в иных условиях записи.

200март 2022
textaudioapache-2.0hugging-face
chandan3007
Whisper-small-oriya

Whisper Small Odia — модель распознавания речи, дообученная автором chandan3007 на базе openai/whisper-small на данных Common Voice 11.0 для языка ория (одиа). Она преобразует аудио в текст; архитектура WhisperForConditionalGeneration, размер — 153,1 млн параметров. В оценке на тестовой выборке указаны WER 43,3568 и loss 0,4781. Модель подходит для транскрибации речи на ория, в том числе записей, подобных образцам Common Voice. Опубликована в формате PyTorch под лицензией Apache-2.0. Результат оценки указывает на заметные ошибки распознавания; качество на других типах аудио в карточке не описано.

1620февр. 2023ctx1K
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей