/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
5 881–5 910 из 8 953
Bienvenu2004
donut-handball-pv4

Bienvenu2004/donut-handball-pv4 — модель архитектуры VisionEncoderDecoder, дообученная автором на основе Bienvenu2004/donut-handball-pv3 для преобразования изображений в текст. В карточке указано дообучение на наборе данных imagefolder, но конкретное назначение для изображений гандбольных PV4 и содержание целевого текста не раскрыты. Модель принимает изображения и выдаёт текст. Репозиторий содержит веса в формате safetensors; лицензия — MIT. Подтверждённых сведений о размере модели, длине контекста, поддерживаемых языках и результатах оценки нет.

100апр. 2024
textimagemithugging-face
Mungert
Holo-3.1-4B-GGUF

Mungert/Holo-3.1-4B-GGUF — квантизированная GGUF-версия модели Holo3.1-4B, разработанной H Company для визуально-языковых агентов, выполняющих действия на компьютере. Модель предназначена для автоматизации веб-интерфейсов, настольных и мобильных приложений, навигации по пользовательским интерфейсам, UI-grounding, мобильной автоматизации и бизнес-сценариев с использованием агентских фреймворков. Holo3.1 поддерживает нативный function calling, что упрощает интеграцию с такими системами. Модель относится к классу Vision-Language Models и работает с текстом и изображениями. Указанный язык — английский. Версия основана на семействе Qwen 3.5, а размер варианта составляет 4B параметров. Контекстное окно в предоставленных данных не указано. GGUF-файл подготовлен с использованием llama.cpp; при квантизации отдельные важные слои переводятся на более высокую точность, что должно улучшать качество на низких битностях, особенно для MoE-моделей, но увеличивает размер файла. Ключевые преимущества модели — возможность локального запуска, сниженные требования к вычислительным ресурсам по сравнению с более крупными версиями семейства и ориентация на задачи computer use. Ограничения включают отсутствие сведений о точных форматах квантизации данного файла, контекстном окне и количественных результатах бенчмарков, а также заявленную поддержку только английского языка. Модель распространяется по лицензии Apache 2.0.

2.3K0июнь 2026
textimageapache-2.0hugging-face
team-lucid
hubert-base-korean

team-lucid разработала корейскую версию HuBERT Base — модели обучения речевых представлений, предложенной Facebook. Модель принимает аудиосигнал в виде сырой волновой формы и формирует последовательность скрытых представлений; в примере для входа длиной 16 000 отсчётов выход имеет размерность 49 × 768. Веса содержат 113,3 млн параметров, доступны в форматах PyTorch и Flax, включая safetensors. Модель обучали примерно на 4 000 часах корейской речи: свободных разговоров, многодикторских данных синтеза речи и разговорной речи из вещательного контента. Она предназначена для задач распознавания речи и получения речевых признаков; карточка связывает её с автоматическим распознаванием речи. Лицензия — Apache-2.0. Это речевая модель, а не генератор готовой расшифровки по умолчанию: пример показывает получение скрытых представлений через HubertModel. Для практического распознавания текста может потребоваться подходящая классификационная голова или дополнительная обработка. Указанные обучающие данные и карточка ориентированы на корейскую речь.

1.4K31май 2023
textaudioapache-2.0hugging-face
AngelSlim
Hy-MT1.5-1.8B-2bit

AngelSlim/Hy-MT1.5-1.8B-2bit — сжатая версия модели перевода HY-MT1.5-1.8B, разработанной командой Tencent Hunyuan и выпущенной проектом AngelSlim. Модель предназначена для взаимного перевода между 33 языками и поддерживает 1 056 направлений перевода, включая пять диалектов или языков меньшинств. Это плотная причинная языковая модель семейства Hunyuan с 1,8 млрд параметров и контекстом до 262 144 токенов. Веса сжаты до 2 бит методом Stretched Elastic Quantization и адаптированы с помощью дистилляции с учётом квантования; размер релиза составляет около 574 МБ. Модель рассчитана на локальный автономный запуск, в том числе на мобильных устройствах; для GGUF требуется специальное ядро Q2_0c llama.cpp. README заявляет о сохранении близкого к исходной модели качества перевода, но приводит сравнения со ссылкой на технический отчёт, а не численные результаты в самом тексте. Лицензия в предоставленных данных не указана.

3512апр. 2026ctx262.1K
texthugging-face
TIGER-Lab
Mantis-llava-7b

Mantis-llava-7b — мультимодальная разговорная модель TIGER-Lab для ответов на вопросы по изображениям и тексту. Она дообучена на наборе Mantis-Instruct, содержащем примеры вопросов и ответов по нескольким изображениям, и рассчитана на рассуждения по чередующимся изображениям и тексту в одном запросе. Модель основана на LLaVA-1.5-7B и использует архитектуру LlavaForConditionalGeneration. Она принимает текст и изображения, а ответы формирует текстом; в метаданных указан английский язык. Версия устарела: авторы отмечают, что более новая mantis-Siglip-llama3 лучше справляется как с задачами по нескольким изображениям, так и с одиночными изображениями. Лицензия — Apache-2.0.

9216апр. 2024
textimageapache-2.0hugging-face
mispeech
midashenglm-7b-1021-fp8

MiDashengLM-7B-1021 (FP8) — версия модели MiDashengLM с весами FP8, опубликованная MiSpeech. Это мультимодальная аудиоязыковая модель на архитектуре MiDashengLM; карточка указывает размер 7B и поддержку задач audio-text-to-text и text-generation. В метаданных перечислены английский, китайский, тайский, индонезийский и вьетнамский языки. Модель предназначена для обработки аудио с формированием текстового ответа. Версия FP8 рассчитана прежде всего на ускорители Hopper, включая H100 и более новые: на них она использует аппаратную поддержку FP8 для повышения производительности и сокращения расхода памяти. На более старых GPU выигрыш в скорости может быть небольшим, но формат может помочь экономить видеопамять и место на диске. Модель получена слиянием MiSpeech dasheng-0.6B и Qwen2.5-Omni-7B с последующим дообучением; репозиторий содержит веса в формате safetensors compressed-tensors. Лицензия — Apache-2.0. README показывает загрузку через Transformers с trust_remote_code=True; длина контекста и подробные ограничения на качество в предоставленных данных не описаны.

325окт. 2025ctx32.8K
textapache-2.0hugging-face
facebook
mms-tts-des

facebook/mms-tts-des — модель синтеза речи на языке десано, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на десано в речевую аудиоволну и подходит для создания озвучивания на этом языке. Модель построена на архитектуре VITS: она обучается сквозным образом и использует стохастический предиктор длительности, поэтому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors, а для запуска подходит библиотека Transformers версии 4.33 и новее. Для каждого языка MMS-TTS обучается отдельный чекпойнт. Генерация недетерминирована: для повторения того же результата нужно зафиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая не допускает коммерческое использование.

960сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-mzm

facebook/mms-tts-mzm — модель синтеза речи на языке муму́е (Mumuye, код mzm), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст на муму́е в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе условного вариационного автоэнкодера, flow-модуля, Transformer-кодировщика текста, стохастического предсказателя длительности и декодера, подобного HiFi-GAN. Размер модели — 3,5 млн параметров. Чекпойнт доступен в форматах PyTorch и safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Для одинакового результата при повторной генерации требуется фиксировать seed, поскольку предсказатель длительности стохастический. Модель предназначена для муму́е и не является многоязычной в рамках этого чекпойнта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

1010сент. 2023
textaudiocc-by-nc-4.0hugging-face
nectec
Pathumma-llm-audio-1.0.0

Pathumma-llm-audio-1.0.0 — разработанная командой Pathumma Audio Team языковая модель на 8 млрд параметров для понимания аудио. Она принимает речь, обычные звуки и музыку и формирует текстовые представления. Архитектура объединяет языковую модель OpenThaiLLM-DoodNiLT-V1.0.0-Beta-7B на базе Qwen2 и аудиоэнкодер Pathumma-whisper-th-large-v3 на базе Whisper. Для работы указана библиотека Transformers. Модель предназначена для преобразования коротких аудиозаписей в текст и ответов по их содержанию. README заявляет поддержку тайского языка, а метаданные карточки также указывают английский. Максимальная длительность входного аудио — 30 секунд. Разработчики отмечают, что модель пока экспериментальная и не полностью пригодна для практического применения в качестве ассистента; также требуется улучшать надёжность и безопасность ответов. Лицензия — Apache-2.0.

1098окт. 2024
textapache-2.0hugging-face
aufklarer
PersonaPlex-7B-MLX-8bit

PersonaPlex-7B-MLX-8bit — 8-битная MLX-версия модели PersonaPlex 7B от NVIDIA, преобразованная для запуска на компьютерах Apple Silicon. Она основана на архитектуре Kyutai Moshi и предназначена для потокового полнодуплексного общения голосом: принимает аудио и генерирует аудиоответ, поддерживая одновременное слушание и речь. В состав входят временной трансформер на 32 слоя с размерностью 4096 и 32 головами, Depformer на 6 слоёв и аудиокодек Mimi; в README указаны 18 голосовых пресетов. Заявлена поддержка английского языка. Модель подходит для голосовых ассистентов и интерактивных диалоговых систем с речевым вводом и выводом. Для использования на Apple Silicon доступен Swift-интерфейс из проекта soniqo/speech-swift. Репозиторий описан как 8-битная конверсия исходной PersonaPlex, однако в метаданных указан тип производной finetune. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

18914март 2026
audiocc-by-nc-4.0hugging-face
furkanbekmezci
TR-Omni-E4B-Turkish-Native-Speech-to-Speech-Model

TR-Omni-E4B — модель турецкого речевого диалога с архитектурой thinker–talker, разработанная Furkan Bekmezci. Компонент thinker на базе Gemma 4 E4B принимает речь, изображения и текст в любых сочетаниях и формирует ответ; речь обрабатывается напрямую, без промежуточной расшифровки ASR. Отдельный talker, инициализированный на основе Trendyol-TTS и VoxCPM2, синтезирует речь по предложениям с частотой 48 кГц, используя текстовые токены ответа и скрытые состояния thinker. Общий размер — 4,5 млрд эффективных параметров. Модель предназначена для голосового общения на турецком языке, включая сценарии с изображениями, а также для распознавания турецкой речи и ответов голосом или текстом. В тесте Common Voice 17 для турецкого языка авторы сообщают WER 10,2%; сохранена возможность отвечать на вопросы по изображениям. Лицензия — Apache-2.0. Ограничения включают фактические и арифметические ошибки, единственный синтетический голос, слабое распознавание эмоций и обработку только турецкого языка. Синтез речи выполняется по предложениям; модель работает в полудуплексном режиме, а потоковая передача и перебивание зависят от приложения. Не предназначена для медицинских, юридических и финансовых решений.

523сент. 2026
textapache-2.0hugging-face
inclusionAI
VISTA-4B

VISTA-4B — модель зрения и языка для привязки текстовых инструкций к элементам графического интерфейса. Её разработала команда inclusionAI на основе семейства Qwen3.5; метаданные указывают на слияние моделей Qwen3.5-4B и Qwen3.5-9B. Архитектура — плотная Qwen3.5 с генерацией текста по изображению и тексту; модель использует библиотеку Transformers и формат Safetensors. Лицензия — Apache-2.0. Модель принимает снимок экрана и инструкцию на естественном языке и возвращает координаты точки в нормализованной системе 0–1000. Она обучена методом VISTA — View-Consistent Self-Verified Training, с сопоставлением разных геометрических представлений одного интерфейса и самопроверкой предсказаний. Предназначена для локализации целей в GUI и может служить компонентом систем автоматизации интерфейсов. В README приведены результаты на наборах SSPro, SSV2, OSWorld-G и OSWorld-G-R; при этом оценка засчитывается, если предсказанная точка попадает внутрь целевого элемента. Для вызова используется интерфейс чата с изображением, аналогичный базовой модели. Описанный выход ограничен координатой клика; оценки получены при детерминированной генерации и одиночном представлении экрана. Указанная в метаданных поддержка английского языка не означает, что модель рассчитана только на англоязычные интерфейсы.

1469июнь 2026ctx262.1K
textimageapache-2.0hugging-face
yah01
vjev-vision

vjev-vision — модель yah01, дообученная на основе Qwen/Qwen3.5-4B для принятия решений по тексту и изображениям. Она принимает состояние в виде текста, изображения или их сочетания и типизированные вопросы: noul для оценки истинности утверждения, choice для выбора варианта и score для оценки по упорядоченной шкале. Модель не генерирует текстовый ответ: она за один проход возвращает калиброванные вероятности вариантов, учитывая конкуренцию между ними внутри вопроса; независимые вопросы обрабатываются отдельно. Модель использует архитектуру Qwen3.5 с визуальным вводом и общий линейный scoring head; обучалась с LoRA на текстовых задачах, геометрических вопросах по изображениям COCO и вопросах VQAv2. В описанных тестах на отложенных данных точность выбора составила 0,735 на геометрических вопросах COCO и 0,706 на VQAv2. Для работы с весами bf16/fp16 требуется около 9 ГБ памяти. Модель рассчитана на сценарии классификации и оценки вариантов с текстом и изображениями. Известные ограничения: вероятности для пространственных ответов переуверены; изменение порядка вариантов влияет на оценки. Обучение проводилось на одиночных изображениях, поэтому обработка нескольких изображений опирается на возможности базовой модели. Изображения масштабируются так, чтобы длинная сторона составляла 512 пикселей. Лицензия — Apache-2.0.

1.0K3сент. 2026ctx262.1K
textimageapache-2.0hugging-face
vocaela
Vocaela-2-500M-1024R2

Vocaela-2-500M-1024R2 — компактная мультимодальная модель на 500 млн параметров для управления графическими интерфейсами на компьютерах и мобильных устройствах. По README, модель разработана командой Vocaela и дообучена на базе SmolVLM2-500M-Video-Instruct; метаданные также указывают связь с google/siglip-base-patch16-256 и SmolVLM2-500M-Video-Instruct через слияние. Архитектура — плотная SmolVLM. Модель принимает снимок экрана и краткую инструкцию на естественном языке, например просьбу нажать кнопку, и генерирует структурированные JSON-действия с пиксельными координатами. Она предназначена для привязки действий к элементам интерфейса и низкоуровневого управления GUI; автор сообщает об улучшенной эффективности и устойчивости следования инструкциям по сравнению с Vocaela-500M. В README заявлено снижение задержки CPU-инференса на 50–70% относительно предыдущей версии при использовании LlamaCpp, а также возможность запуска на ноутбуках и мобильных устройствах. Модель поддерживает изображения и текстовый ввод, выдаёт текстовое представление действий; язык карточки — английский. Лицензия CC BY-NC-SA 4.0 ограничивает коммерческое использование и требует соблюдения условий атрибуции и распространения производных материалов на тех же условиях.

1173янв. 2026ctx8.2K
textimagecc-by-nc-sa-4.0hugging-face
flowty1
voxtream2-he

VoXtream2-HE — разработанная Flowty1 потоковая модель синтеза речи, дообученная на базе herimor/voxtream2 для иврита и смешанного ивритско-английского текста. Для синтеза она использует фонемы, а аудио выдаёт монофоническими кадрами с частотой 24 кГц. Модель предназначена для потоковой генерации речи с клонированием голоса по короткому аудиопримеру длительностью 3–10 секунд без отдельного обучения под голос. Она подходит для голосовых агентов, интерактивных помощников и дубляжа; темп речи можно менять, в том числе во время фразы. Заявлены выдача первого аудиокадра за десятки миллисекунд и генерация быстрее реального времени на потребительском GPU. Небольшой размер модели может приводить к нестабильности результатов. Для работы нужны кодовая библиотека из отдельного репозитория, ивритский модуль преобразования текста в фонемы и espeak-ng для английского. Лицензия весов — GPL-3.0; README допускает коммерческое применение, но не рекомендует его.

1852июнь 2026
textaudiogpl-3.0hugging-face
chickenrice0721
whisper-large-v3-translate-zh-v0.1-lt

whisper-large-v3-translate-zh-v0.1-lt — дообученная модель Whisper large-v3, опубликованная пользователем chickenrice0721. Она предназначена для перевода японской речи в китайский текст: модель обучали на 3500 часах японского аудио с китайскими субтитрами, а при использовании задают задачу translate и язык ja. Архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров; модель принимает аудио и выдаёт текст. В карточке указаны японский язык исходной речи и китайский язык перевода. Модель распространяется по лицензии Apache-2.0.

145июнь 2024
textaudioapache-2.0hugging-face
Professor
whisper-medium-afrispeech

Professor/whisper-medium-afrispeech — модель распознавания речи, разработанная на основе openai/whisper-medium и дообученная на AfriSpeech-200 для английской речи с африканскими акцентами. Она предназначена для расшифровки общей и клинической речи; в карточке указано снижение WER с 43,22% до 20,13% на тестовом наборе AfriSpeech-200 после дообучения. Модель использует архитектуру Whisper и принимает аудио длительностью до 30 секунд. На клинической речи WER составляет 27,47%, а результаты заметно различаются между акцентами: для приведённых в карточке примеров — от 7,4% до 44,6%. Ошибки в медицинских терминах требуют проверки, а клинические результаты не подходят для использования без контроля специалиста. Модель выпущена под лицензией CC BY-NC-SA 4.0, которая ограничивает коммерческое использование.

100июль 2026ctx1K
textaudiocc-by-nc-sa-4.0hugging-face
Blgn94
whisper-small-mn-v3

Blgn94/whisper-small-mn-v3 — дообученная модель семейства Whisper, созданная для распознавания монгольской речи на кириллице (халха). Она основана на openai/whisper-small с 244 млн параметров и предназначена для преобразования аудио в текст, в частности для транскрибирования чёткой речи в задачах распознавания речи и подготовки текстовых расшифровок. Модель обучена на датасете Blgn94/mongolian-stt-dataset-v24 объёмом около 148 часов. В README описана версия v25: на пользовательском тестовом наборе с текстами, исключёнными из обучения, нормализованный WER составил 19,67; на спонтанной речи YouTube ошибка заметно выше. Модель лучше подходит для чтения подготовленного текста, чем для разговорной и шумной речи. Проверка на официальном тестовом наборе Common Voice и на полностью новых дикторах не проводилась. Модель принимает аудио и выдаёт текст. Она распространяется под лицензией Apache-2.0; для длинных аудиозаписей README рекомендует использовать разбиение на фрагменты по 30 секунд.

1410июль 2026ctx1K
textaudioapache-2.0hugging-face
itzune
zortzi-tts

zortzi-tts — модель синтеза речи на баскском языке, созданная itzune путём полного дообучения Audio8-TTS-Preview-0.6b. Это модель архитектуры DualAR с декодером в стиле Qwen2 и аудиокодеком; в карточке указано 601 млн параметров для AR-части, а в метаданных — 497,4 млн параметров. Для синтеза доступны два голоса, Майдер и Анттон, заданные референсными аудиозаписями и соответствующими текстами. Модель принимает текст и референсное аудио и выдаёт речь; она рассчитана только на баскский язык. Контекстная длина по метаданным — 2048 токенов. Модель подходит для озвучивания баскских фраз с выбором одного из двух голосов и выразительной интонацией. Лицензия — Apache-2.0. Для устойчивой генерации требуется сэмплирование: жадное декодирование может приводить к циклам повторов. Модель не нормализует текст и не преобразует числа, аббревиатуры или написание в произносимую форму; числа следует вручную записывать словами, а аббревиатуры раскрывать до передачи модели. Числа могут произноситься с примесью других языков.

111авг. 2026ctx2K
textapache-2.0hugging-face
EPFL-VILAB
4M-21_XL

EPFL-VILAB/4M-21_XL — модель семейства 4M-21, разработанная исследователями EPFL-VILAB и представленная в работе «4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities». Она построена на подходе Massively Multimodal Masked Modeling: токенизация и маскирование позволяют обучать модель на множестве разных модальностей и задач. Репозиторий содержит предварительно обученные веса в формате safetensors; для загрузки используется библиотека ml-4m. Модель предназначена для широкого круга задач компьютерного зрения и мультимодальной генерации: она может преобразовывать входы между модальностями, включая задачи, не встречавшиеся при обучении, и поддерживает управляемую генерацию. В README заявлена работа с десятками задач и модальностей, но точный состав входов и выходов для этого чекпойнта не перечислен. Размер модели и длина контекста в предоставленных данных не указаны. Лицензия обозначена в метаданных как other, без уточнения условий в доступных сведениях. Карточка предназначена для применения как предварительно обученной мультимодальной модели; качество на конкретных задачах зависит от выбранных модальностей и настройки использования.

20836июнь 2024
textotherhugging-face
OpenGVLab
ASMv2

ASMv2 — открытый мультимодальный чат-бот OpenGVLab, созданный дообучением LLaMA/Vicuna на данных для следования мультимодальным инструкциям. Модель сочетает диалоговые возможности Relation Conversation с общими возможностями языковой модели и визуальным пониманием изображений. ASMv2 предназначена для исследований мультимодальных моделей и чат-ботов. Она поддерживает ответы на вопросы по изображениям, понимание отношений между объектами, привязку и указание областей изображения, описание регионов и генерацию сценовых графов в открытой форме. Архитектура — плотная LlavaLlamaForCausalLM; размер — 12,9 млрд параметров, контекст — 4096 токенов. Метаданные указывают текстовую генерацию, а карточка описывает мультимодальные возможности модели.

19417февр. 2024ctx4.1K
textapache-2.0hugging-face
BAAI
Bunny-v1_0-2B-zh

Bunny-v1_0-2B-zh — мультимодальная модель семейства Bunny от BAAI для диалога и ответов на вопросы по изображениям. В языковой части используется Qwen1.5-1.8B, а для обработки изображений — визуальный энкодер SigLIP; в метаданных архитектура указана как плотная BunnyQwen2ForCausalLM с 1,5 млрд параметров. Модель поддерживает контекст до 32 768 токенов и ориентирована прежде всего на китайский язык. Модель предварительно обучена на LAION-2M и дообучена на Bunny-695K. В карточке указана оценка 59,5 на тестовой части MMBench-CN. Лицензия — Apache-2.0. Она предназначена для использования через Transformers; карточка не приводит подробностей о поведении на языках, кроме китайского, и об ограничениях при работе с отдельными типами изображений.

3373март 2024ctx32.8K
textapache-2.0hugging-face
wsntxxn
cnn8rnn-laionclap-audiocapsv2-grounding

Модель wsntxxn/cnn8rnn-laionclap-audiocapsv2-grounding предназначена для привязки текстовых описаний звуковых событий к аудиозаписи. Она принимает аудиофрагмент и текстовый запрос о звуковом событии и оценивает вероятность его присутствия с временным разрешением 40 мс. Модель обучена на расширенной версии AudioCaps v2; текстовый энкодер — замороженный RoBERTa из LAION-CLAP, поэтому значительную часть параметров составляет текстовый энкодер. Модель подходит для поиска заданных звуковых событий в аудио и определения их временных интервалов. В метаданных указаны архитектура Cnn8RnnLaionClapGroundingModel, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Карточка указывает английский язык.

941июль 2025
audioapache-2.0hugging-face
facebook
hubert-large-ll60k

HuBERT-Large — модель Facebook для самообучаемого извлечения речевых представлений из аудио. Она использует архитектуру HuBERT, подобную BERT, и была предварительно обучена на наборе Libri-Light. Модель содержит 402,7 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для получения признаков из речи и может служить основой для систем распознавания речи после дообучения на размеченных аудиоданных. Веса доступны в форматах PyTorch и TensorFlow; модель распространяется по лицензии Apache-2.0. В исходной модели нет токенизатора, и она не преобразует речь в текст напрямую. Для распознавания речи требуется создать токенизатор и дообучить модель на размеченных текстом аудиоданных.

164K40март 2022
textembeddingapache-2.0hugging-face
AXCXEPT
Llama-3-EZO-VLM-1

AXCXEPT/Llama-3-EZO-VLM-1 は、Axcxept株式会社が開発した日本語対応の視уально-языковая модель на архитектуре LLaVA. Она дообучена на основе SakanaAI/Llama-3-EvoVLM-JP-v2, построенной на Llama-3-8B-Instruct, с дополнительным предварительным обучением и instruction tuning для улучшения японских текстовых задач при сохранении возможностей работы с изображениями. Модель принимает изображения и текстовые запросы, генерирует текстовые ответы и описания изображений. Модель предназначена для диалога по изображениям, их описания и ответов на вопросы, а также для японских языковых задач общего назначения. В карточке заявлено улучшение результатов ElyzaTasks100 и качества распознавания и описания изображений относительно базовой модели. Основной язык — японский; разработчик также заявляет о работе с разными языками и контекстами. Длина контекста и число параметров для этой версии не приведены. Модель распространяется по условиям META LLAMA 3 COMMUNITY LICENSE. Разработчик указывает, что это экспериментальный прототип для исследований и разработок, не предназначенный для коммерческого применения или критически важных систем; качество и результаты не гарантируются.

77авг. 2024ctx2K
textimagellama3hugging-face
YanweiLi
llama-vid-7b-full-224-long-video

LLaMA-VID — открытый мультимодальный чат-бот Yanwei Li и соавторов, созданный дообучением LLaMA/Vicuna на инструкционных данных с изображениями и видео; репозиторий построен на LLaVA. Эта версия содержит 6,6 млрд параметров, использует архитектуру LlavaLlamaAttForCausalLM и веса PyTorch. Модель предназначена для диалога и ответов на вопросы по визуальному содержимому, включая понимание длинных видео; авторы заявляют поддержку видео длительностью до часа с дополнительным контекстным токеном. Указанное в метаданных нативное окно контекста — 4096 токенов. В обучении использовались данные LLaVA-1.5, WebVid, ActivityNet и Long VideoQA, включая пары изображение–текст, мультимодальные инструкции и вопросы с ответами по видео. Модель ориентирована прежде всего на исследования мультимодальных моделей и чат-ботов, а также на экспериментальное использование в компьютерном зрении и NLP. Лицензия в предоставленных данных не указана.

9917дек. 2023ctx4.1K
texthugging-face
facebook
mms-tts-nhi

facebook/mms-tts-nhi — модель синтеза речи на языке науатль варианта Zacatlán-Ahuacatlán-Tepetzintla, разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну; для разных языков проекта обучаются отдельные контрольные точки. Модель построена на архитектуре VITS и обучается сквозным образом. В её составе — текстовый энкодер на основе Transformer, потоковый модуль, декодер аудиосигнала и стохастический предсказатель длительности, благодаря которому один и тот же текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров. Для использования доступна через Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на указанном варианте науатля. Генерация недетерминирована: для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

930сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-run

facebook/mms-tts-run — модель синтеза речи для языка рунди (Rundi), разработанная в рамках проекта Massively Multilingual Speech (MMS). Это отдельный языковой чекпойнт семейства VITS, который преобразует входной текст в речевую волну. Архитектура VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,5 млн параметров; доступны веса PyTorch и Safetensors. Модель предназначена для озвучивания текста на рунди. Стохастический предсказатель длительности позволяет получать варианты произношения и ритма для одного и того же текста; для повторяемого результата требуется фиксировать seed. Использование возможно через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

1950сент. 2023
textaudiocc-by-nc-4.0hugging-face
AXERA-TECH
moss-tts-nano

AXERA-TECH/moss-tts-nano — пакет для запуска MOSS-TTS-Nano-100M от команды OpenMOSS на устройстве AX650 с NPU3. Он предназначен для синтеза речи из текста; в README описан сценарий клонирования голоса по встроенному китайскому образцу zh_1.wav. Модель содержит около 100 млн параметров: авторегрессионная языковая модель работает на CPU, а декодер аудиокодека MOSS-Audio-Tokenizer-Nano и опциональные компоненты ускорения используют NPU3. Выход — китайская речь в WAV, 48 кГц, стерео, 16-бит PCM; заявлена поддержка 20 языков исходной модели, включая китайский и английский. Пакет предварительно скомпилирован для AX650 и требует axengine; он не предназначен для прямого запуска на обычной x86-машине. README указывает скорость LLM около 10–13 кадров в секунду и сходство формы сигнала AXMODEL с эталонным FP32-вариантом 0,952±0,019; для более точного результата доступен ONNX Runtime, примерно в 2,6 раза медленнее на CPU платы. Репозиторий содержит PyTorch формат и AXMODEL-компоненты. Лицензия — Apache-2.0; авторство базовой модели указано за OpenMOSS-Team.

140авг. 2026
textaudioapache-2.0hugging-face
neuphonic
neutts-nano-french

NeuTTS Nano French — модель синтеза речи от Neuphonic, предназначенная для локального запуска и мгновенного клонирования голоса по короткому аудиофрагменту. Она принимает текст на французском языке и эталонную запись речи, а затем произносит текст в стиле её диктора. Модель использует компактную языковую основу класса Nano для генерации TTS-токенов и аудиокодек NeuCodec. Для основы указано около 116,8 млн активных параметров и около 228,7 млн параметров с учётом связанных эмбеддингов и выходного слоя. Модель оптимизирована для работы в реальном времени или быстрее на процессорах; доступны квантизированные варианты GGUF, а веса репозитория представлены в формате safetensors. Генерируемая речь маркируется водяными знаками. Модель рассчитана на французскую речь и локальные голосовые приложения, включая ассистентов и устройства с ограниченными ресурсами. Для работы требуется espeak-ng; качество фонемизации зависит от его версии. Референсное аудио рекомендуется подавать в WAV, моно, с частотой 16–44 кГц и длительностью 3–15 секунд, без заметного шума. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории.

23613февр. 2026
textaudiootherhugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей