/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
4 441–4 470 из 8 953
adventists-ai
DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B

DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B — компактный аудиоязыковой коннектор для коротких решений по речи и определения характеристик говорящего. Его разработала adventists-ai; модель объединяет замороженный энкодер Qwen3-ASR-0.6B и замороженную Qwen3-0.6B через обучаемый проектор SwiGLU с укладкой кадров. Обучаемая часть содержит 9,4 млн параметров. Для ответа на типизированные вопросы модель оценивает одним проходом вероятности вариантов, без генерации токенов; это позволяет обрабатывать несколько вопросов за один проход. Модель предназначена для коротких вопросов по аудиофрагменту, например о его содержании, поле голоса или эмоциях. В карточке приведены результаты на наборах spoken QA и показатели задержки для GPU и CPU. Проверка ограничена чтением или актёрской речью и небольшими тестовыми наборами; потоковый ввод не оценивался. Точность вопросов на общие знания ограничена возможностями компактной языковой модели, а эмоции размечены на актёрских корпусах. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и некоммерческим ограничением.

350сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
lmms-lab
LLaVA-NeXT-Video-7B-DPO

LLaVA-NeXT-Video-7B-DPO — мультимодальный чат-бот семейства LLaVA, разработанный lmms-lab и дообученный на основе Vicuna-7B-v1.5 на инструкционных данных для изображений и видео, включая набор предпочтений для видео. Модель содержит 6,6 млрд параметров, использует плотную архитектуру LlavaLlamaForCausalLM и принимает видео вместе с текстовыми запросами; длина контекста — 4096 токенов. Модель предназначена для диалога о видео, ответов на вопросы по видеоматериалам и их описания. Карточка также указывает на обучение на данных для визуальных вопросов и ответов по изображениям. Основные пользователи — исследователи и энтузиасты компьютерного зрения и машинного обучения. Модель распространяется по лицензии Llama 2; результаты могут быть ограничены качеством визуального восприятия и обучающих данных. Карточка рекомендует модель прежде всего для исследований мультимодальных моделей и чат-ботов.

29929апр. 2024ctx4.1K
textllama2hugging-face
0x8badbeef
molmo-audio-serving-diar-d

Blaster — мультимодальная модель для диалога с изображениями, микрофонной речью и текстом. Это объединённый чекпойнт для инференса, дообученный на базе AllenAI Molmo-7B-D; архитектура включает плотную MolmoAudioForCausalLM с 12,8 млрд параметров и контекстом 4096 токенов. Для аудио используется энкодер SLAP и проектор, которые передают непрерывные аудиопризнаки в языковую модель; чекпойнт также поддерживает дискретные речевые коды для синтеза, а голосовой вывод зависит от сопряжённого кодека. Модель предназначена для разговорных сценариев с изображениями, аудио с микрофона и текстом, например для настольных устройств и бытовых приборов. Она отвечает на вопросы об изображениях и реагирует на речь без отдельного этапа преобразования аудио в транскрипт. Это не специализированная система распознавания речи и не самостоятельный веб-агент. В карточке отмечены ошибки классификации на сложных речевых запросах и нестабильность следования инструкциям; базовые ограничения Molmo сохраняются. Лицензия — CC-BY-NC-SA-4.0, допускающая использование на условиях атрибуции, распространения производных на тех же условиях и некоммерческого применения.

360авг. 2026ctx4.1K
textcc-by-nc-sa-4.0hugging-face
OpenMOSS-Team
MOSS-TTSD-v0.5

MOSS-TTSD-v0.5 — двуязычная модель синтеза разговорной речи от команды OpenMOSS-Team. Она дообучена на Qwen/Qwen3-1.7B-Base, содержит 1,7 млрд параметров и принимает текстовые сценарии диалога двух собеседников, чтобы создавать выразительную речь с переключением между голосами. Модель поддерживает китайский и английский языки, клонирование голосов по коротким образцам без дополнительного обучения и генерацию речи длительностью до 960 секунд за один сеанс. Модель предназначена для создания подкастов, озвучивания диалогов и других длинных разговорных аудиозаписей. В основе — архитектура MossTTSDForCausalLM и семантико-акустический аудиокодек; контекст составляет 32 768 токенов. Репозиторий распространяет веса в формате safetensors. Лицензия Apache-2.0 разрешает коммерческое использование.

22154июль 2025ctx32.8K
textapache-2.0hugging-face
laion
moss-tts-local-transformer-4.55b-voice-acting-v2-sft

MOSS Voice-Acting 4.55B — SFT — это полноразмерное дообучение модели LAION, выполненное Кристофом Шуманном и LAION на 3 147 802 размеченных примерах английской и немецкой речи. Модель семейства MOSS TTS Local с плотной архитектурой имеет 4,13 млрд обученных параметров и распространяется в формате Safetensors через Transformers. Лицензия — CC BY 4.0. Модель предназначена для синтеза выразительной речи с управлением голосом и подачей. На вход подаются текст, инструкция и параметры целевой длины; при голосовом обусловливании используется аудио-референс того же голоса, который требуется получить. Обучение охватывало профили голосов и записи реальной речи на английском и немецком языках. Ожидаемый формат промпта и частота целевых аудиокодовых кадров 12,5 кадра в секунду влияют на качество результата. Карточка сообщает о снижении функции потерь на валидации, но отдельные тесты прослушивания, MOS-оценка и проверка разборчивости не проводились. Поддерживаются только английский и немецкий; качество и сходство голоса после дообучения отдельно не измерялись. В обучающей смеси синтетические профили и реальные записи были сбалансированы по батчам, что может быть важно для применения на реальной речи. Модель предназначена для исследований выразительного и управляемого синтеза речи; не следует использовать её для имитации голоса реального человека без согласия или там, где синтетическую речь можно принять за голос конкретного человека.

201авг. 2026ctx131.1K
textaudiocc-by-4.0hugging-face
amphion
Vevo

Vevo — воспроизведение исследовательской системы Amphion для имитации голоса с нулевым обучением и управляемым тембром и стилем. В набор входят модели для преобразования голоса с сохранением или изменением стиля, преобразования акцента и эмоций, а также синтеза речи с управляемыми тембром и стилем. Также доступны токенизаторы речи и авторегрессионный трансформер на 480 млн параметров для предсказания токенов контента и стиля. Модели обучены на наборе Emilia объёмом 101 тысяча часов речи на английском, китайском, немецком, французском, японском и корейском языках. Репозиторий содержит веса в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но некоммерчески.

5653дек. 2024
textaudiocc-by-nc-4.0hugging-face
FranckyB
VibeVoice-1.5B

FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.

1820янв. 2026
textaudiomithugging-face
MIT
ast-finetuned-speech-commands-v2

MIT/ast-finetuned-speech-commands-v2 — модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанного командой AST и дообученного на наборе Speech Commands v2. Архитектура переносит подход Vision Transformer на аудио: сигнал преобразуется в спектрограмму, которую обрабатывает трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для отнесения аудиозаписей к классам Speech Commands v2, в частности для распознавания команд из этого набора. Она решает задачу классификации аудио, а не транскрибирования речи. Лицензия — BSD 3-Clause.

3.0K19нояб. 2022
audiobsd-3-clausehugging-face
RavenInJuly
CFPO-G-Qwen2.5-VL-3B

CFPO-G-Qwen2.5-VL-3B — мультимодальная модель рассуждений, разработанная на основе Qwen2.5-VL-3B-Instruct с применением метода CFPO-G, объединяющего CFPO и GRPO. Она принимает изображение и текстовый запрос, а выдаёт текстовые рассуждения и итоговый ответ. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и поддерживает контекст до 128 000 токенов. Модель предназначена для исследований мультимодальных рассуждений, визуального обоснования ответов и обучения с подкреплением для vision-language-моделей. Метод обучения поощряет зависимость вывода от значимых визуальных свидетельств, используя контрфактическое подавление визуальных признаков. Для обучения использован набор ViRL39K примерно из 38,9 тыс. пар «изображение — вопрос — ответ». Модель распространяется по лицензии Apache-2.0. Результаты обучения зависят от качества визуальных данных и запросов; карточка не приводит количественной оценки качества. Перед распространением или коммерческим использованием обучающих данных следует проверить лицензии и исходные источники ViRL39K.

180июль 2026ctx128K
textapache-2.0hugging-face
atlithor
EmotiveIcelandic

EmotiveIcelandic — модель синтеза речи на базе Parler-TTS, разработанная и дообученная на эмоциональном исландском речевом корпусе talromur3_with_prompts. Она преобразует текст в речь, позволяя задавать естественным языком характеристики голоса и высказывания: высоту тона, монотонность, темп, качество звучания, реверберацию, эмоцию и её интенсивность. В корпусе представлены семь голосов, а данные размечены шестью эмоциональными классами: нейтральным, радостным, грустным, сердитым, удивлённым и доброжелательным детским обращением. Модель предназначена для управляемого синтеза исландской речи, например для озвучивания реплик с заданной эмоциональной окраской и темпом. Это дообученная мультиязычная архитектура Parler-TTS, но карточка описывает обучение исландской речи. Модель распространяется по лицензии CC BY 4.0. Качество синтеза за пределами исландского языка и размеченных голосов и эмоций карточкой не подтверждается.

910апр. 2025
textaudiocc-by-4.0hugging-face
mucai
llava-next-vicuna-7b-m3

mucai/llava-next-vicuna-7b-m3 — мультимодальный чат-бот из семейства Matryoshka Multimodal Models (M3), разработанный на основе LLaMA/Vicuna и дообученный на визуальных диалогах. Это авторегрессионная трансформерная модель с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; она принимает изображения и текстовые запросы и формирует текстовые ответы. Контекст модели составляет 4096 токенов. Модель предназначена для исследований и экспериментов с визуальными диалоговыми системами и крупными мультимодальными моделями. M3 позволяет управлять количеством визуальных токенов для изображения и, согласно карточке, сохраняет сильные результаты при использовании одного или девяти токенов; также модель может служить метрикой сложности изображений и наборов данных. Для обучения использовались пары изображение—текст LAION/CC/SBU с подписями BLIP и данные инструкций LLaVA-1.5. Модель опубликована под лицензией Apache-2.0. Карточка ориентирует её прежде всего на исследователей и энтузиастов; описание не приводит количественных результатов оценки или подробностей о поддерживаемых языках.

883май 2024ctx4.1K
textapache-2.0hugging-face
mucai
llava-v1.5-7b-m3

mucai/llava-v1.5-7b-m3 — мультимодальный чат-бот семейства Matryoshka Multimodal Models (M3), разработанный на основе LLaVA-1.5 и дообученный на визуальных диалогах. Это авторегрессионная трансформерная модель с архитектурой LlavaLlamaForCausalLM и 6,6 млрд параметров; она принимает изображения и текстовые запросы и генерирует текстовые ответы. Контекст составляет 4096 токенов. Модель предназначена для исследований мультимодальных языковых моделей и чат-ботов, а также для экспериментов с анализом изображений и визуальных диалогов. Особенность M3 — возможность задавать число визуальных токенов для изображения, меняя детализацию его представления; модель также может использоваться как метрика сложности изображений и наборов данных. В описанной оценке она сохраняла сильные результаты при использовании 1 или 9 визуальных токенов на изображение. Для обучения использованы 558 тысяч отфильтрованных пар изображение–текст из LAION/CC/SBU с подписями BLIP и 665 тысяч инструкционных примеров LLaVA-1.5 на уровне изображений. Модель опубликована в формате safetensors под лицензией Apache-2.0. README ориентирует её прежде всего на исследовательские эксперименты; отдельные языки или специальные прикладные области не заявлены.

2452май 2024ctx4.1K
textapache-2.0hugging-face
facebook
mms-tts-pao

facebook/mms-tts-pao — модель синтеза речи на северном пайютском языке (pao), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания коротких фраз и других текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, поточные слои и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors, в том числе через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

940сент. 2023
textaudiocc-by-nc-4.0hugging-face
k2-fsa
OmniVoice-Emilia

OmniVoice-Emilia — вариант модели OmniVoice от k2-fsa, обученный исключительно на китайской и английской частях набора данных Emilia. Это плотная модель архитектуры OmniVoice для синтеза речи по тексту; в метаданных указаны мультиязычная поддержка, zero-shot и клонирование голоса. Чекпойнт предназначен прежде всего для воспроизведения экспериментальных результатов, описанных в статье. При использовании следует отключить очистку шума в промпте (`denoise = False`) и не задавать идентификатор языка (`lang_id = None`), поскольку модель обучалась без этих условий. Авторы рекомендуют обычным пользователям полнообученный на всём наборе данных вариант OmniVoice для более высокого качества. Лицензия и размер модели в предоставленных данных не указаны.

285март 2026ctx131.1K
textaudiohugging-face
mikewang
PVD-160k-Mistral-7b

PVD-160k-Mistral-7b — модель на архитектуре Mistral с 7,1 млрд параметров из проекта Visually Descriptive Language Model (VDLM). Она предназначена для вопросов и рассуждений о векторной графике: модель использует текстовые визуальные описания, включая представления SVG и Primal Visual Description, чтобы анализировать детали изображений и отношения между объектами. В карточке указаны задачи image-to-text и text-generation, библиотека Transformers и контекст до 32 768 токенов. Модель подходит для ответов на вопросы о содержимом векторных изображений и решения задач на пространственные отношения и простые лабиринты. Авторы сообщают, что подход VDLM превосходит современные мультимодальные модели в ряде задач рассуждения о векторной графике. Репозиторий использует формат Safetensors и лицензию Apache-2.0.

617март 2024ctx32.8K
textapache-2.0hugging-face
aoi-ot
VibeVoice-1.5B

Карточка модели aoi-ot/VibeVoice-1.5B на Hugging Face совпадает с карточкой FranckyB/VibeVoice-1.5B, поэтому описание составлено по ней. FranckyB публикует VibeVoice-1.5B — модель синтеза речи на базе архитектуры VibeVoice. Она преобразует текст диалогов в выразительную разговорную речь, в том числе для подкастов и длинных многоязычных по составу диалогов. В README указана базовая модель Qwen2.5 1.5B; архитектура сочетает LLM, которая учитывает контекст и ход диалога, и диффузионную голову для генерации акустических деталей. Модель использует акустический и семантический непрерывные токенизаторы с частотой 7,5 Гц. Модель рассчитана на контекст до 64 тысяч токенов, генерацию аудио длительностью до примерно 90 минут и диалоги с участием до четырёх говорящих. Поддерживаются английский и китайский языки. Репозиторий содержит веса Safetensors, библиотека — Transformers; лицензия — MIT. Карточка позиционирует модель для исследований и разработки и не рекомендует применять её в коммерческих или реальных сценариях без дополнительной проверки. Она создаёт только речь, не генерирует фоновый звук или музыку, не поддерживает перекрывающуюся речь, а тексты на других языках могут давать непредсказуемый результат. Возможны смещения и ошибки; в сгенерированное аудио встроены слышимый дисклеймер и водяной знак.

928сент. 2025
textaudiomithugging-face
jjnhuang
whisper-small-finetuned-iwslt-irish-welsh-curriculum-b-no-frozen-decoder

Это дообученная модель Whisper Small с архитектурой WhisperForConditionalGeneration, разработанная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка связывает обучение с датасетом IWSLT и ирландским и валлийским языками, но не уточняет состав обучающих данных. Модель содержит 153,1 млн параметров, принимает аудио и выдаёт текст. Метрики на оценочном наборе: WER 102,03, BLEU 1,13, ChrF++ 13,46 и COMET 0,4158; высокий WER указывает на слабые результаты распознавания в этой оценке. Модель распространяется под лицензией Apache-2.0.

5.0K0авг. 2026
textaudioapache-2.0hugging-face
Luckybalabala
AutoGLM-Phone-9B-GGUF

Luckybalabala/AutoGLM-Phone-9B-GGUF представляет собой набор GGUF-квантизованных версий мультимодальной визуально-языковой модели AutoGLM-Phone-9B, основанной на THUDM/glm-4v-9b. Репозиторий предназначен для запуска модели через llama.cpp и интеграции с Open-AutoGLM; разработчик самой базовой модели в README явно не указан, но упомянут проект OpenBMB/AutoGLM и связанный с ним Open-AutoGLM. Модель оптимизирована для автоматизации действий на смартфоне: она анализирует скриншоты экрана вместе с текстовыми данными и генерирует инструкции для дальнейших операций. Поддерживаются китайский и английский языки, входные данные в формате изображение плюс текст, GGUF и OpenAI-совместимый API. Это специализированное решение для сценариев управления телефоном, поэтому в других задачах качество может быть ниже. Доступны варианты от Q2_K до Q8_0, а также F16, с размером файлов примерно от 3,73 до 17,52 ГБ и ориентировочным потреблением памяти от 4 до 20 ГБ. Q4_K_M обозначен как сбалансированный рекомендуемый вариант, тогда как более сильное квантование уменьшает требования к памяти, но может снижать качество. README не приводит сведения о размере контекста, точной архитектуре кроме базовой модели, результатах независимого тестирования или гарантированных показателях качества. Указана лицензия Apache 2.0 с рекомендацией учитывать условия лицензии исходной модели.

2.0K9дек. 2025
textimageapache-2.0hugging-face
qresearch
doubutsu-2b-pt-756

doubutsu-2b-pt-756 — базовая предварительно обученная модель семейства компактных визуально-языковых моделей doubutsu, созданная qtnx_ и yeswondwerr. Она предназначена для дальнейшей настройки под конкретные сценарии; отдельно от дообучения или готового адаптера её использовать не предполагается. Модель принимает изображения вместе с текстом и формирует текстовые ответы в диалоговом формате. В карточке указано семейство архитектур doubutsu_next и обучающий набор LLaVA-CC3M-Pretrain-595K. Для генерации README рекомендует температуру 0,1–0,3, но результаты оценки качества не приведены. Модель опубликована в форматах PyTorch и safetensors; лицензия — Apache-2.0.

194июль 2024ctx32.8K
textapache-2.0hugging-face
adventists-ai
DuplexJev-A-Qwen3-ASR-0.6B-Qwen3-32B

DuplexJev-A — обучаемый коннектор для анализа речи, разработанный adventists-ai. Он соединяет замороженный аудиоэнкодер Qwen3-ASR-0.6B с замороженной языковой моделью Qwen3-32B в архитектуре Ultravox; сам коннектор использует cross-attention fusion и проектор, обучено 21,1 млн параметров. Модель выдаёт однотокенные ответы на вопросы о произнесённой речи без пошаговой генерации, поэтому за один проход можно получить решения для нескольких вопросов. Модель предназначена для ответов на вопросы по аудио, определения состояния хода разговора, выбора речевых заполнителей, распознавания говорящего и анализа паралингвистических признаков. В README приведены результаты на двуязычном наборе spoken QA qa100, бенчмарке ZJU-ML и задаче определения состояния хода Easy-Turn; отдельные проверки охватывают пол и эмоции. Для лучшей работы запросы следует формулировать на языке аудио и согласовывать варианты ответа с примерами обучения. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы. В карточке указаны английский и китайский языки; базовые компоненты — Qwen3-ASR-0.6B и Qwen3-32B. Лицензия — Apache-2.0. Коннектор работает только с указанными энкодером и LLM. Оценка проведена на небольших тестовых выборках с прочитанной или разыгранной речью, а потоковый ввод не проверялся; точность определения эмоций и пола ограничена, и результаты по эмоциям не следует использовать для принятия решений о людях.

190сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
BricksDisplay
ellie-Bert-VITS2

BricksDisplay/ellie-Bert-VITS2 — модель синтеза речи с тайваньским акцентом, разработанная JackEllie. Она преобразует текст в речь и предназначена для генерации озвучивания на китайском языке с указанным акцентом. Архитектура — Bert-VITS2; в репозитории представлены файлы ONNX и safetensors, а метаданные указывают 3,6 млн параметров. Модель является дообучением Jackellie/ellie-Bert-VITS2 и распространяется по лицензии CC BY 4.0. README упоминает использование через Transformers, но подробности настройки голоса и запуска не приведены.

634июнь 2024
textaudiocc-by-4.0hugging-face
bezzam
VibeVoice-1.5B-hf

VibeVoice-1.5B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft; эту версию внёс Eric Bezzam. Модель предназначена для синтеза выразительной длинной речи по тексту, включая диалоги и подкасты с несколькими собеседниками. В архитектуре сочетаются языковая модель и диффузионная голова; акустический и семантический токенизаторы работают с частотой 7,5 Гц. Модель может генерировать аудио длительностью до 90 минут и поддерживает до четырёх голосов. Модель принимает текст и может использовать референсное аудио для клонирования голоса. По данным карточки, она обучена на английских и китайских данных; поддержка других языков не заявлена. В сгенерированное аудио автоматически добавляются слышимое уведомление об ИИ и незаметная водяная метка. Карточка ограничивает предполагаемое применение исследованиями и разработкой и не рекомендует коммерческое или реальное применение без дополнительной проверки. Модель не предназначена для фоновой музыки и звуковых эффектов, не моделирует перекрывающуюся речь; качество и точность текста могут быть непредсказуемыми. Клонировать голос реального человека следует только при наличии явного записанного согласия. Лицензия — MIT.

2340март 2026ctx131.1K
textaudiomithugging-face
aoi-ot
VibeVoice-7B

aoi-ot/VibeVoice-7B — копия весов Microsoft VibeVoice-7B, размещённая на Hugging Face. Это плотная модель семейства VibeVoice для синтеза речи из текста: она создаёт выразительные длинные диалоги с несколькими говорящими, например подкасты. В архитектуре сочетаются LLM для понимания текста и хода диалога, диффузионная голова для генерации акустических деталей и акустический и семантический токенизаторы с частотой 7,5 Гц. Карточка описывает генерацию до 90 минут речи с участием до четырёх голосов; заявленная поддержка языков — английский и китайский. Модель ориентирована на исследования и разработку синтеза длинной разговорной речи. Она предназначена для речи, не для музыки, шумов или звуковых эффектов; перекрывающаяся речь не моделируется, а языки помимо английского и китайского не поддерживаются. Карточка не рекомендует коммерческое и реальное применение без дальнейшей проверки. Указана лицензия MIT.

20624сент. 2025
textaudiomithugging-face
vibevoice
VibeVoice-7B-hf

VibeVoice-7B-hf — совместимая с Transformers версия модели VibeVoice, разработанной Microsoft и опубликованной в Hugging Face пользователем Eric Bezzam. Она предназначена для синтеза выразительной длинной разговорной речи по тексту: например, подкастов с несколькими участниками. Модель поддерживает генерацию аудио длительностью до 45 минут и до четырёх голосов, а также клонирование голоса по предоставленному аудиопримеру. Архитектура сочетает LLM для понимания текста и хода диалога с диффузионной головой для генерации акустических деталей. Акустический и семантический токенизаторы работают с частотой 7,5 Гц. В качестве базовой модели используется Qwen2.5 7B. Карточка заявляет поддержку английского и китайского языков; README описывает синтез речи и диалогового аудио, но не генерацию музыки и фоновых звуков. Модель распространяется по лицензии MIT, однако разработчики рекомендуют использовать её для исследований и разработки и не рекомендуют применение в коммерческих или реальных сценариях без дополнительного тестирования. Возможны неточности и смещения; речь на других языках не поддерживается, перекрывающаяся речь явно не моделируется. README сообщает о встроенном слышимом предупреждении и незаметной водяной метке в сгенерированном аудио.

1.3K2авг. 2026ctx131.1K
textaudiomithugging-face
divyendra
VibeVoice-Large

Карточка модели divyendra/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

471сент. 2025
textaudiomithugging-face
FranckyB
VibeVoice-Large

Карточка модели FranckyB/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

2600янв. 2026
textaudiomithugging-face
harsh171104
VibeVoice-Large

Карточка модели harsh171104/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

140авг. 2026
textaudiomithugging-face
adventists-ai
DuplexJev-B-Qwen3-ASR-0.6B-Qwen3-1.7B

DuplexJev-B-Qwen3-ASR-0.6B-Qwen3-1.7B — компактная аудиоязыковая модель на архитектуре Ultravox, созданная adventists-ai для коротких решений и анализа речевых сигналов. Она объединяет замороженный аудиоэнкодер Qwen3-ASR-0.6B и замороженную языковую модель Qwen3-1.7B с обучаемым SwiGLU-проектором на 11,5 млн параметров; обучался только соединительный модуль. Модель принимает аудио и текстовый вопрос с вариантами ответа, затем оценивает варианты за один проход без генерации токенов. Модель предназначена для ответов на короткие вопросы по устной речи, извлечения речевых признаков и подсказок о говорящем, например, пола или эмоций. В README приведены результаты на spoken QA и тестах с реальной и синтезированной речью. Поддерживаются китайский и английский языки. Разработчики отмечают чувствительность качества к формулировкам запросов и рекомендуют не использовать её для открытых вопросов на общие знания. Проверялась на прочитанной или разыгранной речи и небольших тестовых наборах; потоковый ввод и работа на мобильных NPU не оценивались. Классификация эмоций основана на разыгранных корпусах и не подходит для принятия решений об отдельных людях. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — Apache-2.0.

220сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
OpenMOSS-Team
SpeechGPT-2.0-preview-7B

SpeechGPT 2.0-preview-7B — предварительная версия разговорной речевой модели команды OpenMOSS-Team. Это плотная модель семейства Qwen2 с архитектурным классом MIMOLlamaForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель объединяет обработку речи и текста для сквозного диалога с потоковым вводом и выводом речи. Модель предназначена для голосовых диалогов в реальном времени, включая прерывания собеседником, управление эмоциями, стилем и тоном речи, ролевое общение, рассказывание историй и декламацию. В README заявлены поддержка вызова инструментов, интернет-поиска и обращения к внешним базам знаний. Практическая задержка в описанных разработчиками испытаниях была менее 200 мс. Для речевого кодека указаны входная частота 24 кГц и скорость 750 бит/с. Обучение речи проводилось только на китайских данных; английский голосовой диалог не поддерживается. Модель опубликована в формате safetensors. Лицензия в предоставленных материалах не указана.

10413янв. 2025ctx32.8K
texthugging-face
Tesslate
UIGEN-FX-4B-RL-Preview

Tesslate UIGEN-FX-4B-RL-Preview — экспериментальная текстовая модель генерации веб-интерфейсов от Tesslate, дообученная на базе Tesslate/UIGEN-FX-4B-Preview. Она создаёт адаптивные веб-страницы и компоненты по текстовым спецификациям, включая HTML, CSS и Tailwind-разметку; ориентирована на React, JavaScript, статические генераторы сайтов и веб-интерфейсы на Python. Модель семейства Qwen3 с плотной архитектурой содержит 3,7 млрд параметров, работает с текстом и рассчитана на контекст до 262 144 токенов по метаданным; в карточке указан эффективный контекст около 64 тыс. токенов. Для практических сценариев предусмотрены короткие генерации отдельных страниц и компонентов, а JavaScript по умолчанию используется минимально. Модель обучалась на примерах HTML, CSS, Tailwind и библиотек компонентов, а также на оценках доступности, Axe и Lighthouse. Она нацелена на семантическую структуру, адаптивную вёрстку, визуальную согласованность и более чистую разметку для дальнейшей разработки. Доступна под лицензией Apache-2.0. Это предварительная исследовательская версия: результаты требуют проверки перед публикацией; доступность и ARIA-разметка могут быть неполными, а сложные интерактивные виджеты часто требуют доработки.

399окт. 2025ctx262.1K
textapache-2.0hugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей