/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
6 031–6 060 из 8 953
EximiusLabs
fusion-embedding-2-tactus-mat

Tactus Mat — специализированная модель Eximius Labs для преобразования данных с матрицы давления тела в векторное представление, сопоставимое с текстовыми запросами. Она дообучена на базе EximiusLabs/fusion-embedding-2-2b-preview; текстовое пространство базовой модели остаётся замороженным. Модель принимает кадры датчика Vista Medical FSA размером 64×32, нормализованные в диапазон [0, 1], и выдаёт L2-нормированный вектор размерности 2048. Во время обучения использовались последовательности из восьми кадров; карточка также описывает распознавание отдельных кадров и временной поиск по сессии. Модель предназначена для распознавания поз и поиска событий на мате давления по свободно сформулированным текстовым запросам. Вместо выбора только из заранее заданных классов она ранжирует описания поз и может сопоставлять данные с фразами, не встречавшимися при обучении. В README приведены результаты на отложенных участниках PhysioNet PmatData: средняя точность top-1 для 17 позиций — 0,957, а для top-3 — 0,993 по пяти запускам. В README отмечена систематическая путаница для двух поз лёжа на спине с поднятым коленом, которые модель может ранжировать как положение на боку; интерпретация зависит от таксономии меток набора данных. Обучение и результаты описаны для конкретного датчика и профиля Vista Medical FSA, поэтому перенос на другие матрицы давления требует отдельной настройки. Лицензия репозитория — ODC-BY.

211авг. 2026
textembeddingodc-byhugging-face
jaketae
hifigan-lj-v1

HiFi-GAN — вокодер, обученный разработчиком репозитория на наборе аудиозаписей LJSpeech. Модель предназначена для синтеза речи: она преобразует речевые признаки в аудио. Архитектура относится к семейству HiFi-GAN; веса доступны в формате PyTorch. Карточка указывает на обучение на LJSpeech и адаптацию кода официальной реализации для fairseq. Языковая метка — английский, поэтому модель связана с англоязычными данными. Для загрузки приведён пример с AutoModel из Transformers и параметром trust_remote_code. Сведения о лицензии и ограничениях качества в карточке не приведены.

751март 2022
textaudiohugging-face
Hcompany
Holo2-30B-A3B

Holo2-30B-A3B — мультимодальная модель H Company для агентов, которые управляют веб-сайтами, настольными и мобильными интерфейсами. Она дообучена на базе Qwen/Qwen3-VL-30B-A3B-Thinking и принимает изображения интерфейсов и текстовые запросы, чтобы понимать экран, находить элементы управления и поддерживать многошаговое выполнение задач. Модель опубликована в формате safetensors для Transformers; в названии указано 30B, а A3B обозначает вариант MoE. Обучение включало контролируемую настройку на данных понимания интерфейсов и предсказания действий, а затем онлайн-обучение с подкреплением. В README приведены результаты на бенчмарках веб-навигации, управления ОС и Android, а также локализации элементов интерфейса. Модель ориентирована на компьютерных агентов; карточка не описывает универсальные сценарии вне этой области. Для репозитория указана лицензия CC BY-NC 4.0, а README называет версию 30B-A3B исследовательской и некоммерческой. Коммерческое использование требует согласования с разработчиком. Описание не приводит конкретных ограничений по языкам, контексту или надёжности действий в реальных приложениях.

18751нояб. 2025ctx262.1K
textimagecc-by-nc-4.0hugging-face
2121-8
japanese-parler-tts-large-bate

Japanese Parler-TTS Large (β版) — японская модель синтеза речи, опубликованная автором репозитория 2121-8 и созданная на основе Parler-TTS Large v1 с объединением компонентов, включая retrieva-jp/t5-base-long. Она преобразует японский текст в речь и предназначена для озвучивания текстов с возможностью управлять голосовыми и акустическими характеристиками текстовым описанием. Модель использует архитектуру Parler-TTS и библиотеку Transformers; токенизатор несовместим с исходным Parler-TTS и разработан специально для этой модели. Автор заявляет о выразительной и качественной генерации речи, однако модель находится в бета-версии и из-за недостаточного обучения может работать нестабильно. В обучающих данных мало мужских голосов, поэтому их генерация и настройка интонации могут быть неудовлетворительными. README разрешает исследовательское, образовательное и коммерческое использование с условием, что веса и файлы самой модели нельзя продавать; авторы не гарантируют точность, законность или уместность результатов.

6423нояб. 2024
textaudiootherhugging-face
bytedance-research
Lance

Lance — мультимодальная модель ByteDance Research, предназначенная для генерации и редактирования изображений и видео, а также для понимания визуального содержимого. Она объединяет эти задачи в одной системе и поддерживает текстовые запросы, входные изображения и видео. В README указаны задачи генерации изображений и видео по тексту, редактирования изображений и видео, а также ответы на вопросы и создание описаний по изображениям и видео. В карточке модель описана как система с 3 млрд активных параметров, обученная с нуля по многоэтапной схеме совместного обучения задачам. Базовая модель в метаданных указана как Qwen/Qwen2.5-VL-3B-Instruct, но README сообщает об обучении Lance с нуля. Контрольная точка доступна в формате safetensors. Для инференса требуется GPU с не менее чем 40 ГБ видеопамяти; в README описано обучение генерации изображений до 768×768 и видео до 480p при 12 кадрах в секунду. Lance представлена как исследовательский проект, а не готовый продукт: качество результатов может меняться в зависимости от запроса, разрешения, длительности, сложности движения и сценария редактирования. Лицензия — Apache-2.0.

1.0K1.1Kмай 2026
textapache-2.0hugging-face
MERaLiON
MERaLiON-OmniVoice-Hokkien-TTS

MERaLiON-OmniVoice-Hokkien-TTS — модель синтеза речи, разработанная MERaLiON на базе OmniVoice и дообученная методами SFT и GRPO на разговорных данных. Она преобразует текст на китайских иероглифах в речь на сингапурском хоккиене (южноминьском), стремясь сохранить характерные произношение, тоны и просодию. Модель также поддерживает клонирование голоса по короткой записи целевого диктора и её расшифровке. В сравнительной оценке на 25 предложениях модель показала высокую долю распознавания речи как хоккиенской и лучшие значения WER и естественности среди приведённых систем. Оценка ограничена небольшим набором предложений, автоматическими судьями и одним голосом для клонирования. Репозиторий содержит веса в формате safetensors; лицензия указана как other, без уточнения условий в предоставленных данных.

7427май 2026ctx131.1K
textaudiootherhugging-face
facebook
mms-tts-enb

facebook/mms-tts-enb — модель синтеза речи на языке Markweeta, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на Markweeta в речевую аудиоволну. Модель построена на архитектуре VITS и обучена как отдельный языковой чекпойнт; в метаданных указано 3,5 млн параметров. Она поддерживается библиотекой Transformers версии 4.33 и новее. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на основе Transformer, стохастический предсказатель длительности и декодер, связанный с HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи для одного и того же текста, поэтому результат генерации недетерминирован: для повторения той же аудиоволны нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

4820сент. 2023
textaudiocc-by-nc-4.0hugging-face
facebook
mms-tts-kqe

facebook/mms-tts-kqe — модель синтеза речи на языке калаган (kqe), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на калагане в речевую аудиоволну и подходит для озвучивания текстов и создания речи в приложениях для этого языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудиоволну. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы используется библиотека Transformers версии 4.33 или новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для повторения того же аудио требуется фиксировать seed. Модель предназначена для калаганского языка; качество синтеза на других языках не заявлено.

950сент. 2023
textaudiocc-by-nc-4.0hugging-face
rnjema-unima
mms-tts-wol-baseline

Это подготовительный репозиторий для независимого дообучения модели синтеза речи на волофском языке, созданный на основе конфигурации VITS проекта MMS и данных WAXAL от AIMS Senegal. В карточке указано, что репозиторий не содержит весов: при обучении скрипт загружает их из facebook/mms-tts-ful — модели для фула, выбранной как прокси из-за отсутствия модели MMS для волофа. Дообучение на конфигурации google/WaxalNLP wol_tts адаптирует акустические и просодические характеристики к целевому языку. Архитектура VITS выполняет сквозной синтез речи без отдельного вокодера. В метаданных указан размер 3,5 млн параметров; формат весов в репозитории обозначен как safetensors, хотя README уточняет, что сами веса здесь не хранятся. Модель предназначена для генерации речи по тексту на волофском языке. Репозиторий распространяется по лицензии CC-BY-NC-4.0; данные WAXAL имеют отдельную лицензию CC-BY-SA-4.0.

1801апр. 2026
textaudiocc-by-nc-4.0hugging-face
btsee
oron-tts

OronTTS — модель синтеза речи по тексту для халха-монгольского языка с кириллическим письмом, разработанная btsee. Это дообученная версия F5-TTS на очищенной монгольской речи из трёх открытых корпусов. Модель создаёт речь двумя фиксированными голосами: мужским и женским. В README приведены результаты проверки на отложенных предложениях для обоих голосов: CER около 0,056–0,063 и сходство голоса с собственным образцом 0,717–0,741. Выходное аудио широкополосное, примерно 8 кГц. Для корректного произношения текст нужно нормализовать с помощью MongolianNormalizer; цифры, латинские буквы и знаки пунктуации без нормализации могут пропускаться. Для синтеза следует отключить EMA-веса (`use_ema=False`), поскольку они могут выдавать беглую, но бессмысленную речь. Модель распространяется по лицензии CC BY 4.0. Авторы отмечают, что прослушивание людьми не проводилось, UTMOS не валидирован для монгольского языка, а CER может быть завышенно оптимистичным из-за сходства обучающих данных и данных оценщика. В README также указано, что у аудио нет водяных знаков и что согласие участников Common Voice на клонирование их индивидуальных голосов не получено.

1.8K1май 2026
textaudiocc-by-4.0hugging-face
OsaurusAI
Osaurus-AppleScript-16B-A4B-JANG_4M

OsaurusAI разработала AppleScript-16B-A4B-JANG_4M — дообученную модель на основе Google Gemma 4 26B A4B IT для автоматизации macOS с помощью AppleScript и вызовов инструментов. Она предназначена для агентных сценариев: по запросу формирует структурированный вызов инструмента run_applescript со скриптом для управления приложениями и системой; без описания инструмента может выдавать AppleScript напрямую. Модель использует MoE-архитектуру Gemma 4, экспертно сокращена до 16,1 млрд параметров, из которых активны около 4 млрд. Версия JANG_4M применяет 8-битное внимание и 4-битные маршрутизируемые эксперты; заявленный размер — около 11 ГБ. Модель рассчитана на локальный запуск через MLX и принимает текстовые запросы, выдавая текст или структурированные вызовы инструментов. В тесте разработчика на 87 задачах модель показала 100% корректных вызовов инструмента и компилируемых скриптов, а также 84% корректного выполнения. Эти результаты относятся к внутреннему тесту и не гарантируют точность для произвольных сценариев. Лицензия — Gemma; перед использованием следует учитывать её условия.

54914июнь 2026
textgemmahugging-face
fractalego
personal-speech-to-text-model

fractalego/personal-speech-to-text-model — модель распознавания речи на базе Wav2Vec2, дообученная автором на примерно 1000 записях собственного голоса, чтобы лучше распознавать его акцент. Модель содержит 402,7 млн параметров и предназначена для преобразования речи в текст с учётом этого акцента. Модель принимает аудио и выдаёт текст; карточка указывает задачу automatic-speech-recognition. Она основана на facebook/wav2vec2-large-robust-ft-swbd-300h и распространяется в формате PyTorch. Автор предупреждает, что скачивать её имеет смысл только пользователям с таким же акцентом. Лицензия в предоставленных данных не указана.

7114март 2022
textaudiohugging-face
shutkit
Qwen2.5-VL-7B-NSFW-Caption-V3-abliterated

shutkit/Qwen2.5-VL-7B-NSFW-Caption-V3-abliterated — мультимодальная модель на архитектуре Qwen2.5-VL, созданная автором shutkit на основе thesby/Qwen2.5-VL-7B-NSFW-Caption-V3. Это версия модели для описания изображений, дообученная на текстовой части методом abliteration; визуальная часть не изменялась. Модель принимает изображение и текстовый запрос и формирует текстовый ответ. Размер составляет 7,1 млрд параметров, контекст — до 128 000 токенов. Модель предназначена для создания подписей и описаний изображений, в том числе контента для взрослых. Метка «abliterated» означает, что из текстовой части удалено поведение отказа на запросы; это не свидетельствует о повышении точности или безопасности ответов. Модель распространяется по лицензии Apache-2.0.

3957сент. 2025ctx128K
textimageapache-2.0hugging-face
lovedheart
Qwen3.5-4B-FP8

lovedheart/Qwen3.5-4B-FP8 — мультимодальная модель на основе Qwen/Qwen3.5-4B-Base и Qwen/Qwen3.5-4B, опубликованная пользователем или организацией lovedheart. Модель предназначена для задач image-text-to-text: анализа изображений и генерации текстовых ответов по визуальным данным и запросам пользователя. В README приведён пример подсчёта свободных парковочных мест на изображении, однако качество и точность такого анализа не подтверждены систематическими тестами. Из идентификатора модели следует, что используется вариант Qwen3.5 с размером около 4 млрд параметров и представлением FP8. Поддерживается обработка изображений совместно с текстом; сведения о языках, максимальной длине контекста, точной архитектуре и доступных режимах вывода в README не указаны. Модель тестировалась с sglang и может использовать режим рассуждений через параметр enable_thinking. Модель подходит для визуального вопросно-ответного взаимодействия и базового анализа содержимого изображений. К ограничениям относятся отсутствие подробных benchmark-результатов, неизвестные характеристики производительности, языкового покрытия и контекста, а также возможная неточность при интерпретации сложных сцен. Лицензия — Apache-2.0.

2.9K7март 2026ctx262.1K
textimageapache-2.0hugging-face
vadimbelsky
qwen3-TTS-KSA

Qwen3-TTS-KSA — дообученная Vadim Belsky модель синтеза речи на основе Qwen/Qwen3-TTS-12Hz-1.7B-Base. Она предназначена для преобразования текста в речь на саудовском диалекте арабского языка, включая Khaleeji. Модель дообучена на арабской части набора KSA_Arabic_English_Dataset_13k; в репозитории указано около 13 тысяч высказываний длительностью от 1 до 20 секунд. Модель использует плотную архитектуру Qwen3-TTS с классом Qwen3TTSForConditionalGeneration и весами safetensors. Для поддержки арабского добавлены языковой идентификатор и его embedding, языковой префикс для codec-канала, автоматическое распознавание арабского текста и зарегистрирован голос ksa_speaker. Все параметры модели дообучались, а speaker encoder оставался замороженным; embedding зарегистрированного голоса включён в веса модели. Модель подходит для создания озвучки на саудовском арабском языке с использованием зарегистрированного голоса. Базовая модель также поддерживает клонирование голоса по короткому аудио и дообучение, но README не подтверждает эти возможности для данной версии. Лицензия — Apache-2.0.

2046март 2026ctx131.1K
textaudioapache-2.0hugging-face
RJ3vans
SSMNspanTagger

RJ3vans/SSMNspanTagger — модель на базе BERT для разметки токенов в предложении. Она выявляет именные группы, осложнённые нефинитными именными придаточными в функции аппозитива, и отмечает, какие токены входят в такую конструкцию. Модель предназначена для этапа анализа предложений, например, в системах упрощения текста. Для обнаружения конструкции в примере необходимо заранее отметить её левую границу квадратными скобками. Модель разработана на основе кода программы доктора Ле Ан Ха из Университета Вулвергемптона и дообучена на наборе данных из докторской диссертации Р. Эванса о упрощении предложений. Это модель классификации токенов на архитектуре BERT с 432,3 млн параметров и контекстом до 512 токенов. Репозиторий содержит веса PyTorch.

320март 2022ctx512
texthugging-face
Surpem
Supertron3-0.8B

Supertron3-0.8B — компактная мультимодальная модель Suprem Org для GUI-агентов и вызова инструментов на локальных устройствах. Она дообучена на Qwen/Qwen3.5-0.8B и использует архитектуру Qwen3.5 с гибридными слоями Gated DeltaNet и attention, визуальным энкодером и 0,8 млрд параметров. Модель принимает текст и изображения интерфейсов, анализирует веб-страницы, рабочий стол и CLI, а затем формирует действия для управления компьютером или вызовы функций в JSON. Заявленный родной контекст — 262 тыс. токенов; в примере запуска для vLLM указан предел 8192 токена. Модель предназначена для навигации по интерфейсам, локализации элементов управления и выполнения коротких сценариев компьютерного использования, а также для маршрутизации запросов к инструментам. В карточке приведены результаты оценок BFCL, Mind2Web и Computer Use, но они относятся к тестам разработчика. Ограничения включают слабую пригодность для длительных многошаговых процессов и недостаточную точность визуального поиска относительно задач класса ScreenSpot-Pro. Лицензия — Apache 2.0.

32613авг. 2026ctx262.1K
textimageapache-2.0hugging-face
biodatlab
ThonburianTTS

ThonburianTTS — тайская система синтеза речи от Looloo Technology и Biomedical and Data Lab Университета Махидол, созданная на основе F5-TTS. Модель преобразует текст на тайском языке в речь; доступны варианты для тайского письма и Thai IPA. Синтез основан на flow matching и диффузионных методах. Модель умеет имитировать голос по короткому аудиофрагменту, а также поддерживает настройку скорости речи и обрезку тишины. Репозиторий содержит веса в формате safetensors и отмечен как дообучение SWivid/F5-TTS. Для работы требуются компоненты экосистемы F5-TTS. Карточка указывает лицензию CC, но не уточняет её вариант; условия использования и распространения стоит сверить с лицензией репозитория.

3.6K12нояб. 2025
textaudiocchugging-face
billingsmoore
tibetan-asr-nict-tib1-whisper-small

Модель billingsmoore/tibetan-asr-nict-tib1-whisper-small разработана для распознавания тибетской речи и создана полным дообучением Whisper Small от OpenAI. Это модель encoder–decoder на базе Transformer с 153,1 млн параметров, предназначенная для преобразования аудио в текст на лхасском тибетском языке. Модель дообучена на корпусе NICT-Tib1 с записями чтения новостных текстов 20 дикторами. В исследовании она показала лучшие результаты среди 14 сравнивавшихся конфигураций на тестовом наборе NICT-Tib1 по символьным, слоговым и сегментированным словным метрикам. Её можно использовать через pipeline automatic-speech-recognition в библиотеке Transformers. Оценка охватывает только современный лхасский тибетский язык и чтение новостных текстов. Качество на диалектах Амдо и Кхам, классическом тибетском и спонтанной разговорной речи не установлено; тест включал записи лишь трёх дикторов. Модель распространяется по лицензии Apache-2.0.

2500июль 2026
textaudioapache-2.0hugging-face
cstr
vibevoice-1.5b-GGUF

cstr/vibevoice-1.5b-GGUF — это конвертированная в формат GGUF версия модели Microsoft VibeVoice-1.5B для синтеза речи, предназначенная для использования с CrispASR. Модель поддерживает клонирование голоса по аудиореференсу и многоговорящую генерацию речи, включая сценарии с участием до четырёх говорящих. В метаданных указана поддержка английского и китайского языков. Модель использует единую архитектуру на базе Qwen2.5-1.5B: языковую модель с 28 слоями, размерностью 1536, 12 головами внимания и 2 KV-головами, а также отдельные акустический и семантический энкодеры, prediction head и декодер на основе ConvNeXt. Генерация речевых токенов выполняется авторегрессионно, а диффузионное семплирование — с помощью DPM-Solver++ за 20 шагов. Доступны варианты F16 размером 5,1 ГБ, Q8_0 размером 3,1 ГБ и Q4_K размером 1,9 ГБ; в квантованных вариантах языковая основа сжата, а ключевые компоненты синтеза сохранены в полной точности. Для работы требуется WAV-файл с голосовым образцом в формате 24 кГц, моно. Это базовая, а не потоковая версия модели, поэтому она не предназначена для streaming-сценариев. Сильными сторонами являются клонирование голоса, многоговорящая генерация и наличие компактных квантованных вариантов с сохранением качества; ограничения включают необходимость аудиореференса и отсутствие потоковой генерации. Модель распространяется по лицензии MIT на тех же условиях, что и исходная модель Microsoft; репозиторий содержит только конвертацию и квантование весов без дополнительного обучения или изменения архитектуры.

1.2K3апр. 2026
textaudiomithugging-face
bezzam
VibeVoice-AcousticTokenizer

Карточка модели bezzam/VibeVoice-AcousticTokenizer на Hugging Face совпадает с карточкой microsoft/VibeVoice-AcousticTokenizer, поэтому описание составлено по ней. VibeVoice Acoustic Tokenizer — акустический токенизатор Microsoft, компонент семейства VibeVoice для работы с речевым аудио. Он преобразует аудио в непрерывные речевые представления и поддерживает обратное декодирование; токенизатор используется в системах VibeVoice для синтеза речи и распознавания речи. В README указана частота кадров 7,5 Гц, что позволяет компактно представлять длинные аудиопоследовательности. Модель предназначена для извлечения признаков из аудио и как компонент конвейеров TTS и ASR, включая генерацию выразительной многосторонней речи и обработку разговорного аудио. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — MIT. Для подключения README описывает установку из исходного кода до включения токенизатора в официальный релиз Transformers.

760нояб. 2025
textembeddingmithugging-face
OpenGVLab
VideoChat-Flash-Qwen2-7B_res224

VideoChat-Flash-Qwen2-7B_res224 — модель для диалога и ответов на вопросы о видео, разработанная OpenGVLab на основе UMT-L (300M) и Qwen2-7B. Она принимает видео и текстовые запросы, формируя текстовые ответы; модель использует 16 токенов на кадр и рассчитана на длинные видеопоследовательности. В README указана поддержка до примерно 10 000 кадров, а контекст Qwen2 в метаданных составляет 32 768 токенов; заявленное расширение контекста до 128k относится к Yarn. В README приведены результаты на MVBench, LongVideoBench и VideoMME, включая 73,2, 64,2 и 64,0 для версии 7B при разрешении 224. Обучающий корпус преимущественно англоязычный, поэтому рекомендуется задавать вопросы по-английски; понимание китайского описано как базовое. Репозиторий содержит веса safetensors, используется библиотека Transformers, лицензия — Apache-2.0.

817янв. 2025ctx32.8K
textapache-2.0hugging-face
OpenGVLab
VideoChat-Flash-Qwen2-7B_res448

VideoChat-Flash-Qwen2-7B_res448 — видеоязыковая модель OpenGVLab на базе Qwen2-7B и UMT-L. Она анализирует видео и отвечает на вопросы о его содержании в формате диалога. Модель использует 16 токенов на кадр; заявленная версия поддерживает последовательности примерно до 10 000 кадров. В README указано расширение контекста до 128 тыс. токенов с помощью YaRN, тогда как метаданные указывают native context в 32 768 токенов. В карточке приведены результаты на MVBench, LongVideoBench и VideoMME. Обучающий корпус преимущественно англоязычный: английский рекомендуется для взаимодействия, а понимание китайского описано как базовое. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0.

3.8K13янв. 2025ctx32.8K
textapache-2.0hugging-face
neureps
warmly-qwen35-08b-enko-gguf

warmly-qwen35-08b-enko-gguf — компактная мультимодальная модель для локального запуска, разработанная neureps для приложения Warmly. Она основана на neureps/Qwen3.5-0.8B-enko и предназначена для устройств с небольшим или средним объёмом оперативной памяти. Модель поддерживает английский и корейский языки и объединяет генерацию текстовых комментариев с описанием изображений. Текущая версия v3.1 включает дистиллированные веса v3c в формате GGUF с квантизацией Q4_K_M, доменной imatrix и отдельный LoRA-адаптер персонажа. Основной текстовый файл занимает около 419 МБ, адаптер — 12,2 МБ, а общий vision-проектор — 111 МБ; суммарный объём стека составляет примерно 542 МБ. Визуальный режим реализуется через mmproj и поддерживает создание подписей к изображениям, тогда как LoRA-адаптер влияет только на текстовые комментарии. Встроены четыре персонажа, а пятый подключается адаптером с возможностью переключения масштаба на уровне запроса. Сильные стороны модели — малый размер, возможность офлайн-развёртывания через llama.cpp, поддержка текста и изображений, а также расширение персонажей без перераспределения основной модели. По приведённой оценке на наборе gold144 уровень дефектов для персонажа Louie составил 13,2%. Ограничения включают необходимость отключать режим рассуждений параметром enable_thinking: false и требование корректно подключать vision-проектор и LoRA-адаптер; модель ориентирована на компактные сценарии и не позиционируется как универсальная крупная LLM. Лицензия — Apache-2.0.

4280июль 2026
textimageapache-2.0hugging-face
gabrieljg
wav2vec2-common_voice-es-demo

Модель gabrieljg/wav2vec2-common_voice-es-demo — дообученная Gabrieljg версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания испанской речи. Она основана на архитектуре Wav2Vec2ForCTC, содержит около 402,9 млн параметров и принимает аудио, выдавая текстовую транскрипцию. Модель обучена на испанской части набора COMMON_VOICE; в карточке указаны результаты оценки: loss 0,1788 и WER 1,0239. Модель подходит для транскрибирования записей на испанском языке и создания демонстрационных приложений распознавания речи. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Описание не приводит подробностей о рекомендуемых условиях использования или ограничениях качества; указанный WER 1,0239 сигнализирует о слабом результате на оценочном наборе.

200март 2022
textaudioapache-2.0hugging-face
facebook
wav2vec2-xlsr-53-espeak-cv-ft

Это акустическая модель распознавания речи на базе Wav2Vec 2.0 Large XLSR-53, разработанная Qiantong Xu, Alexei Baevski и Michael Auli и дообученная на многоязычном наборе Common Voice. Модель содержит 403,1 млн параметров и предназначена для распознавания фонетических меток в нескольких языках, включая перенос на языки, не представленные при дообучении. На вход подаётся аудио с частотой дискретизации 16 кГц, на выходе — строка фонетических меток. Чтобы получить слова, требуется словарь, сопоставляющий метки словам; сама модель не выдаёт обычную текстовую транскрипцию. Чекпойнт реализован как Wav2Vec2ForCTC и опубликован в формате PyTorch. Распространяется по лицензии Apache-2.0.

523K58март 2022
textaudioapache-2.0hugging-face
GoodiesHere
Apollo-LMMs-Apollo-3B-t32

Apollo-LMMs-Apollo-3B-t32 — мультимодальная модель семейства Apollo для понимания видео, представленная в рамках проекта Apollo. Модель содержит 3,1 млрд параметров, использует плотную архитектуру ApolloForCausalLM и рассчитана на контекст до 32 768 токенов. В метаданных указана поддержка английского языка и формат весов safetensors; лицензия обозначена как other. Модель предназначена для анализа длинных видеозаписей, временных связей и вопросов о содержании видео, в том числе в многоходовом диалоге с опорой на видеоматериал. В README отмечены эффективная выборка кадров и сочетание визуальных энкодеров SigLIP-SO400M и InternVideo2; проект заявляет возможность работы с часовыми видео и высокие результаты при размере 3B параметров. Для использования необходимы поддерживающая Transformers среда и компоненты проекта Apollo.

7621дек. 2024ctx32.8K
textotherhugging-face
nvidia
bigvgan_v2_44khz_128band_512x

BigVGAN-v2 — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия принимает мел-спектрограмму с 128 полосами и синтезирует аудиоволну с частотой дискретизации 44 кГц; коэффициент увеличения частоты дискретизации составляет 512. В модели 122 млн параметров, она обучена на крупной компиляции аудиоданных и не является дообучением другой модели. Модель предназначена для преобразования мел-спектрограмм в аудио, например, как компонент систем синтеза речи и других аудио-генеративных конвейеров. Обучение включало разные типы аудио: речь на нескольких языках, окружающие звуки и музыкальные инструменты. Для ускорения вывода доступно CUDA-ядро; README сообщает об ускорении в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja. Модель распространяется по лицензии MIT.

845K82июль 2024
audiomithugging-face
aufklarer
Chatterbox-Flash-CoreML

Chatterbox Flash CoreML — скомпилированный экспорт модели ResembleAI/chatterbox-flash для сред Apple на базе Core ML. Экспорт подготовлен в виде статических графов .mlmodelc и предназначен для локального синтеза речи и клонирования голоса в приложениях для iOS, macOS и устройств Apple Silicon. Модель преобразует текст в речь с использованием T3 block-diffusion token generator и аудиокомпонента S3Gen. Она поддерживает zero-shot voice cloning и conditioning по эталонной речи, а также синтез на английском языке. Общий размер составляет около 798,4 млн параметров: 532,4 млн у T3 и 266 млн у S3Gen. Используется точность fp16; выходной сигнал — аудио с частотой 24 кГц. Графы имеют статические ограничения: длина текста до 256 токенов, максимальная последовательность T3 1024, длина токенов аудио 192 и длина mel-представления 384. Сильная сторона модели — адаптация Chatterbox Flash к локальному выполнению через Core ML и подтверждённое соответствие исходным PyTorch-графам в тестах, включая успешный smoke-тест синтеза. Однако это не готовый конвейер «ref.wav → cloned wav»: приложение должно самостоятельно реализовать токенизацию, нормализацию текста, циклы denoising и sampling, подготовку эталонных аудиопризнаков, оркестрацию графов, обработку padding и два шага meanflow. Для CPU_ONLY в локальном тестировании была отмечена ошибка выполнения T3; рекомендуется использовать режимы ALL, CPU_AND_NE или скомпилированный runtime на устройстве. Артефакт распространяется по лицензии MIT.

1890июль 2026
textaudiomithugging-face
calcuis
chatterbox-gguf

calcuis/chatterbox-gguf — GGUF-квантизированная версия модели Chatterbox, разработанной ResembleAI и адаптированной автором calcuis для запуска через gguf-connector. Модель предназначена для синтеза речи по тексту и может использоваться локально через веб-интерфейс или полностью офлайн. В README указана поддержка английского языка; также упоминается мультиязычное обновление connector c3 с вариантом t3_23lang, однако полный перечень языков не приведён. Модель поставляется в виде набора GGUF-файлов для компонентов ve, t3 и s3gen с различными форматами и уровнями квантизации, включая q2_k, q4_k_m, q6_k, f16, f32 и bf16. Конкретный размер модели, архитектура, максимальная длина контекста, характеристики голоса и точные параметры мультиязычной поддержки в README не указаны. Для работы требуется самостоятельно подготовить файлы модели, encoder и VAE; tokenizer загружается в кэш автоматически при первом запуске. Для режима c3 может потребоваться transformers версии 4.46.3, обновление chichat до 0.0.4 и использование t3_23lang вместо t3_cfg. Сильными сторонами являются локальный офлайн-запуск, гибкий выбор компонентов и квантизаций, а также возможность адаптировать конфигурацию под доступное оборудование. Ограничения включают необходимость ручной подготовки файлов и возможную несовместимость версий зависимостей; требования к ресурсам и качество синтеза для разных языков не описаны. Распространение указано по лицензии MIT.

7.0K55июнь 2025
textaudiomithugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей