/ Профессии
Универсальные способности и операции

I.15Доступность и ассистивные технологии

В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

ЗрениеАудиоЭмбеддингиТекст
AI-задач
17
в этой профессии
Подходящих моделей
8 953
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
ЗрениеАудиоЭмбеддинги

Рекомендованные модели

8 953 модели
Загрузки
Лайки
Дата выхода
6 181–6 210 из 8 953
ermu2001
pllava-34b

PLLaVA-34B — открытый видеоязыковой чат-бот, разработанный на основе LLaVA v1.6 34B и дообученный на данных для следования видеоинструкциям. Это авторегрессионная модель на архитектуре Transformer с визуальным компонентом, предназначенная для диалога по видеоматериалам и исследований мультимодальных языковых моделей. Модель подходит для вопросов и ответов по видео и других сценариев, где нужно связать визуальное содержание ролика с текстовым запросом. Её обучали на Video-Instruct-Tuning от OpenGVLab/VideoChat2-IT и оценивали на шести бенчмарках, включая пять наборов для Video QA. Репозиторий содержит веса safetensors. Лицензия — Apache-2.0. Карточка ориентирует модель прежде всего на исследовательское применение и работу исследователей и энтузиастов в области компьютерного зрения и NLP. Размер базовой модели — 34 млрд параметров; карточка не приводит ограничение контекста или список поддерживаемых языков. Качество может зависеть от содержимого видео и формулировки запроса; результаты бенчмарков не гарантируют точность в прикладных сценариях.

7714апр. 2024ctx4.1K
textapache-2.0hugging-face
xwk123
sft_appdelta_gui_agent

sft_appdelta_gui_agent — дообученный контрольный пункт Qwen3-VL-8B-Instruct для задач управления мобильным графическим интерфейсом. Модель разработана автором репозитория xwk123 и использует архитектуру Qwen3-VL с 8 млрд параметров; она принимает текстовые запросы и визуальный контекст, а ответы формирует в формате Thought + Action + tool_call. Координаты элементов интерфейса задаются на сетке 0–999. Модель предназначена для выполнения пользовательских задач в мобильных приложениях через взаимодействие с их графическим интерфейсом. Для загрузки автор указывает Transformers и AutoProcessor. В метаданных лицензия обозначена как other, поэтому конкретные условия использования следует проверять в карточке модели и связанных материалах.

90июнь 2026ctx262.1K
textimageotherhugging-face
rabah2026
wav2vec2-large-xlsr-53-arabic-quran-v_final

Это модель автоматического распознавания речи на основе Wav2Vec2 Large XLSR-53, дообученная автором rabah2026 на датасете Quran-Ayah-Corpus. Она предназначена для распознавания чтения Корана в стилях таджвид и муратталь и поддерживает запись арабского текста в османском письме, включая специальные символы ٱ и ٰ. Модель содержит около 402,7 млн параметров и принимает аудио, выдавая распознанный текст на арабском языке. В README заявлена частота ошибок слов около 4% на 10 000 образцах знакомых чтецов и около 6% для незнакомых; точность сегментации по аятам может превышать 99% и зависит от используемого скрипта сегментации. Модель выпущена под лицензией Apache-2.0. Результаты могут отличаться для иных чтецов и условий записи; заявленная точность сегментации зависит от внешней обработки.

9.1K9дек. 2025
textaudioapache-2.0hugging-face
MaddoggProduction
whisper-m-quran-lora-dataset-mix

MaddoggProduction/whisper-m-quran-lora-dataset-mix — специализированная модель распознавания чтения Корана, созданная на базе openai/whisper-medium. Это дообученная версия Whisper Medium с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров; веса опубликованы в формате safetensors и доступны через Transformers. Модель предназначена для транскрибации коранической арабской речи с огласовками и диакритическими знаками, с учётом лексики и особенностей османского письма. При обучении использовались датасеты tarteel-ai/everyayah и MohamedRashad/Quran-Recitations, постепенное обучение на них и аугментации аудио для устойчивости к разным микрофонам, шуму и уровням громкости. В README указана доля ошибок слов WER 12,69% на валидационной выборке tarteel-ai/everyayah; для длинных аятов рекомендована обработка фрагментами. Модель рассчитана на арабскую кораническую речь и выдаёт текст. Лицензия — Apache-2.0.

156дек. 2025ctx1K
textaudioapache-2.0hugging-face
namhokaist
appgen-qwen3-model-e-uedgrpo-awlegacy-stalesparse-v47-h200x8-s100-20260807-step70

AppGen Qwen3-VL frozen SFT — A-variant arm E — это дообученная namhokaist модель на базе Qwen/Qwen3-VL-8B-Instruct, разработанная для исследований визуальных агентов Android. Она принимает изображения интерфейсов и текстовые инструкции, а затем формирует текстовые ответы для задач работы с экраном. Веса визуального энкодера и модулей выравнивания заморожены, а языковая модель и LM head дообучены; обучение проведено на наборах AppGen SFT и AMEX. Репозиторий содержит финальный чекпойнт в формате safetensors и распространяется по лицензии Apache-2.0. Модель предназначена для анализа интерфейсов Android и визуального заземления инструкций. В README не приводятся оценки качества, а статические бенчмарки не подтверждают успешность интерактивных задач AndroidWorld. Модель заявлена для исследований визуальных агентов и не предназначена для критически важных автономных развертываний.

120авг. 2026ctx262.1K
textimageapache-2.0hugging-face
nvidia
bigvgan_base_24khz_100band

BigVGAN — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот репозиторий содержит вариант для синтеза звуковой волны с частотой дискретизации 24 кГц по мел-спектрограмме с 100 полосами; модель предназначена для преобразования акустических признаков в аудио. Вариант относится к семейству BigVGAN-v2. В README для близкого чекпойнта с конфигурацией 24 кГц и 100 полос указано 112 млн параметров, коэффициент передискретизации 256 и обучение на крупной компиляции аудиоданных; точные характеристики именно этого репозитория метаданные не приводят. Версия BigVGAN-v2 ориентирована на ускоренный вывод, для которого доступно CUDA-ядро. Модель подходит для синтеза речи и других типов звука из мел-спектрограмм, но сама по себе не принимает текст и не выполняет преобразование текста в речь: для подготовки спектрограммы нужна другая модель или внешний этап. Для CUDA-ускорения требуется совместимая среда с CUDA, nvcc и ninja. Лицензия репозитория — MIT.

3795июль 2024
audiomithugging-face
nvidia
bigvgan_v2_22khz_80band_fmax8k_256x

BigVGAN-v2 — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Этот чекпойнт предназначен для синтеза аудиоволны по входной мел-спектрограмме с частотой дискретизации 22 кГц, 80 мел-полосами и максимальной частотой 8 кГц; коэффициент апсемплинга составляет 256×. В README указано, что семейство обучали на разнообразных аудиоданных, включая речь на нескольких языках, окружающие звуки и музыкальные инструменты. Модель подходит для преобразования мел-спектрограмм в аудио в системах синтеза речи и других аудиосценариях. Для ускорения инференса доступно CUDA-ядро; для его сборки требуются CUDA, nvcc и ninja. Репозиторий использует PyTorch и распространяется по лицензии MIT. README отмечает, что CUDA-ускорение проверялось с CUDA 12.1; качество и поддерживаемые языки конкретно этого чекпойнта не описаны.

1.1K6июль 2024
audiomithugging-face
OpenGVLab
InternVideo2-Chat-8B

InternVideo2-Chat-8B — видеоязыковая модель, разработанная командой OpenGVLab. Она объединяет видеокодировщик InternVideo2, обученный video BLIP и языковую модель Mistral-7B; видеокодировщик обновлялся в ходе обучения по прогрессивной схеме VideoChat. Модель принимает видео и текстовые запросы и предназначена для диалога о содержании видеороликов и ответов на вопросы по ним. В README приведены результаты на MVBench и VideoMME: 60,3 и 41,9 соответственно для версии 8B; для вариантов HD и HD-F16 указаны отдельные, более высокие результаты. Модель сохранена в формате safetensors, лицензия репозитория — MIT. Для использования также требуется получить доступ к базовой Mistral-7B; условия этого доступа применяются отдельно. Карточка не описывает языковой охват шире английского тега метаданных и не приводит длину контекста.

3626авг. 2024
textvideomithugging-face
OpenGVLab
InternVL_2_5_HiCo_R16

OpenGVLab/InternVL_2_5_HiCo_R16 — экспериментальный вариант InternVideo2.5, мультимодальной языковой модели для анализа видео на основе InternVL2.5. Вариант HiCo использует адаптивное иерархическое сжатие пространственно-временных токенов; R16 означает 16 токенов на кадр. В README эта версия названа абляционным экспериментом, использующим HiCo без других описанных улучшений InternVideo2.5. Модель предназначена для ответов на вопросы о видео и анализа его содержания, включая мелкие визуальные детали и длительные временные зависимости. README приводит результаты на MVBench, LongVideoBench и VideoMME. Метаданные указывают архитектуру InternVLChatModel, библиотеку Transformers, поддержку чата и английский язык карточки. Лицензия — Apache-2.0. Модель принимает видео и текстовые запросы, а выдаёт текстовые ответы. Данных о размере модели и длине контекста в предоставленных источниках нет.

566янв. 2025ctx16.4K
textapache-2.0hugging-face
Aratako
MioCodec-25Hz-44.1kHz-v2

MioCodec-25Hz-44.1kHz-v2 — дообученная версия нейронного аудиокодека MioCodec от Aratako для сжатия и реконструкции речи. Кодек преобразует аудио в поток дискретных токенов с частотой 25 Гц и восстанавливает звук с частотой дискретизации 44,1 кГц. Модель содержит около 133 млн параметров и использует энкодер WavLM-base+; декодер включает блок UpsamplerBlock и активации SnakeBeta для восстановления высокочастотных компонентов. При дообучении содержательная ветвь была заморожена, поэтому токены совместимы с MioCodec-25Hz-24kHz. Это позволяет использовать кодек для реконструкции речи, а также подключать его при инференсе к TTS-моделям, обученным на токенах версии 24 кГц, чтобы получать аудио 44,1 кГц. README также указывает сценарий zero-shot преобразования голоса с токенами содержания источника и глобальным вектором голоса-образца. Модель принимает аудио и выдаёт аудио. В метаданных перечислены языки en, ja, nl, fr, de, it, pl, pt, es, ko и zh. Репозиторий распространяется под лицензией MIT. Заявленные в карточке характеристики не включают результаты независимой оценки качества; совместимость с другими TTS-системами зависит от использования совместимого потока токенов.

627K14февр. 2026
audiomithugging-face
namu102
style-bert-vits2-gguf

Карточка модели namu102/style-bert-vits2-gguf на Hugging Face совпадает с карточкой kevinzhow/style-bert-vits2-gguf, поэтому описание составлено по ней. Набор файлов GGUF, подготовленных kevinzhow для локального синтеза речи с помощью Style-Bert-VITS2 в связке с myoland.tts и серверами TTS.cpp. Это артефакты конвертации исходных акустических моделей голосов и японской модели JP-BERT в формат GGUF, а не новые обученные модели. Репозиторий включает модели голосов и компонент JP-BERT для японского пути обработки текста; перечисленные примеры голосов основаны на моделях litagin/style_bert_vits2_jvnv, а JP-BERT — на ku-nlp/deberta-v2-large-japanese-char-wwm. Модель предназначена для локального преобразования текста в речь через совместимый GGML frontend и декодер TTS.cpp. Метаданные указывают задачу text-to-speech и японский язык. GGUF упрощает запуск в соответствующей локальной среде, однако для работы требуются совместимый сервер, frontend и подходящие файлы голосов. Лицензия указана как other; README требует соблюдать исходные условия использования моделей и голосов, включая требования атрибуции на страницах источников.

660июль 2026
textaudiootherhugging-face
mlr2000
vocoder-small

mlr2000/vocoder-small — нейронный вокодер VocBulwark на архитектуре HiFi-GAN с генератором BigVGAN и активацией snakebeta. Он преобразует логарифмическую мел-спектрограмму с 96 каналами в монофонический аудиосигнал с частотой 24 кГц; для управления тембром принимает заранее рассчитанный эмбеддинг диктора размерности 768. Модель предназначена для синтеза речи из акустических признаков и работает как компонент конвейера text-to-speech, а не как самостоятельная система преобразования текста в речь. Каждый сгенерированный фрагмент автоматически получает фиксированную 32-битную метку происхождения, которую нельзя отключить или изменить через этот интерфейс. Для обнаружения метки предусмотрена отдельная модель-детектор. Для корректного управления голосом нужен эмбеддинг от энкодера диктора, с которым обучали вокодер; эмбеддинг от несовместимого энкодера может работать неправильно. Модель обучалась на многоязычных наборах Multilingual LibriSpeech и Common Voice. Лицензия — CC BY 4.0. Разработчик предостерегает от клонирования голоса реальных людей без согласия и от обманного использования.

60июль 2026
textaudiocc-by-4.0hugging-face
HariprasathSB
whisper-vulnerable

HariprasathSB/whisper-vulnerable — дообученная модель автоматического распознавания речи на архитектуре Whisper, основанная на sujith013/whisper-meduim-tamil-vulnerable. Модель содержит 455,8 млн параметров и принимает аудио для преобразования речи в текст. В README указано, что она обучалась на датасете, обозначенном как None; подробности о данных и целевом сценарии не приведены. На тестовой выборке указаны Loss 0,9527 и WER 78,7841, что свидетельствует о высокой доле ошибок распознавания и ограничивает пригодность модели без дополнительной проверки и настройки. Репозиторий распространяется под лицензией Apache-2.0.

120май 2024ctx1K
textaudioapache-2.0hugging-face
gary109
ai-light-dance_singing3_ft_wav2vec2-large-xlsr-53

Модель gary109/ai-light-dance_singing3_ft_wav2vec2-large-xlsr-53 — модель распознавания речи на основе Wav2Vec2, дообученная автором gary109 на датасете GARY109/AI_LIGHT_DANCE - ONSET-SINGING3. Она принимает аудио и преобразует речь в текст; в карточке указаны оценка Loss 0,8797 и WER 0,5513 на наборе оценки. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch. Модель предназначена для распознавания вокала и пения в материалах AI Light Dance. Результат WER указывает на существенные ошибки распознавания, поэтому качество транскрипции следует проверять для конкретных записей. Лицензия — Apache-2.0.

70июль 2022
textaudioapache-2.0hugging-face
facebook
data2vec-audio-base

Data2Vec-Audio-Base — базовая модель самоконтролируемого предварительного обучения речи, разработанная Facebook. Она использует Transformer и обучается предсказывать контекстные латентные представления аудиосигнала по его маскированному фрагменту. Модель содержит 113,2 млн параметров и принимает речь с частотой дискретизации 16 кГц. Модель предназначена для извлечения признаков из речи и может служить основой для дообучения на распознавание речи после добавления токенизатора и обучения на размеченных текстовых данных. Сама по себе она не выдаёт транскрипции и не содержит токенизатора. Поддерживается английский язык; в карточке также указан набор данных LibriSpeech ASR. Модель распространяется под лицензией Apache-2.0.

1.6K7март 2022
textembeddingapache-2.0hugging-face
adventists-ai
DuplexJev-B-Whisper-small-Qwen3-1.7B

DuplexJev-B-Whisper-small-Qwen3-1.7B — компактная аудиотекстовая модель от adventists-ai для ответов на вопросы и классификации речевых сигналов. Она объединяет замороженный аудиоэнкодер Whisper-small и замороженную Qwen3-1.7B с обучаемым коннектором на 29,4 млн параметров: коннектор преобразует выход последнего слоя энкодера с помощью укладки кадров и проектора SwiGLU. Для типизированных вопросов модель оценивает варианты ответа по распределению токенов за один проход, без генерации последовательности. Модель рассчитана на короткие решения по аудио, spoken QA и оценку признаков говорящего, например пола или эмоций. В README приведены результаты на небольших наборах: 48% для qa100 по протоколу статьи и 42% с настройками duplexjev 0.2.1; показатели чувствительны к формулировке запроса. Модель ограничена качеством небольшой LLM и не предназначена для открытых вопросов на знания. Проверялась на прочитанной или разыгранной речи, а потоковый ввод, квантование и запуск на NPU не оценивались. Эмоциональные метки получены на корпусах с актёрской речью и не должны использоваться для принятия решений о людях. Коннектор совместим только с указанными Whisper и Qwen. Лицензия — Apache-2.0.

150сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
pymlex
ipa-transcriptor-300M

IPA Transcriptor 300M — дообученная pymlex байтовая модель google/byt5-small на базе архитектуры T5. Она преобразует английские слова в фонетическую транскрипцию IPA, например analytical → ˌænəˈlɪtɪkəl. Модель обучена на 125 925 очищенных парах «английское слово — транскрипция IPA» из фонетического словаря. Веса доступны в форматах Safetensors и ONNX; для запуска используется библиотека Transformers. Общее число параметров — 364,6 млн. Модель предназначена для получения IPA-транскрипций отдельных английских слов и может применяться в инструментах изучения произношения или фонетической обработки текста. В README приведены значения loss и perplexity на валидационной и тестовой выборках, однако данных о качестве на других типах текста нет. Лицензия — GPL-3.0.

1480май 2026
textgpl-3.0hugging-face
LIA-AvignonUniversity
IWSLT2022-Niger-Mali

Модель LIA-AvignonUniversity/IWSLT2022-Niger-Mali — базовая предобученная wav2vec 2.0 с архитектурой Wav2Vec2ForPreTraining и 113,3 млн параметров. Её обучили на аудиоколлекции Niger-Mali и корпусе тамашекско-французской речи: в совокупности данные включают французский, фула, хауса, тамашек и зарма. Модель предназначена как основа для задач обработки речи на этих языках, в том числе для дальнейшей адаптации к распознаванию речи и низкоресурсному речевому переводу. README описывает её как предобученный чекпойнт, а не готовую систему распознавания или перевода. Распространяется по лицензии Apache-2.0.

101апр. 2022
texthugging-face
OpenMOSS-Team
MOSS-TTSD-v0.7

MOSS-TTSD-v0.7 — двуязычная модель синтеза разговорной речи от OpenMOSS-Team на архитектуре MossTTSDForCausalLM, дообученная на базе Qwen/Qwen3-1.7B-Base. Она преобразует сценарии диалога между двумя собеседниками в выразительную речь с естественной разговорной интонацией и переключением голосов. Поддерживает клонирование двух голосов без дополнительного обучения и генерацию длинных сессий длительностью до 1700 секунд. Модель рассчитана на синтез диалогов и производство подкастов на китайском и английском языках. В основе лежит языковая модель с 1,7 млрд параметров, использующая единый семантико-акустический нейрокодек; указанная длина контекста — 32 768 токенов. Репозиторий содержит веса safetensors. Лицензия Apache-2.0 допускает коммерческое использование.

16718окт. 2025ctx32.8K
textapache-2.0hugging-face
tsukemono
neuTTS-JP-150m

neuTTS-JP-150m — японская модель синтеза речи, разработанная tsukemono и дообученная на базе llm-jp/llm-jp-3-150m. Она принимает японский текст и закодированную референсную аудиозапись, а затем генерирует аудиотокены, которые декодируются в речь с помощью NeuCodec. Модель содержит 101,1 млн параметров, построена на плотной архитектуре Llama и использует контекст до 4096 токенов. Модель предназначена для японского TTS, включая эксперименты с клонированием голоса на небольшой модели и потоковое воспроизведение. В README отмечено, что токенизатор изменён для японского языка: добавлены аудиотокены и обработка чтения японского текста, а некоторые иностранные языки и символы удалены. Для потокового сценария предусмотрены специальные токены заполнения, которые при выводе нужно игнорировать или использовать как границы фрагментов. Модель не предназначена для синтеза речи на других языках. Для работы с аудио требуется отдельный NeuCodec; README также содержит повреждённую строку обработки сгенерированных токенов, поэтому приведённый пример может потребовать исправления. Лицензия — Apache 2.0.

636февр. 2026ctx4.1K
textapache-2.0hugging-face
OnAnOrange
qwen3.5-4b-lite-osworld-sft

Qwen3.5-4B Lite.OSWorld SFT — мультимодальная плотная модель семейства Qwen3.5, дообученная с учителем разработчиком OnAnOrange на базе Qwen/Qwen3.5-4B. Чекпойнт обучен на данных траекторий Lite.OSWorld из набора CUA-Lite: в README указаны 1940 примеров, три эпохи обучения и финальный шаг iter_179. Модель предназначена для диалогового понимания изображений и выполнения задач в сценариях Lite.OSWorld, связанных с взаимодействием с компьютерной средой. Архитектура Qwen3_5ForConditionalGeneration поддерживает обработку изображений и генерацию текста; карточка не приводит отдельные сведения о размере контекста или языковом охвате. В репозитории указаны веса Safetensors и использование библиотеки Transformers. Лицензия в предоставленных данных не указана. Качество и область применимости зависят от ограниченного специализированного набора дообучения; описание не сообщает результатов оценки или гарантий успешного выполнения действий в реальных интерфейсах.

120июль 2026ctx262.1K
textimagehugging-face
billingsmoore
tibetan-asr-nict-tib1-hubert-base

Это модель распознавания речи на основе HuBERT Base, разработанная авторами исследования J. Moore, S. Li и P. Lauren и опубликованная вместе со статьёй об оценке распознавания тибетской речи. Модель полностью дообучена на базе facebook/hubert-base-ls960 с CTC-декодером для транскрибирования современной лхасской (центральной) тибетской речи. Архитектура использует Wav2Vec2ForCTC, число параметров — 113,3 млн; модель принимает аудио и выдаёт текст. Обучение проведено на корпусе NICT-Tib1: записи новостной речи 20 дикторов, с разбиением данных по дикторам. Модель предназначена для транскрибирования записанной лхасской тибетской речи и исследовательских сравнений систем ASR. На тестовой выборке CER составил 0,1352, однако авторы сообщают о худших среди сравниваемых архитектур результатах на метриках ошибок слогов и слов; независимое предсказание CTC может хуже учитывать тибетскую агглютинативную морфологию. Проверка охватывала только новостную речь и трёх тестовых дикторов, поэтому качество для разговорной речи и других диалектов не установлено. Модель распространяется по лицензии Apache-2.0.

330июль 2026
textaudioapache-2.0hugging-face
qqjz
turnguide_loss_3_1

TurnGuide Checkpoint turnguideloss31 — дообученная модель на основе GLM-4-Voice-9B, разработанная для системы TurnGuide. Она поддерживает полнодуплексное голосовое общение с динамическим чередованием текста и речи на уровне ходов диалога. Этот вариант обучен с соотношением весов функции потерь для текстовых и речевых токенов 3:1; для инференса используется код TurnGuide, а речевой токенизатор и декодер GLM-4-Voice нужно подключать отдельно. Модель содержит 11,4 млрд параметров, использует архитектуру ChatGLM и контекст до 8192 токенов. Чекпойнт предназначен для исследовательского использования в голосовых диалоговых сценариях, где важны естественная смена реплик и совместная генерация текста и речи. Базовая языковая часть GLM-4-Voice рассчитана на китайский и английский языки. Для загрузки требуются пользовательский код GLM-4-Voice и параметр trust_remote_code=True. Условия использования определяются лицензиями исходной модели GLM-4-Voice и связанных компонентов; отдельная лицензия чекпойнта в предоставленных данных не указана.

110июнь 2026ctx8.2K
texthugging-face
007arbab
wav2vec2-rapnic-example-google-colab

wav2vec2-rapnic-example-google-colab — дообученная модель распознавания речи на базе facebook/wav2vec2-base, опубликованная пользователем 007arbab. Это модель архитектуры Wav2Vec2ForCTC с 113,3 млн параметров, принимающая аудио и преобразующая речь в текст. В карточке указано, что модель дообучена на неизвестном наборе данных; сведения о поддерживаемых языках и целевых сценариях отсутствуют. На оценочной выборке указаны loss 2,1076 и WER 1,0876. Высокое значение WER указывает на слабое качество распознавания в приведённой оценке. Модель распространяется в формате safetensors под лицензией Apache-2.0.

70июнь 2026
textaudioapache-2.0hugging-face
yacht
byt5-base-en2th-transliterator

Модель yacht/byt5-base-en2th-transliterator, разработанная yacht, предназначена для фонетической передачи английских слов тайским письмом. Это дообученная для транслитерации англо-тайских пар модель ByT5 на базе архитектуры T5 типа sequence-to-sequence; она работает с последовательностями байтов UTF-8. В репозитории указано 595,1 млн параметров, доступны веса safetensors и поддерживается инференс в FP16. Модель подходит для транслитерации английских имён, географических названий, терминов и других слов на тайский, а также для учебных и доступностных сценариев. Она передаёт звучание, а не переводит смысл. Обучение использовало объединённые наборы англо-тайских пар из нескольких источников, включая имена и специализированную лексику. Лицензия MIT разрешает коммерческое использование. Качество зависит от фонетической сложности слова и покрытия обучающими данными: модель может ошибаться на редких или сложных словах и отдельных сочетаниях звуков. В карточке приведены accuracy 0,7831 и character error rate 0,0591; примеры ошибок показывают, что даже распространённые слова могут получить неточную запись.

2.2K0февр. 2025
textmithugging-face
lucadellalib
focalcodec_50hz

FocalCodec 50 Hz — речевой аудиокодек с низким битрейтом на основе сетей с фокальной модуляцией. Репозиторий содержит чекпойнт, обученный на LibriTTS 960; модель предназначена для кодирования и восстановления речи, включая сценарии передачи аудио с ограниченной пропускной способностью. Кодек использует одну кодовую книгу и поддерживает частоты дискретизации 16 и 24 кГц. В метаданных указаны PyTorch и формат весов safetensors, а базовой моделью названа microsoft/wavlm-large; лицензия — Apache-2.0. README ссылается на предварительные публикации о FocalCodec и потоковой версии FocalCodec-Stream.

9502февр. 2025
audioapache-2.0hugging-face
remsky
kokoro-inno-clone-tuner

kokoro-inno-clone-tuner — дообученная модель remsky для настройки голосов Kokoro-82M по короткому аудиофрагменту. Она извлекает голосовые характеристики из записи и формирует совместимый с Kokoro голосовой пакет; синтез речи выполняет базовая модель Kokoro через совместимый с ней конвейер. Модель использует энкодер говорящего WeSpeaker ResNet34 и компоненты для подстройки тембра и просодии. Размер весов составляет около 24 МБ в FP16; для работы используется файл safetensors. Модель предназначена для клонирования голоса с нуля по образцу и синтеза английской речи новым текстом с похожими тембром, высотой и темпом. Для образца требуется чистая запись одного говорящего длительностью от 3 до 30 секунд. По данным карточки, настройка выполняется примерно за 0,05 секунды обработки на секунду аудио на CPU после загрузки модели. Модель обучена преимущественно на английских данных. Сходство тембра и просодии ограничено диапазоном голосов и просодических характеристик базовых голосовых пакетов Kokoro; тембр может частично отличаться ради качества и стабильности звука. Лицензия — Apache-2.0.

996K26авг. 2026
textaudioapache-2.0hugging-face
matbee
lfm2.5-audio-tool-aware-v4.1

Это полное дообучение LiquidAI/LFM2.5-Audio-1.5B, опубликованное matbee, для голосового помощника, который определяет, когда запрос требует вызова инструмента, и отвечает голосом. Вариант v4.1 добавляет к аудио ответов-подтверждений перед вызовом инструмента короткий двухтональный сигнал длительностью 160 мс. Координатор может обнаружить его в первых аудиокадрах и запустить инструмент, пока модель продолжает произносить подтверждение. Модель принимает аудио и генерирует аудио; карточка указывает английский язык. Она основана на архитектуре Lfm2AudioForConditionalGeneration и обучена в bf16 на 3000 примерах примерно за полтора прохода по данным. В описанном тесте точность распознавания запросов для вызова инструмента составила 100%, а обнаружение сигнала по первому аудиокодбуку — 95%. Эти результаты получены на ограниченных выборках и не гарантируют такое же качество в других сценариях. Среди известных проблем — отдельная ошибка на пограничном запросе и сложные короткие реплики; примерно в 5% подходящих ответов сигнал не появляется, поэтому диспетчер должен иметь резервный способ запуска по окончании подтверждения. Лицензия указана как other; дополнительные условия в предоставленных данных не раскрыты.

138май 2026
audiootherhugging-face
rnjema-unima
mms-tts-bci-baseline

rnjema-unima/mms-tts-bci-baseline — подготовленный к дообучению контрольный набор для синтеза речи на языке бауле (Baoulé, bci), созданный на основе WAXAL и модели Meta MMS-TTS для акан. Это прокси-инициализация: отдельной модели MMS-TTS для bci нет, поэтому в качестве близкого донора используется facebook/mms-tts-aka; акустические и просодические параметры донора предназначены для адаптации к бауле при обучении на конфигурации bci_tts датасета google/WaxalNLP, предоставленной University of Ghana. Модель основана на архитектуре VITS и рассчитана на сквозное преобразование текста в речь без отдельного вокодера. В репозитории указано 3,5 млн параметров, однако сами веса здесь не хранятся: при обучении скрипт должен загрузить их из facebook/mms-tts-aka. Репозиторий содержит изменения конфигурации и препроцессора для совместимости с процедурой дообучения, поэтому README описывает прежде всего обучающий чекпойнт, а не готовый для непосредственного синтеза голос. Лицензия репозитория — CC-BY-NC-4.0. Данные WAXAL указаны под CC-BY-4.0; условия использования данных и модели следует учитывать отдельно. Качество синтеза на бауле зависит от последующего дообучения на целевом датасете, поскольку исходные веса относятся к акан.

101апр. 2026
textaudiocc-by-nc-4.0hugging-face
mlboydaisuke
OpenVoice-V2-CoreML

OpenVoice V2 — Core ML — это конвертированная в формат Core ML модель для преобразования голоса, основанная на myshell-ai/OpenVoice. Конверсию для запуска на устройствах Apple выполнил Daisuke Majima; модель состоит из двух пакетов: кодировщика говорящего и преобразователя голоса, которые последовательно запускаются из Swift. Модель преобразует входное аудио в аудио с голосом заданного говорящего и поддерживает клонирование голоса по примерно 10 секундам образца. Она предназначена для локального вывода на iPhone, iPad и Mac. Общий размер пакетов — около 58 МБ; в карточке указана проверенная конфигурация вычислений CPU и GPU. Лицензия — MIT.

660авг. 2026
audiomithugging-face

Задачи профессии

17 задач
240Автоматическое описание изображения для незрячего пользователя. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: анализирует форму, текстуру, цвет и пространственные отношения, учитывая масштаб и качество изображения. Исходные данные: изображения, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: редактируемый артефакт по задаче «Автоматическое описание изображения для незрячего пользователя», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
241Описание окружающей сцены через камеру в реальном времени. — AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. К исходным данным относятся интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: редактируемый артефакт по задаче «Описание окружающей сцены через камеру в реальном времени», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
242Чтение печатного текста и интерфейсов вслух. — Для этой задачи система находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Рабочие входы: сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: структурированные данные, полученные в рамках «Чтение печатного текста и интерфейсов вслух», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
243Распознавание препятствий и помощь в навигации. — Практическая реализация: AI анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Входной контекст включает индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание препятствий и помощь в навигации», с локализацией, уверенностью и признаками срабатывания. Ошибки выявляют по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
244Живые субтитры с разделением говорящих и описанием значимых неречевых звуков. — Механизм: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: согласует перевод или текст с длительностью сцены, паузами и артикуляцией. Исходные данные: речевая дорожка, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: редактируемый артефакт по задаче «Живые субтитры с разделением говорящих и описанием значимых неречевых звуков», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
245Выделение речи на фоне шума для улучшения разборчивости. — AI находит нужные фрагменты в исходном материале, распознаёт их роль и переносит в заданные структурированные поля. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: структурированные данные, полученные в рамках «Выделение речи на фоне шума для улучшения разборчивости», с нормализованными значениями и ссылками на исходные фрагменты. Надёжность оценивают посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
246Распознавание жестового языка. — Для этой задачи система анализирует поток наблюдений и локализует признаки, которые отличают целевой объект или нарушение от обычного состояния. Рабочие входы: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание жестового языка», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
247Генерация жестового перевода с помощью аватара. — Практическая реализация: AI генерирует черновой результат, согласованный с контекстом, форматом и стилевыми требованиями задачи. Предметная логика: сохраняет значение, числа, имена и терминологию, одновременно адаптируя форму к нормам целевого языка. Входной контекст включает исходный материал, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: редактируемый артефакт по задаче «Генерация жестового перевода с помощью аватара», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — ассистивный результат. Ошибки выявляют по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
248Предсказание фраз в альтернативной и дополнительной коммуникации. — Механизм: AI строит прогностическую модель на исторических наблюдениях, добавляет текущие сигналы и оценивает несколько вариантов развития. Исходные данные: индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: прогноз для условия «Предсказание фраз в альтернативной и дополнительной коммуникации» с горизонтом, вероятностями сценариев, диапазоном неопределённости и главными влияющими факторами. Проверка: на отложенных периодах, по калибровке вероятностей, ошибке прогноза и устойчивости к изменению предпосылок; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
249Синтез персонального голоса для человека, утратившего речь. — AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: преобразованный материал по задаче «Синтез персонального голоса для человека, утратившего речь» с сохранённым содержанием и журналом значимых изменений. Надёжность оценивают сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
250Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой. — Для этой задачи система переводит объект в новый формат или вид, контролируя потери информации и нежелательные артефакты. Предметная логика: учитывает расположение элементов, связь между страницами и документные правила, а не только распознанный текст. Рабочие входы: оригиналы документов, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование материала в формат easy-to-read с короткими фразами, символами и проверяемой структурой» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
251Голосовое, жестовое или взглядовое управление устройством. — Практическая реализация: AI оценивает текущее состояние, рассчитывает управляющее воздействие и корректирует его по обратной связи. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Входной контекст включает текст, интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: управляющее решение для «Голосовое, жестовое или взглядовое управление устройством» с ожидаемым эффектом, допустимыми пределами и условиями безопасной остановки. Ошибки выявляют в симуляции и контролируемых испытаниях, с проверкой устойчивости и независимых аварийных ограничений; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
252Персональная адаптация размера, контраста и структуры интерфейса. — Механизм: AI учитывает историю поведения и текущий контекст, но ограничивает персонализацию правилами разнообразия и справедливости. Предметная логика: находит чувствительные фрагменты и заменяет их так, чтобы исключить обратное раскрытие через контекст. Исходные данные: текст и изображения, сенсорные сигналы, индивидуальные потребности, настройки доступности и контент. Формат результата: адаптированный вариант для «Персональная адаптация размера, контраста и структуры интерфейса» с указанием контекста и факторов, определивших персонализацию. Проверка: по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
253Пошаговые подсказки для выполнения бытового действия. — AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. К исходным данным относятся индивидуальные потребности, настройки доступности, контент и интерфейсы. Формат результата: несколько вариантов для «Пошаговые подсказки для выполнения бытового действия», ранжированных по полезности, ограничениям и причинам выбора. Надёжность оценивают по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
254Распознавание состояния пользователя и предложение безопасной помощи. — Для этой задачи система выделяет информативные признаки, сравнивает их с нормой и отмечает случаи, соответствующие искомому событию. Рабочие входы: настройки доступности, контент, интерфейсы и сенсорные сигналы. Формат результата: перечень объектов, событий или отклонений, относящихся к «Распознавание состояния пользователя и предложение безопасной помощи», с локализацией, уверенностью и признаками срабатывания. Критерии приёмки: по полноте обнаружения, доле ложных срабатываний и качеству локализации на независимой выборке; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
255Преобразование визуальной информации в тактильное или звуковое представление. — Практическая реализация: AI сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. Входной контекст включает аудиодорожки, контент, интерфейсы, сенсорные сигналы и индивидуальные потребности. Формат результата: преобразованный материал по задаче «Преобразование визуальной информации в тактильное или звуковое представление» с сохранённым содержанием и журналом значимых изменений. Ошибки выявляют сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров.
256Автоматическая проверка цифрового контента на доступность. — Механизм: AI выполняет набор автоматических проверок и сохраняет доказательства для каждого пройденного или нарушенного условия. Исходные данные: интерфейсы, сенсорные сигналы, индивидуальные потребности и настройки доступности. Формат результата: протокол выполнения «Автоматическая проверка цифрового контента на доступность» с пройденными условиями, найденными нарушениями и спорными местами для ручного решения. Проверка: повторным запуском на эталонных примерах, ручной проверкой спорных случаев и полнотой контрольного покрытия; с участием целевых пользователей, по стандартам доступности, понятности и снижению барьеров. <a id="section-ii-1"></a>

0 моделей