I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиМодель not-tanh/wav2vec2-large-xlsr-53-vietnamese — модель распознавания речи на базе Wav2Vec2-Large-XLSR-53, дообученная разработчиком на вьетнамском языке. Для обучения использовались Common Voice, VIVOS и FOSD; архитектура — Wav2Vec2ForCTC, размер — 402,8 млн параметров. Модель преобразует речь на вьетнамском языке в текст и предназначена для сценариев автоматического распознавания речи. Входное аудио следует подавать с частотой дискретизации 16 кГц. В README приведён результат оценки 39,57% на тестовых данных Common Voice, однако метрика не уточнена. Модель распространяется по лицензии Apache 2.0. Карточка не описывает применение языковой модели при декодировании; приведённый результат оценки не позволяет однозначно судить о качестве в других условиях.
Wav2Vec2-XLS-R-300M — созданная Facebook AI мультиязычная модель предварительного обучения для извлечения речевых представлений на основе архитектуры wav2vec 2.0. В карточке указано 300 млн параметров, а метаданные репозитория — 402,7 млн; модель предобучена на 436 тысячах часов неразмеченной речи из 128 языков. Для подачи речи требуется частота дискретизации 16 кГц. Модель служит основой для дообучения под распознавание речи, перевод речи и классификацию, включая определение языка. Она не является готовой системой распознавания речи без соответствующей настройки. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache 2.0.
anuragshas/wav2vec2-xls-r-300m-mt-cv8-with-lm — модель автоматического распознавания речи, созданная Anurag Shastri на основе facebook/wav2vec2-xls-r-300m и дообученная на мальтийской части Mozilla Common Voice 8.0. Это плотная модель Wav2Vec2 с CTC-декодированием, принимающая аудио и выдающая распознанный текст на мальтийском языке. В названии и оценке указано применение языковой модели при декодировании: на тестовом наборе Common Voice 8.0 WER составил 15,967% с LM и 19,853% без неё. Модель подходит для транскрибирования мальтийской речи и оценки систем распознавания на тестовом наборе Common Voice. Репозиторий содержит веса PyTorch; в метаданных указано 402,7 млн параметров и лицензия Apache-2.0. Результаты приведены для конкретного тестового набора и не гарантируют такое же качество на иных типах записи, акцентах или условиях шума.
Whisper Small Arabic — дообученная модель распознавания речи на основе openai/whisper-small, созданная автором arun100 на арабской части датасета Mozilla Common Voice 16.0. Она предназначена для преобразования арабской речи в текст и может применяться для транскрибирования записей и голосовых сообщений. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors. На оценочной выборке указаны loss 0,4005 и WER 58,9073; высокий WER указывает на заметные ошибки распознавания. Модель лицензирована по Apache-2.0.
AllehellA/whisper-small-nigerian-en — дообученная модель распознавания речи на базе OpenAI Whisper Small. Она предназначена для транскрибирования аудио с нигерийским вариантом английского языка. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и доступна в формате Safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 8,2943 и нормализованный WER 5,2181. Датасет обучения не назван, поэтому эти значения не позволяют судить о качестве на других выборках и условиях записи. Модель распространяется по лицензии Apache-2.0.
tahaalselwii разработал whisper-small-yemeni — модель распознавания речи на базе Whisper encoder-decoder Transformer, дообученную на арабской речи йеменского диалекта. Она предназначена для транскрибирования аудио с йеменской арабской речью; опубликована для работы с Hugging Face Transformers и хранится в формате safetensors. При оценке на пользовательском тестовом разбиении из 160 примеров модель показала WER 63,49% против 84,32% у базовой openai/whisper-small. Обучение использовало 1 284 примера из йеменской части датасета UBC-NLP/Casablanca. Результаты предварительные: ограниченный объём данных и тестовая выборка не позволяют уверенно судить о качестве на новых говорящих и в других условиях записи. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.
Whisper Small Chinese — дообученная модель xmzhu на базе openai/whisper-small для автоматического распознавания китайской речи. Она принимает аудио и генерирует текст; при дообучении использован китайский вариант набора Common Voice 11.0. Модель построена на архитектуре Whisper и содержит 153,1 млн параметров. На оценочной выборке указана частота ошибок слов WER 72,3626 и loss 0,3946. Высокий WER указывает на существенные ошибки распознавания, поэтому качество следует проверять на данных конкретного сценария. Модель распространяется по лицензии Apache-2.0.
zongxiao/whisper-small-zh-CN — дообученная модель автоматического распознавания речи на базе мультиязычной Whisper Small от OpenAI. Она обучена на Common Voice 13 и предназначена для транскрибирования аудио на китайском языке. Модель содержит 153,1 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки на тестовой выборке: WER 76,20 и орфографически нормализованный WER 73,97; обучение оценивалось на шаге 1500, после 0,6 эпохи. Эти показатели указывают на существенные ошибки распознавания, поэтому пригодность для конкретных записей следует проверять отдельно.
vasista22/whisper-tamil-large-v2 — модель автоматического распознавания речи, созданная дообучением Whisper Large-v2 разработчиком vasista22 на тамильских данных из нескольких открытых корпусов. Она предназначена для преобразования тамильской речи в текст и оценки распознавания на соответствующих тестовых наборах. Модель использует архитектуру WhisperForConditionalGeneration и содержит около 905,2 млн параметров; доступны реализации весов PyTorch и Flax. Модель ориентирована на тамильскую речь и обучалась на корпусах IISc-MILE, ULCA, Shrutilipi, Microsoft Speech Corpus для индийских языков, Google Fleurs и Babel. Для обучения применялся спринт по дообучению Whisper; Apache-2.0 разрешает использование модели на условиях этой лицензии. Карточка не приводит длину контекста или измерения качества, поэтому нельзя оценить точность на конкретных типах записей.
kapilkd13/xls-r-hi-test — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m для хинди на данных Mozilla Common Voice 7.0. Она принимает аудио и выдаёт распознанный текст; архитектура модели — Wav2Vec2ForCTC, число параметров — около 402,8 млн. В оценке на тестовом наборе указаны loss 0,7346 и WER 1,0479, что свидетельствует о слабом качестве распознавания в этой оценке. Модель предназначена для автоматической транскрипции речи на хинди. Опубликована по лицензии Apache-2.0.
xlsr-luganda-waxal — модель распознавания речи на основе Wav2Vec2 XLSR, созданная дообучением sulaimank/wav2vec2-xlsr-swahili-400hr. Она преобразует входящее аудио в текст и предназначена для автоматического распознавания речи. Архитектура — Wav2Vec2ForCTC; модель содержит около 402,7 млн параметров и распространяется в формате Safetensors. В карточке приведены результаты оценки: WER 0,2144, CER 0,0446 и Zindi 0,8705; набор данных и подробности тестирования не раскрыты. Название указывает на лугандийскую речь, но README не описывает поддерживаемые языки и сценарии подробнее. Лицензия — Apache 2.0.
ZipVoice-Distill GGUF — модель синтеза речи с клонированием голоса, разработанная k2-fsa и упакованная для движка audio.cpp. Она основана на ZipVoice и предназначена для zero-shot TTS: генерации речи по тексту с имитацией голоса по аудиореференсу и её транскрипции. Поддерживаются китайский и английский языки, включая смешанный ввод. Модель использует архитектуру TTSZipformer с flow-matching и вокодер Vocos с частотой дискретизации 24 кГц. В состав GGUF-файла входят модель, вокодер и текстовые компоненты фронтенда, включая таблицы для китайского языка, словари jieba, pypinyin и интеграцию с espeak-ng. Доступны версия F32 размером 553 МБ и рекомендуемая квантизованная Q8_0 размером 158 МБ; последняя снижает потребление памяти примерно на 26% при сохранении качества, близкого к F32. Выходной формат — монофонический WAV 24 кГц. Модель подходит для локального синтеза речи и клонирования голоса через audio.cpp. Ключевые ограничения — необходимость аудиореференса с точной транскрипцией, зависимость английского фронтенда от библиотеки espeak-ng и отсутствие поставляемых вариантов с более низкой разрядностью из-за возможного ухудшения слышимого качества. Модель распространяется по лицензии Apache-2.0.
Audio8-TTS-Preview-0.6b-GGUF — это GGUF-конверсия модели Audio8-TTS-Preview-0.6b, разработанной Audio8, для запуска через audio.cpp. Конверсия не включает дополнительное обучение или изменения архитектуры и предназначена для синтеза речи из текста, потоковой генерации и клонирования голоса по эталонной аудиозаписи с расшифровкой. Модель использует архитектуру DualAR: медленный модуль имеет 24 слоя размера 896 с 14 головами внимания и 2 KV-группами, быстрый модуль — 4 слоя размера 896. В составе — 10 кодбуков, аудиокодек с частотой 44,1 кГц и размером кадра 2048 сэмплов, контекст составляет 2048 токенов. Размер исходной модели — 0,6 млрд параметров; файл q8_0 содержит 681 тензор и занимает около 1,4 ГиБ. Поддерживаются кантонский и китайский языки, английский, нидерландский, французский, немецкий, итальянский, японский, корейский, польский и испанский, а также автоматический выбор языка. Сильные стороны модели — локальный запуск в формате GGUF, поддержка потокового синтеза и voice cloning, а также совместимость с OpenAI-совместимым серверным интерфейсом audio.cpp. Это preview-версия: стабильность снижается при использовании шумных, длинных или плохо соответствующих тексту эталонных записей. Для клонирования голоса необходимо получить согласие правообладателя и раскрывать факт использования синтетической речи. Модель и её конверсия распространяются по лицензии Apache-2.0; репозиторий является производной работой в формате GGUF и не заявляет аффилированность с Audio8.
Модель candra/blip-image-captioning-finetuned — дообученная версия BLIP (Bootstrapping Language-Image Pretraining) для автоматического описания изображений. Она принимает цветное изображение и генерирует текстовую подпись о его содержимом; из подписи также можно получить очищенные ключевые слова в формате хештегов. Базовая модель — Salesforce/blip-image-captioning-base. Модель подходит для автоматического создания подписей к изображениям и подготовки кратких тематических хештегов. В метаданных указаны архитектура BLIP с классом BlipForConditionalGeneration, поддержка изображений и текста, формат весов safetensors и английский язык. Данных о лицензии и размере модели в предоставленной карточке нет.
Breeze-TTS-2-mlx-8bit — неофициальный и не связанный с разработчиком порт модели BreezeBlue/Breeze-TTS-2 в формате MLX, созданный сообществом mlx-community. Это 8-битная версия модели для синтеза речи из текста. Модель предназначена для задач text-to-speech и генерации речи, включая клонирование голоса, создание голоса и управление характеристиками или манерой речи. В карточке заявлена поддержка английского и китайского языков. Сведения об архитектуре, количестве параметров, длине контекста, поддерживаемых аудиоформатах и требованиях к вычислительным ресурсам не указаны. Ключевое преимущество модели — 8-битное представление и адаптация к MLX, что может быть удобно для запуска в соответствующей экосистеме. При этом это неофициальный порт, поэтому его поведение и совместимость могут отличаться от исходной модели BreezeBlue/Breeze-TTS-2. Модель распространяется по лицензии BreezeBlue Research and Non-Commercial License и предназначена только для исследовательского и некоммерческого использования.
aufklarer/Chatterbox-Multilingual-MLX-fp16 — многоязычная модель синтеза речи на базе Chatterbox от Resemble AI, преобразованная для инференса через MLX на компьютерах Apple с Apple Silicon. Модель использует компоненты для кодирования голоса, преобразования текста в токены речи и генерации волновой формы; поддерживает клонирование голоса с нуля по короткому аудиообразцу на 23 языках, включая арабский и хинди. Репозиторий хранит тензоры в формате fp16 объёмом около 1,3 ГБ. Для работы также требуются веса S3TokenizerV2, которые mlx-audio загружает автоматически. Модель подходит для озвучивания текста и создания речи голосом из предоставленного образца. Лицензия — MIT.
Chinese-LLaVA-Cllama2 — двуязычный китайско-английский визуально-языковой помощник, разработанный проектом LinkSoul. Модель построена на архитектуре LLaVA с языковой частью на основе Chinese-Llama-2; в метаданных указано 6,6 млрд параметров и контекст 2048 токенов. Репозиторий содержит веса PyTorch. Модель предназначена для диалога на китайском и английском языках с учетом визуального содержимого. Она может отвечать на вопросы по изображениям и вести мультимодальный диалог; основная задача в метаданных — генерация текста. В README заявлена возможность коммерческого использования, однако указаны разные лицензии: OpenRAIL в метаданных Hugging Face и Apache-2.0 в карточке проекта, поэтому условия лицензирования следует сверить для конкретных файлов модели.
ConvTasNet_WHAMR_enhsingle_16k — модель разделения и улучшения аудио, дообученная М. Каном Келесом на варианте WHAMR! с речью из аудиокниг и искусственно добавленной реверберацией. Она обучалась для задачи enh_single и предназначена для очистки одиночной речевой записи, в том числе с реверберацией. Модель использует архитектуру ConvTasNet и библиотеку Asteroid; веса представлены в формате PyTorch. В карточке приведены метрики качества на тестировании, включая SI-SDR 12,98 и STOI 0,92. Модель распространяется по лицензии CC BY-SA 4.0. Параметры и ограничения применения за пределами описанного сценария в карточке не уточнены.
Devstral-Small-2-24B-Instruct-2512-4bit — это 4-битная версия модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral и конвертированной сообществом mlx-community в формат MLX. Модель предназначена для запуска с библиотекой mlx-vlm на совместимых устройствах Apple Silicon и использует формат safetensors. Модель поддерживает сценарии image-text-to-text, включая обработку изображений и генерацию текстовых ответов по ним. В README приведён пример использования для описания изображения. Известно, что модель имеет размер 24B параметров, является instruct-моделью и использует 4-битное квантование, однако сведения о точной архитектуре, поддерживаемых языках и размере контекстного окна не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 4-битному представлению и формату MLX. Ограничения связаны с зависимостью от экосистемы MLX и mlx-vlm, а также с отсутствием в доступных данных подробных сведений о производительности, языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.
Fadhma-300M — модель распознавания речи на кабильском языке (таqbaylit), разработанная agbalu. Это акустическая модель на 402,7 млн параметров с архитектурой Wav2Vec2ForCTC, дообученная на базе ylacombe/omniASR_W2V_300M_SSL. Она преобразует аудио в текст латиницей с канонической кабильской орфографией; для декодирования доступны жадный CTC-режим и поиск по лучам с 5-граммной языковой моделью, построенной на кабильском текстовом корпусе. Модель предназначена для расшифровки кабильской речи в голосовых заметках, устных архивах, интервью и вещательных записях, а также для преобразования речи в текст перед дальнейшей языковой обработкой. На тесте Common Voice 22.0 с 15 003 высказываниями и разделением по говорящим указаны CER 8,01% и WER 25,65% при поиске по лучам с языковой моделью; без неё — 8,53% и 30,12%. Лицензия — Apache-2.0.
Disty0/Florence-2-large-PromptGen-v2.0 — совместимая с Hugging Face Transformers версия дообученной модели MiaoshouAI/Florence-2-large-PromptGen-v2.0 на архитектуре Florence-2. Она принимает изображение и генерирует текстовые описания и промпты, включая промпты для Flux; в карточке также указаны возможности компьютерного зрения. Репозиторий распространяет веса в формате safetensors и использует библиотеку Transformers. Модель выпущена под лицензией MIT. Карточка не содержит подробностей о размере модели, поддерживаемых языках, длине контекста и качестве на разных типах изображений. README сообщает только о совместимой версии для Transformers.
Модель ibagari/gemma-4-E4B-nisamina-nc-v73-a100-public разработана ibagari как дообученная версия ibagari/gemma-4-E4B-nisamina-nc-v7-a100-public. Это плотная мультимодальная модель семейства Gemma 4 для диалогов и задач image-text-to-text: она принимает текст и изображения и формирует текстовые ответы. В метаданных также заявлен интерфейс вызова инструментов. Для обучения использовались Unsloth и библиотека TRL Hugging Face. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает конкретные сценарии обучения и ограничения качества, поэтому её пригодность для отдельных задач следует оценивать на собственных примерах.
GLaMM-FullScope — мультимодальная модель семейства LLaVA, разработанная MBZUAI и дообученная на открытых наборах данных для объединения возможностей GLaMM. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, связанные с содержимым изображения. Модель предназначена для диалогов с привязкой ответов к областям изображения, сегментации объектов по выражениям, описания отдельных регионов и целых изображений, а также визуальных ответов на вопросы. В метаданных указаны 6,6 млрд параметров, контекст 4096 токенов, формат PyTorch и лицензия Apache-2.0. Карточка не приводит оценки качества или подробностей об ограничениях; возможности сегментации заявлены в описании, однако способ представления масок и конкретные входные форматы не уточнены.
Gliese-Qwen3.5-9B-Abliterated-Caption — мультимодальная vision-language модель от prithivMLmods, построенная на базе Qwen/Qwen3.5-9B. Она предназначена прежде всего для обобщённого и нефильтрованного описания изображений: генерации подробных подписей, анализа сцен, объектов, людей и окружения. Модель ориентирована на создание датасетов подписей, разметку изображений, мультимодальные исследования и локальные inference-пайплайны. Модель содержит около 9 млрд параметров и поддерживает обработку текста и изображений. В карточке заявлены английский и китайский языки, архитектура для image-text-to-text и интеграция с Transformers, vLLM и text-generation-inference. Она оптимизирована для длинных, структурированных и семантически насыщенных описаний, а также поставляется в форматах GGUF, включая BF16, F16, F32 и Q8_0. Размер контекстного окна не указан. Ключевая особенность — применение анализа направлений отказа и abliteration-тренировки для снижения внутренних отказов модели и получения более свободных описаний. Это может быть полезно для исследовательских и экспериментальных задач, но одновременно повышает риск нежелательного или небезопасного контента: встроенные ограничения снижены, поэтому результаты требуют дополнительной проверки и фильтрации. Модель распространяется по лицензии Apache-2.0; авторы указывают, что она предназначена для исследований и обучения, а ответственность за законное и безопасное использование лежит на пользователе.
Higgs Audio v3 TTS (4B) — это вариант модели bosonai/higgs-audio-v3-tts-4b, подготовленный multimodalart для загрузки через библиотеку Transformers без SGLang. Веса исходного чекпойнта скопированы без изменений; добавлены файлы конфигурации и модели для trust_remote_code. В основе — Qwen3-4B с объединёнными аудиоэмбеддингами и выходной головой для нескольких кодовых книг. Модель предназначена для синтеза речи по тексту и поддерживает генерацию с использованием эталонного аудио. На выходе возвращает монофоническую волну с частотой 24 кГц; обработка восьми кодовых книг и декодирование волны выполняются автоматически. Для кодирования эталонного аудио и декодирования используется токенизатор bosonai/higgs-audio-v2-tokenizer. Требуется Transformers версии 5.5 или выше. Чекпойнт рассчитан на некоммерческое исследовательское использование и наследует лицензию исходной модели. Основа LM может загружаться в выбранной точности, для неё рекомендуется bf16; аудиокодек работает в fp32, поскольку декодирование в bf16 нестабильно. README не описывает конкретный охват языков синтеза, поэтому язык из тега en нельзя уверенно считать единственным поддерживаемым языком.
Indic-Mio-MLX-fp16 — экспорт модели SPRINGLab/Indic-Mio в формате fp16 для Apple Silicon и MLX, поставляемый вместе с кодеком MioCodec 25 Гц / 24 кГц для декодирования речевых токенов в аудио. Модель основана на плотной архитектуре Qwen3ForCausalLM и содержит 520,7 млн параметров; указанное для неё контекстное окно — 32 768 токенов. Модель предназначена для синтеза речи из текста на индийских языках, генерации с управлением эмоциями и клонирования голоса. В README описан путь генерации токенов Indic-Mio и их декодирования через MioCodec; для запуска требуется совместимый MLX runtime, например speech-swift. Локальная проверка подтвердила разборчивый синтез на примере текста на хинди, но не является полноценным бенчмарком. Это экспорт весов, а не готовый чекпойнт для Transformers. Репозиторий распространяется по лицензии Apache-2.0. Карточка указывает языки хинди, бенгальский, маратхи, телугу, каннада, майтхили, ассамский, гуджарати, малаялам, пенджаби, тамильский, непальский, санскрит и английский.
Indri 0.1 124M TTS — компактная модель преобразования текста в речь от 11mlabs. Это авторегрессионная трансформерная модель на базе GPT-2 с 124 млн параметров: она генерирует аудиотокены из текста, а затем декодирует их в аудио с помощью Kyutai/mimi. Модель предназначена для синтеза речи на английском и хинди, включая смешанный ввод на этих языках, и поддерживает клонирование голоса по короткому образцу менее пяти секунд. Разработчик заявляет высокую скорость генерации и возможность работы с большими пакетами на RTX6000Ada; модель использует контекст до 1024 токенов. В README она представлена как исследовательская демонстрация, не предназначенная для коммерческого использования. Метаданные указывают лицензию CC BY-SA 4.0.
K2-nano-v1 — слитая модель на архитектуре Gemma 4, созданная методом Tri-Ring с помощью mergekit. Она предназначена для диалоговых сценариев с текстом и изображениями: принимает текст и изображения и формирует текстовые ответы. В README указаны три объединённые модели и базовая модель с локальными путями, поэтому определить их публичные идентификаторы Hugging Face нельзя. Модель опубликована в формате safetensors и использует библиотеку Transformers. В метаданных указан тип задачи image-text-to-text и возможность работы с изображениями. Лицензия, размер модели, длина контекста и поддерживаемые естественные языки в предоставленных данных не определены.
Kwai Keye-VL-1.5-8B — мультимодальная языковая модель, разработанная командой Kwai Keye компании Kuaishou. Она предназначена прежде всего для понимания видео и изображений, визуального восприятия и рассуждений по мультимодальным входам. Модель содержит 7,6 млрд параметров и построена на базе языковой модели Qwen3-8B с визуальным энкодером, инициализированным из SigLIP; для объединения текста, изображений и видео использует 3D RoPE. Для видео применяется стратегия Slow-Fast: часть кадров обрабатывается в высоком разрешении, а большее число кадров — в низком. Модель поддерживает динамическое разрешение изображений и контекст до 131 072 токенов. Она рассчитана на диалоговые сценарии, анализ длинных видеоматериалов и ответы на вопросы о визуальном содержимом; также заявлены способности к логическим и математическим рассуждениям и работе с RAG. В карточке сообщается о результатах на публичных тестах понимания видео и мультимодальных задач, однако они не гарантируют качество на произвольных данных. Модель доступна под лицензией Apache 2.0.
Kokoro-82M-bf16 — преобразованная в формат MLX версия модели синтеза речи Kokoro-82M, подготовленная сообществом mlx-community. README указывает, что исходная модель — hexagrad/Kokoro-82M, а конверсия выполнена с помощью mlx-audio 0.0.1. Метаданные Hugging Face классифицируют модель как text-to-speech, указывают библиотеку MLX, лицензию Apache-2.0 и английский язык. Модель предназначена для преобразования английского текста в речь в приложениях, использующих MLX и mlx-audio. Размер в идентификаторе — 82M; карточка не сообщает дополнительные сведения об архитектуре, длине контекста или конкретных голосах. Ограничения и качество синтеза следует оценивать по карточке исходной модели. Репозиторий содержит веса safetensors. README описывает конверсию из hexagrad/Kokoro-82M, поэтому это преобразование формата, а не дообучение самой модели; лицензия указана как Apache-2.0.