I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиhandy-computer/whisper-tiny.en-gguf — это конвертация англоязычной модели OpenAI Whisper tiny.en в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая локальную обработку аудио на CPU или GPU. Поддерживается пакетная расшифровка, но потоковый режим, перевод и автоматическое определение языка отключены. Модель построена на архитектуре Transformer encoder-decoder и содержит около 39 млн параметров. Она обрабатывает аудио окнами по 30 секунд с разбиением длинных записей на фрагменты и возвращает сегментные временные метки. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 44 до 153 МБ. Квантизированные версии требуют меньше памяти, сохраняя близкое качество; например, WER на LibriSpeech test-clean составляет 5,72% для Q8_0 и 5,96% для Q4_K_M, тогда как для F32 — 5,77%. Сильные стороны модели — небольшой размер, высокая скорость и возможность запуска через transcribe.cpp на совместимом локальном оборудовании. Ограничение — поддержка только английского языка; модель не предназначена для многоязычной расшифровки, перевода или потоковой обработки. Для работы аудио должно быть подготовлено в формате WAV, 16 кГц, моно. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели OpenAI.
Модель wrice/whisper-tiny-grpo-5e2f49e-cv22-tiny-sftadaptive — компактная модель распознавания речи на базе Whisper Tiny от OpenAI, дообученная автором репозитория методом GRPO с комбинированной наградой за ошибки слов и символов. Она предназначена для преобразования аудио в текст; при обучении использовался набор cv22_index с данными Common Voice для 78 языковых локалей, а язык клипа задавался по локали набора данных. Для контрольной выборки сообщаются общие WER 0,671 и CER 0,290 после нормализации текста. Модель доступна в формате safetensors через Transformers и распространяется по лицензии MIT. Это экспериментальная проверка метода обучения, а качество в реальных условиях зависит от языка, предметной области, акцента и качества аудио.
Whistle — компактная модель распознавания речи от Cactus-Compute для локального запуска на мобильных устройствах, носимой электронике, роботах, устройствах умного дома, автомобилях и микроконтроллерах. Она принимает монофонический звук с частотой 16 кГц и распознаёт речь на английском, немецком, французском, испанском, итальянском, нидерландском и польском языках; язык можно определять автоматически или задавать явно. Модель сочетает log-mel-преобразование, свёрточный начальный блок, аудиоэнкодер и декодер Needle с перекрёстным вниманием. Файл модели занимает 16,9 МБ; заявлена работа на CPU без GPU и дополнительных сред выполнения в движке Cactus Needle. Помимо транскрипции, Whistle может выдавать временные метки и вероятности для отдельных слов, потоково распознавать длинные записи и формировать речевые эмбеддинги для поиска и сопоставления. Поддерживается смещение распознавания в пользу заданных ключевых слов. Модель рассчитана на распознавание аудио на устройстве, что подходит для приложений, которым нужна локальная обработка речи. Для входа требуется аудио 16 кГц в моно; другие частоты дискретизации и захват с микрофона требуют дополнительного пакета. Лицензия — Apache-2.0.
Wolof-HuBERT-CTC — модель распознавания речи, созданная Soynade Research путём дообучения soynade-research/Wolof-HuBERT-Base. Это HuBERT-модель с архитектурой CTC, содержащая 113,3 млн параметров и предназначенная для преобразования аудио на волоф в текст. Для оценки на сложном наборе данных в карточке указаны loss 0,4031 и WER 0,3565; авторы сообщают, что модель превосходит модели HuBERT от Meta и Orange. Модель подходит для транскрибирования записей и аудиопотоков на волоф. Для работы предлагается библиотека Transformers; веса представлены в формате safetensors. Лицензия — AGPL-3.0.
xGen-MM-phi3-mini-base-r-v1.5 — базовая большая мультимодальная модель, разработанная Salesforce AI Research. Она продолжает разработки серии BLIP и обучалась на наборах данных для создания подписей к изображениям и на данных с чередованием изображений и текста. Модель принимает изображения вместе с текстом и генерирует текст; карточка относит её к архитектуре xGenMM и указывает поддержку диалогового взаимодействия и зрения. Базовая версия предназначена для мультимодального обучения в контексте и оценки по задачам понимания изображений, включая визуальные вопросы и ответы, чтение текста на изображениях и генерацию описаний. В README приведены результаты few-shot-оценки без дообучения на инструкциях. Модель выпущена для исследовательских целей под лицензией Apache 2.0. Данные из интернета и вклад базовых языковых моделей могут приводить к смещениям; точность, безопасность и справедливость следует оценивать для конкретного применения.
XLS-R-300m-SV — модель распознавания шведской речи, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 7.0 для шведского языка (конфигурация sv-SE). Модель использует архитектуру wav2vec2 с CTC-декодером и содержит около 402,7 млн параметров; принимает аудио и преобразует его в текст. Опубликованные результаты на тестовой выборке Common Voice 7.0: WER 24,68% без языковой модели и 16,98% с языковой моделью. Модель выпущена под лицензией Apache-2.0. README не описывает дополнительные сценарии применения и ограничения; качество на других наборах данных не приведено.
XTTS-v2 — модель синтеза речи Coqui, дообученная на базе coqui/XTTS-v2. Она создаёт многоязычную речь по тексту и позволяет клонировать голос по аудиофрагменту длительностью около 6 секунд, в том числе переносить голос на другой язык. Модель поддерживает 17 языков, выдаёт аудио с частотой дискретизации 24 кГц и допускает использование нескольких голосовых образцов для интерполяции между голосами. Модель подходит для озвучивания текстов, многоязычной генерации речи и переноса эмоционального стиля и манеры речи из образца. В карточке указаны улучшения стабильности, просодии и качества аудио относительно XTTS-v1. Репозиторий использует формат PyTorch и библиотеку Coqui; лицензия обозначена как other, поэтому перед использованием следует проверить её условия в карточке модели.
Audio-Interaction — потоковая модель диалога с аудио на входе и текстом на выходе. По карточке модель использует аудиокодировщик Qwen2.5-Omni и языковую часть Qwen2; метаданные указывают 3,1 млрд параметров, контекст 32 768 токенов и библиотеку Transformers. Модель обрабатывает звук последовательными фрагментами и на каждом решает, продолжать ли слушать или начать текстовый ответ. Она предназначена для голосовых ассистентов и диалоговых систем, которым важно реагировать до завершения всей реплики. Поддерживает потоковое взаимодействие, а также офлайн-сценарии распознавания речи и перевода речи в текст. В режиме слушания выдаёт управляющие маркеры, а в режиме ответа генерирует текст; синтеза речи нет. Входной звук рассчитан на моно 16 кГц, решения принимаются с шагом 0,4 секунды, а неполные хвостовые фрагменты короче 10 кадров отбрасываются. Для голосового ответа модель нужно дополнить системой TTS. Лицензия — Apache-2.0.
bkh6722/bach-arb — модель распознавания речи на базе Wav2Vec2ForCTC, дообученная из jonatasgrosman/wav2vec2-large-xlsr-53-german. Веса PyTorch содержат 113,3 млн параметров. Модель предназначена для преобразования аудио в текст; конкретный язык и обучающий набор данных в карточке не описаны. На тестовой выборке указаны loss 2,9404 и WER 0,6130. Эти результаты показывают заметную долю ошибок распознавания, поэтому качество следует проверять на целевых аудиозаписях. Сведения о лицензии в предоставленных данных отсутствуют.
batisay-ko-large 1.1 — BatiAI әзірлеген, корей тіліндегі сөйлеуді мәтінге айналдыруға арналған Whisper Large v3 негізіндегі модель. Ол KsponSpeech, Zeroth және AI Hub деректерімен, соның ішінде көпсалалы сөйлеу және 8 кГц телефон жазбаларымен дообучен; базалық Whisper Large v3 шамамен 1,55 млрд параметрден тұрады. Модель жиналыс, дәріс, сұхбат, диктовка, телефон қоңырауы және медиаға субтитр дайындау транскрипциясына бағытталған. Карточкада таза сөйлеу, шулы жазбалар және бірнеше домен бойынша CER бенчмарктары берілген. Қысқа клиптер мен құжаттық/пакеттік транскрипцияға дәлдігі басым; ұзақ қоңыраулар мен ағындық жұмысқа автор жеңілірек turbo нұсқасын ұсынады. Whisper Large өлшемі есептеу ресурстарын көбірек қажет етеді. Репозиторийде safetensors форматы көрсетілген, ал README-де басқа кванттау нұсқалары және whisper.cpp, Transformers арқылы іске қосу жолдары аталады. Лицензиясы — BatiAI Community v2 («other» метадерегінде). Транскрипцияда сирек жеке әріптер қалып қоюы мүмкін; оларды кейінгі өңдеуде алып тастау ұсынылады.
CantoCaptions Cantonese ASR — модель распознавания речи, созданная дообучением Qwen3-ASR на подмножестве датасета CantoCaptions. Она предназначена для транскрибации кантонской речи в письменный кантонский язык с оформлением по стандартам CantoCaptions, которые учитывают принятые варианты написания из словаря words.hk. Частицы в конце предложения, например 啦, 喇 и 嗱, записываются раздельно с учётом тона. Модель построена на Qwen3-ASR-1.7B и обучалась с LoRA ранга 128 в течение одной эпохи примерно на 75 часах обучающего аудио. В README указаны ещё 4 часа dev- и 4 часа тестового аудио из того же датасета. Разработчик характеризует её как раннюю версию, которая может обновляться. Модель распространяется по лицензии Apache-2.0.
Chatterbox-Multilingual-MLX-v2-Q4 — преобразованная для формата MLX версия многоязычной модели синтеза речи ResembleAI/chatterbox, подготовленная автором репозитория theoracleguy с помощью mlx-audio 0.2.10. Она принимает текст и генерирует речь; запускать её можно локально на совместимом оборудовании Apple через mlx-audio или совместимое приложение OpenVox. Модель основана на ResembleAI/chatterbox и предназначена для многоязычного синтеза речи. Для работы требуются веса S3TokenizerV2 из mlx-community/S3TokenizerV2, которые загружаются автоматически. В репозитории указаны файлы safetensors. Лицензия — Apache-2.0.
Chatterbox-Multilingual-MLX-v2-Q8 — конвертированная в формат MLX версия многоязычной модели синтеза речи Chatterbox от Resemble AI, подготовленная theoracleguy на основе ResembleAI/chatterbox с помощью mlx-audio 0.2.10. Модель принимает текст и генерирует речь; репозиторий предназначен для локального запуска на совместимом оборудовании Apple через mlx-audio или графический интерфейс OpenVox. Для работы также требуются веса S3TokenizerV2, загружаемые автоматически. Модель основана на архитектуре Chatterbox и использует файлы safetensors. Базовая модель описана как средство многоязычного синтеза выразительной речи и клонирования голоса по аудиообразцу; карточка этой версии описывает сценарии синтеза текста в речь. Лицензия репозитория — Apache-2.0. README не приводит конкретный перечень поддерживаемых языков, размер модели или длину контекста.
mlx-community/Chatterbox-TTS-fp16 — версия модели Chatterbox от Resemble AI, подготовленная сообществом mlx-community в формате MLX с помощью mlx-audio-plus 0.1.0. Модель предназначена для синтеза речи из текста; базовая модель также поддерживает клонирование голоса по аудиообразцу и многоязычную выразительную речь. Репозиторий содержит веса safetensors и требует веса S3TokenizerV2 из mlx-community/S3TokenizerV2, которые загружаются автоматически. Лицензия в предоставленных данных не указана.
Data2Vec-Audio-Base-960h — модель распознавания речи, разработанная Facebook (ныне Meta). Это акустическая модель на архитектуре Transformer семейства data2vec-audio с 113,3 млн параметров: она предварительно обучена методом self-supervised learning, а затем дообучена для распознавания речи на 960 часах аудио LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выдаёт текстовую транскрипцию; в карточке приведены результаты на тестовых разделах LibriSpeech: WER 2,77 для clean и 7,08 для other. Модель предназначена для транскрибации английской речи, в том числе оценки качества распознавания на LibriSpeech. Для корректной работы входное аудио нужно подавать с частотой 16 кГц. Веса доступны в формате PyTorch по лицензии Apache-2.0. Карточка не описывает качество на других языках и акустических условиях, поэтому результаты за пределами LibriSpeech могут отличаться.
fast-ukrainian-asr-600m — украинская модель распознавания речи, созданная дообучением 600-миллионного мультиязычного SSL-энкодера GigaAM и адаптированная для телефонного аудио. Она предназначена для преобразования украинской речи в текст, в том числе в телефонных записях с частотой 8 кГц после передискретизации до 16 кГц. Модель использует CTC-архитектуру с символьной выходной головой на 38 классов; принимает монофонический звук с частотой 16 кГц и выдаёт текст. По результатам авторского сравнения модель особенно хорошо распознаёт начитанную речь, в том числе аудио в телефонном канале, но слабее справляется со спонтанной разговорной речью. Она предназначена только для украинского: русский язык не поддерживается. Вывод не содержит пунктуации и заглавных букв, а числа записываются словами. По оценке авторов, на CPU модель требует примерно в 2,4 раза больше времени, чем вариант на 220 млн параметров. Лицензия — MIT.
Fun-CosyVoice3-0.5B-2512 — система синтеза речи FunAudioLLM на базе языковой модели, выпущенная в декабре 2025 года. Модель предназначена для многоязычного синтеза речи с нуля, включая клонирование голоса по образцу и генерацию речи на языке, отличном от языка образца. В репозитории представлены форматы ONNX и Safetensors; лицензия — Apache-2.0. Система поддерживает китайский, английский, японский, корейский, немецкий, испанский, французский, итальянский и русский языки, а также более 18 китайских диалектов и акцентов. Она принимает инструкции для выбора языка, диалекта, эмоции, скорости и громкости, умеет корректировать произношение через китайский Pinyin и английские фонемы CMU. Поддерживаются потоковая передача текста на вход и аудио на выход, а также нормализация чисел и специальных символов. Разработчики заявляют об улучшениях согласованности содержания, сходства голоса и естественности просодии относительно CosyVoice 2.0, а также о задержке потоковой генерации от 150 мс. В README нет сведений о размере модели, длине контекста или специальных ограничениях качества; заявленные характеристики не следует считать независимой оценкой.
Это конверсия модели gemma-3-27b-it в формат MLX для запуска на устройствах Apple Silicon. Репозиторий mlx-community содержит веса с 8-битной квантованием; преобразование выполнено с помощью mlx-vlm версии 0.1.23 из google/gemma-3-27b-it-qat-q4_0-unquantized. Модель принимает текст и изображения и генерирует текст, поддерживая диалог и визуальные задачи. Подробности о языках, контекстном окне и условиях лицензии следует сверять с карточкой исходной модели; в метаданных указана лицензия other.
mcwei/gemma-4-31B-it-bf16-sft-novel-prefill-150 — дообученная модель mcwei на базе unsloth/gemma-4-31B-it, созданная с использованием Unsloth и библиотеки Hugging Face TRL. Это мультимодальная плотная модель Gemma 4 с 31 млрд параметров для диалогов и анализа изображений; также базовая модель поддерживает программирование и вызов инструментов. Модель принимает текст и изображения и генерирует текст. В карточке указана лицензия Apache-2.0.
Gemma4-BLIP3o-Captioner-8B — мультимодальная модель для описания изображений, разработанная prithivMLmods на основе google/gemma-4-E4B-it. Она дообучена примерно на 3 тысячах примеров из набора BLIP3o-Pretrain-Long-Caption, чтобы воспроизводить подход BLIP3o к созданию подробных и насыщенных описаний изображений. Модель предназначена для captioning-сценариев: описания пейзажей, природных сцен, портретов, объектов и других категорий изображений. Она также поддерживает последовательное описание кадров видео, поэтому может применяться для задач, где важен временной порядок визуальных наблюдений. По заявлению автора, шаблон чата содержит встроенную системную инструкцию для детализированных описаний, а режим рассуждений по умолчанию отключён, что ориентировано на низкую задержку. Заявлен английский язык; модель работает с текстом и изображениями. Точный размер контекста и архитектурные параметры в README не указаны, однако доступны версии GGUF с разными уровнями квантования размером примерно от 4,4 до 15,1 ГБ, а также отдельные мультимодальные проекторы. Сильными сторонами модели являются специализация на структурированных, подробных и контекстно насыщенных описаниях, поддержка локального запуска и последовательной обработки кадров видео. Модель экспериментальная и не является универсальной: при использовании для общего диалога или задач instruction following вне области captioning возможны артефакты и ухудшение качества. Распространяется по лицензии Apache-2.0.
GigaChat Audio 10B (A1.8B) — аудионативная языковая модель ai-sage, созданная на основе текстовой GigaChat 3.1 Lightning. Conformer-энкодер речи и адаптер модальности передают аудиоэмбеддинги в декодер Mixture-of-Experts; модель также выполняет текстовые задачи. В названии указаны 10B параметров и активная конфигурация A1.8B, однако метаданные не содержат отдельного значения общего размера модели. Модель предназначена для вопросов и ответов по аудио, классификации звука, поиска событий и фрагментов по времени, создания описаний и кратких пересказов аудио с временными отметками. README также заявляет поддержку использования инструментов. В карточке приведены сравнительные результаты на аудио-бенчмарках и отмечено, что добавление аудиомодальности меняет качество текстовых задач: на части тестов результаты базовой модели снижаются, на других растут. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы и описания с временными отметками. Для temporal grounding заявлено обучение на длинных аудиозаписях с временной разметкой из TimeGround-1M. Лицензия — MIT.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; метаданные подтверждают поддержку хинди. В README приведены результаты на наборе оценки: loss 0,3763 и Global WER 29,2620, но описание модели и сведения о данных обучения отсутствуют. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors. Репозиторий распространяется по лицензии MIT.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка сообщает о дообучении на наборе данных, обозначенном как None. На оценочном наборе указаны loss 0,5552 и Global WER 22,7742. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Метаданные базовой модели подтверждают поддержку хинди. Лицензия — MIT. Карточка не описывает дополнительные ограничения или сценарии использования.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на датасете с названием None. В оценке модели приведены loss 0,5062 и Global WER 26,0112. Модель использует архитектуру WhisperForConditionalGeneration и формат весов safetensors; библиотека для работы — Transformers. Лицензия — MIT. Подтверждена поддержка хинди; сведений о других языках и параметрах контекста карточка не содержит.
Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в названии модели указаны хинди, хинглиш и смешанные письменности. В README приведены результаты оценки: loss 0,4115 и Global WER 27,8641; описание датасета и подробности применения не раскрыты. Модель распространяется под лицензией MIT.
Модель представляет собой дообученную версию Whisper, разработанную на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; название модели указывает на работу с хинглишем и смешанными письменностями. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. На оценочном наборе указаны loss 0,4475 и глобальный WER 28,015. Лицензия — MIT. Данные обучения, подробности об оценочном наборе и более точное описание поддерживаемых языков в карточке не раскрыты.
mlx-community/InternVL3-8B-3bit — мультимодальная чат-модель семейства InternVL3, преобразованная mlx-community из модели InternVL3-8B в формат MLX с помощью mlx-vlm 0.1.23. Она предназначена для диалога по изображениям и задач визуального понимания; поддерживает ввод текста и изображений с текстовыми ответами. В метаданных также отмечен интерфейс вызова инструментов и мультиязычная поддержка. В карточке указана лицензия other. Метаданные связывают модель с OpenGVLab/InternVL3-1B-Instruct как дообученную модель, хотя README описывает конвертацию из InternVL3-8B; поэтому базовая модель установлена по метаданным, а происхождение конвертированной версии описано отдельно.
InternVL-Chat-V1-2-Plus — мультимодальная большая языковая модель, разработанная OpenGVLab для диалогов с изображениями и генерации текста. Она объединяет визуальный энкодер InternViT-6B-448px-V1-2, MLP-проектор и языковую модель Nous-Hermes-2-Yi-34B; общее число параметров — 40 млрд. Модель рассчитана на работу с изображениями размером 448 × 448, которые кодируются в 256 визуальных токенов, а также поддерживает текстовые диалоги. Версия Plus использует тот же тип архитектуры, что и InternVL-Chat-V1-2, но дообучена на 12 млн примеров SFT. Её можно применять для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях и мультимодального чата. Репозиторий содержит веса Safetensors, модель запускается через Transformers с поддержкой пользовательского кода. Лицензия — MIT. Модель поддерживает интерфейс многораундового общения с несколькими изображениями и видео, однако авторы отмечают низкое качество этих сценариев из-за недостатка соответствующих обучающих данных. Также авторы предупреждают, что 4-битная квантизация BNB может заметно ухудшить понимание изображений и приводить к бессмысленным ответам.
Карточка модели da1353/kokoro-ru на Hugging Face совпадает с карточкой zaakirio/kokoro-ru, поэтому описание составлено по ней. zaakirio/kokoro-ru — русскоязычная модель синтеза речи, разработанная как порт Kokoro-82M. Это плотная модель семейства StyleTTS2 с 81,81 млн параметров; доступны три голоса, включая Sveta и Masha, использующие общий чекпойнт с разными voicepack. Модель принимает фонемные идентификаторы, а преобразование русского текста в фонемы выполняется внешним фронтендом. Для локального запуска доступны ONNX-экспорты, совместимые с kokoro, transformers.js, kokoro-js и ONNX Runtime. Модель предназначена для озвучивания русского текста на CPU и, по данным карточки, работает примерно в 9,8 раза быстрее реального времени на ноутбуке без GPU. В описанной оценке она показала 2,50% WER при обратном распознавании Whisper на коротком тестовом наборе; проверка фонетических особенностей дала 15 правильных результатов из 16. Эти измерения оценивают разборчивость, а не естественность речи. Ограничения включают более тёмный тембр по сравнению с исходными записями, узкополосные артефакты у некоторых шипящих и свистящих звуков, ошибки в омографах и детерминированную просодию. Качество ударений зависит от фронтенда: README сообщает о худших результатах Node.js-варианта на словах с трудным ударением по сравнению с Python-фронтендом. Веса распространяются по лицензии OpenRAIL, код — Apache-2.0.
Карточка модели nuresens/KomdigiITS-3B-PAD-Final на Hugging Face совпадает с карточкой nuresens/ALL_PAD_MERGE_v2, поэтому описание составлено по ней. nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.