I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиРепозиторий HotDog1123/whisperkit-coreml содержит модель распознавания речи для WhisperKit — фреймворка для работы на устройствах Apple Silicon. Модель предназначена для преобразования аудио в текст и используется через библиотеку WhisperKit. Файлы представлены в формате Core ML, а метаданные указывают на задачу автоматического распознавания речи и поддержку аудиовхода. Карточка не сообщает размер модели, языки, длину контекста или лицензию, поэтому эти характеристики нельзя уточнить.
drewschaub/whisper-large-v3-japanese-4k-steps — дообученная модель автоматического распознавания речи на базе Whisper large-v3 от OpenAI. Она предназначена для транскрибации японской речи в текст и обучена на Common Voice 16.1; модель содержит 905,2 млн параметров и распространяется в формате Safetensors по лицензии Apache-2.0. Обучение продолжалось 4000 шагов на Google Colab с A100. В README указаны оценка loss 0,4057 и WER 18,2149; автор также сообщает, что validation loss и WER росли в ходе обучения, что указывает на переобучение и может ограничивать качество распознавания. Модель принимает аудио и выдаёт текст.
yuriyvnv/whisper-large-v3-mixed-cv-nl — модель распознавания речи на нидерландском языке, созданная Yuriy Vnv дообучением Whisper large-v3 от OpenAI. Это плотная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; обучение проводилось с помощью Transformers на записях Common Voice 17.0 и синтетической речи, отфильтрованной по качеству на уровне слов. Модель рассчитана на транскрибацию чистой нидерландской речи и заявляет результаты 4,48% WER на тесте Common Voice и 17,25% WER на MLS. Она может подойти для распознавания речи в аудиозаписях и голосовых сообщениях на нидерландском; результаты на других языках и акустических условиях не описаны. Лицензия — Apache-2.0.
Модель dsfsi-anv/whisper-large-v3-turbo-anv-tsn — дообученная версия Whisper large-v3-turbo от OpenAI, созданная на датасете dsfsi-anv/za-african-next-voices. Это плотная модель архитектуры Whisper с примерно 905,2 млн параметров, предназначенная для автоматического распознавания речи и преобразования аудио в текст. Модель работает с аудиовходом и выдаёт текст; в метаданных указана библиотека Transformers и формат весов safetensors. На оценочном наборе модель показала loss 0,1287 и WER 16,884. Карточка не описывает подробно целевые языки, сценарии применения или ограничения качества, поэтому эти результаты нельзя переносить на другие наборы данных. Лицензия — MIT.
sadrasa97/whisper-large-v3-turbo-fa — модель автоматического распознавания речи, созданная дообучением OpenAI Whisper Large V3 Turbo на персидском языке (фарси). Она принимает аудио и преобразует речь в текст; архитектура — WhisperForConditionalGeneration, библиотека — Transformers. В метаданных также указана поддержка английского языка. Модель предназначена для транскрибации персидской речи и может применяться в системах преобразования аудиозаписей в текст. Базовая модель Whisper Large V3 Turbo — ускоренная мультиязычная модель распознавания речи. Модель распространяется по лицензии Apache-2.0.
Whisper Medium Czech 2 CV11 — модель распознавания речи, дообученная автором mikr на openai/whisper-medium с использованием чешской части набора Mozilla Common Voice 11.0. Она преобразует чешскую речь в текст и предназначена для автоматической транскрибации аудио. Модель построена на архитектуре Whisper, содержит 455,8 млн параметров и распространяется в форматах PyTorch и Safetensors. На оценочной выборке указана ошибка слов WER 11,4086 и значение loss 0,2417. Лицензия — Apache-2.0. В README не описаны ограничения применения и условия оценки, кроме приведённых метрик.
ychafiqui/whisper-medium-darija — модель распознавания речи, созданная дообучением Whisper medium от OpenAI на датасете Darija Speech to Text. Она предназначена для преобразования речи на дариже в текст. Модель построена на архитектуре Whisper и содержит 455,8 млн параметров; для работы с ней используется библиотека Transformers. Карточка не приводит результатов оценки и подробных сведений об ограничениях. Модель распространяется по лицензии Apache-2.0.
lorenzoncina/whisper-medium-zh — модель распознавания речи, полученная дообучением Whisper Medium от OpenAI на китайской части набора Mozilla Common Voice 11.0 (zh-CN). Она предназначена для преобразования китайской речи в текст. В карточке приведены результаты оценки: loss 0,3226 и CER 10,9782. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Она принимает аудио и выдаёт текст; в метаданных указан китайский язык. Весы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.
amirsz8203/whisper-small-fa-finetuned — версия Whisper Small, дообученная автором репозитория для автоматического распознавания речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка указывает оценку WER 24,1495 на наборе оценки, но не описывает сам набор данных и условия измерения. Модель использует архитектуру Whisper и библиотеку Transformers, веса представлены в формате safetensors. Лицензия — Apache 2.0. Поддерживаемый язык в карточке не подтверждён.
MKAlbani/whisper-small-ha — дообученная модель распознавания речи на базе openai/whisper-small, созданная на датасете Common Voice 16.1. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 153,1 млн параметров. В карточке приведены результаты оценки: WER 43,79 и WER Ortho 46,98. Модель принимает аудио и выдаёт текст. Базовый Whisper — мультиязычная модель, но карточка не уточняет языки, на которых проводилось дообучение; суффикс «ha» сам по себе не подтверждает язык. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.
Blgn94/whisper-small-mn-v2 — дообученная модель на основе openai/whisper-small для автоматического распознавания речи на монгольском языке. Она использует архитектуру Whisper и предназначена для транскрибирования аудио; модель распространяется через Transformers в формате safetensors. Обучение проводилось на корпусе примерно из 77 часов монгольской речи с частотой 16 кГц, преимущественно на записях Common Voice. По результатам проверки на фиксированной выборке из 200 примеров модель показала WER 15,16% и CER 6,60%; полная оценка на валидационной выборке ещё не проводилась. Модель лучше подходит для чёткой подготовленной речи на кириллице и может быть полезна для транскрибирования записей и субтитров. По сравнению с разговорной, шумной или телефонной речью качество может быть ниже; Whisper также может ошибочно генерировать текст на тишине и неречевых фрагментах. Лицензия — Apache-2.0.
ronnybscales/whisper-small-shona-waxal — дообученная модель автоматического распознавания речи на основе Whisper Small от OpenAI. Она предназначена для преобразования входящей речи в текст; название модели указывает на специализацию для языка шона. В карточке приведены результаты оценки: WER 52,01 и eval_loss 0,5100 после примерно 2 эпох обучения. Модель построена на архитектуре Whisper и распространяется в формате Safetensors через Transformers. Лицензия — Apache 2.0. Подробности о данных обучения и условиях оценки в карточке не описаны.
FutureProofGlitch/whisper-small-v2 — дообученная разработчиком FutureProofGlitch модель распознавания речи на базе Whisper Small. Она предназначена для преобразования англоязычной речи в текст; для оценки указаны результаты на тестовой выборке GigaSpeech: WER 16,4524 и нормализованный WER 28,4362. Модель содержит 153,1 млн параметров и распространяется в формате safetensors. Модель подходит для транскрибирования англоязычных записей и аудио, включая материалы из домена GigaSpeech. Лицензия — Apache-2.0. README не приводит дополнительных сведений о сценариях применения или ограничениях качества.
Это модель автоматического распознавания непальской речи, разработанная Kiran Pantha. Она дообучена на базе kiranpantha/w2v-bert-2.0-nepali на сбалансированном наборе аудиоданных OpenSLR54-Balanced-Nepali и использует архитектуру Wav2Vec2-BERT с CTC-декодированием. Модель принимает аудио и преобразует речь в текст; число параметров — около 402,7 млн. В карточке приведены результаты оценки: WER 0,3612 и CER 0,0805. Модель подходит для транскрибирования записей на непальском языке. Указана лицензия MIT. README не описывает дополнительные сценарии, условия записи или известные ограничения.
ACE-Step Transcriber — мультиязычная модель транскрибации, используемая ACE-Step v1.5 для разметки обучающих данных. В карточке указана архитектура Qwen2.5-Omni; модель принимает аудио и формирует структурированный текст с распознанной речью или текстом песен, а также пометками частей композиции, например куплетов, припева и инструментальных фрагментов. Модель предназначена для распознавания речи и пения, извлечения текста песен, создания субтитров и анализа музыкальной структуры. Она поддерживает более 50 языков, включая китайский, японский, корейский, вьетнамский, тайский, индонезийский, малайский, филиппинский, хинди, бенгальский, тамильский и урду. Репозиторий содержит веса в формате Safetensors, используется библиотека Transformers. Лицензия — MIT.
Карточка модели nuresens/ALL_PAD_MERGE_v4 на Hugging Face совпадает с карточкой nuresens/ALL_PAD_MERGE_v2, поэтому описание составлено по ней. nuresens/ALL_PAD_MERGE_v2 — дообученная мультимодальная модель семейства Mistral3 на базе aitf-komdigi/KomdigiITS-3B-PAD-CPT. Разработчик — nuresens; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель принимает изображения и текст и предназначена для диалоговых сценариев с визуальным содержимым, включая ответы на вопросы по изображениям. В карточке также заявлен интерфейс для вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Количество параметров и длина контекста в предоставленных источниках не указаны.
Карточка модели gheero-Leyu/amharic-omnivoice-tts на Hugging Face совпадает с карточкой Lab-et/omnivoice-amharic, поэтому описание составлено по ней. OmniVoice Amharic — модель синтеза речи, разработанная участниками инициативы Voices For All и дообученная на базе k2-fsa/OmniVoice. Она преобразует текст в естественную амхарскую речь и поддерживает клонирование голоса по аудиозаписи длительностью около 10 секунд. Модель использует нед autoregressive дискретную диффузионную архитектуру; заявленный размер — 612,6 млн параметров. Базовая OmniVoice также поддерживает английский и китайский, однако эта версия обучалась на амхарских аудиоданных и прежде всего предназначена для амхарского языка. Модель подходит для озвучивания текстов, создания речи голосом заданного говорящего и синтеза амхарской речи с учетом характерных согласных, геминации и интонации. В карточке перечислены данные из нескольких амхарских речевых корпусов и заявлена поддержка диалектных вариантов, хотя обучающие данные смещены в сторону аддис-абебского произношения. Лицензия — Apache 2.0. Известные ограничения: в обучающих данных преобладают мужские голоса, сельские акценты представлены слабее, а переключение между амхарским и английским, числительные и даты могут произноситься непредсказуемо. Эмоциональный диапазон ограничен нейтральной и новостной манерой; количественные результаты оценки в карточке пока не опубликованы.
Apodex-1.0-4B-SFT-rebased — мультимодальная модель семейства Qwen3.5 с плотной архитектурой и 4 млрд параметров. Её создал dark-pen, объединив с помощью LazyMergekit модели Qwen/Qwen3.5-4B-Base и apodex/Apodex-1.0-4B-SFT методом arcee_fusion; веса сохранены в формате safetensors и типе bfloat16. Модель предназначена для диалоговых сценариев с текстом и изображениями, включая ответы на вопросы по визуальному содержимому. Метаданные также указывают на интерфейс вызова инструментов. Модель доступна по лицензии Apache-2.0.
CogVLM2 Chinese Chat — мультимодальная чат-модель компании Zhipu AI на архитектуре CogVLM2 с языковой основой Meta-Llama-3-8B-Instruct. Она принимает изображения и текст и генерирует текстовые ответы на вопросы о содержимом изображений, включая документы, диаграммы и сцены. Поддерживает китайский и английский языки, изображения с разрешением до 1344 × 1344 пикселей и контекст до 8192 токенов. Модель предназначена для визуальных вопросов и ответов, чтения текста на изображениях и анализа документов без внешних OCR-инструментов. README сообщает об улучшениях на бенчмарках TextVQA и DocVQA относительно предыдущего поколения CogVLM. В метаданных размер указан как 8,3 млрд параметров, тогда как README описывает семейство как модель на 19B; точный размер этой версии поэтому представлен источниками неоднозначно. Модель опубликована в формате safetensors. Лицензия указана как «other»; конкретные условия использования следует сверять с условиями репозитория и базовой модели.
Data2Vec-Audio-Large-960h — акустическая модель Facebook для автоматического распознавания английской речи. Это крупная Transformer-модель семейства data2vec с архитектурой Data2VecAudioForCTC и 402,7 млн параметров; она предварительно обучена и дообучена на 960 часах аудио из LibriSpeech. Модель принимает речь с частотой дискретизации 16 кГц и выводит текстовую транскрипцию. Модель предназначена для транскрибирования аудиозаписей и оценки систем распознавания речи на наборах LibriSpeech. В карточке приведены результаты WER 1,89 для раздела clean и 4,07 для other. Эти показатели относятся к указанной оценке на LibriSpeech и не гарантируют аналогичного качества на других данных. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Она рассчитана на английскую речь и требует аудио с частотой 16 кГц; карточка не описывает поддержку других языков или сценариев работы.
aoleg/gemma-4-31B-it-heretic-ORBA — декензурированная версия мультимодальной инструкционной модели Google Gemma 4 31B IT. Автор сообщает, что модель создана с помощью Heretic v1.3.0 и собственного метода ORBA abliteration; метаданные также связывают её с google/gemma-4-31B-it как с базовой моделью и указывают архитектуру Gemma4ForConditionalGeneration в формате safetensors. Модель предназначена для диалогов и задач image-text-to-text: она принимает текст и изображения, анализирует визуальный ввод и генерирует текст. В README приведено сравнение отказов: 2 из 100 для этой версии против 98 из 100 у указанной автором модели сравнения; это результат оценки с LLM-судьёй, а не гарантия поведения во всех запросах. Лицензия и сведения о размере и длине контекста в предоставленных данных отсутствуют.
didula-wso2/gemma-4-E4B-rl70 — дообученная модель на архитектуре Gemma 4 E4B, разработанная didula-wso2 на базе didula-wso2/gemma4_sft-julia_klgesft_16bit_vllm. Она предназначена для диалоговых задач с текстовыми запросами и изображениями и генерации текста по визуальному содержимому. Модель использует архитектуру Gemma4ForConditionalGeneration; веса опубликованы в формате safetensors. Модель поддерживает английский язык и мультимодальный ввод текста и изображений. В README указано, что при обучении использовались Unsloth и библиотека TRL от Hugging Face. Лицензия — Apache-2.0.
Модель представляет собой GGUF-конверсию GigaAM-v3 для библиотеки transcribe.cpp, подготовленную командой handy-computer на основе ai-sage/GigaAM-v3. Это офлайн-модель автоматического распознавания русской речи с жадным декодированием RNN-T. Она предназначена для преобразования 16 кГц моноаудио в текст и локального запуска без внешней языковой модели или подключения к интернету. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 имеет около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная конверсия выводит строчные русские тексты без пунктуации, использует словарь из 33 символов и поддерживает токенные временные метки. Потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. На полном тестовом наборе FLEURS ru из 775 высказываний показатель WER составляет около 8,07–8,12% в зависимости от квантизации. Модель ориентирована на русскую речь в различных доменах, включая естественную речь, колл-центры, фоновую музыку и речь с нетипичными характеристиками. Ограничения включают отсутствие пунктуации и нормализации текста, отсутствие потокового режима и ограничения базового декодирования для длинных аудиофайлов. Модель распространяется по лицензии MIT, унаследованной от базовой модели.
Модель karanjaxyz/gikuyu-asr-v0 — дообученная на наборе karanjaxyz/kikuyu-asr-data модель OpenAI Whisper Small для автоматического распознавания речи на кикуйю. Она принимает аудио и генерирует текстовую транскрипцию. В карточке указаны результаты оценки: WER 32,86 и CER 10,47; описание не содержит подробностей о сценариях применения или условиях записи, использованных при оценке. Модель построена на архитектуре Whisper и опубликована в формате safetensors для Transformers. Лицензия — Apache-2.0.
patrickvonplaten/hubert-xlarge-ls960-ft-4-gram — модель распознавания английской речи, созданная на основе Facebook hubert-xlarge-ls960-ft и дополненная 4-граммной языковой моделью. Для языковой модели используются официальные n-граммы LibriSpeech. Архитектура — HuBERT-XLarge с CTC-выходом; число параметров по метаданным — 1,3 млрд. Модель принимает аудио и выдаёт распознанный текст, подходит для транскрибации речи и оценки на наборах LibriSpeech clean и other. В README приведены результаты WER 1,71 для clean и 3,06 для other. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.
IAD-X1-SFT-answer-last — мультимодальная модель диалога на базе Qwen/Qwen3.5-4B, дообученная на наборе данных PA_SFT_2_answer_last. Она предназначена для диалоговых задач с пониманием изображений и генерацией текстовых ответов. Архитектура — плотная Qwen3.5 с поддержкой зрения; репозиторий содержит веса в формате Safetensors. Модель работает с изображениями и текстом на входе и формирует текст на выходе. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой модели.
InternVL3.5-38B-Flash — мультимодальная чат-модель OpenGVLab, созданная на основе InternVL3.5-38B. Это плотная архитектура InternVLChatModel с обработкой изображений и текста; репозиторий использует Transformers и формат safetensors. Модель дообучена на наборах OpenGVLab/MMPR-v1.2 и OpenGVLab/MMPR-Tiny и распространяется по лицензии Apache-2.0. Модель предназначена для диалогов с изображениями и текстом, визуальных вопросов и рассуждений по изображениям, включая задачи понимания диаграмм, документов и визуальных сцен. Семейство InternVL3.5 также заявляет поддержку взаимодействия с графическим интерфейсом и воплощённых агентов; README описывает динамическое распределение разрешения визуальных токенов и раздельное развёртывание зрительной и языковой частей для повышения эффективности. Для запуска 38-миллиардной версии README указывает необходимость двух GPU A100; эти аппаратные требования могут ограничивать локальное развёртывание.
Это 8-битная версия модели Llama 3.2 11B Vision Instruct, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Llama-3.2-11B-Vision-Instruct-abliterated с помощью mlx-vlm 0.1.4. Модель принимает текст и изображения и предназначена для диалога и ответов на вопросы по изображениям. Модель основана на архитектуре mllama и содержит 11 млрд параметров. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Репозиторий содержит веса в формате safetensors; лицензия — llama3.2. Метаданные отмечают возможности чата, работы с изображениями и интерфейс вызова инструментов. Подробности о качестве и ограничениях автор отсылает к карточке исходной модели.
Карточка модели unsloth/Llama-4-Scout-17B-16E на Hugging Face совпадает с карточкой meta-llama/Llama-4-Scout-17B-16E, поэтому описание составлено по ней. Llama 4 Scout — мультимодальная авторегрессионная модель Meta с архитектурой mixture-of-experts и ранним объединением модальностей. В модели 17 млрд параметров и 16 экспертов; она предназначена для работы с текстом и изображениями. Модель подходит для диалогового помощника, визуального рассуждения, распознавания содержимого изображений, создания подписей и ответов на вопросы об изображениях. Поддерживает арабский, английский, французский, немецкий, хинди, индонезийский, итальянский, португальский, испанский, тагальский, тайский и вьетнамский языки. В README указано, что модель тестировалась на понимание до пяти изображений за один запрос. Модель распространяется по специальной коммерческой лицензии Llama 4 Community License Agreement с ограничениями Acceptable Use Policy. Это статическая модель, обученная на офлайн-данных; качество ответов и работу в конкретных сценариях следует проверять отдельно. Возможности понимания изображений сверх пяти изображений за запрос требуют дополнительного тестирования и настройки.
LLaVA-OneVision Qwen2 72B Chat — мультимодальная модель семейства LLaVA-OneVision, разработанная командой LLaVA и представленная в карточке Hugging Face как дообученная версия Qwen2. Она сочетает визуальный энкодер SO400M с языковой моделью Qwen2 и предназначена для диалоговой работы с изображениями и видео. Модель отвечает на вопросы по одному или нескольким изображениям, описывает визуальные материалы и поддерживает понимание видео. Обучение включало этапы с синтетическими инструкциями, данными для одиночных и нескольких изображений, а также видеоданными; заявлен формат точности bfloat16. Для работы с изображениями и видео используется мультимодальный шаблон чата в Transformers. Карточка указывает поддержку английского и китайского языков. Репозиторий распространяет веса в safetensors и использует лицензию Apache-2.0. Это крупная модель на 72 млрд параметров, поэтому для локального запуска требуются значительные вычислительные ресурсы; README также описывает возможность 4-битной загрузки через bitsandbytes.