I.15Доступность и ассистивные технологии

mustafoyev202/speecht5_finetuned — модель синтеза речи из текста на архитектуре SpeechT5ForTextToSpeech, дообученная на базе microsoft/speecht5_tts. Она предназначена для преобразования текстового ввода в аудио. В README приведено значение eval_loss 0,3355; название и характеристики обучающего набора данных не раскрыты. Модель опубликована в формате safetensors и распространяется по лицензии MIT. Метаданные указывают библиотеку Transformers. Карточка не описывает поддерживаемые языки, голосовые характеристики и ограничения качества, поэтому их нельзя уточнить.

Модель technaxx/speecht5_finetuned_voxpopuli — дообученная на литовской части датасета VoxPopuli версия SpeechT5 от Microsoft для синтеза речи по тексту. Она принимает текст и генерирует аудио; в карточке указана архитектура SpeechT5ForTextToSpeech и форматы PyTorch и Safetensors. Модель ориентирована на литовский язык. Автор сообщает о небольшом числе говорящих и примеров в обучении, поэтому синтез может плохо обобщаться на новые данные. На оценочной выборке указаны validation loss 0,5676 и training loss 0,38. Лицензия — MIT.

etonkou/swahili — модель распознавания речи на суахили, разработанная как дообучение facebook/wav2vec2-base. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров; репозиторий предоставляет веса PyTorch. Модель принимает аудиоречь и выдаёт текстовую транскрипцию. В README приведены результаты оценки: loss 1,0009 и WER 0,6055. README не описывает обучающие данные и сценарии применения, поэтому качество распознавания за пределами указанной оценки неясно. Лицензия — Apache-2.0.

t5-small-spoken-typo — англоязычная модель Will Wade, дообученная на базе T5-small для исправления ошибок в коротких разговорных фразах. Она восстанавливает пропущенные пробелы, исправляет опечатки, в том числе характерные для набора на клавиатуре QWERTY, и нормализует неформальные написания. Модель предназначена, в частности, для обработки пользовательского текста и поддержки пользователей средств альтернативной и дополнительной коммуникации (AAC). Модель использует архитектуру T5 с 38,5 млн параметров, принимает текст и генерирует исправленный текст. Контекст составляет до 512 токенов; обучение было сосредоточено на коротких высказываниях длиной примерно 2–5 слов на английском языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она подходит для исправления коротких сообщений перед чтением или дальнейшей обработкой. На длинных и формальных текстах, других языках и диалектах качество может быть ниже; результаты стоит проверять, особенно в чувствительных сценариях.

UGC-VideoCaptioner — мультимодальная модель с 3 млрд параметров от OpenInterX для подробного описания коротких пользовательских видео. Она дообучена на базе Qwen/Qwen2.5-Omni-3B и предназначена для сценариев, где смысл видео зависит одновременно от изображения и звука: например, для роликов из TikTok с речью, музыкой и событиями в кадре. Модель принимает видео и создаёт текстовые подписи, объединяющие аудиовизуальные детали. В основе обучения — датасет UGC-VideoCap с 1000 размеченными видео и 4000 парами вопросов и ответов; использовались supervised fine-tuning и GRPO. README также описывает её как дистиллированную из Gemini 2.5 Flash, но идентификатор базовой модели в метаданных — Qwen/Qwen2.5-Omni-3B. Модель распространяется по лицензии MIT.

Aynur27/uz-speecht5-finetuned — дообученная модель SpeechT5 для синтеза речи из текста. Она основана на microsoft/speecht5_tts и опубликована в формате safetensors для библиотеки Transformers. README приводит значение Loss 0.4253 на наборе оценки, но не раскрывает состав данных и условия оценки. Модель распространяется по лицензии MIT.

DylanonWic/wav2vec2-large-asr-th-2 — модель распознавания речи на базе архитектуры Wav2Vec2, разработанная для автоматического распознавания тайской речи. Модель содержит 402,7 млн параметров и опубликована в формате PyTorch для библиотеки Transformers. В карточке указано дообучение на датасете Common Voice, включая Common Voice 10.0. Основной сценарий применения — преобразование тайской речи в текст. Для оценки на тестовой выборке приведены WER 32,99% и CER 3,75%. Описание не раскрывает дополнительные сценарии и ограничения качества; результат может зависеть от акустических условий и соответствия аудио обучающим данным. Лицензия в предоставленных данных не указана.

reichenbach/wav2vec2-large-xls-r-300m-as — модель автоматического распознавания речи, дообученная на Common Voice на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст на ассамском языке. В карточке приведены результаты оценки: WER 0,5174 и WER 0,7224 на тестовом наборе Common Voice Assamese v7.0, CER 0,2882. Модель распространяется по лицензии Apache-2.0.

Модель Wav2Vec2-Large-XLSR-Català разработана сообществом Softcatalà как дообученная версия facebook/wav2vec2-large-xlsr-53 для распознавания речи на каталанском языке. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель преобразует входную речь в текст и предназначена для транскрибирования каталанской речи, в том числе записей из корпусов Common Voice и ParlamentParla. Для работы аудио следует подавать с частотой дискретизации 16 кГц; языковая модель для описанного сценария не обязательна. В README приведены значения WER 6,92% на тестовом разделении CV+ParlamentParla, 12,99% на Google Crowdsourced Corpus и 13,23% на аудиокниге «La llegenda de Sant Jordi». Авторы предупреждают, что разделение Common Voice 6.1 пересекается с обучающими и оценочными данными: оценка на тестовом наборе CV будет смещённой. Модель распространяется по лицензии Apache-2.0.

addy88/wav2vec2-malayalam-stt — модель автоматического распознавания речи на основе архитектуры Wav2Vec2 с 113,3 млн параметров. Она принимает аудио и преобразует речь на малаялам в текст; модель можно использовать напрямую, без языковой модели. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи на малаялам. В карточке не указаны сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.

imvladikon дообучил wav2vec2-xls-r-300m от Facebook AI для распознавания речи на иврите. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; она принимает аудио и преобразует речь в текст. Обучение проходило в два этапа на частных наборах данных: сначала на небольшом наборе с качественными примерами, затем на более крупном наборе с данными из разных источников и слабой разметкой. В README приведены результаты WER: 0,1697 на небольшом наборе и 0,2318 на большом после второго этапа обучения. Модель предназначена для автоматической транскрибации речи на иврите. Её можно применять для преобразования записей и аудиоматериалов в текст; приведённые метрики относятся к данным автора и не гарантируют такое же качество на других источниках и условиях записи. В карточке не приведены условия лицензии, поэтому их нельзя определить по доступным сведениям.

hyyoka/wav2vec2-xlsr-korean-senior — модель автоматического распознавания речи на базе wav2vec2, созданная дополнительным дообучением fleek/wav2vec-large-xlsr-korean. Она предназначена для транскрибации корейской речи, в частности речи пожилых мужчин и женщин; при обучении использовались записи свободной беседы из набора AIhub. Размер модели составляет 402,7 млн параметров, архитектура — Wav2Vec2ForCTC. Для работы модели требуется аудио с частотой дискретизации 16 кГц. Репозиторий содержит веса в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не сообщает оценок качества или известных проблем распознавания, поэтому результаты на других типах речи и аудио отдельно не подтверждены.

WAXAL-lug-ful-w2v-bert-2.0 — модель автоматического распознавания речи, созданная дообучением facebook/w2v-bert-2.0. Она принимает аудио и выдаёт текстовую расшифровку; архитектура Wav2Vec2-BERT с CTC-выходом содержит около 402,7 млн параметров. Модель предназначена для распознавания речи на языках Luganda и Fulfulde, однако README не описывает условия записи или конкретные сценарии применения. На оценочном наборе указаны Loss 0,4411 и CER 0,0793. Модель распространяется в формате Safetensors через Transformers по лицензии MIT. В карточке не приведены сведения о составе и источнике обучающих данных; название датасета в README не заполнено.

Whisper Large Chinese (Mandarin) — модель распознавания речи, созданная Jonatas Grosman на основе openai/whisper-large-v2. Она дообучена на китайском мандаринском языке с использованием обучающей и валидационной частей Common Voice 11; модель Whisper Large содержит около 905,2 млн параметров и доступна в формате PyTorch. Модель предназначена для преобразования китайской речи в текст. В README приведены оценки на тестовых выборках Common Voice 11 и Fleurs, включая варианты с нормализацией регистра и пунктуации. Результаты на Fleurs показывают, что различия в записи чисел между наборами данных могут влиять на качество транскрипции. Модель распространяется по лицензии Apache-2.0. Она специализирована на мандаринском китайском, поэтому её не следует считать универсальной многоязычной моделью распознавания речи; качество может зависеть от набора данных и способа записи чисел.

Whisper Small Bengali — модель распознавания речи, дообученная автором anuragshas на базе openai/whisper-small на бенгальской части набора Mozilla Common Voice 11.0. Она принимает аудио и преобразует речь на бенгальском языке в текст; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. На указанном в карточке оценочном наборе модель показала WER 18,22 и loss 0,1638. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

alvanlii/whisper-small-cantonese — дообученная модель Alvin на базе openai/whisper-small для распознавания речи на кантонском языке. Это плотная encoder-decoder модель семейства Whisper с 153,1 млн параметров; доступны веса PyTorch и Safetensors. Для обучения использовались корпуса CantoMap, Cantonese-ASR и Common Voice 16.0 и 17.0, а оценка проводилась на тестовой выборке Common Voice 16.0 yue. В README указана CER 9,72% с пунктуацией и 7,93% без неё. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для расшифровки кантонской речи и может использоваться как более компактная модель-помощник при спекулятивном декодировании с крупной Whisper-моделью. Для ускорения GPU-инференса README рекомендует SDPA; приведённые там показатели скорости и использования памяти относятся к RTX 3090. Модель распространяется по лицензии Apache-2.0. Оценка качества основана на указанных в карточке датасетах; результаты на других акцентах, условиях записи и доменах в README не приведены.

Модель zindagi-technologies/whisper-small-hindi разработана Zindagi Technologies Pvt Ltd на основе Whisper Small от OpenAI. Это полноразмерное дообучение архитектуры Whisper encoder–decoder с 244 млн параметров для распознавания и транскрибирования речи на хинди. Модель принимает аудио и выдаёт текст; обучение проводилось на 134,75 часа корпуса AI4Bharat Kathbath, включающего преимущественно короткую начитанную речь. Лицензия модели — Apache-2.0. На тестовых наборах Kathbath и FLEURS указана частота ошибок слов 14,87% и 19,54% соответственно. Модель рассчитана на фрагменты длительностью до 30 секунд; более длинные записи следует разбивать на части. Она не обучалась переводу, временным меткам или длинным аудиозаписям. Разговорная, шумная и телефонная речь, переключение между хинди и английским, а также точная запись чисел могут приводить к большему числу ошибок; для важных расшифровок нужна проверка человеком.

xGen-MM-instruct-singleimg-r-v1.5 — мультимодальная модель Salesforce AI Research для диалога по одному изображению. Семейство xGen-MM развивает архитектурные решения BLIP и обучалось на больших наборах подписей к изображениям и чередующихся данных изображение–текст. Модель принимает изображение и текстовый запрос и формирует текстовый ответ; она предназначена для описания изображений, визуальных вопросов и ответов, а также задач, связанных с пониманием текста на изображении. В README приведены результаты оценки на наборах для визуальных вопросов и ответов, понимания сцен, научных и математических задач и TextVQA. Карточка не сообщает размер модели и длину контекста. Модель выпущена для исследовательских целей; Salesforce рекомендует проверять точность, безопасность и справедливость перед применением. Среди ограничений — возможные ошибки и смещения, унаследованные от интернет-данных, языковых моделей и коммерческих API. Лицензия — Apache-2.0.

sulaimank/xls-r-300m-luganda-313hr — модель распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m. По названию репозитория она предназначена для распознавания речи на луганда; «313hr» указывает на заявленный объём обучения в 313 часов, а CV-Fleurs — на связь с корпусами Common Voice и Fleurs. В README приведены результаты оценки: WER 0,2549 и CER 0,0587. Модель принимает аудио и выдаёт распознанный текст. Она распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README не раскрывает подробности обучающих данных, языкового охвата и условий записи, поэтому результаты оценки не следует считать гарантией качества на иных источниках аудио.

Pricile разработала wbertcur — единую модель распознавания речи для шести восточноафриканских языков, созданную для соревнования AfriVoices East Africa ASR Hackathon. Модель построена на архитектуре Wav2Vec2-BERT (Conformer) с символьной CTC-головой; в репозитории указано 402,7 млн параметров. Она принимает аудио и преобразует речь в текст на суахили, кикую, дхолуо, календжине, маасаи и сомали. Модель предназначена для распознавания речи на CPU-устройствах с ограниченными ресурсами. В README приводятся измерения для int8-развёртывания на CPU: пиковая память 5,53 ГБ. Для улучшения качества авторы также проверяли декодирование с языковой моделью KenLM; для него требуется заранее знать язык аудио или отдельно определить его. Модель обучена на данных AfriVoices-KE и оценивалась на близком распределении, включающем прочитанную и спонтанную речь. Указанная лицензия модели — MIT.

Карточка модели Bercraft/blip2-flan-t5-xl-coco на Hugging Face совпадает с карточкой Salesforce/blip2-flan-t5-xl-coco, поэтому описание составлено по ней. BLIP-2 Flan T5-xl COCO — модель Salesforce для генерации текста по изображению, дообученная на COCO. Она объединяет визуальный энкодер CLIP-подобного типа, трансформер Q-Former и языковую модель Flan-T5-xl. Энкодер изображения и языковая модель используют предварительно обученные и замороженные веса, а Q-Former связывает визуальные признаки с языковой моделью. Модель принимает изображение и, при необходимости, текстовый запрос, чтобы сформировать текстовый ответ. Модель подходит для создания подписей к изображениям и ответов на вопросы об их содержимом; также возможен диалог с изображением и историей переписки в запросе. В метаданных указаны английский язык и форматы PyTorch и Safetensors. Репозиторий распространяется по лицензии MIT. Модель унаследовала ограничения Flan-T5 и обучающих интернет-данных: ответы могут быть неточными или отражать предвзятость и неподходящее содержание. Карточка сообщает, что модель не проверялась в реальных приложениях; перед применением следует оценить её точность, безопасность и справедливость в конкретном сценарии.

Meta Chameleon 7B — мультимодальная модель с ранним слиянием модальностей, разработанная исследовательской группой FAIR компании Meta. Репозиторий содержит контрольную точку на 7 млрд параметров; семейство Chameleon также включает вариант на 30 млрд параметров. Модель предназначена для обработки изображений и текста в единой последовательности и относится к задаче image-text-to-text. Её можно применять для генерации текстовых ответов с учётом изображения и для мультимодального диалога. В карточке указана лицензия other; конкретные условия использования следует сверять с лицензией репозитория.

ChunkFormer-RNNT-Large-Vie — крупная модель автоматического распознавания речи на вьетнамском языке, основанная на архитектуре ChunkFormer и разработанная на базе реализации, представленной на ICASSP 2025. В README указано, что модель дообучена примерно на 5000 часах публичных вьетнамских аудиоданных из разных наборов. Число параметров составляет 113 млн; формат файлов — PyTorch. Модель предназначена для преобразования вьетнамской речи в текст, включая транскрибацию аудиозаписей и распознавание речи в приложениях. В README приведены результаты WER на Vivos, Common Voice и двух заданиях VLSP 2020; перед сравнением применялась нормализация текста. Модель доступна по лицензии CC BY 4.0. Для использования предлагается библиотека chunkformer.

usermma/fable-gpt-4b-mlx-fp32 — преобразованная в формат MLX версия модели aemmeath/fable-gpt-4b. По метаданным это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration и поддержкой чата и зрения. Она предназначена для диалоговых задач с изображениями и текстом, например для вопросов по изображению и его описания. README указывает преобразование с помощью mlx-lm 0.31.3; файлы репозитория представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0.

onnx-community/Florence-2-base-ft — модель компьютерного зрения и генерации текста, основанная на Microsoft Florence-2-base-ft и опубликованная в формате ONNX для совместимости с Transformers.js. Она предназначена для задач image-to-text и text-to-text, включая создание подписей к изображениям, в том числе более подробных описаний сцен. Модель принимает изображение и текстовый промпт задачи, после чего генерирует текстовый результат; пример использования показывает запуск в JavaScript, включая веб-среду и WebGPU. Модель относится к мультимодальным vision-language системам, однако точные сведения о размере, архитектуре, поддерживаемых языках и максимальной длине контекста в README не указаны. Ключевое преимущество — наличие ONNX-весов и готовая интеграция с Transformers.js, что упрощает запуск в приложениях на JavaScript и потенциально непосредственно в браузере. Ограничения и показатели качества также не приведены. Лицензия — MIT.

microsoft/git-large-vatex — крупная версия модели GIT (GenerativeImage2Text), разработанная Microsoft и дообученная на датасете VATEX. Это плотный Transformer-декодер, который использует токены изображения, полученные из CLIP, и предыдущие текстовые токены для генерации следующего текстового токена. Модель содержит 80,1 млн параметров и имеет нативный контекст 1024 токена. Чекпойнт предназначен прежде всего для создания описаний видео. Архитектура GIT также подходит для подписей к изображениям и видео, визуальных вопросов и ответов, а также генерации текстовой метки класса по изображению. Модель принимает изображения и текстовые запросы, выдаёт текст; в карточке указана поддержка английского языка. Для её запуска предусмотрена библиотека Transformers с PyTorch. Модель дообучена на VATEX после обучения GIT-large на 20 млн пар изображение–текст. Лицензия — MIT. Качество и поведение на иных задачах и языках могут отличаться от целевого сценария; результаты оценки в карточке не приведены.

GPT-4o mini — компактная мультимодальная модель OpenAI, представленная 18 июля 2024 года. Она принимает текст и изображения и формирует текстовые ответы. Модель предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстом. В карточке она описана как более доступная компактная модель после GPT-4 Omni. Сведений о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных источниках нет.

GRIOT-ASR-W-0.8-ALL — мультиязычная модель автоматического распознавания речи от Bivariant, ориентированная на африканские языки. Она построена на архитектуре Whisper с отдельными лёгкими адаптерами для языков; репозиторий распространяет веса в формате Safetensors и предназначен для работы через Transformers. Модель преобразует аудио в текст, включая естественную разговорную речь. Для языков, прошедших проверку, заявлена точная передача диакритических знаков. Карточка сообщает о проекте для 18 языков, но адаптеры публикуются постепенно: доступны, в частности, баатону, эве и фон, а для некоторых языков опубликованы предварительные версии. Приведённые CER и WER относятся к отдельным тестовым наборам и не обязательно сопоставимы между языками. Для смены языка требуется заново загрузить модель с соответствующим адаптером и токенизатором. Модель распространяется по лицензии Apache-2.0.

HiLLaVA-llama3.1 — мультимодальная модель Hancom InSpace на архитектуре LLaVA: языковая часть основана на Meta-Llama-3.1-8B-Instruct, а визуальная — на CLIP ViT-L/14 с размером изображения 336 пикселей. Модель содержит 7,5 млрд параметров и принимает изображения вместе с текстовыми инструкциями, чтобы отвечать на вопросы о визуальном содержимом и выполнять задания на понимание изображений. В карточке указаны английский и корейский языки; контекстное окно — до 131 072 токенов. Модель дообучена на наборах LLaVA для предварительного обучения и инструктивного обучения с визуальным вводом. Метаданные задают основную задачу как image-text-to-text; каталог также отмечает text-generation. Модель распространяется под лицензией Apache-2.0. При использовании и распространении следует учитывать условия лицензий исходных наборов данных, включая CC-3M, BLIP и LLaVA Visual Instruct 150K.

VK246/IC_ver6F_coco_swin_gpt2_50B_1e — модель генерации текстового описания изображения, разработанная как дообученная версия VK246/IC_ver6e_coco_swin_gpt2_50Apc_1e. Она использует архитектуру vision-encoder-decoder: визуальный Swin-энкодер связан с GPT-2-декодером, а задача модели — преобразовывать изображение в текстовое описание. Модель дообучена на датасете COCO и предназначена для автоматического создания подписей к изображениям. В README приведены метрики оценки: CIDEr 5.8986, ROUGE-1 42.1787 и BLEU-4 10.5042. Эти результаты относятся к указанному набору оценки и сами по себе не гарантируют качество на других типах изображений. В репозитории указаны веса PyTorch. Условия лицензии в предоставленных данных отсутствуют.