I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиNorth-Micro-Vision-Instruct-bf16 — преобразованная для Apple MLX версия мультимодальной модели CohereLabs North-Micro-Vision-Instruct. Она использует архитектуру Cohere Compass и принимает текст и изображения, чтобы отвечать на вопросы о визуальном содержимом в диалоговом формате. Модель подходит для анализа изображений и документов, включая распознавание текста на изображениях; подробные сценарии и ограничения описаны в карточке исходной модели. В репозитории размещены веса MLX в формате safetensors с точностью bfloat16, без квантизации весов. Для работы используется MLX-VLM; MLX оптимизирована для компьютеров Apple с Apple silicon. Лицензия — Apache-2.0. Это преобразование формата и точности исходных весов, поэтому модель сохраняет исходную архитектуру и назначение.
Amazon Nova Pro 1.0 — мультимодальная модель Amazon для широкого круга задач, сочетающая точность, скорость и экономичность. Каталог классифицирует её как модель image-text-to-text, то есть она предназначена для обработки изображений и текста с выдачей текстовых ответов. Доступная карточка не содержит сведений об архитектуре, размере, контекстном окне, языках или лицензии.
Ornith-1.5-9B-Omni-GGUF — мультимодальный набор моделей, опубликованный cudabenchmarktest в формате GGUF и предназначенный для запуска через Ollama вместе с адаптером Robit. В состав входят текстовая модель Ornith 1.5 9B с пониманием изображений, инструментами и опциональным режимом рассуждений, граф Qwen3-Omni для анализа аудио, изображений и видео, а также Qwen3-TTS для синтеза речи. Компоненты работают как отдельные графы, связанные семантическим адаптером. Набор поддерживает генерацию текста и речи, распознавание речи, интерпретацию окружающих звуков, понимание изображений и анализ выбранных кадров видео. Основной GGUF-файл является контейнером sidecar с шестью представлениями моделей и проекторов, а не самостоятельной стандартной моделью Ollama. Текстовые функции и понимание изображений запускаются через стандартный Ollama; для аудио, видео и синтеза речи требуется адаптер Robit с закреплённой версией llama.cpp. Генерация видео не поддерживается. В метаданных указан формат GGUF и лицензия «other»; конкретные условия лицензии следует сверить с опубликованными уведомлениями и источниками компонентов. README предупреждает, что мультимедийные данные, транскрипты, OCR, подписи и результаты инструментов следует считать недоверенным вводом.
Google PaliGemma 3B FT OCRVQA 448 — дообученная версия компактной модели компьютерного зрения и языка PaliGemma для визуальных вопросов и ответов с чтением текста на изображениях. Она принимает изображение и текстовый запрос, затем генерирует текстовый ответ. В основе PaliGemma лежат визуальная модель SigLIP и языковая модель Gemma; суффикс 448 обозначает вариант с разрешением изображений 448 пикселей. Модель предназначена для одношагового взаимодействия и лучше подходит для настройки под конкретную задачу, чем для диалога общего назначения. Основной сценарий — отвечать на вопросы по тексту, распознанному на изображении: например, извлекать сведения из вывесок, форм или скриншотов. Модель относится к семейству мультиязычных VLM, однако конкретный набор языков этой версии не уточнён. Для использования действуют условия лицензии Gemma. Возможны ошибки распознавания и ответов; модель может отражать смещения обучающих данных, а её результаты требуют проверки. Она не предназначена для многоходового общения, а качество без дополнительной настройки на целевую задачу может быть ограничено.
Paprika — модель распознавания литовской речи, созданная командой Kalamo на основе Whisper large-v3-turbo и дообученная на литовских данных. Она преобразует аудио в текст; в обучающую выборку вошли около 320 часов спонтанной и прочитанной речи из LIEPA-3 и VoxPopuli LT. Для обработки длинных записей авторы рекомендуют запуск через конвейер с окнами по 30 секунд. Модель поддерживает литовский язык и принимает аудио с частотой 16 кГц. В тестах авторов она показала WER 16,98% на отложенном наборе VoxPopuli LT и 12,32% на FLEURS-lt; эти результаты зависят от набора данных и настроек распознавания. Модель рассчитана на транскрибирование речи, в том числе спонтанной и парламентской. Результат выдаётся строчными буквами без пунктуации и регистрационной разметки. У длинной записи встроенное декодирование с временными метками резко ухудшает качество, а обработка окнами может незаметно пропускать слова на стыках и порождать текст на тишине. Для задач, где важна полнота транскрипции, автор рекомендует более новую версию v3. Лицензия — CC BY 4.0.
Это конвертированная в формат Hugging Face Transformers версия англоязычной модели NVIDIA Parakeet-TDT 0.6B v2 для транскрибации речи. Автор репозитория сообщает, что веса взяты из официального чекпойнта NeMo и сверены с эталонной реализацией; для корректной работы конвертации внесены исправления скрипта, включая поправку идентификатора blank-токена. Архитектура — Parakeet TDT с плотными весами; модель использует 128-мел-спектральный вход и словарь размером 1025 идентификаторов. Модель принимает аудио и выдаёт текстовую расшифровку на английском языке. Она предназначена для распознавания речи и транскрибации записей; в README отмечена как сильная модель семейства Parakeet для английской транскрибации. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Лицензия — CC-BY-4.0. Качество зависит от разборчивости речи и условий записи. Модель ориентирована на английский язык, поэтому её не следует считать мультиязычной; README также описывает конвертацию и проверку, но не устанавливает универсальных гарантий производительности на разных устройствах.
Parakeet TDT 0.6B v3 GGUF — это мультиязычная модель автоматического распознавания речи, разработанная командой NVIDIA NeMo и преобразованная в формат GGUF со средой выполнения ggml сообществом CrispStrobe для CrispASR. Модель предназначена для транскрибации аудио и поддерживает автоматическое определение языка без специального префикса или параметра выбора языка. Модель содержит около 600 млн параметров и использует 24-слойный FastConformer-энкодер, двухслойный LSTM-предиктор и TDT-декодер (Token-and-Duration Transducer). Она обрабатывает монофонический звук с частотой 16 кГц, использует 8192 SentencePiece-токена и поддерживает 25 европейских языков: болгарский, чешский, датский, немецкий, греческий, английский, испанский, эстонский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, мальтийский, нидерландский, польский, португальский, румынский, русский, словацкий, словенский, шведский и украинский. TDT-декодер предоставляет временные метки на уровне слов без отдельной модели выравнивания. Заявленная средняя ошибка распознавания составляет 6,34% по данным HuggingFace Open ASR Leaderboard. Доступны варианты F16, Q8_0, Q5_0 и Q4_K; последний рекомендуется как вариант по умолчанию благодаря меньшему размеру. Ограничения включают ориентацию на поддерживаемые европейские языки, необходимость специализированного runtime CrispASR и отсутствие заявленных характеристик для других языков или модальностей. Модель и GGUF-файлы распространяются по лицензии CC-BY-4.0, требующей указания авторства.
Parakeet TDT+CTC 1.1B GGUF — это модель автоматического распознавания речи для транскрибации английской речи, разработанная NVIDIA NeMo и преобразованная в формат GGUF с поддержкой ggml проектом CrispStrobe/CrispASR. Модель предназначена для локальной обработки аудио через CrispASR, включая получение текста с регистром букв, пунктуацией и временными метками слов. Она принимает монофоническое аудио 16 кГц. Модель содержит около 1,1 млрд параметров и использует 42-слойный энкодер FastConformer, 2-слойный LSTM-предиктор, гибридные TDT- и CTC-головы, а также словарь из 1024 SentencePiece-токенов для английского языка. TDT является режимом декодирования по умолчанию и обеспечивает временные метки слов; CTC доступен как альтернативный режим, в частности для shallow-fusion и смещения распознавания по ключевым словам. Доступны варианты F16, Q8_0 и Q4_K, причём Q4_K рекомендуется как вариант по умолчанию благодаря меньшему размеру около 810 МБ, а F16 обеспечивает наивысшую скорость среди указанных вариантов. Сильные стороны модели — крупный энкодер, гибридное декодирование, корректный регистр и пунктуация, а также возможность локального запуска в компактных квантизованных форматах. Ограничение — поддерживается только английский язык; по сравнению с чистой TDT-версией некоторые квантизованные варианты работают медленнее из-за совместной поддержки TDT и CTC. Модель распространяется по лицензии CC-BY-4.0, унаследованной от исходной модели NVIDIA; репозиторий содержит только конвертацию и квантизацию весов.
Это 4-битная версия модели Qwen2.5-VL-3B-Instruct, подготовленная сообществом mlx-community и преобразованная в формат MLX с помощью mlx-vlm 0.1.11. Модель принимает текст и изображения и формирует текстовые ответы; архитектура — плотная Qwen2.5-VL для условной генерации. Размер базовой модели — 3,1 млрд параметров, контекст — до 128 000 токенов. Модель предназначена для диалогового анализа изображений и визуальных вопросов и ответов. Её можно использовать для описания изображений, извлечения сведений из визуальных материалов и построения структурированных ответов; метаданные также отмечают интерфейс вызова инструментов. В карточке сообщества подробности возможностей отсылаются к оригинальной карточке Qwen2.5-VL-3B-Instruct. Лицензия в предоставленных сведениях не указана.
mlx-community/Qwen2-VL-2B-mlx — конверсия мультимодальной модели Qwen2-VL-2B для запуска с mlx-vlm на компьютерах Apple Silicon. В репозитории также исправлен шаблон чата, чтобы корректно формировать сообщения для инференса. Модель принимает текстовые запросы и изображения и генерирует текст; она поддерживает понимание изображений разного разрешения, а базовая карточка также описывает анализ видео и чтение текста на изображениях на нескольких языках. Размер модели — 1,5 млрд параметров, контекст — 32 768 токенов; архитектура — плотная Qwen2-VL с генерацией по условию. Это базовая предварительно обученная модель без настройки для следования инструкциям. Она подходит для вопросов и ответов по изображениям, визуального анализа документов и сцен, а также видеоанализа, но в диалоговых сценариях может потребовать инструкционной настройки. Репозиторий распространяется по лицензии Apache-2.0.
Qwen2-VL-72B — базовая предварительно обученная мультимодальная модель семейства Qwen2-VL, разработанная командой Qwen. Она содержит 71,5 млрд параметров и предназначена для понимания изображений и видео по текстовым запросам, включая визуальные вопросы и ответы, диалог по содержимому видео, анализ документов и создание описаний. Модель не проходила настройку инструкциями, поэтому для диалоговых сценариев может потребоваться дополнительная настройка. Архитектура — плотная Qwen2-VL с классом Qwen2VLForConditionalGeneration. Она обрабатывает изображения произвольного разрешения с динамическим числом визуальных токенов и использует M-ROPE для позиционной информации текста, изображений и видео. Видеосценарии включают анализ роликов длительностью более 20 минут. Контекст — до 32 768 токенов. Модель понимает текст на изображениях на английском, китайском и ряде других языков, включая европейские языки, японский, корейский, арабский и вьетнамский. Модель подходит для визуального анализа и мультимодальных сценариев, однако заявленные высокие результаты приведены в карточке без подробностей об условиях оценки. Для запуска потребуется значительный объём вычислительных ресурсов из-за размера модели. Лицензия указана как other; конкретные условия использования следует проверить в репозитории модели.
unsloth/Qwen2-VL-7B-Instruct — дообученная Unsloth версия мультимодальной диалоговой модели Qwen2-VL-7B-Instruct от Qwen. Она предназначена для ответов на вопросы по изображениям и видео, визуального анализа и диалога по визуальному содержимому. Модель принимает текст и изображения, а также может работать с видео; для видео README описывает поддержку локальных файлов и отмечает, что звуковую дорожку модель не понимает. Модель имеет плотную архитектуру Qwen2-VL с 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и использует динамическое разрешение изображений и мультимодальные позиционные эмбеддинги M-ROPE. В README заявлена работа с текстом на изображениях на нескольких языках, включая английский, китайский, европейские языки, японский, корейский, арабский и вьетнамский; метаданные карточки указывают английский язык. Модель может быть полезна для визуального анализа документов, видео и сцен, но хуже справляется с подсчётом объектов, пространственными отношениями и сложными многошаговыми инструкциями; сведения об изображениях могут быть неактуальны после июня 2023 года. Веса представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0.
Qwen3-VL-8B-Instruct (Abliterated) — модифицированная мультимодальная vision-language модель на базе Qwen3-VL-8B-Instruct. В README разработчик исходной модели не указан. Модель дообучена для следования инструкциям и, согласно описанию, дополнительно подвергнута abliteration — удалению защитных ограничений и фильтрации контента. Модель предназначена для анализа изображений, графиков, схем, скриншотов и документов, визуального ответа на вопросы, генерации описаний изображений, OCR, извлечения и понимания текста, обработки отсканированных форм и многошагового визуального рассуждения. Поддерживает мультимодальные диалоги, включая многоходовое взаимодействие с визуальным содержимым. Заявлены мультиязычность, включая английский и китайский языки, а также контекст до 32 тысяч токенов с учётом текстовых и визуальных токенов. Архитектура описана как Vision Transformer encoder в сочетании с языковым decoder на базе Qwen3-8B; размер языковой модели — около 8 миллиардов параметров. Доступны варианты в форматах safetensors и GGUF, включая FP16, Q8_0 и Q4_K_M, что позволяет запускать модель через Transformers, llama.cpp, Ollama или LM Studio на системах с разным объёмом памяти. Сильными сторонами являются поддержка изображений и документов, OCR, визуальное рассуждение и наличие квантованных вариантов. Ограничение модели — отсутствие встроенных защитных механизмов, поэтому её ответы требуют дополнительного контроля и могут быть небезопасными. Лицензия — Apache-2.0.
Qwen3-VL-8B-Instruct-abliterated-v1-GGUF — мультимодальная модель для преобразования изображений и текста в текст, разработанная prithivMLmods на основе Qwen3-VL-8B-Instruct от Alibaba. Это GGUF-сборка 8-миллиардной vision-language модели, предназначенная для локального запуска с использованием llama.cpp и совместимых инструментов. Модель ориентирована на описание изображений, визуальное рассуждение, выполнение инструкций, анализ сложного визуального контента, OCR, понимание видео и агентские сценарии. Заявлены поддержка 32 языков для OCR, контекстное окно до 262K токенов, пространственное рассуждение, различные разрешения, соотношения сторон и компоновки. Основным языком считается английский, при этом заявлена возможность работы с многоязычными запросами. Доступны квантизованные варианты от Q2_K до Q8_0, IQ4_XS и F16, а также отдельный мультимодальный проектор mmproj. Размер файлов варьируется примерно от 3,28 до 16,4 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Вариант подвергнут abliteration, то есть модификации, направленной на устранение отказов по соображениям безопасности и контентных фильтров. Это может быть полезно для исследований, red-teaming, творческих и технических задач, однако одновременно означает отсутствие обычных защитных ограничений и повышенные риски получения нежелательного или небезопасного контента. Для запуска заявлена совместимость с Transformers и vLLM; для вариантов BF16/FP8 указаны требования порядка 16–24 ГБ видеопамяти. Модель распространяется по лицензии Apache-2.0.
coder3101/Qwen3-VL-8B-Thinking-heretic — дообученная версия мультимодальной модели Qwen3-VL-8B-Thinking от Qwen, опубликованная под лицензией Apache-2.0. Она принимает текст и изображения и предназначена для диалога, визуального анализа и рассуждений; карточка также описывает возможности базовой модели по анализу видео, OCR, пространственному пониманию и взаимодействию с интерфейсами. В репозитории указаны веса safetensors и архитектура Qwen3VLForConditionalGeneration. Автор сообщает, что применил abliteration для снижения частоты отказов: в приведённом сравнении модель отказала в 1 из 100 запросов против 44 из 100 у исходной версии; измеренная KL-дивергенция — 0,03. Эти показатели относятся к тесту из карточки и не гарантируют поведение на других запросах. Основа заявляет контекст 256K с возможностью расширения до 1M и OCR на 32 языках, однако это сведения о базовой модели, а не отдельная оценка данной производной версии.
Qwen-VL-Chat — разработанная Alibaba Cloud мультимодальная чат-модель семейства Qwen, предназначенная для диалога по изображениям и тексту. Репозиторий содержит чат-версию предварительно обученной Qwen-VL; модель имеет плотную архитектуру QWenLMHeadModel и 11,4 млрд параметров. Модель принимает изображения и текст, а также может работать с координатами ограничивающих рамок; выдаёт текст и рамки. Подходит для описания изображений, визуальных вопросов и ответов, чтения текста на изображениях, ответов по документам и графикам, а также локализации объектов по текстовому описанию. Карточка описывает китайский и английский языки; контекст составляет 8192 токена. В README заявлена обработка изображений с разрешением до 448 пикселей для задач, чувствительных к деталям. Модель оценивалась на задачах визуального диалога, captioning, VQA и локализации объектов; также опубликованы результаты TouchStone на китайском и английском языках. Для репозитория указаны формат PyTorch и лицензия Apache-2.0. Как и другие большие мультимодальные модели, она может ошибаться в ответах и распознавании содержимого изображений; приведённые оценки относятся к описанным бенчмаркам.
Re3Cap-CLIP-InternVL3-8B — мультимодальная модель для описания изображений, дообученная на базе OpenGVLab/InternVL3-8B-Instruct методом GRPO. Она использует стратегию Re³Cap: Caption Refinement Suggester и Caption Quality Assessor помогают находить галлюцинации и пропуски в подписи и уточнять её. В качестве сигнала вознаграждения применяется сходство изображения и сгенерированной подписи по CLIP. Модель предназначена для создания более точных и подробных подписей к изображениям без дополнительной разметки. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Метаданные также указывают поддержку диалога и интерфейс вызова инструментов, а базовая модель описана как способная работать с изображениями и видео. В карточке самой модели видео не заявлено.
Saraiki Whisper Medium — модель распознавания речи на основе Whisper Medium от OpenAI, дообученная автором репозитория themohal. Она предназначена для преобразования аудиозаписей на сараики в текст; в метаданных указана задача automatic-speech-recognition и входная аудиомодальность. Модель содержит 455,8 млн параметров и распространяется в формате safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 19,4149 и CER 5,6416; набор данных для дообучения не уточнён. Лицензия — Apache-2.0. Показатели относятся к указанному оценочному набору и не гарантируют такую же точность на других записях.
SmolVLM-256M-Instruct — компактная мультимодальная модель Hugging Face для понимания изображений и ответов на текстовые запросы. Она принимает последовательности изображений и текста, в том числе чередующиеся, и генерирует текст. Модель основана на архитектуре Idefics3 и объединяет языковую SmolLM2-135M-Instruct с визуальным энкодером SigLIP; в метаданных указаны связи с обеими базовыми моделями. Модель предназначена для описания изображений, визуальных вопросов и ответов, распознавания текста на изображениях, анализа диаграмм и документов, а также создания текстовых историй по визуальному содержимому. Для компактного представления изображения используются 64 визуальных токена на патчи 512×512; большие изображения разбиваются на патчи. По данным карточки, инференс для одного изображения возможен менее чем с 1 ГБ видеопамяти, что делает модель подходящей для локальных и периферийных устройств. Модель ориентирована на английский язык и не генерирует изображения. Ответы могут быть фактически неверными, поэтому модель не подходит для решений, влияющих на благополучие или права людей. Выпущена под лицензией Apache 2.0.
P2Enjoy/VibeVoice-ASR-BitNet-slim — облегчённая GGUF-перепаковка модели распознавания речи Microsoft VibeVoice-ASR-BitNet. Разработчик удалил из весов дублирующую матрицу выходной проекции: повторно обучение не проводилось, а основная тернарная часть трансформера сохранена. Размер языковой модели сократился примерно с 993 до 526 МБ, общий размер весов — с 1,70 до 1,23 ГБ. Модель предназначена для транскрибации аудио, в том числе длинных записей на фрагментах примерно по 60 секунд. Карточка приводит оценки для английского, французского, итальянского, португальского, испанского и немецкого; исходная модель обучалась также на китайском, корейском и вьетнамском. Перепаковка почти не изменила точность относительно исходных весов, однако на коротких клипах в приведённом сравнении Whisper точнее. Лицензия — MIT. При обработке аудио длиннее примерно 80 секунд за один проход модель может преждевременно завершить распознавание и отбросить остаток записи, поэтому длинные материалы следует делить на части. Модель не выполняет диаризацию и не выдаёт метки говорящих; качество заметно зависит от языка и типа речи.
VLRM — дообученная методом обучения с подкреплением модель BLIP-2 с языковой частью OPT-2.7B, опубликованная Сашей Куницыным. Она предназначена для генерации описаний изображений: обучение нацелено на более длинные и подробные подписи по сравнению с исходной моделью без дополнительной вычислительной нагрузки при генерации. В карточке приведены основной чекпойнт VLRM и вариант VLRM-RS. Модель принимает изображение и выдаёт текстовое описание; пример в карточке описывает сцену с женщиной и собакой. Архитектура относится к семейству BLIP-2, веса доступны в формате Safetensors, а также описана загрузка RL-настроенных весов поверх Salesforce/blip2-opt-2.7b. Карточка указывает английский язык и лицензию MIT.
wav2vec2-fleur-mms-batch6-epoch24-finetunning-3 — модель распознавания речи на базе архитектуры Wav2Vec2ForCTC, дообученная Nachuwu от Nachuwu/wav2vec2-fleur-mms-batch6-epoch16 на датасете audiofolder. Модель принимает аудио и преобразует речь в текст; в метаданных указано 1,3 млрд параметров. В README приведены результаты оценки: loss 1,3000 и WER 0,6017. Модель может применяться для транскрибирования аудиозаписей. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель GetmanY1/wav2vec2-large-fi-150k-finetuned — финская система распознавания речи на базе архитектуры Wav2Vec2 Large, разработанная Ярославом Гетманом и Тамашем Гросом. Она дообучена на 4600 часах финской речи: 1500 часах разговорной речи из Lahjoita puhetta и 3100 часах записей парламента Финляндии. В метаданных указан размер 402,7 млн параметров; модель использует архитектуру Wav2Vec2ForCTC и библиотеку Transformers. Модель предназначена для преобразования финской речи в текст, в том числе разговорной речи и парламентских выступлений. Для входного аудио требуется частота дискретизации 16 кГц. Базовая модель предварительно обучена на финской речи; чекпойнт содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Она ориентирована на финский язык; качество на других языках не заявлено.
Карточка модели UrizenB/wav2vec2-large-spanish на Hugging Face совпадает с карточкой jonatasgrosman/wav2vec2-large-xlsr-53-spanish, поэтому описание составлено по ней. jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.
Osolon разработал wav2vec2-large-xls-r-300m-pl — модель распознавания речи, полученную дообучением facebook/wav2vec2-xls-r-300m на Common Voice 10.0. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. На указанной в карточке оценочной выборке модель показала WER 0,1338 и loss 0,1589. Модель распространяется по лицензии Apache-2.0.
jonatasgrosman/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, разработанная Jonatas Grosman. Она дообучена на основе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и предназначена для преобразования аудиозаписей на испанском языке в текст. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для входной речи требуется частота дискретизации 16 кГц. Модель поддерживает распознавание речи без языковой модели и подходит для транскрибирования записей и оценки качества ASR на испаноязычных речевых наборах данных, включая Common Voice. В карточке приведена лицензия Apache-2.0. Результаты могут зависеть от акустических условий и отличий речи от обучающих данных; языковая модель в базовом сценарии не используется.
KBLab разработала wav2vec2-large-xlsr-53-swedish — модель распознавания шведской речи на основе архитектуры Wav2Vec2ForCTC с 402,7 млн параметров. Она дообучена на базе facebook/wav2vec2-large-xlsr-53: сначала на корпусе примерно из 1000 часов шведских радиопередач, затем на NST Swedish Dictation и Common Voice. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Модель предназначена для автоматической транскрибации шведской речи. В оценке на тестовой части Common Voice указаны WER 14,30% и CER 4,93%. Для более высокого качества авторы рекомендуют свою более новую модель wav2vec2-large-voxrex-swedish. Модель распространяется по лицензии Apache-2.0.
UrukHan/wav2vec2-russian — модель распознавания речи на основе архитектуры Wav2Vec2, опубликованная разработчиком UrukHan. Она принимает аудио в формате WAV и преобразует речь в текст с помощью распознавания на основе CTC. В README рекомендовано дополнительно обрабатывать результат моделью UrukHan/t5-russian-spell, которая исправляет ошибки распознавания, расставляет знаки препинания и приводит цифры в порядок. Модель содержит 402,7 млн параметров и распространяется в форматах PyTorch и safetensors. Карточка не сообщает точные характеристики аудиовхода и показатели качества, поэтому пригодность для конкретных условий записи следует оценивать отдельно. Условия лицензии в доступных данных не описаны.
Модель voidful/wav2vec2-xlsr-multilingual-56 разработана voidful для автоматического распознавания речи. Это дообученная версия facebook/wav2vec2-large-xlsr-53, обученная на данных Common Voice для распознавания речи на 56 языках. Репозиторий содержит веса PyTorch и safetensors; для входной речи рекомендуется частота дискретизации 16 кГц. Модель подходит для транскрибирования аудиозаписей и построения систем распознавания речи на нескольких языках. В карточке приведены результаты WER и CER для части языков, но также указаны значительные риски смещений: предсказания могут воспроизводить вредные стереотипы. Лицензия — Apache-2.0.
ajikadev/wavlm-salt-eng — дообученная модель распознавания английской речи на основе microsoft/wavlm-base. Это плотная модель семейства WavLM с архитектурой WavLMForCTC, содержащая 113,3 млн параметров; она принимает аудио и преобразует речь в текст. Модель дообучена на многоголосом англоязычном наборе SUNBIRD/SALT - MULTISPEAKER-ENG. На оценочном наборе указаны loss 0,2244 и WER 0,2118. Модель подходит для транскрибации английской речи, в том числе записей с несколькими говорящими. Эти результаты относятся к указанному набору данных и сами по себе не гарантируют такое же качество на других типах аудио. Лицензия в предоставленных сведениях не указана.