I.15Доступность и ассистивные технологии

DeepSeek-VL2-Small — мультимодальная модель семейства DeepSeek-VL2, разработанная командой DeepSeek. Это модель типа Mixture-of-Experts, построенная на DeepSeekMoE-16B; в серии Small активируется 2,8 млрд параметров. Карточка указывает архитектуру DeepSeek-VL2 и библиотеку Transformers, а веса опубликованы в формате safetensors. Модель предназначена для диалога по изображениям и визуального понимания: она отвечает на вопросы об изображениях, распознаёт текст, разбирает документы, таблицы и диаграммы, а также находит и описывает визуальные объекты. В README упоминается подача изображений с размером 384×384 без разбиения на фрагменты. Среди ограничений карточка рекомендует температуру T=0 для изображений. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией в репозитории.

freds0/distil-whisper-large-v3-ptbr — модель автоматического распознавания речи, созданная дообучением distil-whisper/distil-large-v3 для бразильского португальского языка. Она принимает аудио и генерирует текстовую транскрипцию; архитектура основана на WhisperForConditionalGeneration и содержит 905,2 млн параметров. Для работы можно использовать библиотеку Transformers. Модель обучена на Common Voice 16 и частном наборе данных, автоматически размеченном с помощью Whisper Large v3. В README указана частота ошибок слов (WER) 8,221% на валидационном наборе Common Voice 16. Модель распространяется по лицензии MIT.

Карточка модели Purfview/faster-distil-whisper-large-v3.5 на Hugging Face совпадает с карточкой distil-whisper/distil-large-v3.5-ct2, поэтому описание составлено по ней. Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Systran/faster-distil-whisper-small.en — конверсия модели distil-whisper/distil-small.en в формат CTranslate2. Репозиторий подготовлен Systran для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для распознавания английской речи в аудиозаписях и выдачи транскрипции. Веса сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий распространяется по лицензии MIT. Подробности об архитектуре, размере и контекстном окне в доступных данных отсутствуют.

FastSLM — модель на базе Qwen3-4B, дообученная okestro-ai-lab для преобразования речи в текст и других задач понимания аудио. Она использует архитектуру FastSLM с плотной моделью условной генерации и адаптацией языковой модели к аудио; веса доступны в формате safetensors. Модель ориентирована на эффективную обработку длинных записей: в README заявлена обработка до восьми часов аудио на GPU с 40 ГБ памяти. Для вывода требуются GPU и специальный код модели в Transformers. FastSLM поддерживает транскрибирование речи, перевод аудио в текст на другом языке, суммаризацию аудиозаписей и ответы на вопросы по их содержанию. README сообщает о сохранении возможностей исходной языковой модели для текстовых задач при отключении LoRA. В метаданных указаны английский и корейский языки; опубликованные материалы также упоминают стандартные тесты распознавания речи, но численные результаты здесь не приведены. Модель распространяется по лицензии Apache-2.0.

noamrot/FuseCap_Image_Captioning — модель на архитектуре BLIP для создания семантически насыщенных описаний изображений. Она основана на подходе FuseCap, который использует большие языковые модели для обогащения подписей к изображениям; карточка указывает, что демонстрационная BLIP-модель обучена с использованием FuseCap. Модель предназначена для автоматического описания содержимого изображения, в том числе для получения более содержательных подписей, чем простое перечисление видимых объектов. В репозитории указаны формат PyTorch и лицензия MIT. Подробности об обучении, поддерживаемых языках и ограничениях качества в карточке не приведены.

GIT-large (GenerativeImage2Text) — модель Microsoft для генерации текста по изображениям. Она использует декодер Transformer, обусловленный визуальными токенами CLIP и текстовыми токенами, и предсказывает текст по одному токену. Вариант large обучен на 20 миллионах пар изображение—текст; размер модели — 80,1 млн параметров, контекст — 1024 токена. Модель предназначена прежде всего для описания изображений. Архитектура GIT также подходит для визуальных вопросов и ответов, подписей к видео и классификации изображений через генерацию текстовой метки, однако README рекомендует использовать этот исходный чекпойнт для описания изображений. Модель принимает изображения и текстовый запрос, выдаёт текст; в метаданных указан английский язык. Качество зависит от содержания изображения и обучающих данных, а ответы могут быть неточными или упускать детали. Лицензия — MIT.

GOT-OCR 2.0 — мультимодальная модель для распознавания текста в изображениях, представленная командой авторов, перечисленных в карточке проекта General OCR Theory. Она реализует подход OCR-2.0 как единую сквозную модель и предназначена для извлечения текста из изображений; в метаданных также указана поддержка задач генерации текста и image-text-to-text. Модель использует плотную архитектуру GOTQwenForCausalLM и содержит 463,8 млн параметров. Она принимает изображения и выдаёт текст; карточка заявляет мультиязычную поддержку. Для запуска README приводит пример инференса через Hugging Face Transformers на GPU NVIDIA. В метаданных указан контекст 32 768 токенов, хотя его практическая роль для OCR в README не раскрыта. Модель опубликована под лицензией Apache-2.0. README не приводит количественных оценок качества или подробностей о поддерживаемых языках и форматах OCR, поэтому применимость к конкретным языкам и типам документов следует оценивать отдельно.

abhinand/GOT-OCR-2.0-unofficial — неофициальная публикация модели GOT-OCR-2.0, разработанной авторами работы «General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model». Это плотная модель семейства GOT с архитектурой GOTQwenForCausalLM и 463,8 млн параметров; веса опубликованы в формате safetensors. В метаданных указано контекстное окно 32 768 токенов. Модель предназначена для распознавания текста на изображениях: извлечения обычного и форматированного текста, детального OCR, обработки изображений с несколькими фрагментами и многостраничных наборов изображений. README описывает OCR-сценарии, но не перечисляет поддерживаемые языки, поэтому языковую поддержку определить нельзя. Карточка ограничивает применение исследованиями; лицензия также требует соблюдения условий Vary.

kmynas-parakeet-lt-v4 — модель распознавания литовской речи, разработанная Kristijonas и дообученная на базе NVIDIA Parakeet TDT 0.6B v3. Это плотная TDT-транспьюсерная модель с 0,6 млрд параметров; она принимает аудио и возвращает текст на литовском языке с пунктуацией, заглавными буквами и нормализованным написанием заимствований. Для обучения использованы 3 087 часов корпуса LIEPA-3. Модель доступна в формате safetensors и в исходном формате NeMo, работает через Transformers и рассчитана на быстрое распознавание речи, в том числе на локальном устройстве. Модель подходит для расшифровки разговоров, радиопередач и записей с телефона, когда нужен читаемый текст без отдельного этапа расстановки пунктуации. Архитектура транспьюсера обеспечивает монотонное выравнивание аудио и текста; автор сообщает о высокой скорости на MacBook и GPU, но эти показатели получены на конкретных устройствах и не гарантируют аналогичную производительность в других условиях. Лицензия — CC BY 4.0. Среди известных ограничений — непоследовательное распознавание имён собственных и редкой иностранной технической лексики, а также смешанный подход к дословной передаче разговорных форм. Модель не выполняет диаризацию и не размечает говорящих; для очень длинных файлов рекомендуется делить запись по паузам.

openbmb/MiniCPM-V-4_5-AWQ — квантованная в формате AWQ версия мультимодальной модели MiniCPM-V 4.5, разработанная командой OpenBMB. Модель предназначена для понимания одиночных и нескольких изображений, видео, OCR, разбора документов и визуально-языкового диалога, включая локальное использование на мобильных и обычных устройствах. Модель построена на Qwen3-8B и SigLIP2-400M и содержит около 8 млрд параметров. Она поддерживает более 30 языков, обрабатывает изображения высокого разрешения с произвольным соотношением сторон и площадью до 1,8 млн пикселей, а также видео с высокой частотой обновления — до 10 кадров в секунду. Унифицированный 3D-Resampler сжимает видеотокены до 96 раз, а архитектура на основе LLaVA-UHD снижает количество визуальных токенов при работе с изображениями. Доступны режимы быстрого и глубокого рассуждения. Сильные стороны модели — заявленные высокие результаты в визуально-языковых задачах, OCR, распознавании рукописного текста, анализе PDF и длинных видео, а также возможность эффективного запуска через llama.cpp, Ollama, vLLM и SGLang. Ограничения, включая точные требования к памяти и аппаратному обеспечению, контекстное окно и условия коммерческого использования, в README не указаны. README также не содержит явной информации о лицензии, поэтому условия распространения следует уточнять отдельно.

MOSS-Transcribe-Diarize GGUF — это набор весов в формате GGUF для движка moss-transcribe.cpp, представляющий порт модели OpenMOSS MOSS-Transcribe-Diarize. Исходную модель разработала команда OpenMOSS / MOSI.AI, а конвертацию и C++/ggml-инференс подготовила команда LocalAI. Модель предназначена для распознавания речи в длинных аудиозаписях, определения говорящих и формирования временных меток за один проход. Результат содержит текст, идентификаторы говорящих и интервалы начала и окончания реплик. Модель работает локально на CPU, а также может использовать GPU через доступные бэкенды ggml; для инференса не требуются Python, PyTorch или CUDA toolkit. Веса, токенизатор, mel-фильтрбанк и конфигурация полностью включены в GGUF. Доступны варианты от F16 до Q4_0; квантованные версии значительно меньше и быстрее, при этом варианты до Q5 сохраняют побайтное совпадение транскрипта с эталонной моделью на проверочном примере, а Q4 дают совпадение слов с небольшими отличиями во временных метках. Размеры файлов составляют примерно от 511 МБ до 1,8 ГБ. Языки, максимальная длина контекста и точные архитектурные параметры в карточке не указаны. Модель распространяется по лицензии Apache-2.0; движок moss-transcribe.cpp имеет лицензию MIT.

MOSS-Transcribe-Diarize 0.9B — мультимодальная модель для распознавания и структурированного анализа длинных аудио- и видеозаписей. Она совместно выполняет транскрибацию и диаризацию: выдаёт текст с временными метками и относительными анонимными метками говорящих, а также может отмечать акустические события. В README модель представлена как разработка MOSS; репозиторий использует архитектуру MossTranscribeDiarizeForConditionalGeneration и библиотеку Transformers с пользовательским кодом загрузки. Модель предназначена для встреч, звонков, подкастов, интервью, лекций и других записей с несколькими участниками. Поддерживает более 50 языков, обработку записей длительностью до 90 минут за один проход и подсказки с пользовательскими ключевыми словами для терминологии предметной области. В метаданных указаны английский и китайский языки; README также сообщает о результатах соревнования на 14 языках, включая русский. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Для загрузки требуется разрешить выполнение пользовательского кода Transformers через trust_remote_code=True.

Nemotron 3.5 ASR — многоязычная модель распознавания речи, разработанная NVIDIA. Она преобразует аудио в текст и предназначена для транскрибации потоковой речи с низкой задержкой и обработки аудиозаписей пакетами. Модель содержит 600 млн параметров и использует архитектуру Cache-Aware FastConformer-RNNT с языковым prompt-conditioning; потоковый режим повторно использует контекст кодировщика и обрабатывает новые аудиофрагменты. Размер фрагментов настраивается во время запуска: 80, 160, 320, 560 или 1120 мс. Модель поддерживает транскрибацию с пунктуацией и заглавными буквами для 32 локалей из коробки, включая русский, английский, испанский, немецкий, французский, арабский, китайский, японский и украинский. Ещё для восьми локалей заявлена готовность к адаптации, но для полноценной транскрибации на них требуется дообучение. Режим auto может определять язык и добавлять его метку к результату. Модель доступна через NeMo и Transformers; карточка заявляет готовность к коммерческому применению, лицензия указана как other.

google/paligemma-3b-ft-ocrvqa-224 — разработанная Google дообученная модель PaliGemma для визуальных вопросов и ответов, связанных с чтением текста на изображениях (OCRVQA). Это компактная модель зрения и языка на 3 млрд параметров с разрешением изображения 224 пикселя: она принимает изображение и текстовый запрос и генерирует текстовый ответ. Архитектура объединяет визуальную модель SigLIP и языковую модель Gemma; для работы предусмотрена библиотека Transformers. Модель предназначена для одношагового распознавания текста на изображениях и ответов на вопросы по их содержимому. Она не рассчитана на многоходовый диалог и лучше подходит для конкретных задач с ясными инструкциями, чем для открытого общения. Лицензия — Gemma. Ответы могут содержать фактические ошибки; модель может испытывать трудности с неоднозначными или сложными запросами и унаследовать смещения из обучающих данных. Для критичных сценариев ответы следует проверять.

gokaygokay/paligemma-rich-captions — дообученная модель семейства PaliGemma, разработанная автором репозитория на базе PaliGemma и обученная на датасете google/docci. Она принимает изображение и текстовый запрос и формирует текстовое описание изображения длиной примерно 200–350 символов. Модель предназначена для создания более подробных подписей к изображениям; автор отмечает снижение числа галлюцинаций. Модель использует архитектуру PaliGemma для условной генерации текста по изображению. В метаданных указаны поддержка английского языка, библиотека Transformers и формат весов safetensors. Лицензия — Apache-2.0. Данные не сообщают размер модели или длину контекста.

Qianfan-VL-3B — мультимодальная языковая модель команды Baidu AI Cloud Qianfan для работы с изображениями и текстом. Версия 3B основана на Qwen2.5-3B; визуальный энкодер построен на InternViT, а изображения обрабатываются с динамическим разбиением на патчи с поддержкой разрешения до 4K. Модель принимает изображения и текстовые запросы и формирует текстовые ответы; заявленная длина контекста — 32k токенов. Модель предназначена для OCR в реальном времени и на устройствах с ограниченными ресурсами, распознавания рукописного текста, формул и содержимого документов, а также анализа структуры страниц, таблиц и диаграмм и ответов на вопросы по документам. В README заявлена поддержка многоязычных данных, а метаданные карточки указывают английский и китайский языки. Поддержка Chain-of-Thought в этой версии отсутствует; возможности рассуждений, указанные для вариантов 8B и 70B, к ней не относятся. Модель опубликована в формате safetensors и предназначена для использования с Transformers; README также описывает развертывание через vLLM. Лицензия в метаданных обозначена как other, а README не приводит её условий, поэтому перед использованием следует проверить лицензионную информацию карточки Hugging Face.

Qwen2-VL-7B — базовая предварительно обученная мультимодальная модель, разработанная командой Qwen. Это плотная модель с 7,1 млрд параметров для понимания изображений и видео по текстовым запросам. Она обрабатывает изображения с произвольным разрешением и соотношением сторон, а также видео длительностью более 20 минут; динамическое число визуальных токенов и позиционные кодировки M-ROPE учитывают текстовые, двумерные визуальные и трёхмерные видеоданные. Модель предназначена для визуальных вопросов и ответов, диалога о содержимом изображений и видео, распознавания текста на изображениях и задач, связанных с визуальным анализом и принятием решений. README описывает поддержку английского и китайского языков, а также чтение текста на изображениях на многих других языках, включая европейские языки, японский, корейский, арабский и вьетнамский. Версия в этом репозитории не прошла инструкционную настройку, поэтому для диалога и следования пользовательским инструкциям может требоваться дополнительная настройка. Модель распространяется по лицензии Apache-2.0.

cstr/qwen3-asr-0.6b-GGUF — GGUF/ggml-квантизированные версии модели Qwen3-ASR 0.6B, разработанной Alibaba и адаптированные для запуска через CLI qwen3-asr-main из проекта CrispStrobe/CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей с автоматическим определением языка. Она поддерживает 30 языков, включая русский, английский, немецкий, французский, китайский и другие, а также 22 китайских диалекта. Это speech-LLM с Whisper-подобным аудиоэнкодером: 2D-свёрточный subsampler, 18-слойный Transformer и projector преобразуют аудио в представления размерности 1024, после чего их обрабатывает Qwen3 0.6B — 28-слойная языковая модель с GQA, SwiGLU и RoPE. Доступны варианты F16, Q8_0, Q4_K и Q3_K с размерами примерно от 531 МБ до 1,88 ГБ. Вариант Q4_K рекомендован как компромисс между размером, скоростью и качеством и на 4-ядерном CPU работает немного быстрее реального времени на указанном тестовом аудио. Для длинных записей предпочтительнее обычные Q4_K или Q8_0; варианты с importance matrix могут на длинном аудио переходить в повторяющиеся фрагменты. Модель сильна многоязычным распознаванием, компактностью, работой на CPU и отсутствием необходимости в torch, librosa или scipy во время инференса: необходимые mel-фильтры встроены в GGUF. Заявленный средний показатель составляет 6,42% WER на Open ASR Leaderboard, однако производительность и качество зависят от варианта квантизации и характеристик аудио. Для штатного запуска требуется 16 кГц, моно, 16-битный PCM WAV; другие форматы нужно предварительно конвертировать. Модель распространяется по лицензии Apache-2.0.

Карточка модели Jinstudio/Qwen3-ForcedAligner-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Карточка модели speakguru/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

FuriosaAI публикует эту версию Qwen3-VL-2B-Instruct вместе с исполняемым пакетом для запуска на ускорителях FuriosaAI RNGD через Furiosa-LLM. Это плотная мультимодальная модель с примерно 2 млрд параметров: визуальный энкодер обрабатывает изображения и видеокадры, а трансформерный декодер формирует текст. В архитектуре используются Interleaved-MRoPE и многоуровневое объединение визуальных признаков DeepStack; версия Instruct предназначена для диалога и не использует режим рассуждений из отдельной thinking-версии. Модель подходит для ответов на вопросы по изображениям и видео, OCR, анализа документов и диаграмм, пространственных рассуждений и вызова инструментов. README описывает запуск через Furiosa-LLM на RNGD; также указана совместимость с vLLM, SGLang и Transformers. Веса не квантизированы и сохраняют точность upstream-модели. Лицензия — Apache 2.0.

wangkanai/qwen3-vl-4b-instruct — мультимодальная модель на 4 млрд параметров, основанная на Qwen3-VL-4B-Instruct команды Qwen в Alibaba Cloud. В репозитории представлены веса SafeTensors и GGUF FP16; карточка описывает версию как abliterated. Лицензия — Apache-2.0. Модель принимает текст и изображения, а также предназначена для понимания видео. Она подходит для визуальных вопросов и ответов, OCR, анализа сцен и временных событий, рассуждений по изображениям, генерации кода интерфейсов и взаимодействия с графическими интерфейсами. В карточке заявлены 256K токенов контекста с возможностью расширения до 1M, OCR на 32 языках, пространственное рассуждение и привязка событий видео к временным меткам. Архитектура включает визуальный энкодер DeepStack на основе ViT и позиционное кодирование Interleaved-MRoPE. Для инференса указаны требования от 12 ГБ видеопамяти и 16 ГБ системной памяти для FP16; результаты и скорость зависят от оборудования и настроек. Заявленные возможности OCR и пространственного анализа приведены в README и не сопровождаются здесь независимыми оценками качества.

coder3101/Qwen3-VL-8B-Instruct-heretic — производная версия Qwen3-VL-8B-Instruct, созданная методом abliteration для сокращения отказов на запросы. По данным карточки, доля отказов в указанной проверке снизилась со 100 из 100 у исходной модели до 6 из 100; KL-дивергенция составила 0,1738. Модель предназначена для диалога с текстом и изображениями, визуального анализа и рассуждений. Базовая архитектура Qwen3-VL поддерживает анализ видео, OCR, пространственные задачи и контекст до 256 тыс. токенов с возможностью расширения до 1 млн, однако README описывает эти возможности исходной модели, а не отдельно проверенные характеристики этой версии.

gokaygokay/sd3-long-captioner — дообученная версия PaliGemma с разрешением изображений 224×224. Модель предназначена для создания подробных текстовых описаний изображений; при дообучении использовались датасеты google/docci и google/imageinwords. Модель принимает изображение и выдаёт текст на английском языке. В метаданных указаны архитектура PaliGemma и библиотека Transformers. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.

NVIDIA Citrinet CTC 256 Librispeech — компактная модель распознавания английской речи, разработанная NVIDIA и распространяемая для NeMo. Это extra-small вариант архитектуры Citrinet-CTC примерно с 10 млн параметров; модель использует CTC-декодирование и обучена на 960 часах английской речи из LibriSpeech. Она принимает монофоническое аудио WAV с частотой дискретизации 16 кГц и возвращает транскрипцию в виде строки: строчными буквами английского алфавита, с пробелами и апострофами. Модель подходит для транскрибирования отдельных записей и пакетов аудиофайлов, а также как предварительно обученный чекпойнт для дальнейшего дообучения. Для развёртывания в производственных системах README указывает совместимость с NVIDIA Riva. В приведённых результатах WER составляет 3,8% на LibriSpeech test-clean и 9,8% на test-other при жадном декодировании. Качество может снижаться на технической лексике, разговорных вариантах речи и речи с акцентом, недостаточно представленных в обучающих данных. Модель выпущена под лицензией CC BY 4.0.

BuzzASR/uzbek — одноязычная модель автоматического распознавания речи на узбекском языке, разработанная как часть набора BuzzASR. Она дообучена методом простого ASR fine-tuning на openai/whisper-large-v3 с исходным токенизатором Whisper. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текстовую транскрипцию; в конфигурации генерации уже задан языковой и задачный prompt. Модель предназначена для транскрибации узбекской речи. В тестах FLEURS и Common Voice Corpus 25.0 авторы сообщают CER 6,6% и 2,68% соответственно, а на объединённом наборе — CER 3,86% и WER 16,0%. По заявлению авторов, результаты на объединённом тесте превосходят сравниваемые открытые системы; качество на других данных может отличаться. Модель распространяется по лицензии MIT.

jonatasgrosman/wav2vec2-large-xlsr-53-english — англоязычная модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это архитектура Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. Для работы входную речь нужно подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации английской речи, в том числе записей, подобных материалам Common Voice. В README описана оценка на тестовой выборке Common Voice 6.0 и на speech-recognition-community-v2/dev_data. Указанная лицензия — Apache-2.0.

Карточка модели mitchelldehaven/whisper-large-v2-ru на Hugging Face совпадает с карточкой mitchelldehaven/whisper-medium-ru, поэтому описание составлено по ней. mitchelldehaven/whisper-medium-ru — модель распознавания речи на базе Whisper, дообученная на аудиоданных из набора Open STT Russian Dataset. Она предназначена для преобразования русской речи в текст и может применяться для транскрибации записей и аудио с речью. Модель имеет архитектуру Whisper и содержит около 455,8 млн параметров; репозиторий распространяет веса в формате PyTorch. При нормализации обучающих данных пунктуацию удаляли, тогда как исходная токенизация Whisper заменяет её пробелом. По данным карточки, это расхождение немного ухудшает результаты на Common Voice. Лицензия в предоставленных сведениях не указана.

Whisper-Large-v3-CV11 — мультиязычная модель распознавания речи, разработанная Burak Aydın и дообученная на корпусе Whispered с лицензией CC0. Это контрольная версия OpenAI Whisper large-v3 со стандартной архитектурой без преобразования внимания MHA в MLA; модель содержит 905,2 млн параметров и работает через Transformers без пользовательского кода. Модель предназначена для транскрибации речи на 11 языках. В карточке перечислены английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский. README приводит результаты оценки на CommonVoice-17 для части языков и описывает обучение на 15 000 шагах с замороженным энкодером. Данные указывают на применение для чтения вслух речи; модель также можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Модель принимает аудио и выдаёт текст. Apache-2.0 разрешает широкое использование. Приведённые метрики относятся к тесту CommonVoice-17 с жадным декодированием и заданной нормализацией; они не гарантируют такое же качество на других типах аудио.