I.15Доступность и ассистивные технологии

Voxtral Mini 4B Realtime — преобразованная в формат MLX модель Mistral AI для потокового распознавания речи. Репозиторий содержит вариант с точностью float16, рассчитанный на запуск через библиотеку mlx-audio на устройствах Apple Silicon. Модель принимает аудио и выдаёт текстовую транскрипцию с низкой задержкой. Она поддерживает потоковую обработку, а скользящее оконное внимание в причинном аудиокодировщике и декодере позволяет работать с длинными аудиопотоками. Архитектура включает аудиокодировщик примерно на 0,6 млрд параметров и языковой декодер примерно на 3,4 млрд параметров; общий размер — около 4 млрд параметров. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, итальянский, нидерландский, португальский, китайский, японский, корейский и русский языки. В README для ряда тестов приводятся показатели WER при разных задержках; рекомендованная настройка задержки транскрипции — 480 мс. Модель подходит для потоковой транскрипции речи и расшифровки длинных записей. Для распознавания рекомендуется жадное декодирование с температурой 0.0. Доступна по лицензии Apache-2.0.,

Модель badrex/w2v-bert-2.0-kinyarwanda-asr разработана Бадром аль-Абси и предназначена для автоматического распознавания речи на киньяруанда. Это дообученная для ASR модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT и классификатором CTC; в метаданных указано 402,7 млн параметров. Она принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась на примерно 1000 часах размеченной речи из датасета Kinyarwanda ASR Track B, охватывающего здравоохранение, государственное управление, финансы, образование и сельское хозяйство; для тестов внутри этих предметных областей автор сообщает WER ниже 8,4%.

Wav2Vec2-Large-960h-Lv60 + Self-Training — англоязычная модель распознавания речи от Facebook. Это плотная модель архитектуры wav2vec2 с головой CTC и примерно 402,7 млн параметров. Она предварительно обучена и дообучена на речевых данных Libri-Light и LibriSpeech; при обработке аудио требуется частота дискретизации 16 кГц. Модель преобразует речь в текст и подходит для транскрибации аудиозаписей на английском языке. В README описан метод self-training и приведены результаты на наборах LibriSpeech, включая WER 1,8/3,3 на тестовых выборках clean/other при использовании всех размеченных данных. Репозиторий содержит версии весов для PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Указанные результаты относятся к конкретным тестовым наборам; качество на других условиях записи и для других языков не гарантируется.

aware-ai/wav2vec2-large-xlsr-53-german-with-lm — акустическая модель распознавания речи на базе Wav2Vec2 XLSR-53, дополненная языковой моделью KenLM. Она предназначена для преобразования немецкой речи в текст; в карточке приведена оценка на тестовой части Common Voice: WER около 5,75% и CER около 1,90%. Архитектура модели — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на немецком языке. В README указано, что акустическая часть скопирована с модели jonatasgrosman и для неё обучена соответствующая языковая модель KenLM. Файлы доступны в форматах PyTorch и safetensors. Лицензия — Apache-2.0.

Facebook wav2vec2-large-xlsr-53-portuguese — модель распознавания португальской речи, опубликованная в формате PyTorch и Flax. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров; для обучения или оценки использовался набор Common Voice на португальском языке. Модель принимает аудио и преобразует речь в текст. В README приведён результат 27,1% на тестовой выборке Common Voice PT, но метрика и подробности оценки не указаны. Модель распространяется по лицензии Apache 2.0.

facebook/wav2vec2-large-xlsr-53-spanish — модель распознавания испанской речи, опубликованная Facebook. Она основана на архитектуре Wav2Vec2 и имеет около 402,7 млн параметров. Модель принимает аудио и выдаёт текстовую транскрипцию; в карточке указана оценка 17,6% на тестовой части Common Voice для испанского языка. Модель предназначена для автоматической транскрипции испанской речи, например записей и голосовых сообщений. Доступны веса в форматах PyTorch и Flax. Лицензия — Apache 2.0. README сообщает результат оценки, но не уточняет, какой именно метрикой он измерен.

Whisper base.en — англоязычная модель автоматического распознавания речи, разработанная OpenAI. Это плотная модель Transformer типа encoder-decoder с архитектурой WhisperForConditionalGeneration; в репозитории указано 51,7 млн параметров. Она преобразует английскую речь в текст и предназначена для расшифровки аудио, в том числе длинных записей: базовая обработка рассчитана на фрагменты до 30 секунд, а конвейер Transformers с разбиением на фрагменты позволяет работать с более длинными записями и получать временные метки. Модель обучена на больших массивах аудио с транскрипциями и рассчитана на распознавание английской речи. Она показывает устойчивость к акцентам, шуму и специализированной лексике, но может добавлять слова, которых нет в аудио, повторять фрагменты и ошибаться на отдельных голосах и условиях записи. Лицензия — Apache 2.0.

Whisper Large Norwegian Bokmål — дообученная модель распознавания речи на базе openai/whisper-large-v2, созданная NbAiLab. Она предназначена для автоматической транскрипции норвежской речи на букмоле. Обучение проводилось на корпусе примерно из 5 000 часов аудио: субтитрах NRK, стенограммах выступлений в парламенте Норвегии и записях Norsk Språkteknologi. Модель использует архитектуру Whisper Large v2 с 905,2 млн параметров и принимает аудио, выдавая текст. В README приведён результат на оценочном наборе: WER 10,72 и loss 0,2477; обучение на момент публикации ещё продолжалось, поэтому результаты могут измениться. Репозиторий распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-turbo-8bit — конверсия мультиязычной модели распознавания речи OpenAI Whisper Large V3 Turbo в формат MLX; преобразование выполнено с помощью mlx-audio-plus версии 0.1.4. Модель предназначена для преобразования аудиозаписей в текст и запуска на совместимых с MLX устройствах. Модель относится к семейству Whisper и использует плотную архитектуру. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. В метаданных указана задача автоматического распознавания речи; исходная модель также поддерживает перевод аудио в текст. Качество распознавания зависит от языка, записи и фонового шума.

Whisper-Small-MLA-24lang — модель распознавания речи, созданная Burak Aydin на основе openai/whisper-small. Декодер преобразован из MHA в MLA, после чего модель дообучена для восстановления качества на наборе из 24 языков. В ней 153,1 млн параметров; в формате весов Safetensors, библиотека Transformers. Лицензия — Apache-2.0. Модель предназначена для транскрибирования речи на английском, немецком, испанском, французском, итальянском, португальском, русском, нидерландском, польском, индонезийском, турецком, хинди, малайском, шведском, тайском, китайском, чешском, вьетнамском, финском, греческом, датском, японском, норвежском и корейском языках. По данным карточки, преобразование сокращает KV-кэш декодера на 62,5%; экономия относится к кэшу self-attention и не распространяется на память энкодера и cross-attention. В оценке на Common Voice 17 качество существенно различается по языкам: результаты сильнее на испанском, английском, нидерландском, русском, итальянском и португальском, а на некоторых языках с малым объёмом данных, включая корейский, норвежский, датский и греческий, заметно слабее. Модель рассчитана на речь с потребительских микрофонов и чтение подготовленного текста. Для запуска требуются trust_remote_code и Transformers 4.46.x; whisper.cpp, CT2 и faster-whisper не поддерживаются.

Whisper tiny.en — компактная модель распознавания речи на английском языке, разработанная OpenAI. Это предварительно обученный Transformer encoder-decoder с архитектурой sequence-to-sequence и примерно 29,4 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку. Она обучена на больших объёмах размеченной речи и предназначена для транскрибации английского аудио, в том числе записей с акцентами, фоновым шумом и специализированной лексикой. Для аудио длиннее примерно 30 секунд можно применять разбиение на фрагменты средствами Transformers. Модель может быть полезна для расшифровки записей, интервью, лекций и голосовых сообщений. Она способна ошибаться и иногда генерировать слова, которых нет в аудио; точность зависит от качества записи, акцента и предметной области. Лицензия — Apache 2.0.

Yoruba-ASR — модель автоматического распознавания речи на йоруба, разработанная Awarri Technologies при поддержке Федерального министерства связи, инноваций и цифровой экономики Нигерии. Это дообученная версия Whisper Small с 244 млн параметров, принимающая аудио и выдающая текстовую транскрипцию на йоруба. Для распознавания рекомендуется аудио с частотой 16 кГц; максимальная длительность обработки за один запуск — 30 секунд. Модель предназначена для транскрибации речи в образовательных и вспомогательных сервисах, проектах по сохранению языка и культуры, общественных технологиях и медиа. Обучающие данные включают 120 часов записей с разных регионов Нигерии и общедоступные наборы данных. Лицензия указана как other; условия карточки разрешают исследовательское, образовательное и общественно полезное применение, а для коммерческого или крупномасштабного корпоративного использования требуют отдельного соглашения и запрещают ряд вредоносных сценариев.

combined_whisper_sanlish_lr2e5_newsplit — модель распознавания речи, полученная дообучением мультиязычной openai/whisper-small. Она предназначена для преобразования аудиозаписей в текст; в карточке приведены результаты оценки: WER 34,7012, CER 8,4391 и loss 0,6368. Подробности о целевом языке и наборе данных не раскрыты. Модель распространяется в формате safetensors по лицензии Apache-2.0.

EraX-WoW-Turbo-V1.0 — модель распознавания речи команды EraX, дообученная на базе OpenAI Whisper Large-v3 Turbo. Она преобразует аудио в текст и предназначена для быстрой транскрибации, создания субтитров, расшифровки встреч и работы голосовых приложений. Архитектура Whisper, размер — 905,2 млн параметров. В карточке заявлены обучение на примерно 300 тысячах примеров (около 1000 часов аудио) и поддержка вьетнамского, хинди, китайского, английского, русского, немецкого, украинского, японского, французского, нидерландского и корейского языков; также заявлена обработка аудио в реальном времени. Автор приводит предварительную оценку WER около 12%, но сообщает, что бенчмарки ещё завершаются. Модель может быть полезна для автоматической расшифровки речи, субтитров и голосовых интерфейсов. README отмечает возможные трудности с детской речью и тихим шёпотом. Указана лицензия MIT.

Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

GPT-4o — мультимодальная модель OpenAI, принимающая текст и изображения и формирующая текстовые ответы. Название «omni» отражает поддержку нескольких типов входных данных; в доступной карточке заявлены текстовый и визуальный ввод. Модель подходит для диалога и ответов на вопросы по тексту или изображениям, например для описания изображений и анализа визуальной информации. По метаданным каталога её задача — image-text-to-text. Карточка также сравнивает её уровень интеллекта с GPT-4 Turbo, но не содержит завершённых сведений о размере, контекстном окне, языках и лицензии.

GPT-4o — мультимодальная модель OpenAI, представленная 13 мая 2024 года. Она принимает текст и изображения и формирует текстовые ответы. Модель предназначена для диалога и задач, где нужно понимать текст вместе с визуальным содержимым, например отвечать на вопросы об изображениях. Доступные сведения указывают на поддержку изображений и текста; детали архитектуры, число параметров и длина контекста здесь не приведены.

iky1e подготовил квантизованную версию Granite Speech 5.0 470M TurboCTC для инференса на устройствах Apple Silicon с использованием Granite-MLX и Swift. Это модель распознавания речи на базе архитектуры GraniteSpeech5ForCTC, преобразованная из чекпойнта IBM в формат MLX: веса квантизованы до 8 бит, часть тензоров сохранена в FP16. Размер файла весов составляет около 466 МиБ — примерно 52% от исходного; в описанном сравнении согласие транскриптов с исходной моделью составило 99,8825% по метрике пословного совпадения, которая не измеряет точность относительно человеческой расшифровки. Модель предназначена для преобразования английской речи в текст, в том числе из длинных аудиозаписей; инструмент Granite-MLX также принимает видеофайлы и может сохранять результат в TXT, SRT, WebVTT или JSON. Для обработки длинных записей используются блоки с контекстом, жадное CTC-декодирование и ограничение памяти. Репозиторий распространяется по лицензии Apache-2.0. Для запуска описан нативный Swift runtime Granite-MLX на Apple Silicon.

IndicConformer — модель автоматического распознавания речи на хинди, разработанная AI4Bharat. Она принимает монофоническое аудио WAV с частотой дискретизации 16 кГц и возвращает распознанную речь в виде текста. Модель построена на архитектуре Conformer-Large: энкодер содержит 17 блоков и около 120 млн параметров, а декодер использует гибридный подход CTC-RNNT. Для инференса предусмотрен выбор CTC- или RNNT-декодера. Модель работает на хинди и распространяется по лицензии MIT; для работы используется библиотека AI4Bharat NeMo.

Lite-Whisper large-v3-turbo — сжатая версия мультиязычной модели OpenAI Whisper, разработанная с использованием LiteASR. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. По метаданным, она основана на openai/whisper-large-v3-turbo, содержит 905,2 млн параметров и использует архитектуру LiteWhisperForConditionalGeneration; опубликована в формате safetensors и работает через Transformers. В карточке приведены результаты оценки на наборах ESB: варианты Lite-Whisper показывают средний WER 10,1–10,2. Метаданные указывают лицензию Apache-2.0. Поддерживаемые языки и длина контекста в предоставленных источниках не перечислены.

BuzzASR/lithuanian — монолингвальная модель автоматического распознавания речи на литовском языке, разработанная как часть набора BuzzASR и дообученная на базе openai/whisper-large-v3. Это плотная модель Whisper с архитектурой WhisperForConditionalGeneration, содержащая 905,2 млн параметров; для работы используется Transformers, веса опубликованы в формате safetensors. Модель преобразует литовскую речь в текст, а языковая и задачная подсказки уже заданы в конфигурации генерации. Модель обучена на данных FLEURS и Common Voice Corpus 25.0; также использовались текстовые данные корпуса Goldfish. На тестах FLEURS и Common Voice показаны CER 4,81% и 0,78% соответственно, а на объединённом наборе — CER 2,11% и WER 8,75%. Разработчики сообщают, что среди сравниваемых открытых систем модель показала наименьший CER на объединённом тестовом наборе. Модель предназначена для транскрибации литовской речи. Она монолингвальна, а качество за пределами тестовых наборов FLEURS и Common Voice, включая другие предметные области и диалекты, может отличаться. Лицензия — MIT.

Ming-Lite-Omni — мультимодальная модель от InclusionAI, дообученная на Ling-lite. Она использует архитектуру MoE с маршрутизаторами для разных модальностей и выделенными энкодерами. По данным разработчика, активируется 2,8 млрд параметров; модель объединяет обработку изображений, текста, аудио и видео, а также генерацию текста, речи и изображений. Она предназначена для мультимодального диалога, распознавания и понимания речи, преобразования текста в речь, анализа изображений и видео, генерации и редактирования изображений. Модель подходит для приложений, где нужно принимать смешанные мультимодальные запросы и формировать текстовые, речевые или визуальные ответы без отдельных моделей для каждой задачи. README приводит результаты оценок на задачах понимания изображений, видео и речи, а также генерации изображений. Контекст, поддерживаемые языки и ограничения качества в предоставленных источниках не описаны. Лицензия — MIT.

Moonshine Base — компактная модель автоматического распознавания речи, разработанная Useful Sensors. Это последовательностная модель типа encoder-decoder с 61 млн параметров, предназначенная для транскрибирования английской речи в английский текст. Она рассчитана на разработчиков, которым нужно развернуть распознавание речи в реальном времени на устройствах с ограниченными памятью и вычислительными ресурсами; поддержка Transformers упрощает использование в соответствующих приложениях. Модель принимает аудио и выдаёт текст, обучена на 200 000 часах аудио с расшифровками и лицензирована по MIT. По оценке разработчиков, Moonshine показывает более высокую точность на стандартных наборах данных, чем сопоставимые по размеру системы распознавания речи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты текста; эти проблемы могут быть заметнее на коротких записях и аудио с обрезанными словами. Она предназначена для транскрибирования английской речи, а не для вывода субъективных характеристик говорящего или принятия высокорисковых решений. Перед применением в конкретной области требуется отдельная оценка качества.

Карточка модели xqiuresearch/MOSS-Transcribe-Diarize-vuln на Hugging Face совпадает с карточкой xqiuresearch/MOSS-Transcribe-Diarize, поэтому описание составлено по ней. MOSS-Transcribe-Diarize 0.9B — мультимодальная модель семейства MOSS от OpenMOSS для расшифровки длинных аудио- и видеозаписей. Она за один проход преобразует запись в текст с временными метками и анонимными метками говорящих, совместно выполняя распознавание речи и диаризацию. Также модель может размечать акустические события и учитывать пользовательские инструкции и подсказки с терминами.

ziywang50/omniASR-LLM-300M — совместимая с Hugging Face копия модели omniASR-LLM-300M от Meta AI, подготовленная для интеграции с vLLM. Согласно карточке, веса совпадают с оригиналом; изменена упаковка: добавлены конфигурация модели и токенизатора, а также таблица языковых идентификаторов. Модель предназначена для автоматического распознавания речи и поддерживает более 1600 языков. Она принимает аудио и преобразует речь в текст. Репозиторий содержит веса в формате safetensors; в README приведён запуск через vLLM. Модель относится к семейству OmniASR-LLM, архитектура — плотная условная генерация. Лицензия Apache 2.0. В README не указаны точный размер именно этой версии и длина контекста. Для обработки аудио в исходной инструкции также упоминается необходимость libsndfile при использовании справочного пайплайна; требования vLLM могут отличаться.

PaliGemma 3B Mix 224 — разработанная Google компактная модель «зрение—язык», сочетающая визуальный компонент SigLIP и языковую модель Gemma. Она принимает изображения и текст, а в ответ генерирует текст; вариант 224 использует разрешение изображений 224 пикселя. Модель предназначена прежде всего для дообучения под конкретную задачу и поддерживает несколько языков. После адаптации модель можно применять для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Среди возможных специализированных сценариев — вопросы по снимкам дистанционного зондирования, помощь людям с нарушениями зрения и описание функций элементов интерфейса. Это модель с одним ходом, не предназначенная для многошагового диалога. Модель лучше работает с чёткими инструкциями; без дообучения её результаты на отдельных задачах могут уступать специализированным моделям. Она может ошибаться в фактах и сложных рассуждениях, а также отражать смещения обучающих данных. Лицензия — Gemma; для Gemma действуют условия и ограничения использования, указанные Google.

Это конвертированная в формат MLX версия модели распознавания речи NVIDIA Parakeet-TDT 0.6B v2, подготовленная сообществом mlx-community на основе nvidia/parakeet-tdt-0.6b-v2. Модель предназначена для преобразования аудиозаписей в текст; для запуска предлагаются библиотеки parakeet-mlx и mlx-audio. В основе — архитектура FastConformer/Conformer и метод TDT; исходная модель содержит около 0,6 млрд параметров. По описанию базовой модели, она транскрибирует английскую речь, расставляя пунктуацию и заглавные буквы, а также выдаёт временные метки слов. Репозиторий использует safetensors и библиотеку MLX. Лицензия — CC BY 4.0.

Qwen3-ForcedAligner-0.6B-GGUF — это GGUF-конверсия модели Qwen3-ForcedAligner-0.6B, разработанной командой Qwen. Модель предназначена для forced alignment: она принимает аудиозапись и готовую расшифровку и в одном проходе предсказывает временные метки для слов или токенов. Это позволяет получать пословные тайминги и субтитры с временным разрешением 80 мс, в том числе при использовании различных бэкендов автоматического распознавания речи через CrispASR. Архитектура включает 24-слойный аудиоэнкодер с d_model 1024, 28-слойное тело Qwen3 с d_model 1024, 16 attention heads и 8 KV heads, а также специализированную 5000-классовую голову для предсказания временных интервалов. В отличие от ASR-моделей, она не генерирует текст авторегрессивно, а обрабатывает всю пару «аудио, текст» одним прямым проходом. Доступны варианты F16, Q8_0, Q5_0 и Q4_K размером примерно от 0,53 до 1,84 ГБ. Поддерживаются китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. Сильные стороны модели — однопроходное выравнивание, широкая языковая поддержка, совместимость с разными транскрипционными бэкендами и наличие компактных квантованных вариантов. Ограничение текущей C++-обёртки — использование разбиения текста по пробелам, что менее эффективно для китайского и японского языков; для них предпочтительнее upstream-реализация с языково-специфической токенизацией. Модель распространяется по лицензии Apache-2.0.

Re3Cap-SC-Qwen2-VL-7B — мультимодальная модель для создания описаний изображений, разработанная на основе Qwen2-VL-7B-Instruct. Авторы дообучили её методом GRPO с наградой за самоисправление на уровне ключевых слов и стратегией Re³Cap, которая использует поиск для уточнения подписи к изображению. Модель предназначена для создания более точных и подробных подписей: компоненты Caption Refinement Suggester и Caption Quality Assessor помогают выявлять галлюцинации и пропуски в описании. Модель имеет архитектуру Qwen2-VL, содержит 7,1 млрд параметров, принимает изображения и текст и выдаёт текст; длина контекста составляет 32 768 токенов. Лицензия — Apache-2.0.

NVIDIA разработала FastConformer-Hybrid Large (en) для автоматического распознавания английской речи. Модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку текстом; её можно использовать для транскрибирования записей или дообучить на другом наборе данных с помощью NeMo. Это модель семейства FastConformer примерно на 115 млн параметров. Гибридная архитектура обучена с функциями потерь Transducer и CTC, поэтому поддерживает оба режима декодирования. В обучении использован объединённый набор из нескольких тысяч часов английской речи, включая LibriSpeech, Fisher, Common Voice, VoxPopuli и другие корпуса. Текст вывода использует английские буквы, пробелы, точки, запятые и вопросительные знаки. Модель может хуже распознавать акцентированную речь, технические термины и разговорные варианты, недостаточно представленные в обучающих данных; набор пунктуации ограничен точкой, запятой и вопросительным знаком. Лицензия — CC BY 4.0.