I.15Доступность и ассистивные технологии

20220413-210552 — модель распознавания речи на архитектуре wav2vec2, дообученная на Common Voice на основе facebook/wav2vec2-xls-r-300m. Она принимает аудио и выдаёт распознанный текст; в метаданных указано около 402,7 млн параметров. На оценочном наборе Common Voice указаны Loss 3,0348 и WER 1,0006. Модель опубликована 13 апреля 2022 года и распространяется по лицензии Apache-2.0. Карточка не описывает поддерживаемые языки и практические сценарии применения; результат WER указывает на очень слабое качество распознавания в указанной оценке.

Xenova/tiny-random-LlavaForConditionalGeneration — мультимодальная модель, опубликованная пользователем Xenova, сотрудником Hugging Face. Она предназначена для сценария image-text-to-text: обработки изображения и текстового запроса с генерацией текста. В карточке модели указана поддержка Transformers.js, Transformers и ONNX. Архитектура основана на LlavaForConditionalGeneration: конфигурация включает небольшой vision encoder на базе CLIP и текстовый декодер на базе Llama, соединённые проектирующим слоем. Указаны 1,05 млн параметров, тип данных F32, размер изображения 30 пикселей и словарь из 32 002 токенов; сведения о поддерживаемых языках и размере контекстного окна отсутствуют. Главное преимущество модели — крайне малый размер и возможность локального запуска через доступные экосистемы Transformers.js и ONNX. Однако модель имеет экспериментально малую конфигурацию, а карточка не содержит сведений о результатах обучения, качестве, бенчмарках или прикладной точности, поэтому её пригодность для продуктивных задач ограничена и не подтверждена. Лицензия — Apache-2.0.

Kairos-Alig-30k — экспериментальная мультимодальная модель Aquiles-ai для ответов на вопросы об изображениях. Это чекпойнт KairosForConditionalGeneration, созданный совместным обучением визуального проектора и текстовой модели LiquidAI LFM2.5-2.6B; визуальный энкодер MoonViT-3D заморожен, а LoRA-адаптер обучен и слит с базовыми весами. Модель принимает изображения и текстовые запросы, выдаёт текст; видео не поддерживает. Обучение проводилось на 30 тысячах мультимодальных примеров с рассуждениями. Модель может распознавать и описывать элементы изображения, если запрос указывает, что именно нужно найти. При общих запросах она часто игнорирует изображение, опирается на текстовый шаблон и может утверждать, что изображение пустое. Качество визуального заземления и обобщения слабое, особенно на обычных фотографиях вне обучающего распределения; возможны ошибки и галлюцинации. README прямо характеризует чекпойнт как непригодный для производства и автоматизированных решений. Для запуска указаны Transformers версии 5 или новее и trust_remote_code=True. Лицензия в метаданных обозначена как other, без дополнительных условий в доступных данных.

vikp/texify2 — тестовый контрольный чекпойнт для проекта Texify, опубликованный разработчиком Vik P. Репозиторий содержит модель архитектуры vision-encoder-decoder для преобразования изображений в текст; её следует использовать через Texify с настройкой MODEL_CHECKPOINT=vikp/texify2. Автор предупреждает, что это тестовая версия, и указывает vikp/texify как правильный чекпойнт для обычного использования. Модель распространяется в формате safetensors по лицензии CC BY-SA 4.0. README не описывает размер модели, поддерживаемые языки, длину контекста или конкретные ограничения распознавания; назначение тестового чекпойнта делает его неподходящим для типичного применения.

Whisper large-v2 — мультиязычная модель распознавания речи от OpenAI, основанная на архитектуре Transformer encoder-decoder (sequence-to-sequence). Она содержит 905,2 млн параметров и обучена на 680 тыс. часов размеченных аудиоданных; по сравнению с Whisper large модель обучалась в 2,5 раза дольше и с дополнительной регуляризацией. Модель предназначена для транскрибации речи на исходном языке и перевода речи на другой язык, в том числе на английский. Она подходит для расшифровки записей, субтитров и длинных аудиоматериалов; для обработки фрагментов длиннее 30 секунд можно использовать чанкинг. Модель устойчива к акцентам, фоновому шуму и технической лексике, но точность неодинакова для разных языков, диалектов и условий записи. Возможны галлюцинации — появление в транскрипте слов, которых нет в аудио, а также повторяющийся текст. Качество ниже для языков с малым объёмом обучающих данных и может различаться между группами говорящих. Модель распространяется по лицензии Apache-2.0.

Whisper medium — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder (sequence-to-sequence), представленная в карточке Hugging Face. Она содержит 455,8 млн параметров и обучалась на 680 тысячах часов размеченных аудиоданных с помощью крупномасштабного слабого надзора. Модель принимает речь и преобразует её в текст на том же языке; также может переводить речь на другой язык, в том числе на английский. Поддерживает множество языков, включая русский, английский, китайский, немецкий, испанский, французский и японский. Модель подходит для расшифровки аудиозаписей, длинных записей при обработке чанками и перевода речи. Архитектура рассчитана на аудиофрагменты до 30 секунд; чанкинг позволяет обрабатывать более длинные записи. Whisper хорошо обобщает на разные предметные области и демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, хотя качество зависит от языка, диалекта и условий записи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты. Точность ниже для языков с малым объёмом данных и может различаться между группами говорящих. Лицензия — Apache-2.0.

Карточка модели Akshat-exe/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Карточка модели Hagwell/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Карточка модели unsloth/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Whisper large-v3 — мультиязычная модель распознавания речи на основе Transformer encoder-decoder, разработанная OpenAI. Она предназначена для транскрибирования аудио на исходном языке и перевода речи в текст на другом языке, включая перевод на английский. Модель содержит 905,2 млн параметров; по сравнению с предыдущими версиями использует спектрограммы с 128 Mel-частотными полосами и включает отдельный токен для кантонского языка. Модель обучалась на слабой разметке и псевдоразмеченных аудиоданных и рассчитана на работу с разными языками, акцентами, шумом и предметными областями. При обработке длинных записей требуется последовательная или сегментированная обработка: рецептивное поле модели составляет 30 секунд. Лицензия — Apache-2.0. Возможны ошибки транскрибации и генерация текста, отсутствующего в аудио; качество неодинаково для разных языков, акцентов и диалектов и ниже для языков с малым объёмом обучающих данных. Архитектура также может порождать повторяющийся текст.

unsloth/whisper-large-v3 — мультиязычная модель распознавания речи от Unsloth, основанная на Whisper large-v3 от OpenAI. Это Transformer encoder-decoder с архитектурой sequence-to-sequence и примерно 905,2 млн параметров; модель принимает аудио и преобразует речь в текст, в том числе выполняет перевод речи между языками. Вариант large-v3 использует 128 Mel-частотных полос и включает отдельный токен для кантонского языка. Модель подходит для автоматической транскрибации и перевода аудио, включая записи с фоновым шумом, разными акцентами и технической лексикой. Карточка Unsloth заявляет ускорение до 1,5 раза и снижение расхода памяти до 50% по сравнению с базовым запуском Whisper; результаты могут зависеть от среды и настроек. README указывает, что для аудио длиннее 30 секунд требуется алгоритм обработки длинных записей. Распознавание менее точное для языков с небольшим объёмом обучающих данных и может различаться по акцентам и диалектам. Возможны галлюцинации — текст, которого нет в аудио, — и повторение фрагментов. Модель распространяется по лицензии Apache-2.0.

Карточка модели OrpheraAI/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Карточка модели cy110120/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Карточка модели diprooo/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Canary-1b-v2 — мультиязычная модель NVIDIA для распознавания речи и перевода устной речи. Это модель примерно с 1 млрд параметров на архитектуре encoder-decoder: FastConformer извлекает признаки из аудио, а Transformer Decoder генерирует текст. Модель работает с 25 европейскими языками: болгарским, хорватским, чешским, датским, нидерландским, английским, эстонским, финским, французским, немецким, греческим, венгерским, итальянским, латышским, литовским, мальтийским, польским, португальским, румынским, словацким, словенским, испанским, шведским, русским и украинским. Модель предназначена для транскрибации речи на этих языках, а также перевода речи между английским и каждым из остальных 24 языков. Она автоматически расставляет знаки препинания и заглавные буквы, поддерживает временные метки на уровне слов и сегментов, в том числе для переведённого текста, и обрабатывает длинные записи с динамическим разбиением на фрагменты. NVIDIA заявляет о высокой скорости и качестве относительно моделей сопоставимого размера; результаты зависят от языка и условий записи. Модель можно использовать для голосовых помощников, субтитров, транскрибации разговоров и голосовой аналитики. Для работы предусмотрен NVIDIA NeMo; карточка также описывает использование через Transformers. Лицензия — CC BY 4.0, допускающая коммерческое и некоммерческое использование с соблюдением её условий.

Sof22/image-caption-large-copy — модель описания изображений на основе BLIP от Salesforce с визуальным энкодером ViT-Large. Она предназначена для генерации подписей к изображениям в условном и безусловном режимах; автор карточки отмечает настройку параметров генерации для увеличения длины ответа. Модель предобучена для описания изображений на датасете COCO и использует архитектуру BlipForConditionalGeneration. Модель принимает изображения и генерирует текстовые описания. В репозитории доступны форматы PyTorch и TensorFlow. Карточка не сообщает о поддерживаемых естественных языках. Лицензия — BSD 3-Clause.

OllmOne/whisper-large-v3-GGUF — это GGUF-версия модели Whisper large-v3, разработанной OpenAI и опубликованной пользователем OllmOne на Hugging Face. Модель предназначена для автоматического распознавания речи и перевода речи на английский язык; она обрабатывает аудио и генерирует текст. В карточке Hugging Face указаны задача automatic-speech-recognition, библиотека Transformers, формат GGUF, около 905,2 млн параметров и лицензия Apache-2.0. Whisper использует архитектуру encoder-decoder Transformer и обучен для многоязычного распознавания речи, речевого перевода и определения языка. Large-v3 отличается устойчивостью к акцентам, фоновой шумовой обстановке и технической лексике, а также улучшенной точностью по сравнению с large-v2. Модель требует проверки на конкретных данных перед промышленным использованием; возможны ошибки распознавания, особенно при низком качестве аудио, перекрывающейся речи или нестандартных условиях записи.

Карточка модели 2fed/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Kazakh Whisper Large-v3 Turbo — модель распознавания речи на казахском языке, созданная автором репозитория shyngys879 путём дообучения Whisper Large-v3 Turbo от OpenAI. Это модель семейства Whisper с архитектурой encoder-decoder; она принимает аудио и выдаёт текстовую расшифровку. Чекпойнт предназначен для использования через Transformers и Hugging Face pipelines без LoRA-адаптера или специального кода загрузки. Модель обучена на смеси публичных казахских речевых наборов: README сообщает о 841 113 обучающих примерах и более чем 1 500 часах речи. Среди сценариев — транскрибация записей, создание субтитров, расшифровка подкастов, интервью и встреч, а также подготовка речевых данных и обработка звонков. В тесте FLEURS для казахского языка указаны WER 11,80% и CER 4,98%; результаты относятся к описанному набору оценивания. Качество может снижаться при сильном фоновом шуме, перекрывающихся голосах, выраженных акцентах и диалектах, смешении казахского с русским, записях с преобладанием музыки и обработке очень длинного аудио без сегментации. README рекомендует подавать аудио с частотой 16 кГц и разбивать длинные записи на фрагменты. Модель распространяется по лицензии Apache-2.0.

Карточка модели kingartyqueen/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Карточка модели SihJJJ/faster-whisper-medium на Hugging Face совпадает с карточкой Systran/faster-whisper-medium, поэтому описание составлено по ней. Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

MiniCPM-o 2.6 — мультимодальная модель команды OpenBMB для понимания изображений, аудио и видео, а также голосового общения и потоковых сценариев. По карточке она построена как сквозная система на основе SigLip-400M, Whisper-medium-300M, ChatTTS-200M и Qwen2.5-7B; в метаданных указано 7,1 млрд параметров, плотная архитектура MiniCPMO и контекст 32 768 токенов. Модель доступна через Transformers и распространяется по лицензии Apache-2.0. Модель принимает текстовые запросы, изображения, аудио и непрерывные аудио-видеопотоки. Она отвечает текстом и может вести голосовой диалог с настраиваемыми голосом, эмоцией, скоростью и стилем; также поддерживает клонирование голоса. README описывает распознавание речи, анализ говорящих, аудиоподписи, классификацию звуковых сцен, OCR, понимание нескольких изображений и видео, а также мультимодальное общение в реальном времени. Заявлена поддержка более 30 языков для мультимодальных задач и двуязычный речевой диалог на английском и китайском. Среди заявленных сильных сторон — обработка изображений с разными пропорциями сторон, высокая плотность визуальных токенов и возможность локального запуска на устройствах с ограниченными ресурсами в подходящих сборках. README указывает на совместимость с Transformers 4.44.2 и предупреждает о возможных проблемах совместимости с другими версиями; работа с потоковыми аудио-видео данными требует соответствующей реализации и оборудования. Заявленные результаты бенчмарков приведены авторами модели и зависят от условий оценки.

NB-Whisper Large beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Она предназначена для транскрибации речи и перевода речи, с особым упором на норвежские записи; поддерживает норвежский букмол, нюнорск и английский. Модель содержит 905,2 млн параметров и доступна в форматах PyTorch, TensorFlow, JAX/Flax и SafeTensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежскую базу NST, парламентские выступления, телесубтитры NRK и аудиокниги. Для норвежской транскрибации разработчики заявляют высокие результаты среди моделей сопоставимого размера. Это публичная бета: возможны галлюцинации и пропуски фрагментов, а транскрипт может нормализовать устную речь в грамматически правильный письменный текст или опускать части высказывания. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.

Image-Captioning-ML/Vit-GPT2-COCO2017Flickr-85k-09 — дообученная модель архитектуры VisionEncoderDecoderModel для создания текстовых описаний изображений. В качестве базовой модели указана NourFakih/Vit-GPT2-COCO2017Flickr-85k-09; веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель принимает изображение и генерирует текстовую подпись. В README приведены результаты оценки: Loss 0,6343, ROUGE-1 38,8156, ROUGE-2 13,6737 и ROUGE-L 34,9479; длина генерации в оценке — около 12 токенов. Данные обучения и сведения о языках в карточке не раскрыты, поэтому назначение для конкретного языка или предметной области не подтверждено.

versae/whisper-large-v3 — версия Whisper Large v3 от OpenAI, опубликованная versae в формате Hugging Face с использованием скрипта конвертации. Это предобученная модель для автоматического распознавания речи и перевода устной речи; Whisper обучалась на 680 тысячах часов размеченных данных и рассчитана на работу с разными наборами данных и предметными областями без дообучения. Модель относится к семейству Whisper, имеет около 905,2 млн параметров и принимает аудио, выдавая текст. Метаданные указывают поддержку многих языков, включая русский и английский. Модель подходит для транскрибирования аудиозаписей и перевода речи. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Это конверсия версии Whisper Large v3, а не отдельное дообучение; длина контекста в предоставленных данных не описана.

Whisper medium GGUF — это квантованная версия мультиязычной модели автоматического распознавания речи OpenAI Whisper medium, подготовленная handy-computer для работы с transcribe.cpp. Модель предназначена для преобразования речи в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Она подходит для транскрибации аудио, субтитров, голосовых архивов и других сценариев speech-to-text. Потоковая обработка не поддерживается; длинные записи обрабатываются чанками на основе окон длительностью 30 секунд, доступны сегментные временные метки. Модель использует архитектуру encoder-decoder Transformer и поддерживает широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты GGUF с точностью F32, F16 и квантованием Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 504 МБ до 3,06 ГБ. На тесте LibriSpeech test-clean указанный показатель WER составляет 2,59–2,64% в зависимости от варианта квантования. Сильными сторонами являются мультиязычность, определение языка, перевод речи и сохранение близкого к исходной модели качества при уменьшении размера. Ограничения включают отсутствие streaming, зависимость производительности от оборудования и заметно различающееся качество между языками: приведённые оценки WER и CER показывают особенно слабые результаты для ряда малоресурсных языков. Модель распространяется по лицензии Apache-2.0.

Whisper Small — модель распознавания речи семейства Whisper, разработанная OpenAI. Это мультиязычная модель Transformer типа encoder-decoder с 153,1 млн параметров, обученная на размеченных аудиоданных. Она преобразует речь в текст на языке исходного аудио и может переводить речь с разных языков на английский. Для обработки аудио в Transformers используется вместе с WhisperProcessor. Модель подходит для транскрибирования записей, в том числе длинных: базовая обработка рассчитана на фрагменты до 30 секунд, а разбиение на фрагменты позволяет обрабатывать аудио произвольной длины и получать временные метки. Whisper демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, но точность различается между языками, диалектами и группами говорящих. Возможны галлюцинации, повторы и ошибки распознавания. Модель распространяется по лицензии Apache-2.0.