onnx-community/whisper-small — это ONNX-версия мультиязычной модели Whisper Small, опубликованная сообществом ONNX Community на основе модели openai/whisper-small, разработанной OpenAI.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Она предназначена для автоматического распознавания речи и перевода речи в текст, включая транскрибацию аудио на исходном языке и перевод с разных языков на английский. ONNX-веса адаптированы для использования, в частности, с Transformers.js и сценариями запуска в браузере или локальных приложениях.
Модель построена как Transformer encoder-decoder, или sequence-to-sequence, и содержит около 244 млн параметров. Конфигурация включает 12 слоёв энкодера и 12 слоёв декодера, 12 attention heads в каждом, 80 mel-частотных полос и максимальную длину выходной последовательности 448 токенов. Мультиязычная версия поддерживает 99 языков. Исходный Whisper обучался на 680 000 часах аудио с транскрипциями.
Сильные стороны модели — обобщение без обязательной дообучки, устойчивость к акцентам, шуму и технической лексике, а также возможность распознавания и перевода речи. Ограничения включают неравномерную точность между языками, акцентами и диалектами, возможные галлюцинации и повторяющийся текст; качество следует отдельно проверять для конкретной области применения. Модель рассчитана на аудиофрагменты длительностью до 30 секунд без дополнительной обработки, а более длинные записи обрабатываются с помощью разбиения на части. Для базовой модели openai/whisper-small указана лицензия Apache-2.0; отдельная лицензия ONNX-репозитория явно не указана.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
https://huggingface.co/openai/whisper-small with ONNX weights to be compatible with Transformers.js.
Note: Having a separate repo for ONNX weights is intended to be a temporary solution until WebML gains more traction. If you would like to make your models web-ready, we recommend converting to ONNX using 🤗 Optimum and structuring your repo like this one (with ONNX weights located in a subfolder named onnx).
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers.js
Модель выложена для браузера (ONNX / transformers.js), для GPU-рантайма нет весов.