whisper-medium-GGUF

Она предназначена прежде всего для автоматического распознавания речи, а также поддерживает перевод речи на английский, определение языка и связанные задачи обработки аудио. Модель может использоваться локально через Transformers и совместимые средства инференса GGUF.

Архитектура — encoder-decoder Transformer с 24 слоями энкодера и 24 слоями декодера, 16 attention heads в каждом, размером скрытого представления 1024 и 80 mel-каналами. Исходная модель содержит около 769 млн параметров; в репозитории указано около 0,8 млрд параметров. Конфигурация задаёт до 1500 позиций входа и 448 позиций целевой последовательности. Репозиторий содержит файл model-q4k.gguf размером около 444 МБ, что уменьшает требования к хранению и локальному запуску по сравнению с полной точностью.

Сильные стороны модели — мультиязычность, поддержка распознавания и перевода речи и возможность локального использования в компактном квантизированном формате. Ограничения включают возможные ошибки и галлюцинации, зависимость качества от языка, акустики и предметной области, а также склонность sequence-to-sequence архитектуры к повторяющимся текстам; перед развёртыванием рекомендуется проводить оценку на конкретных данных. Для репозитория OllmOne указана лицензия Apache-2.0.