I.9Аудио и музыка

Карточка модели SihJJJ/faster-whisper-medium на Hugging Face совпадает с карточкой Systran/faster-whisper-medium, поэтому описание составлено по ней. Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

Карточка модели hudsonai-app/whisper-large-v3-turbo-4bit на Hugging Face совпадает с карточкой mlx-community/whisper-large-v3-turbo-4bit, поэтому описание составлено по ней. mlx-community/whisper-large-v3-turbo-4bit — мультиязычная модель распознавания речи на базе OpenAI Whisper large-v3-turbo, преобразованная сообществом mlx-community в формат MLX с 4-битным представлением. Она предназначена для преобразования аудиозаписей в текст и запуска на устройствах Apple через библиотеку mlx-audio-plus. Модель принимает аудио и выдаёт текст; исходная модель также поддерживает перевод речи в текст. Репозиторий распространяется по лицензии Apache-2.0.

mlx-community/whisper-large-v3-turbo-4bit — мультиязычная модель распознавания речи на базе OpenAI Whisper large-v3-turbo, преобразованная сообществом mlx-community в формат MLX с 4-битным представлением. Она предназначена для преобразования аудиозаписей в текст и запуска на устройствах Apple через библиотеку mlx-audio-plus. Модель принимает аудио и выдаёт текст; исходная модель также поддерживает перевод речи в текст. Репозиторий распространяется по лицензии Apache-2.0.

Whisper large-v3-turbo-gguf — это GGUF-версия модели Whisper large-v3-turbo, разработанной OpenAI и представленной в экосистеме Hugging Face. Модель предназначена для автоматического распознавания речи и перевода речи в текст, включая работу в режиме zero-shot. Она обучалась на более чем 5 млн часов размеченных аудиоданных и поддерживает широкий набор языков, в том числе русский, английский, китайский, немецкий, испанский, французский, японский и многие другие. Модель является дообученной и сокращённой версией Whisper large-v3: число слоёв декодера уменьшено с 32 до 4. Благодаря этому она работает значительно быстрее исходной large-v3, хотя может немного уступать ей по качеству. Поддерживаются автоматическое определение языка, транскрибация с сохранением языка исходной речи, перевод речи на английский, а также временные метки на уровне предложений и слов. README не указывает размер модели, точную архитектуру GGUF-квантизации или максимальную длину контекста. Модель подходит для транскрибации аудиофайлов, пакетной обработки записей и приложений, которым важны скорость и мультиязычность. Ограничениями являются возможное небольшое снижение качества по сравнению с Whisper large-v3 и отсутствие в карточке подробностей о конкретной GGUF-квантизации и требованиях к ресурсам. Лицензия — MIT.

Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

handy-computer/whisper-large-v3-gguf — это конвертация мультиязычной модели распознавания речи OpenAI Whisper large-v3 в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического преобразования речи в текст, определения языка и перевода речи с любого поддерживаемого языка на английский. Поддерживаются десятки языков, включая русский, английский, китайский, японский, корейский, арабский, испанский, французский и кантонский (yue). Модель использует архитектуру encoder-decoder Transformer, обрабатывает аудио через 128-канальный mel-вход и выполняет декодирование длинных записей блоками с окнами по 30 секунд. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 3,11 ГБ. В тесте LibriSpeech test-clean показатель WER составил от 1,81% для F16 до 1,86% для Q4_K_M, что указывает на небольшую потерю качества при квантовании. Поддерживаются сегментные временные метки и потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод речи, а также возможность выбора между качеством и требованиями к памяти благодаря нескольким вариантам квантования. Качество заметно зависит от языка: приведённые значения WER на наборе FLEURS существенно различаются, поэтому для менее распространённых языков необходима отдельная проверка. Модель распространяется по лицензии Apache-2.0.

Карточка модели OrpheraAI/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

Lite-Whisper large-v3-acc — сжатая версия мультиязычной модели распознавания речи Whisper large-v3 от OpenAI, разработанная с использованием LiteASR. Она предназначена для преобразования речи в текст. В оценке на наборах данных ESB модель показала средний WER 10,1 — такой же, как у Whisper large-v3; размер энкодера составляет 429 млн параметров против 635 млн у исходной модели, а декодера — 907 млн. Модель построена на архитектуре LiteWhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; базовая модель поддерживает многоязычную транскрибацию и перевод аудио в текст. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Nemotron-Labs-Audex-2B — компактная плотная аудио-текстовая языковая модель NVIDIA, дообученная в несколько этапов методом SFT на основе Nemotron-Cascade-2-30B-A3B. Она принимает текст и аудио и генерирует текст или аудио; поддерживает понимание аудио, распознавание и перевод речи, синтез речи, генерацию аудио и диалог с преобразованием речи в речь. Для текстовых запросов доступны режимы с рассуждением и без него, а также сохраняются возможности базовой текстовой модели в рассуждении, работе с длинным контекстом и использовании инструментов. Компактный размер снижает требования к ресурсам по сравнению с Audex-30B-A3B. Модель использует плотную архитектуру семейства Nemotron Labs Audex и выпущена после многоэтапного SFT; в отличие от Audex-30B-A3B, для неё не заявлен дополнительный каскадный этап RL. Для инференса README описывает Transformers и vLLM с версией 0.20.0 и плагином модели. В метаданных указана лицензия other, поэтому конкретные права использования следует сверять с условиями репозитория.

whisper-large-v2-gguf — это конвертация мультиязычной модели автоматического распознавания речи OpenAI Whisper large-v2 в формат GGUF для использования с transcribe.cpp. Модель разработана OpenAI, а сборки и конвертация опубликованы handy-computer. Она предназначена для расшифровки аудио, определения языка и перевода речи с поддерживаемых языков на английский текст. Модель использует архитектуру encoder-decoder Transformer и обрабатывает аудио окнами по 30 секунд с чанковой декодировкой длинных записей. Поддерживается широкий набор языков, включая русский, английский, немецкий, французский, испанский, китайский, японский и многие другие. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 6,18 ГБ. Предусмотрены сегментные временные метки, но потоковая обработка не поддерживается. Сильные стороны модели — широкая языковая поддержка, распознавание, определение языка и перевод, а также несколько вариантов квантования для компромисса между качеством и требованиями к памяти. На тесте LibriSpeech test-clean заявленная WER составляет от 2,46% до 2,97% в зависимости от варианта, однако качество заметно различается между языками и наборами данных. Производительность зависит от оборудования и режима вычислений, а отсутствие streaming ограничивает применение в сценариях с минимальной задержкой. Модель распространяется по лицензии Apache-2.0.

Модель OpenVINO/whisper-large-v3-turbo-fp16-ov подготовлена OpenAI на основе Whisper large-v3-turbo и преобразована в формат OpenVINO IR с весами FP16. Архитектура Whisper имеет около 905 млн параметров; в варианте large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание при небольшом снижении качества. Модель предназначена для преобразования речи в текст на многих языках. Её можно использовать для расшифровки аудиозаписей и транскрибирования речи в приложениях на базе OpenVINO; совместимость указана для OpenVINO 2026.1.0 и выше и Optimum Intel 1.27.0 и выше. Модель принимает аудио и выдаёт текст. Поддерживает русский, английский и множество других языков. Распространяется по лицензии MIT. В README отмечено, что качество может быть несколько ниже, чем у полной Whisper large-v3; прочие ограничения отсылают к карточке исходной модели.

Whisper medium — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder (sequence-to-sequence), представленная в карточке Hugging Face. Она содержит 455,8 млн параметров и обучалась на 680 тысячах часов размеченных аудиоданных с помощью крупномасштабного слабого надзора. Модель принимает речь и преобразует её в текст на том же языке; также может переводить речь на другой язык, в том числе на английский. Поддерживает множество языков, включая русский, английский, китайский, немецкий, испанский, французский и японский. Модель подходит для расшифровки аудиозаписей, длинных записей при обработке чанками и перевода речи. Архитектура рассчитана на аудиофрагменты до 30 секунд; чанкинг позволяет обрабатывать более длинные записи. Whisper хорошо обобщает на разные предметные области и демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, хотя качество зависит от языка, диалекта и условий записи. Модель может ошибочно добавлять слова, которых нет в аудио, и повторять фрагменты. Точность ниже для языков с малым объёмом данных и может различаться между группами говорящих. Лицензия — Apache-2.0.

Карточка модели ltopaiman4/whisper-small на Hugging Face совпадает с карточкой openai/whisper-small, поэтому описание составлено по ней. Whisper Small — модель распознавания речи семейства Whisper, разработанная OpenAI. Это мультиязычная модель Transformer типа encoder-decoder с 153,1 млн параметров, обученная на размеченных аудиоданных. Она преобразует речь в текст на языке исходного аудио и может переводить речь с разных языков на английский. Для обработки аудио в Transformers используется вместе с WhisperProcessor. Модель подходит для транскрибирования записей, в том числе длинных: базовая обработка рассчитана на фрагменты до 30 секунд, а разбиение на фрагменты позволяет обрабатывать аудио произвольной длины и получать временные метки. Whisper демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, но точность различается между языками, диалектами и группами говорящих. Возможны галлюцинации, повторы и ошибки распознавания. Модель распространяется по лицензии Apache-2.0.

handy-computer/whisper-tiny-gguf — набор конвертированных в формат GGUF вариантов модели OpenAI Whisper tiny, подготовленных разработчиками handy-computer для работы с transcribe.cpp. Модель предназначена для автоматического распознавания речи, определения языка и перевода аудио с поддерживаемых языков в английский текст. Поддерживает многоязычную транскрипцию, включая русский, английский, немецкий, французский, испанский, китайский, японский и другие языки, перечисленные в карточке. Архитектура модели — encoder-decoder Transformer с обработкой аудио окнами по 30 секунд и разбиением длинных записей на сегменты. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 44 до 153 МБ. Потоковая обработка не поддерживается, но доступны сегментные временные метки. На тесте LibriSpeech test-clean показатель WER составляет от 7,48% до 7,82% в зависимости от квантования; для Q8_0 указано 7,52%. Квантованные варианты значительно уменьшают размер при небольшом ухудшении результата. Модель подходит для локальной транскрипции аудиозаписей, определения языка и перевода речи в текст, включая сценарии на устройствах с ограниченными ресурсами. Ограничения включают отсутствие streaming-режима, зависимость качества от языка и условий записи, а также относительно небольшие размеры и возможности версии Whisper tiny по сравнению с более крупными моделями. Модель распространяется по лицензии Apache-2.0.

FastFlowLM/Whisper-V3-Turbo-NPU2 — модель автоматического распознавания речи и перевода речи в текст, основанная на openai/whisper-large-v3-turbo. Архитектура Whisper разработана OpenAI и обучена на более чем 5 млн часов размеченных аудиоданных. В представленной карточке не указаны отдельные сведения о разработчике или изменениях, специфичных для варианта NPU2. Модель предназначена для транскрибации аудиофайлов произвольной длительности, пакетной обработки записей, автоматического определения языка и перевода речи на английский язык. Поддерживаются временные метки на уровне предложений и отдельных слов, а также различные стратегии декодирования. Заявлена поддержка широкого набора языков, включая английский, китайский, немецкий, испанский, русский, корейский, французский, японский и многие другие. Whisper large-v3-turbo является оптимизированной версией Whisper large-v3: число декодирующих слоёв сокращено с 32 до 4, благодаря чему модель работает значительно быстрее, но может немного уступать исходной версии по качеству. Конкретный размер модели, длина контекста, требования к оборудованию и преимущества использования NPU в README не указаны. Модель распространяется по лицензии MIT.

CrisperWhisper 2.0 Turbo — вариант модели распознавания речи семейства Whisper, разработанный Nyra Labs. Он предназначен для быстрого преобразования аудио в текст с выбором режима: дословная запись слов и речевых особенностей или отредактированная запись предполагаемого смысла. Модель содержит 905,3 млн параметров; репозиторий предоставляет веса в формате safetensors, а библиотека crisperwhisper поддерживает запуск через PyTorch или CTranslate2. Модель рассчитана на распознавание речи, включая заполнители пауз, повторы, обрывы слов и вокальные события, и может выдавать временные границы слов. Вариант Turbo — самый быстрый из описанных стандартных вариантов, но README отмечает некоторое снижение качества относительно более крупных моделей. Заявлена поддержка большинства языков Whisper; метаданные карточки указывают английский и немецкий. Стандартные модели распространяются по некоммерческой исследовательской лицензии, коммерческое лицензирование доступно отдельно.

freds0/distil-whisper-large-v3-ptbr — модель автоматического распознавания речи, созданная дообучением distil-whisper/distil-large-v3 для бразильского португальского языка. Она принимает аудио и генерирует текстовую транскрипцию; архитектура основана на WhisperForConditionalGeneration и содержит 905,2 млн параметров. Для работы можно использовать библиотеку Transformers. Модель обучена на Common Voice 16 и частном наборе данных, автоматически размеченном с помощью Whisper Large v3. В README указана частота ошибок слов (WER) 8,221% на валидационном наборе Common Voice 16. Модель распространяется по лицензии MIT.

Карточка модели xiaofeng123456/faster-whisper-small на Hugging Face совпадает с карточкой Systran/faster-whisper-small, поэтому описание составлено по ней. Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

Edresson/wav2vec2-large-100k-voxpopuli-ft-Common-Voice_plus_TTS-Dataset-russian — русскоязычная модель распознавания речи на архитектуре Wav2Vec2 Large с выходной головой CTC. Её дообучили на базе Wav2Vec2 Large 100k VoxPopuli с использованием Common Voice 7.0 и M-AILABS. Модель принимает аудио и преобразует русскую речь в текст. Она подходит для автоматической транскрибации записей и голосовых данных в приложениях на базе Transformers. Размер — 402,7 млн параметров; файлы представлены в формате PyTorch. Лицензия — Apache-2.0. README отсылает за результатами к статье, поэтому численные показатели качества здесь не приводятся.

Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Карточка модели cy110120/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.

mlx-community/whisper-large-v3-turbo-fp16 — преобразованная в формат MLX модель распознавания речи на основе openai/whisper-large-v3-turbo. Разработчик репозитория mlx-community; преобразование выполнено с помощью mlx-audio-plus версии 0.1.4. Модель предназначена для преобразования аудиозаписей в текст. Она использует архитектуру Whisper и поддерживает мультиязычное распознавание речи. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой mlx-audio-plus. Лицензия — Apache-2.0. Производительность и качество зависят от языка, условий записи и используемого оборудования; README не приводит отдельных оценок для этой сборки.

onnx-community/whisper-small — это ONNX-версия мультиязычной модели Whisper Small, опубликованная сообществом ONNX Community на основе модели openai/whisper-small, разработанной OpenAI. Она предназначена для автоматического распознавания речи и перевода речи в текст, включая транскрибацию аудио на исходном языке и перевод с разных языков на английский. ONNX-веса адаптированы для использования, в частности, с Transformers.js и сценариями запуска в браузере или локальных приложениях. Модель построена как Transformer encoder-decoder, или sequence-to-sequence, и содержит около 244 млн параметров. Конфигурация включает 12 слоёв энкодера и 12 слоёв декодера, 12 attention heads в каждом, 80 mel-частотных полос и максимальную длину выходной последовательности 448 токенов. Мультиязычная версия поддерживает 99 языков. Исходный Whisper обучался на 680 000 часах аудио с транскрипциями. Сильные стороны модели — обобщение без обязательной дообучки, устойчивость к акцентам, шуму и технической лексике, а также возможность распознавания и перевода речи. Ограничения включают неравномерную точность между языками, акцентами и диалектами, возможные галлюцинации и повторяющийся текст; качество следует отдельно проверять для конкретной области применения. Модель рассчитана на аудиофрагменты длительностью до 30 секунд без дополнительной обработки, а более длинные записи обрабатываются с помощью разбиения на части. Для базовой модели openai/whisper-small указана лицензия Apache-2.0; отдельная лицензия ONNX-репозитория явно не указана.

Карточка модели unsloth/whisper-small на Hugging Face совпадает с карточкой openai/whisper-small, поэтому описание составлено по ней. Whisper Small — модель распознавания речи семейства Whisper, разработанная OpenAI. Это мультиязычная модель Transformer типа encoder-decoder с 153,1 млн параметров, обученная на размеченных аудиоданных. Она преобразует речь в текст на языке исходного аудио и может переводить речь с разных языков на английский. Для обработки аудио в Transformers используется вместе с WhisperProcessor. Модель подходит для транскрибирования записей, в том числе длинных: базовая обработка рассчитана на фрагменты до 30 секунд, а разбиение на фрагменты позволяет обрабатывать аудио произвольной длины и получать временные метки. Whisper демонстрирует устойчивость к акцентам, фоновому шуму и технической лексике, но точность различается между языками, диалектами и группами говорящих. Возможны галлюцинации, повторы и ошибки распознавания. Модель распространяется по лицензии Apache-2.0.

mlx-community/whisper-small-fp16 — конверсия мультиязычной модели распознавания речи OpenAI Whisper Small в формат MLX, выполненная сообществом mlx-community с помощью mlx-audio-plus версии 0.1.4. Модель принимает аудио и преобразует речь в текст; семейство Whisper также поддерживает перевод речи на английский язык. Модель предназначена для автоматической транскрибации и распознавания речи в приложениях на базе MLX. Репозиторий распространяется под лицензией Apache-2.0. Метаданные указывают формат safetensors и библиотеку mlx-audio-plus.

Systran/faster-distil-whisper-small.en — конверсия модели distil-whisper/distil-small.en в формат CTranslate2. Репозиторий подготовлен Systran для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для распознавания английской речи в аудиозаписях и выдачи транскрипции. Веса сохранены в FP16; при загрузке через CTranslate2 можно выбрать другой тип вычислений. Репозиторий распространяется по лицензии MIT. Подробности об архитектуре, размере и контекстном окне в доступных данных отсутствуют.

Карточка модели Hagwell/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

Карточка модели unsloth/whisper-base на Hugging Face совпадает с карточкой openai/whisper-base, поэтому описание составлено по ней. Whisper Base — мультиязычная модель распознавания речи, разработанная OpenAI. Это Transformer-энкодер-декодер с архитектурой sequence-to-sequence и примерно 51,7 млн параметров; модель принимает аудио и преобразует речь в текст на том же языке. Семейство Whisper обучалось на 680 тысячах часов размеченных аудиоданных со слабым контролем, что помогает ему обобщать на разные наборы данных и предметные области без дообучения. Модель также может переводить речь на английский язык; для длинных записей транскрипцию можно выполнять частями с помощью chunking в Transformers. Whisper Base подходит для транскрибации аудио, включая речь с акцентами, фоновым шумом и технической лексикой, а также для перевода речи на английский. Карточка сообщает о поддержке множества языков, среди них английский, русский, китайский, немецкий, испанский и французский. Для обычного использования модель распространяется по лицензии Apache-2.0. Распознавание может содержать галлюцинации — текст, отсутствующий в аудио, а также повторы. Точность неравномерна между языками, акцентами и диалектами и может быть ниже для языков с малым объёмом обучающих данных. Для модели указана длина входных аудиофрагментов до 30 секунд; более длинные записи обрабатываются с разбиением на части.

unsloth/whisper-large-v3 — мультиязычная модель распознавания речи от Unsloth, основанная на Whisper large-v3 от OpenAI. Это Transformer encoder-decoder с архитектурой sequence-to-sequence и примерно 905,2 млн параметров; модель принимает аудио и преобразует речь в текст, в том числе выполняет перевод речи между языками. Вариант large-v3 использует 128 Mel-частотных полос и включает отдельный токен для кантонского языка. Модель подходит для автоматической транскрибации и перевода аудио, включая записи с фоновым шумом, разными акцентами и технической лексикой. Карточка Unsloth заявляет ускорение до 1,5 раза и снижение расхода памяти до 50% по сравнению с базовым запуском Whisper; результаты могут зависеть от среды и настроек. README указывает, что для аудио длиннее 30 секунд требуется алгоритм обработки длинных записей. Распознавание менее точное для языков с небольшим объёмом обучающих данных и может различаться по акцентам и диалектам. Возможны галлюцинации — текст, которого нет в аудио, — и повторение фрагментов. Модель распространяется по лицензии Apache-2.0.

Карточка модели 2fed/whisper-large-v3-turbo на Hugging Face совпадает с карточкой openai/whisper-large-v3-turbo, поэтому описание составлено по ней. Whisper large-v3-turbo — мультиязычная модель распознавания речи OpenAI на архитектуре Transformer encoder-decoder. Это дообученная и ускоренная версия Whisper large-v3: число слоёв декодера сокращено с 32 до 4, что ускоряет вывод с небольшим снижением качества. Модель содержит 905,2 млн параметров и работает с аудио; она поддерживается библиотекой Transformers. Модель предназначена для преобразования речи в текст на языке оригинала и перевода речи между языками, включая перевод на английский. Она обучалась на более чем 5 млн часов размеченных данных и демонстрирует обобщение на новые наборы данных и предметные области. Для длинных записей требуется обработка последовательными окнами или разбиение аудио на сегменты; воспринимаемое окно составляет 30 секунд. Модель может ошибаться, добавлять слова, которых нет в аудио, и повторять фрагменты. Точность различается между языками, акцентами и диалектами и может быть ниже для языков с ограниченными обучающими данными. Лицензия — MIT.