I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейМодель anton-l/xtreme_s_xlsr_300m_mls — дообученная на датасете GOOGLE/XTREME_S - MLS версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2ForCTC, а число параметров составляет около 402,7 млн. В README приведены результаты на оценочной выборке: WER 0,3033 и CER 0,0951. Модель предназначена для сценариев распознавания речи, где требуется получить текстовую транскрипцию аудио. Язык или языки распознавания и длина контекста в доступных сведениях не уточнены. Модель распространяется по лицензии Apache-2.0.
Cohere Transcribe — открытая модель распознавания речи с аудиовходом и текстовым выходом, разработанная Cohere и Cohere Labs. Это специализированная плотная модель архитектуры Cohere ASR размером 2 млрд параметров, обученная с нуля для эффективной транскрипции. Она поддерживает 14 языков: арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский. Модель доступна через Transformers и подходит для локального распознавания, а для онлайн-сервинга в README рекомендуется vLLM. По данным разработчиков, модель обеспечивает высокую точность транскрипции на поддерживаемых языках и может работать до трёх раз быстрее других специализированных ASR-моделей сопоставимого размера. Лучше всего она работает с аудио на одном заранее выбранном языке: автоматического определения языка нет, а переключение языков в речи обрабатывается непоследовательно. Модель не формирует временные метки и не выполняет диаризацию; на тишине и фоновых звуках может выдавать галлюцинации, поэтому для таких записей полезен предварительный VAD или шумовой порог. Лицензия — Apache-2.0.
GigaAM-Multilingual MLX FP16 — независимый порт модели распознавания речи GigaAM-Multilingual для запуска через MLX на Apple Silicon. Модель преобразует аудио в текст и рассчитана прежде всего на офлайн-транскрибацию на macOS; артефакт содержит веса FP16 размером около 1,17 ГБ и распространяется по лицензии MIT. Модель поддерживает русский, английский, казахский, кыргызский и узбекский языки. В сравнительном тесте на публичных наборах для основных языков FP16 показал макро WER 5,066%; качество и скорость могут отличаться на других устройствах и аудиоданных. Для работы нужны Apple Silicon, macOS 14 или новее и совместимая версия MLX. Это распознавание речи без диаризации и потоковой обработки. Временные метки слов приблизительны; качество может снижаться из-за шума, удалённой речи, акцентов, переключения языков, музыки, одновременной речи и тематически отличающихся данных.
Granite Speech 4.0 1B Loom — экспорт речевой модели IBM Granite 4.0 1B Speech, подготовленный для запуска в loom.cpp. Репозиторий содержит веса в формате GGUF; по README, параметры модели не изменялись при экспорте, а сама модель перенесена в формат упаковки loom.cpp. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. Она поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Запуск предусмотрен через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс с настройками оконной обработки, сэмплирования и сборки результата. Модель основана на IBM Granite 4.0 1B Speech; размер 1B указан в названии, однако точное число параметров в метаданных отсутствует. Репозиторий распространяется по лицензии Apache-2.0. Указанный формат GGUF и связка с loom.cpp ориентированы на работу в соответствующей программной среде.
Это дообученная модель Whisper на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; в README приведены результаты оценки: loss 0,6319 и Global WER 14,3953. Базовая модель ориентирована на индийские языки, с подтверждённой поддержкой хинди. Модель принимает аудио и выдаёт текстовую транскрипцию. Она распространяется в формате safetensors и имеет лицензию MIT. Данные обучения в карточке не раскрыты, поэтому результаты и пригодность для конкретных акцентов, условий записи или других языков следует проверять на собственных аудио.
nileq/kazakh-omni-asr-ctc — модель автоматического распознавания казахской речи, разработанная Nileq на базе OmniASR wav2vec2.5 large и дообученная с функцией потерь CTC. Она использует архитектуру Wav2Vec2ForCTC с 24 слоями энкодера, размером скрытого состояния 1024 и 16 головами внимания; словарь SentencePiece содержит 9812 токенов. Модель принимает монофоническое аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Вес модели составляет 412,7 млн параметров; файлы опубликованы в формате safetensors. Модель предназначена для транскрибации казахской речи и интеграции в системы распознавания аудио. Указанная лицензия — Apache-2.0. Карточка сообщает о 20 000 шагах обучения; качество на реальных записях и устойчивость к шуму отдельно не охарактеризованы.
Kimi-Audio-7B — базовая аудиомодель с открытыми весами от Moonshot AI. Она объединяет обработку аудио и языковую модель с параллельными выходами для текстовых и аудиотокенов; аудио на входе представляется непрерывными акустическими и дискретными семантическими токенами. Модель насчитывает 7,1 млрд параметров, имеет контекст 8192 токена и распространяется в формате Safetensors. Модель предназначена для распознавания речи, ответов на вопросы об аудиозаписях, описания звуков, распознавания эмоций и классификации звуковых событий и сцен, а также генерации речи и аудиодиалога. Для генерации аудио предусмотрена потоковая обработка чанками. В карточке указаны английский и китайский языки; обучение проводилось на более чем 13 млн часов аудио и текстовых данных. Это базовая модель без дообучения, поэтому для готовых прикладных сценариев требуется fine-tuning; автор рекомендует вариант Kimi-Audio-7B-Instruct для использования без дополнительной настройки. Лицензия — MIT.
omniASR-CTC-300M — конверсия чекпойнта OmniLingual omniASR_CTC_300M в формат Hugging Face, опубликованная aadel4. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием: она принимает аудио и выдаёт логиты по SentencePiece-словарю для транскрибирования речи на нескольких языках. В метаданных указано 412,7 млн параметров; модель использует класс Wav2Vec2ForCTC и библиотеку Transformers. В карточке описаны 24 слоя энкодера и размер скрытого состояния 1024. Автор сообщает, что результаты модели совпадают с исходным чекпойнтом fairseq2 с точностью до atol=1e-4 на контрольном аудиофрагменте, и приводит совпадающую транскрипцию. Модель предназначена для многоязычного ASR; конкретные поддерживаемые языки в карточке не перечислены. Условия лицензирования в предоставленных данных не описаны.
omniASR-LLM-7B — форк модели Meta AI из семейства Omnilingual ASR, подготовленный для интеграции с vLLM. Согласно README, веса идентичны оригинальной facebook/omniASR-LLM-7B: изменена только упаковка, добавлены конфигурация Hugging Face, настройки токенизатора и таблица языковых идентификаторов. Это плотная модель класса OmniAsrForConditionalGeneration с весами в формате safetensors. Модель предназначена для автоматического распознавания речи на множестве языков; семейство заявляет поддержку более 1600 языков. Форк позволяет запускать распознавание через vLLM. README не приводит точного числа параметров именно этой 7B-версии. Репозиторий распространяется по лицензии Apache 2.0.
OpenVoiceOS опубликовала конвертированную в формат GGUF версию модели Qwen3-ASR-0.6B с тензорами F16. Это модель автоматического распознавания речи, предназначенная для запуска на периферийных устройствах и CPU-системах. Модель принимает аудио и преобразует речь в текст. В карточке указана поддержка китайского, английского, арабского, немецкого, французского, испанского, португальского, индонезийского, итальянского, корейского, русского, тайского, вьетнамского, японского, турецкого, хинди, нидерландского, шведского, датского и финского языков; теги README также перечисляют малайский, фарси, греческий, венгерский, македонский, румынский, чешский и филиппинский. Формат GGUF упрощает использование модели в CPU- и edge-средах. Для работы с этой версией нужна среда выполнения, совместимая с GGUF. Модель распространяется по лицензии Apache 2.0, унаследованной от исходной Qwen/Qwen3-ASR-0.6B.
cstr/sensevoice-small-GGUF — GGUF-квантизированная версия SenseVoiceSmall, разработанной Alibaba и опубликованной под брендом FunAudioLLM. Модель предназначена для автоматического распознавания речи и запуска через backend sensevoice в CrispASR. Помимо транскрипции, она определяет язык речи, эмоцию, аудиособытия и режим текстовой нормализации. Это многозадачная encoder-only ASR-модель с 70-блочным SANM-энкодером, четырьмя головами и CTC-выходом на 25 055 SentencePiece-токенов. Архитектура использует четыре query embedding для языка, аудиособытий, эмоций и нормализации текста. Поддерживается более 50 языков с нативной идентификацией; в карточке явно указаны китайский, кантонский, английский, японский и корейский. Модель неавторегрессионная и, по данным README, значительно быстрее Whisper-Large: около 70 мс на 10 секунд аудио в измерениях upstream. Доступны варианты F16 размером 448 МБ, Q8_0 размером 240 МБ и Q4_K размером 129 МБ; Q4_K рекомендован как вариант по умолчанию. Квантизация сохраняет идентичные транскрипции на проверенных английских и японских примерах, однако возможны изменения на пограничных случаях классификации эмоций. Модель ориентирована на локальный инференс и эффективное распознавание речи, но README не приводит подробных оценок качества по языкам и сценариям. Файлы наследуют FunASR Model License v1.1 для весов; коммерческое использование разрешено с указанием авторства. Код upstream-пакета funasr распространяется по Apache-2.0. При использовании требуется атрибуция Alibaba/FunAudioLLM; репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения или изменения архитектуры.
SenseVoiceSmall-GGUF-audiocpp — квантованный экспорт модели SenseVoiceSmall, разработанной FunAudioLLM, предназначенный для автоматического распознавания речи. Модель упакована в формат GGUF для запуска в runtime audio.cpp и содержит встроенную спецификацию sense_asr, метаданные SenseVoice, словарь SentencePiece, тензоры CMVN и 919 тензоров модели. Представленный файл использует квантование Q8_0, занимает около 254 МБ и рассчитан на прямой запуск на CPU через audio.cpp без внешней спецификации модели. В README явно указана поддержка китайского, английского, кантонского, японского и корейского языков. Модель подходит для локального распознавания аудиозаписей и потоков в сценариях, совместимых с интерфейсом audio.cpp; приведённый пример использует задачу ASR. К сильным сторонам относятся автономная упаковка всех необходимых компонентов, запуск на CPU и воспроизводимый экспорт из конкретной ревизии SenseVoiceSmall. Ограничения — отсутствие в предоставленных данных подробностей об архитектуре, размере исходной модели, максимальной длине контекста, производительности и поддерживаемых модальностях помимо речи. Модель распространяется по лицензии Apache-2.0.
SUPlime — модель диаризации речи с открытыми весами от Re:WayAI для pyannote.audio 4.x. Она принимает монофоническую аудиозапись с частотой 16 кГц и определяет, кто и когда говорит, без необходимости заранее задавать число говорящих. Модель сегментации использует WavLM-Base+ с 114 млн параметров, четыре слоя Conformer и выходную powerset-голову; для эмбеддингов говорящих применяется WeSpeaker SimAM-ResNet34, а сегменты группируются агломеративной кластеризацией. Модель дообучена на обучающих выборках 11 публичных корпусов. В описанном сравнении SUPlime показала лучшие результаты среди двух вариантов семейства на наборе из 12 корпусов; для 8-корпусного бенчмарка лучше подходит SUPlime-L. Модель рассчитана на совещания, разговорную речь, дальнюю запись и аудио с несколькими участниками. Ограничения включают поддержку не более двух одновременных говорящих на кадр и четырёх говорящих в 10-секундном окне; телефонная речь 8 кГц находится вне обучающего домена. Английский и китайский доминируют в обучающих данных, а оценка справедливости по языкам и демографическим группам не проводилась. Лицензия CC BY-NC 4.0 запрещает коммерческое использование.
VibeVoice-ASR-BitNet — сжатая версия модели VibeVoice-ASR, разработанная участниками Microsoft Research. Это модель автоматического распознавания речи, предназначенная для локальной транскрипции аудио в реальном времени на периферийных устройствах и обычных CPU без GPU. Модель использует VAE-токенизатор и LM-декодер с гетерогенной квантизацией: компоненты представлены в форматах I8_S, I2_S и Q6_K. Размер уменьшен с 4,62 до 1,58 ГБ, а для вычислений применяются оптимизированные SIMD-ядра в рамках ggml для платформ x86 с AVX2 и ARM с NEON. При использовании от трёх потоков достигается коэффициент реального времени менее 1; заявленная скорость выше Whisper.cpp в 1,6–2,3 раза в зависимости от конфигурации. Поддерживаются английский, китайский, французский, итальянский, корейский, португальский и вьетнамский языки, а также другие языки согласно описанию проекта. Сильные стороны модели — компактность, работа на CPU, пригодность для edge-сценариев и низкая задержка. Ограничение — небольшое ухудшение точности по сравнению с исходной VibeVoice-ASR и заметно различающиеся результаты на разных языках и наборах данных; производительность зависит от числа потоков и аппаратных SIMD-инструкций. Проект распространяется по лицензии MIT.
VibeVoice ASR Streaming 1.5B GGUF — это сборка модели автоматического распознавания речи Microsoft VibeVoice ASR Streaming 1.5B, подготовленная в формате GGUF для работы с audio.cpp. Модель предназначена для офлайн-транскрибации аудио и потокового распознавания речи в реальном времени, включая серверные сценарии. Указана поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель содержит около 1,5 млрд параметров и поддерживает потоковый режим ASR. Доступны варианты BF16, Q8_0 и Q4_K с различным соотношением качества и размера: примерно 5,64 ГБ, 3,34 ГБ и 2,12 ГБ соответственно. Для потоковой обработки требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. В README также заявлена поддержка транскрибации с атрибуцией говорящих, однако подробности этой функции не приведены. Сильными сторонами являются нативная интеграция с audio.cpp, автономный формат GGUF и наличие нескольких вариантов квантования. На небольшом наборе из четырёх фрагментов LibriSpeech указанный WER составил 4,35% для BF16, 5,80% для Q8_0 и 7,25% для Q4_K при CUDA; результаты зависят от backend и размера тестовой выборки, поэтому не характеризуют качество во всех сценариях. Модель распространяется по лицензии MIT.
aconeil/w2v2-lmk_updated — модель автоматического распознавания речи на архитектуре wav2vec 2.0, дообученная на базе facebook/wav2vec2-large-xlsr-53. Она предназначена для преобразования аудиозаписей речи в текст. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. В README приведены результаты на оценочном наборе: WER 0,5749 и CER 0,2049. Для обучения использован набор данных audiofolder. Модель распространяется в формате safetensors по лицензии Apache-2.0. Язык распознавания и подробные ограничения в карточке не описаны.
jadasdn/wav2vec2-2 — дообученная модель распознавания речи на базе jadasdn/wav2vec2-1. Она использует архитектуру Wav2Vec2ForCTC и содержит 113,3 млн параметров. Модель принимает аудио и преобразует речь в текст; README сообщает результат оценки WER 0,3593 и loss 0,8353. Модель подойдёт для распознавания речи в аудиозаписях и интеграции в системы автоматической транскрибации. Данные о поддерживаемых языках, обучающем наборе и целевых сценариях в карточке не приведены. Распространяется по лицензии Apache-2.0.
Это модель автоматического распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров. Её разработчик lgris дообучил модель lgris/seasr_2022_base_10k_8khz_pt на наборе Common Voice 7.0 для распознавания португальской речи; модель принимает аудио и выдаёт текст. В README указана оценка WER 0,1979 на наборе оценки. Модель распространяется под лицензией Apache-2.0.
Xenova/wav2vec2-base-960h — веб-совместимая версия модели facebook/wav2vec2-base-960h, подготовленная сообществом Xenova. Модель содержит веса в формате ONNX и предназначена для запуска через библиотеку Transformers.js, включая выполнение в JavaScript-средах. Основной сценарий использования — автоматическое распознавание речи и преобразование аудиозаписей в текст. В README приведён пример транскрибации аудиофайла с помощью pipeline automatic-speech-recognition. Модель основана на архитектуре Wav2Vec2; точный размер, поддерживаемые языки, максимальная длина контекста и перечень модальностей в представленном описании не указаны. Пример вывода содержит английскую речь, однако официальные языковые ограничения README не уточняет. Ключевое преимущество модели — возможность использовать ONNX-веса в Transformers.js и интегрировать распознавание речи в JavaScript-приложения. Ограничения включают зависимость от совместимой среды выполнения и отсутствие в README подробных сведений о качестве, производительности, требованиях к ресурсам и поддерживаемых языках. Лицензия в предоставленных данных не указана.
wav2vec2-bert-CV16-en — модель автоматического распознавания речи, разработанная на основе ylacombe/w2v-bert-2.0 и дообученная на англоязычном наборе MOZILLA-FOUNDATION/COMMON_VOICE_16_0. Она построена на архитектуре Wav2Vec2BertForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает результаты на тестовой выборке: WER 0,1455 и CER 0,0580. Репозиторий использует формат safetensors. Лицензия в предоставленных данных не указана.
arfik/wav2vec2-large-mms-1b-kyrgyz-colab — модель распознавания речи, дообученная на базе facebook/mms-1b-all на наборе Common Voice 17.0. Она использует архитектуру wav2vec2 с CTC-выходом и содержит 1,3 млрд параметров. Модель предназначена для преобразования кыргызской речи в текст; на указанной в карточке оценочной выборке результат WER составил 0,2312, а loss — 0,2384. Базовая модель поддерживает более тысячи языков, но эта версия настроена на кыргызский. Модель принимает аудио и выдаёт текст. Для использования весов применяется библиотека Transformers, файлы опубликованы в формате safetensors. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
KBLab разработала wav2vec2-large-voxrex-swedish — модель распознавания шведской речи на базе архитектуры Wav2Vec 2.0 Large с выходом CTC. Её дообучили на шведских радиопередачах, данных NST Swedish ASR Database и Common Voice; позднее добавили ещё 20 тысяч шагов обучения на Common Voice. Модель содержит около 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования шведской речи в текст, в том числе записей радио и голосовых данных общего характера. В README указана частота ошибок слов (WER) 2,5% на тестовой выборке NST и Common Voice; на тестовой выборке Common Voice — 8,49% без языковой модели и 7,37% с 4-граммной языковой моделью. Дополнительное обучение на Common Voice повысило результат на этой выборке, но несколько ухудшило результат на тесте NST и Common Voice. Модель распространяется по лицензии CC0 1.0.
ceyda/wav2vec2-large-xlsr-53-turkish — модель распознавания речи, дообученная на турецком языке разработчиком карточки на основе facebook/wav2vec2-large-xlsr-53 с использованием данных Common Voice. Она преобразует аудиозапись речи в текст и предназначена для распознавания турецкой речи; входной сигнал должен иметь частоту дискретизации 16 кГц. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Доступны веса PyTorch и Flax. В README приведён результат 27,59 % на тестовых данных Common Voice, однако метрика не названа, поэтому напрямую интерпретировать её качество нельзя. Модель распространяется по лицензии Apache-2.0.
Wav2Vec2-Large-XLSR-53-Ukrainian — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на украинском языке на данных Common Voice. Она принимает аудио и преобразует речь в текст; входной сигнал должен иметь частоту дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрибации украинской речи, в том числе для оценки на тестовой выборке Common Voice. В README приведён результат тестирования 32,29 %, однако метрика не уточнена, поэтому это значение нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.
Akaash1/wav2vec-khmer-english-medium — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m на данных OpenSLR и S4E16_Podcast. Она принимает аудио и преобразует речь в текст; в карточке указано значение WER 0,2868 на оценочном наборе. Модель содержит 402,8 млн параметров и использует архитектуру Wav2Vec2ForCTC. Модель подходит для распознавания речи на кхмерском и английском языках, в том числе в подкастах. Распознавание основано на CTC. Распространяется по лицензии Apache-2.0.
WAXALamh_asr-w2v-bert-2.0 — модель автоматического распознавания речи, дообученная на основе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и принимает аудио, чтобы преобразовывать речь в текст. Размер модели — около 402,9 млн параметров; для работы с весами используется библиотека Transformers, файлы представлены в формате safetensors. В карточке приведены метрики оценки: loss 3,8336 и CER 0,3028. Датасет, языки и сценарии обучения не описаны, поэтому применимость к конкретному языку или акустическим условиям по этим данным определить нельзя. Модель распространяется по лицензии MIT.
Xenova/whisper-base — вариант модели openai/whisper-base, подготовленный сообществом Xenova в формате ONNX для работы с библиотекой Transformers.js. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст, включая транскрибацию аудиофайлов или аудио по URL. Ключевая особенность модели — ONNX-веса и совместимость с JavaScript-библиотекой Transformers.js, что позволяет использовать её в веб- и JavaScript-приложениях. В README не указаны точные архитектурные параметры, количество параметров, поддерживаемые языки, модальности и максимальная длина контекста, поэтому эти характеристики нельзя достоверно описать. Отдельный репозиторий с ONNX-весами обозначен как временное решение до более широкого распространения WebML. Модель удобна для интеграции распознавания речи в приложения на JavaScript и сценарии, где требуется запуск через Transformers.js. Ограничения по качеству, производительности и поддерживаемым языкам в README не приведены. Указанная лицензия — Apache-2.0.
Whisper-Base-MLA — модель распознавания речи от burakaydinofficial, созданная на основе OpenAI Whisper Base. В ней декодерное self-attention преобразовано из MHA в MLA, что сокращает KV-кэш декодирования на 62,5%; размер модели — 51,7 млн параметров. Модель дообучена для восстановления качества после преобразования на 11 языках корпуса Whispered и рассчитана на сценарии с ограниченной памятью, где важен размер кэша при генерации и параллельной обработке аудио. Модель предназначена для автоматической транскрипции речи. В README приведены результаты для английского, немецкого и испанского на CommonVoice-17, а также оценки на FLEURS; тесты описаны для записей речи с потребительских микрофонов и фонового шума. Преобразование MLA связано с медианным ухудшением WER примерно на 1 пункт относительно сопоставимого необработанного варианта Whisper Base. Для загрузки требуются transformers версии 4.46.x и trust_remote_code=True; модель несовместима с whisper.cpp, faster-whisper и CTranslate2. Заявленная языковая область ограничена 11 языками обучения, а на невиданных письменностях качество снижается. KV-кэш cross-attention и память энкодера не сжимаются, поэтому экономия общей памяти при одном потоке может быть скромной. Лицензия — Apache-2.0.
arampacha/whisper-large-uk-2 — дообученная версия Whisper Large v2 от OpenAI, созданная для распознавания украинской речи. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Для дообучения использован Common Voice 11.0, а среди указанных в метаданных датасетов также есть Google FLEURS. В README приведён результат оценки на тестовой выборке: WER 10,0226. Модель подходит для транскрибации украинской речи, в том числе записей и голосовых сообщений. Вес опубликован в формате PyTorch; лицензия — Apache-2.0. Подробности о других ограничениях и условиях оценки в карточке не раскрыты.
antony66/whisper-large-v3-russian — русскоязычная версия Whisper large-v3, дообученная автором репозитория на русской части Common Voice 17.0. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration, примерно 905,2 млн параметров; она принимает аудио и предназначена для автоматического распознавания речи с выдачей текста на русском языке. Модель подходит для транскрибации русской речи, включая записи телефонных разговоров. Автор сообщает о WER 6,39 на собственном тестовом разделении Common Voice после дообучения против 9,84 у исходного Whisper v3. Для телефонных записей рекомендуется предварительно привести аудио к 16 кГц и нормализовать громкость. Модель отмечена как находящаяся в разработке, а автор планирует улучшать её для распознавания телефонной речи. Лицензия в предоставленных данных не указана.