I.9Аудио и музыка

Parakeet TDT-CTC 110M — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует английскую речь в текст с пунктуацией и заглавными буквами и подходит для транскрибирования аудиофайлов, в том числе длинных записей и больших наборов файлов. Модель построена на гибридной архитектуре FastConformer-TDT-CTC примерно со 114 млн параметров и обучена в NVIDIA NeMo. Она принимает монофоническое аудио WAV с частотой 16 кГц и может обрабатывать до 20 минут аудио за один проход. Для декодирования доступны варианты TDT и CTC; разработчики сообщают о высокой скорости работы, но результаты зависят от оборудования и условий запуска. Модель обучена на англоязычных речевых данных, включая публичные наборы LibriSpeech, Fisher, VCTK, VoxPopuli, Europarl-ASR, Multilingual LibriSpeech и Common Voice, а также частную выборку. Карточка указывает лицензию CC-BY-4.0. Модель предназначена для английской речи; качество на других языках и в условиях, отличающихся от обучающих данных, не подтверждено.

cstr/qwen3-asr-1.7b-GGUF — это набор GGUF-квантизаций модели автоматического распознавания речи Qwen3-ASR-1.7B, разработанной Qwen. Репозиторий предназначен для запуска модели с CrispASR и содержит варианты Q4_K, Q8_0 и F16. Модель поддерживает 30 языков, 22 китайских диалекта, а также распознавание речи, вокала и песен с фоновой музыкой; принимает аудио длительностью до 5 минут. Указаны языки, включая английский, китайский, японский, корейский, немецкий, французский, испанский, португальский, русский и итальянский. Архитектура включает 24-слойный Whisper-подобный аудиоэнкодер с размерностью 1024, 2-слойный MLP-проектор и 28-слойный декодер Qwen3 с размерностью 2048. Размеры файлов составляют около 1,5 ГБ для Q4_K, 2,5 ГБ для Q8_0 и 4,7 ГБ для F16. Вариант Q4_K рекомендуется для большинства сценариев; после обновления аудиоэнкодер в нём хранится в Q8_0, что устраняет проблемы с пустыми или повторяющимися транскрипциями. На 11-секундном английском аудиофрагменте заявлена скорость 0,2 от реального времени на CPU с четырьмя потоками и идеальная точность транскрипции, однако это не гарантирует аналогичных результатов на всех данных. Модель подходит для локального многоязычного распознавания речи и перевода через CrispASR. Ограничениями являются необходимость совместимого запускающего ПО, зависимость качества и скорости от выбранной квантизации и оборудования, а также ограничение длительности входного аудио до 5 минут. Репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения, слияния или изменения архитектуры. Распространяется по лицензии Apache 2.0; права и ограничения исходной модели Qwen3-ASR-1.7B сохраняются.

OpenASR/sensevoice-small — компактная модель автоматического распознавания речи, созданная командой FunAudioLLM компании Alibaba и перепакованная проектом OpenASR в формат .oasr для нативного выполнения. Модель предназначена для преобразования речи в текст, включая полностью локальную и офлайн-транскрипцию на CPU и GPU без Python во время инференса. SenseVoice Small использует быструю неавторегрессионную архитектуру и обучена более чем на 400 000 часах аудио. Она автоматически определяет язык и ориентирована на мандаринский китайский, кантонский, английский, японский и корейский языки. В исходной модели также заявлены распознавание эмоций и аудиособытий, однако в пакетах OpenASR сейчас доступна только обычная транскрипция речи. Для модели предлагаются варианты fp16 размером около 470 МБ, q8_0 — 252 МБ и q4_k — 136 МБ; квантованные версии подходят для устройств с ограниченной памятью. По данным разработчиков, инференс значительно быстрее Whisper-Large, а модель особенно сильна в китайской и кантонской речи, однако приведённые показатели точности относятся к исходной модели и отдельным открытым бенчмаркам. Пакеты распространяются по лицензии FunASR Model License v1.1, унаследованной от исходной модели. Лицензия разрешает коммерческое использование при сохранении требуемой атрибуции и уведомлений об авторских правах.

AdanLee/speecht5_finetuned_voxpopuli_nl — модель синтеза речи из текста, полученная дообучением microsoft/speecht5_tts на нидерландской части набора facebook/voxpopuli. Она построена на архитектуре SpeechT5 и сохранена в форматах PyTorch и safetensors. Модель предназначена для преобразования нидерландского текста в речь. В README приведено значение loss 0,4725 на оценочном наборе. Базовая SpeechT5 от Microsoft также предназначена для синтеза речи из текста. Модель распространяется по лицензии MIT.

DictionLabs/whisperkit-coreml — набор моделей OpenAI Whisper, преобразованных компанией Diction Labs в формат CoreML для распознавания речи на устройствах Apple. Сборка создана с помощью whisperkittools на основе MIT-лицензированных контрольных точек Whisper и предназначена для использования через WhisperKit и argmax-oss-swift. В набор входят варианты на базе whisper-base, whisper-small и whisper-large-v3-turbo, включая полноточные версии и сжатую версию dictionlabs_whisper-large-v3-turbo-q6q8 размером 737 МБ. Сжатая модель использует 6-битное представление encoder и 8-битное представление decoder, занимая около 45% размера полноточной версии large-v3-turbo, размер которой составляет 1,63 ГБ. Модели предназначены для задач automatic speech recognition и поддерживают многоязычную транскрипцию; в приведённых проверках оценивались английский, немецкий, французский, японский, корейский и китайский языки. Ключевое преимущество набора — выполнение распознавания непосредственно на Apple hardware, включая использование Neural Engine. По данным разработчика, сжатая версия на M1 Mac mini работает примерно в 9,6 раза быстрее реального времени и по качеству близка к полноточной: на 150 фрагментах спонтанной речи WER составил 11,14% против 10,96%, а результаты совпали на 141 фрагменте. Показатели зависят от языка, качества речи и уровня шума; приведённые тесты имеют ограниченный объём и не заменяют полноценную оценку для конкретного сценария. Модели распространяются по лицензии MIT. Для первого запуска токенизаторы загружаются отдельно из соответствующих репозиториев openai/whisper-*, поэтому даже при наличии весов на диске требуется доступ к сети.

Карточка модели mitchelldehaven/whisper-large-v2-ru на Hugging Face совпадает с карточкой mitchelldehaven/whisper-medium-ru, поэтому описание составлено по ней. mitchelldehaven/whisper-medium-ru — модель распознавания речи на базе Whisper, дообученная на аудиоданных из набора Open STT Russian Dataset. Она предназначена для преобразования русской речи в текст и может применяться для транскрибации записей и аудио с речью. Модель имеет архитектуру Whisper и содержит около 455,8 млн параметров; репозиторий распространяет веса в формате PyTorch. При нормализации обучающих данных пунктуацию удаляли, тогда как исходная токенизация Whisper заменяет её пробелом. По данным карточки, это расхождение немного ухудшает результаты на Common Voice. Лицензия в предоставленных сведениях не указана.

mlx-community/whisper-large-v3-asr-fp16 — преобразованная сообществом mlx-community версия OpenAI Whisper large-v3 для распознавания речи. Модель на архитектуре Whisper содержит около 905 млн параметров и предназначена для преобразования аудио в текст; репозиторий подготовлен в формате MLX для использования с библиотекой mlx-audio и содержит веса Safetensors в FP16. Модель подходит для транскрибации аудиозаписей и распознавания речи на разных языках, включая русский и английский. Карточка отсылает к исходной модели OpenAI за подробностями о её возможностях. Лицензия репозитория — Apache-2.0.

Whisper-Large-v3-CV11 — мультиязычная модель распознавания речи, разработанная Burak Aydın и дообученная на корпусе Whispered с лицензией CC0. Это контрольная версия OpenAI Whisper large-v3 со стандартной архитектурой без преобразования внимания MHA в MLA; модель содержит 905,2 млн параметров и работает через Transformers без пользовательского кода. Модель предназначена для транскрибации речи на 11 языках. В карточке перечислены английский, немецкий, испанский, французский, русский, турецкий, валлийский, арабский, грузинский, тайский и китайский. README приводит результаты оценки на CommonVoice-17 для части языков и описывает обучение на 15 000 шагах с замороженным энкодером. Данные указывают на применение для чтения вслух речи; модель также можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Модель принимает аудио и выдаёт текст. Apache-2.0 разрешает широкое использование. Приведённые метрики относятся к тесту CommonVoice-17 с жадным декодированием и заданной нормализацией; они не гарантируют такое же качество на других типах аудио.

oxide-lab/whisper-small-GGUF — набор квантизированных версий модели Whisper Small, разработанной OpenAI и опубликованной oxide-lab. Модель предназначена для автоматического распознавания речи, включая транскрибацию аудиозаписей, и может использоваться с Candle — ML-фреймворком на Rust — или whisper.cpp. Заявлена поддержка multilingual-сценариев, включая английский и русский языки. Модели распространяются в формате GGUF и основаны на openai/whisper-small. Доступны десять уровней квантизации — от q2_k до q8_0 — с различным компромиссом между размером, скоростью и качеством. Вариант q4_k рекомендован как сбалансированный для практического использования: он примерно на 65% меньше исходной модели, обеспечивает минимальное ухудшение качества и более быстрое выполнение по сравнению с менее квантизированными вариантами. Версии в корневом каталоге совместимы с Candle, а версии в каталоге whisper.cpp — с whisper.cpp; эти варианты отличаются именами тензоров и предназначены для соответствующих инструментов. Сильными сторонами модели являются поддержка нескольких форматов квантизации, возможность локального запуска и совместимость с Rust- и C++-инструментами. Ограничения включают зависимость от выбранного уровня квантизации, возможную потерю качества в компактных вариантах и необходимость использовать соответствующую реализацию и файлы конфигурации. Модель распространяется по лицензии MIT, такой же, как исходная модель Whisper.

oxide-lab/whisper-tiny-GGUF — набор квантованных моделей автоматического распознавания речи на основе openai/whisper-tiny. Модели разработаны сообществом oxide-lab на базе Whisper от OpenAI и распространяются в формате GGUF для использования с Candle — ML-фреймворком на Rust — и whisper.cpp. Модель предназначена для преобразования аудиозаписей в текст, включая многоязычные сценарии и работу с английским и русским языками. Доступны варианты с 10 уровнями квантования от q2_k до q8_0, что позволяет выбирать между размером файлов, скоростью инференса и качеством распознавания. Для Candle предусмотрены конфигурация и токенизатор, а варианты для whisper.cpp находятся в отдельной директории и используют совместимые имена тензоров. Сильная сторона набора — возможность локального запуска на устройствах с ограниченными ресурсами и выбор степени сжатия. В README указано, что q4_k обеспечивает хороший баланс размера, качества и скорости, а q8_0 рекомендован для production благодаря минимальной потере качества. При этом варианты q4, q3 и q2 могут заметно снижать качество, особенно q3 и q2; точные характеристики архитектуры, размера модели, длины контекста и аппаратные требования не указаны. Распространение заявлено на условиях MIT License, как у исходной модели Whisper.

Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Карточка модели Audio8/GPA-v1.5 на Hugging Face совпадает с карточкой Edge0/GPA-v1.5, поэтому описание составлено по ней. GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.

Indic Parler-TTS — многоязычная модель синтеза речи, созданная в сотрудничестве аудиокоманды Hugging Face и AI4Bharat. Это дообученная версия Indic Parler-TTS Pretrained на датасете объёмом 1 806 часов; модель относится к семейству Parler-TTS и использует библиотеку Transformers. Она преобразует текст в речь, а дополнительное текстовое описание позволяет задавать характеристики звучания: голос, темп, высоту, эмоциональную окраску, выразительность, шум и реверберацию. Модель официально поддерживает 21 язык: ассамский, бенгальский, бодо, догри, английский, гуджарати, хинди, каннада, конкани, майтхили, малаялам, манипури, маратхи, непальский, ория, санскрит, сантали, синдхи, тамильский, телугу и урду. В README также заявлена неофициальная поддержка чхаттисгархи, кашмири и панджаби. Доступно 69 голосов; управление эмоциями официально описано для десяти языков. Модель распространяется по лицензии Apache-2.0.

MagpieTTS Multilingual 357M — многоязычная модель синтеза речи NVIDIA на архитектуре encoder–decoder Transformer, сгенерированной на основе текста. Карточка указывает 364 млн параметров; репозиторий содержит веса GGUF F16 и предназначен для работы с NeMo Speech. Модель преобразует текст в речь на арабском, немецком, английском, испанском, французском, хинди, итальянском, японском, корейском, португальском, вьетнамском и китайском языках. Для озвучивания доступны пять голосов: Aria, Jason, Leo, Sofia и John Van Stan. Модель подходит для голосовых агентов, озвучивания книг и другого контента, средств доступности, дубляжа и локализации, а также интерактивных приложений. Она предсказывает аудиокодек-токены и поддерживает пакетную и длинную генерацию; для произношения можно использовать пользовательские словари и G2P, в том числе при переключении между языками. Лицензия NVIDIA Open Model License допускает коммерческое использование на её условиях. В стандартном режиме модель генерирует до 20 секунд речи за раз. Для длинной генерации лучше подходят тексты с пунктуацией и заглавными буквами; требуется нормализация текста. Модель не предназначена для клонирования голоса по образцу и генерации речи на языках за пределами перечисленных двенадцати.

MiMo-V2.5-ASR — сквозная модель распознавания речи, разработанная командой Xiaomi MiMo. Это плотная модель семейства Qwen2 с 7 млрд параметров; в репозитории представлены веса Safetensors, а для работы используется Transformers. В метаданных указана длина контекста 8192 токена. Модель предназначена для транскрибирования речи на китайском и английском языках, включая китайские диалекты, переключение между китайским и английским, песни, техническую и другую насыщенную терминами речь. Она рассчитана на шумные записи, дальний микрофон и многоголосые разговоры; пунктуацию добавляет при распознавании. README сообщает о высоких результатах на ряде публичных тестов, но конкретные оценки здесь не приведены. Лицензия — MIT.

Это GGUF-сборка MOSS-Transcribe-Diarize от Luigi на основе модели OpenMOSS-Team/MOSS-Transcribe-Diarize. Репозиторий содержит варианты весов для запуска через движок RapidSpeech.cpp: основная версия q4mix-v2 занимает 759 МБ, также доступны варианты q8mix и F32. Базовая модель с 0,9 млрд параметров использует энкодер Whisper-medium и декодер Qwen3-0.6B; веса портированы в формат C++/ggml и проверены на соответствие исходному PyTorch-чекпойнту. Основная задача — транскрибирование аудио с временными метками и диаризацией говорящих; модель рассчитана на китайский и английский языки. Вариант q4mix-v2 дополнительно адаптирован QAT к распознаванию тишины: на полностью беззвучном входе он должен возвращать пустую расшифровку, сохраняя чувствительность к тихой речи. По приведённым тестам, точность на китайском наборе из пятиминутных записей улучшилась по сравнению с предыдущим q4-вариантом, а качество английской однопроходной расшифровки снизилось на 1,5 процентного пункта. Лицензия — Apache-2.0. Описание не подтверждает, что эта сборка сохраняет все функции диаризации базовой модели во всех вариантах весов.

Это конверсия модели NVIDIA Nemotron 3 Diarization в CoreML, подготовленная FluidAudio для локального запуска на устройствах Apple. Модель основана на потоковом Sortformer для диаризации до восьми говорящих: трансформер с RoPE из 31 слоя, около 100 млн параметров и разрешением выходных меток 10 мс. Она принимает аудио и выдаёт временные сегменты активности и говорящих. Модель предназначена для потоковой и офлайн-диаризации записей встреч и разговоров на macOS 14+ и iOS 17+, с исполнением на Neural Engine или GPU. Наборы пресетов позволяют выбирать баланс между задержкой, скоростью и точностью; в тестах AMI MHM вариант fast128 показал DER 9,36 и верно определил число говорящих во всех 16 встречах. Репозиторий содержит CoreML-модели и вспомогательные файлы для FluidAudio; библиотека поддерживает интеграцию на Swift. Ограничения зависят от конфигурации: короткие окна могут снижать точность определения числа говорящих, а некоторые пресеты имеют задержку в несколько секунд или десятки секунд. Метрики README получены на 16 встречах AMI по указанному протоколу и не гарантируют аналогичное качество на других данных. Лицензия — OpenMDW 1.1.

Это GGUF-пересборка BF16 модели NOESIS-Qwen3-TTS-1.7B-Talker-Combo-LLM2-ASR2, подготовленная mradermacher. Базовая модель AMAImedia объединяет Qwen3-TTS Talker и языковые адаптеры для многоязычного синтеза речи в системе дубляжа NOESIS; в репозитории представлены статические варианты GGUF и мультимодальные дополнения mmproj. Модель предназначена для преобразования текста в речь, включая сценарии многоязычного дубляжа и клонирования голоса. В тегах указаны поддержка 112 языков, voice cloning и zero-shot voice cloning. Для запуска GGUF нужны совместимые средства; README содержит варианты файлов и общие указания по их использованию, но не описывает точную процедуру синтеза или условия клонирования голоса. Репозиторий распространяется по лицензии Apache-2.0. Данных о размере контекста и конкретных ограничениях качества в карточке нет.

Parakeet TDT 0.6B v3 GGUF — это мультиязычная модель автоматического распознавания речи, разработанная командой NVIDIA NeMo и преобразованная в формат GGUF со средой выполнения ggml сообществом CrispStrobe для CrispASR. Модель предназначена для транскрибации аудио и поддерживает автоматическое определение языка без специального префикса или параметра выбора языка. Модель содержит около 600 млн параметров и использует 24-слойный FastConformer-энкодер, двухслойный LSTM-предиктор и TDT-декодер (Token-and-Duration Transducer). Она обрабатывает монофонический звук с частотой 16 кГц, использует 8192 SentencePiece-токена и поддерживает 25 европейских языков: болгарский, чешский, датский, немецкий, греческий, английский, испанский, эстонский, финский, французский, хорватский, венгерский, итальянский, литовский, латышский, мальтийский, нидерландский, польский, португальский, румынский, русский, словацкий, словенский, шведский и украинский. TDT-декодер предоставляет временные метки на уровне слов без отдельной модели выравнивания. Заявленная средняя ошибка распознавания составляет 6,34% по данным HuggingFace Open ASR Leaderboard. Доступны варианты F16, Q8_0, Q5_0 и Q4_K; последний рекомендуется как вариант по умолчанию благодаря меньшему размеру. Ограничения включают ориентацию на поддерживаемые европейские языки, необходимость специализированного runtime CrispASR и отсутствие заявленных характеристик для других языков или модальностей. Модель и GGUF-файлы распространяются по лицензии CC-BY-4.0, требующей указания авторства.

Parakeet TDT-CTC 1.1B GGUF — это квантизированная версия модели автоматического распознавания речи parakeet-tdt_ctc-1.1b, разработанной совместно командами NVIDIA NeMo и Suno.ai и адаптированной для работы с transcribe.cpp. Модель предназначена для офлайн-транскрибации английской речи с восстановлением пунктуации и капитализации, включая обработку длинных аудиозаписей. Она принимает аудио, но не поддерживает потоковое распознавание, перевод или автоматическое определение языка. В основе лежит FastConformer-XL примерно на 1,1 млрд параметров с декодером TDT/RNNT; вспомогательная CTC-голова исходной гибридной модели удалена при конвертации. Поддерживается английский язык, выдаются токеновые временные метки. Доступны варианты GGUF от F32 и F16 до Q8_0, Q6_K, Q5_K_M и Q4_K_M объёмом примерно от 825 МБ до 4,28 ГБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 1,87% для большинства вариантов и 1,91% для Q4_K_M. Сильные стороны модели — высокое качество английской транскрибации, пунктуация и капитализация, возможность обработки до 11 часов аудио за один проход в исходной архитектуре, а также несколько вариантов квантизации для выбора между качеством и размером. Модель рассчитана на офлайн-обработку и требует запуска через transcribe.cpp; в практическом сценарии рекомендуется использовать монофонические WAV-файлы с частотой 16 кГц. Модель распространяется по лицензии CC-BY-4.0, унаследованной от базовой модели NVIDIA.

Карточка модели Jinstudio/Qwen3-ForcedAligner-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

fatymatariq/segmentation-3.0 — опубликованная модель сегментации речи на основе pyannote.audio 3.0, обученная Séverin Baroudi. Она принимает монофонический звук с частотой 16 кГц блоками по 10 секунд и выдаёт матрицу кадровых оценок для семи классов: тишина или неречевая активность, три отдельных говорящих и три возможные пары одновременно говорящих. Модель предназначена для сегментации говорящих, обнаружения речевой активности и перекрывающейся речи; для диаризации полной записи её используют в составе отдельного конвейера с моделью эмбеддингов говорящих. Обучение проводилось на наборах AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Модель доступна в формате PyTorch по лицензии MIT. Для загрузки README требует принять условия использования базовой модели pyannote/segmentation-3.0; сама по себе эта модель обрабатывает только короткие фрагменты аудио.

joefox/tts_vits_ru_hf — модель синтеза речи на русском языке на архитектуре VITS, представленная в формате safetensors. Она преобразует текст в аудио; входной текст должен быть набран строчными буквами. В карточке приведён пример прослушивания синтезированной речи в Jupyter Notebook или Google Colab. Модель предназначена для русскоязычного синтеза речи. Её можно использовать для озвучивания текста и создания аудиовыхода из текстовых фраз. Объём параметров в метаданных указан как 888,9 тыс.; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.

Vocal Music Whisper — дообученная Christoph Schuhmann версия laion/music-whisper на аудиоматериале с вокалом. Модель предназначена для создания текстовых описаний и тегов для сольного вокала и акапельного пения: она описывает число голосов, вокальную технику, регистр, тембр и особенности записи. Подходит для каталогизации аудиоколлекций, поиска и фильтрации корпусов вокала. Модель основана на архитектуре Whisper, содержит 153,1 млн параметров и принимает аудио, выдавая текст. Карточка приводит английский язык и лицензию CC BY 4.0. Для общего описания музыкальных записей с инструментами автор рекомендует базовую модель laion/music-whisper. Дообученная версия улучшает общую оценку качества описаний относительно базовой модели на приведённой выборке, но имеет серьёзное ограничение: часто неверно определяет гендер голоса и чаще ошибочно называет женский голос мужским. Если важна эта характеристика, автор рекомендует использовать базовую модель.

Whisper Small PL — дообученная модель распознавания речи на основе openai/whisper-small, созданная для транскрибирования польской речи. Она использует архитектуру Whisper и содержит 153,1 млн параметров. Обучение проводилось на наборах Common Voice 11.0 и FLEURS; в README для оценочной выборки указана WER 14,8004. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для преобразования записей польской речи в текст. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0.

Это компактная модель распознавания речи OpenAI Whisper Tiny, представленная в формате CTranslate2 с точностью float32. Репозиторий подготовлен ctranslate2-4you; для запуска автор рекомендует библиотеку whisper-s2t-reborn. Модель преобразует аудиозаписи в текст и подходит для транскрибации речи. Whisper Tiny относится к многоязычной версии Whisper; в метаданных указан английский язык. Конкретные сведения о размере и длине контекста отсутствуют. Формат CTranslate2 предназначен для инференса, а веса представлены с точностью float32. Модель основана на openai/whisper-tiny и распространяется по лицензии Apache-2.0. Компактный вариант Whisper удобен для задач распознавания речи, однако карточка не приводит оценок качества или отдельных ограничений для этой сборки.

afrivoices-whisper-turbo — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo. Она принимает аудио и преобразует речь в текст. В README приведены результаты оценки на тестовом наборе: loss 0,5509 и WER 0,2632. Модель предназначена для автоматического распознавания речи. Датасет обучения, поддерживаемые языки и предполагаемые сценарии применения в карточке не раскрыты. Модель распространяется в формате Safetensors через Transformers по лицензии MIT.

Cohere Transcribe — специализированная модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Это open source-модель формата audio-in, text-out для транскрибации речи и поддерживает 14 языков: английский, немецкий, французский, итальянский, испанский, португальский, греческий, нидерландский, польский, арабский, вьетнамский, китайский (мандарин), японский и корейский. Представленная версия ONNX предназначена для использования, в частности, через Transformers.js. Модель содержит около 2 млрд параметров и построена на базе Conformer: аудиосигнал преобразуется в mel-спектрограмму, после чего обрабатывается оптимизированным для речи Conformer-энкодером и лёгким Transformer-декодером, генерирующим текст. На вход подаётся аудиоволна; при предварительной обработке она автоматически преобразуется к частоте 16 кГц, а многоканальный звук сводится к одному каналу. Модель обучалась с нуля методом supervised cross-entropy. К сильным сторонам относятся высокая точность транскрибации на поддерживаемых языках и эффективность: заявлен real-time factor до трёх раз выше, чем у других специализированных ASR-моделей сопоставимого размера. Модель рассчитана на работу с одним заранее указанным языком и не поддерживает явное автоматическое определение языка; на смешанной речи её результаты могут быть нестабильными. Она также не предоставляет временные метки и диаризацию говорящих, а фоновые шумы и тишина могут приводить к нежелательной транскрибации, поэтому рекомендуется использовать VAD или noise gate. Модель распространяется по лицензии Apache 2.0 без дополнительных условий.

Потоковая модель для определения активности речи и диаризации: она выдаёт вероятности активности каждого говорящего по кадрам аудио. Репозиторий mlx-community содержит конвертированные в формат MLX веса модели NVIDIA diar_streaming_sortformer_4spk-v2.1; в README описана архитектура FastConformer с 17 слоями, Transformer Encoder с 18 слоями и модулями Sortformer. Модель принимает монофонический звук с частотой 16 кГц и рассчитана на записи с участием до четырёх говорящих. Для потоковой обработки использует кэш говорящих и сжатие контекста AOSC, а в файловом режиме учитывает контекст на границах чанков. Подходит для разметки смены говорящих в реальном времени и последующей сегментации аудиозаписей. Это конверсия исходной модели NVIDIA в MLX, подготовленная сообществом mlx-community для библиотеки mlx-audio. Лицензия в предоставленных данных не указана.

Distil-Whisper distil-large-v2 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper как дистиллированная версия Whisper large-v2. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из исходной модели, а декодер сокращён до двух слоёв. В метаданных указано 905,2 млн параметров. Модель предназначена для транскрибации английской речи в коротких и длинных аудиозаписях и может использоваться как ускоренная замена Whisper large-v2. По данным карточки, она примерно в шесть раз быстрее и на 49% меньше исходной модели, сохраняя близкое качество распознавания; также её можно применять как вспомогательную модель для speculative decoding с Whisper. Поддерживаются форматы PyTorch, safetensors, ONNX и Flax. Модель принимает аудио и выдаёт текст. Она рассчитана только на распознавание английской речи; авторы рекомендуют вместо неё более новую distil-large-v3 для лучшей поддержки последовательной генерации на длинных записях. Лицензия — MIT.