I.9Аудио и музыка

DewiBrynJones/whisper-large-v2-ft-cy-2607 — дообученная модель автоматического распознавания речи на базе Whisper large-v2 от OpenAI. Она принимает аудио и создаёт текстовую транскрипцию; дообучение проведено на наборе DewiBrynJones/preprocessed-whisper-btb-cv-cvad-wlga-ca-2607. Модель содержит около 905,2 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через Transformers. Лицензия — Apache-2.0. Модель подходит для транскрибации речи. Базовый Whisper large-v2 мультиязычен и также поддерживает перевод речи, однако карточка этой дообученной версии не подтверждает, какие языки или переводные сценарии сохраняются после дообучения. Подробные сведения об оценке качества и ограничениях в карточке отсутствуют.

handy-computer/whisper-medium.en-gguf — это набор GGUF-конвертаций модели OpenAI Whisper medium.en, подготовленный разработчиками transcribe.cpp для локального автоматического распознавания речи. Модель предназначена для преобразования англоязычной речи в текст и работает через transcribe.cpp. Она основана на архитектуре Transformer encoder-decoder и обрабатывает аудио окнами по 30 секунд с разбиением длинных записей на фрагменты. Модель поддерживает только английский язык. В данной интеграции отсутствуют потоковая обработка, автоматическое определение языка и перевод; доступны сегментные временные метки. Предлагаются варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 504 МБ до 3,06 ГБ, что позволяет выбирать между качеством и требованиями к памяти. На наборе LibriSpeech test-clean указанный WER составляет от 2,72% для Q8_0 до 2,91% для Q4_K_M, что характеризует высокое качество распознавания в данном тесте. Сильными сторонами являются хорошее качество английской транскрипции, наличие нескольких уровней квантования и возможность локального запуска на CPU или совместимом ускорителе через transcribe.cpp. Ограничения включают английскую специализацию, отсутствие потокового режима, перевода и определения языка, а также зависимость качества и скорости от выбранного формата и оборудования. Для входных данных рекомендуется монофонический WAV с частотой 16 кГц. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Whisper Small Czech CV11 — модель распознавания речи, созданная дообучением openai/whisper-small на чешской части набора Mozilla Common Voice 11.0. Она преобразует чешскую речь в текст и подходит для транскрибирования записей и голосовых фрагментов. Архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров; базовая модель Whisper мультиязычная. На тестовой выборке указана WER 18,5557 и loss 0,3587. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Оценка приведена для указанного набора данных; README не описывает ограничения качества в других условиях записи.

optimum/whisper-tiny.en — английская модель распознавания речи семейства Whisper, экспортированная в формат ONNX с помощью Optimum. Она принимает аудио и генерирует текстовую расшифровку речи; размер модели составляет 29,4 млн параметров. Модель рассчитана на распознавание английской речи. Репозиторий опубликован под лицензией Apache 2.0. Формат ONNX позволяет использовать модель в совместимых средах инференса. Карточка не приводит дополнительных сведений о точности или специальных ограничениях распознавания.

deepdml/whisper-tiny-es-mix-norm — дообученная модель распознавания речи на базе openai/whisper-tiny, разработанная deepdml. Она преобразует аудио в текст и обучена на наборах Common Voice 26.0, WorldSpeech, VoxPopuli, Multilingual LibriSpeech, VoxForge, FLEURS и Basque Parliament. В карточке указаны результаты оценки: WER 16,07 и CER 6,04; подробности методики оценки не приведены. Модель представлена в формате safetensors и доступна по лицензии Apache-2.0.

wrice/whisper-tiny-grpo — модель распознавания речи, созданная дообучением openai/whisper-tiny методом GRPO (Group Relative Policy Optimization). Во время обучения кандидаты транскрипции оценивались по ошибке слов (WER), а обновления модели ограничивались KL-регуляризацией относительно исходной модели. Модель использует архитектуру Whisper и библиотеку Transformers; веса доступны в формате safetensors. Базовая модель компактная и многоязычная. Модель предназначена для преобразования аудиозаписей в текст на разных языках, включая сценарии с языками и локалями Common Voice. На тестовой выборке Common Voice 26.0 авторы сообщают о снижении общей WER с 0,9718 до 0,6226 относительно исходной Whisper tiny и улучшении в 69 из 81 локалей. В то же время в 11 локалях качество ухудшилось; среди указанных примеров — корейский, малайский и арабский. Для японского, тайского и китайского авторы считают CER более показательным, чем WER. Оценка охватывает около 59 аудиоклипов на локаль, поэтому результаты отдельных малоресурсных языков могут быть нестабильными. Модель сравнивали с исходной Whisper tiny, но не с supervised fine-tuning на тех же данных; лучший из трёх чекпойнтов выбирался по тестовым результатам. Лицензия — MIT.

Модель wrice/whisper-tiny-grpo-4bddbd7-cv22-tiny-klbeta02 — компактная модель распознавания речи на архитектуре Whisper, дообученная автором с помощью GRPO и смешанной функции вознаграждения на основе ошибок слов и символов. Она предназначена для преобразования аудиозаписей в текст; обучающие данные взяты из Common Voice для 77 языковых локалей, а язык каждого аудиофрагмента при обучении задавался по локали. В README приведены результаты валидации на срезе Common Voice: общий WER 0,656 и CER 0,270 после нормализации текста. Модель можно использовать для транскрибации аудиофайлов через Transformers pipeline. Это экспериментальный proof of concept, а не настроенная для производства система; фактическое качество зависит от предметной области, акцента, языка и качества аудио. Модель распространяется по лицензии MIT.

Whisper-Tiny-MLA — компактная модель распознавания речи, разработанная Burak Aydin на базе OpenAI Whisper-Tiny. Декодерная self-attention преобразована из MHA в MLA, а модель дообучена для восстановления качества на 11 языках корпуса Whispered. Веса содержат 29,4 млн параметров и распространяются в формате safetensors; лицензия — Apache-2.0. Модель предназначена для транскрибации речи в текст, особенно в сценариях с ограниченной памятью и параллельной обработкой записей: сжатие KV-кэша декодера составляет 62,5%. Поддерживаются английский, немецкий, испанский, французский, русский, турецкий, арабский, валлийский, грузинский, тайский и китайский языки. Для загрузки требуются transformers 4.46.x и trust_remote_code=True. Компромисс за сокращение кэша — ухудшение качества распознавания: автор сообщает о медианном росте WER примерно на 1,9 пункта относительно аналогично обученной модели без преобразования. Экономия относится к KV-кэшу self-attention декодера; память энкодера и cross-attention не сжимается, поэтому выигрыш для одиночной короткой записи может быть небольшим. Модель проверялась на read-speech; качество на телефонной речи, дальней дистанции и перекрывающейся речи не оценено. Грузинский обозначен как нижний предел качества этого класса модели, а незнакомые письменности распознаются хуже.

Это дообученная на неизвестном наборе данных модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и представлена в формате safetensors; библиотека для работы с ней — Transformers. Модель принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: loss 0,3081 и глобальный WER 46,6495. Данных о целевых языках, сценариях обучения и ограничениях применения в README нет. Лицензия — MIT.

Iskaj/300m_cv8.0_nl_base — модель автоматического распознавания речи, опубликованная пользователем Iskaj на Hugging Face. Она предназначена для преобразования аудиозаписей с речью в текст и относится к семейству wav2vec2; в карточке Hugging Face указана библиотека Transformers и задача automatic-speech-recognition. Модель содержит около 402,7 млн параметров и ориентирована на нидерландский язык: это следует из идентификатора nl и связанных моделей Iskaj, обученных на нидерландской конфигурации Common Voice 8.0. Модель поддерживает обработку речи как аудиомодальность и предназначена для задач транскрибации на нидерландском языке. В открытых данных для этой модели не удалось надёжно установить точную лицензию, длину контекста, детальные показатели качества и дополнительные ограничения использования.

ARK-ASR-0.6B — мультиязычная модель распознавания речи от проекта AutoArk. Она использует авторегрессионный декодер Qwen2 примерно на 0,6 млрд параметров, отдельный аудиоэнкодер в стиле Whisper сопоставимого масштаба и MLP-адаптер для преобразования аудиопризнаков. Модель принимает речь с частотой дискретизации 16 кГц и генерирует текстовую расшифровку; заявленная длина контекста — 32 768 токенов. Модель обучена по схеме адаптации на данных учителя и онлайн-дистилляции политики: её собственные варианты транскрипций сопоставляются с оценками учителя. Она предназначена для распознавания речи на китайском, английском, немецком, японском, французском, корейском, испанском, польском, итальянском, румынском, венгерском, чешском, нидерландском, финском, хорватском, словацком, словенском, эстонском и литовском языках. В приведённых авторами тестах качество сопоставимо с Qwen3-ASR-0.6B на английских и китайских наборах данных, но уступает более крупной Qwen3-ASR-1.7B на части тестов. Веса доступны в формате safetensors и распространяются по лицензии Apache-2.0. Для загрузки требуется Transformers с trust_remote_code=True; авторы рекомендуют официальный скрипт инференса, который обрабатывает аудиопромпт и фильтрацию токенов. Код обучения, инференса и оценки находится в отдельном репозитории open-audio-opd.

Azerbaijani Whisper Small — модель распознавания речи на азербайджанском языке, созданная дообучением openai/whisper-small. Она использует архитектуру Whisper с 153,1 млн параметров и предназначена для преобразования азербайджанской речи в текст; в README приведены результаты оценки на тестовой части FLEURS Azerbaijani. Для работы требуется аудио с частотой 16 кГц и одним каналом: аудио с другой частотой дискретизации нужно предварительно пересэмплировать. Модель доступна в формате safetensors и рассчитана на использование через Transformers. Лицензия — Apache-2.0. README заявляет качество выше whisper-large-v3 при меньшем размере, однако приведённая таблица результатов неполная, поэтому это сравнение нельзя независимо проверить по карточке.

Это квантованная версия Cohere Transcribe, разработанная на основе модели CohereLabs/cohere-transcribe-03-2026. Она предназначена для автоматического распознавания речи и транскрибации аудио на 14 языках. Архитектура включает Conformer-энкодер на 48 слоёв и Transformer-декодер на 8 слоёв; модель содержит около 2 млрд параметров и использует токенизатор SentencePiece с размером словаря 16 384. Квантование NVFP4 W4A16 представляет веса в формате NVIDIA FP4, а активации — в BF16. Модель принимает аудио и выдаёт текстовую транскрипцию. Поддерживаемые языки: арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский (мандаринский). Репозиторий распространяется по лицензии Apache-2.0. Карточка описывает запуск с vLLM и Transformers; фактическая точность и качество на конкретных аудиоданных в предоставленных сведениях не приводятся.

distil-whisper/distil-small.en — англоязычная модель распознавания речи, созданная командой Distil-Whisper как дистиллированная версия Whisper small.en. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели, а декодер сокращён до четырёх слоёв и обучен на псевдоразметке и дистилляции знаний. В метаданных указано 153,1 млн параметров; README приводит 166 млн. Репозиторий содержит веса PyTorch, SafeTensors и ONNX. Модель предназначена для транскрибации английской речи, в том числе на устройствах с ограниченной памятью. README сообщает об ускорении до 6 раз относительно Whisper и качестве, близком к нему на тестах вне обучающего распределения; также модель можно использовать как вспомогательную для ускоренного спекулятивного декодирования Whisper. Поддерживается библиотекой Transformers версии 4.35 и новее. Лицензия — MIT. Модель работает только с английской речью. README отмечает, что distil-small.en медленнее некоторых более крупных вариантов Distil-Whisper и уступает Whisper large-v2 по WER; для большинства сценариев авторы рекомендуют distil-medium.en или distil-large-v2.

Карточка модели PatchyTisa/FireRedLID-vllm на Hugging Face совпадает с карточкой allendou/FireRedASR2-LLM-vllm, поэтому описание составлено по ней. allendou/FireRedASR2-LLM-vllm — версия модели распознавания речи FireRedASR2-LLM, выпущенной командой FireRedASR2. Это система ASR на основе архитектуры Encoder-Adapter-LLM: аудиокодировщик и адаптер передают представление речи языковой модели Qwen2. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и ориентирован на запуск через vLLM. Модель преобразует речь в текст на китайском языке, включая мандаринский диалект и более 20 региональных акцентов, и на английском; поддерживает смешение китайского и английского языков, а также распознавание текста песен. В описанных авторами тестах средняя ошибка распознавания составила 2,89% CER для мандаринского китайского и 11,55% CER для китайских диалектов. Эти показатели относятся к указанным тестовым наборам и не гарантируют такое же качество на произвольной записи. Лицензия Apache-2.0 допускает коммерческое использование с соблюдением её условий.

Это неофициальная обёртка для Transformers модели GigaAM-v2-CTC, разработанной SberDevices. Она предоставляет интерфейс библиотеки Transformers для распознавания русской речи и совместима с привычными средствами загрузки моделей, извлечения признаков и токенизации в этой библиотеке. Модель принимает аудио и преобразует речь в текст, поэтому подходит для автоматической расшифровки русскоязычных записей. В репозитории указаны веса в форматах PyTorch и Safetensors, а для работы приведены версии PyTorch, Torchaudio, Transformers и Accelerate. Лицензия — MIT. Это сторонняя обёртка исходной модели; README не сообщает её размер, длину контекста или результаты оценки качества.

Granite-Speech-4.1-2B-NAR — модель распознавания речи от IBM, предназначенная для быстрой транскрипции в сценариях, чувствительных к задержке. Она обрабатывает аудио и выдаёт текст на английском, французском, немецком, испанском и португальском языках. Репозиторий построен на базе granite-4.0-1b-base и использует архитектуру NLE: CTC-энкодер речи на Conformer, Q-Former-проектор и двунаправленный LLM-редактор с LoRA. Вместо последовательной генерации модель за один проход исправляет гипотезу CTC, что ускоряет вывод; заявленная производительность составляет около 1820 RTFx на H100 при пакетной обработке. Модель рассчитана на автоматическое распознавание речи, а не на генерацию произвольного текста. Точность зависит от языка и акустических условий; качество может быть ниже для португальского, при дальнем микрофоне и перекрывающейся речи. Консервативное редактирование снижает риск добавления слов, но в шумной записи модель может пропускать слова. Лицензия — Apache 2.0.

Модель artoowang/hf-audio-wav2vec2-bert-CV16-en-finetune — дообученная на базе hf-audio/wav2vec2-bert-CV16-en система автоматического распознавания речи. Она принимает аудио и преобразует английскую речь в текст; архитектура — Wav2Vec2-BERT с CTC-выходом, размер — 402,7 млн параметров. В README приведены значения на тестовой выборке: WER 0,0879 и loss 0,3271. Модель подходит для транскрибации английской речи, например записей и аудиофрагментов. Карточка не описывает датасет дообучения, условия записи или ограничения качества, поэтому приведённые метрики нельзя переносить на другие аудиоданные без проверки. Формат весов — safetensors, библиотека — Transformers; лицензия в предоставленных данных не указана.

Kuray107/librispeech-100h-supervised — модель распознавания речи, дообученная на основе facebook/wav2vec2-large-lv60. Она использует архитектуру wav2vec2 с выходной головой CTC и содержит 402,7 млн параметров. Модель предназначена для преобразования аудио в текст; в карточке указано значение WER 0,0345 на оценочном наборе, но подробности о наборе и методике оценки не приведены. Модель принимает аудио и выдаёт текст. Идентификатор и описание указывают на связь с LibriSpeech, однако README не раскрывает языки, конкретные сценарии применения и ограничения качества. Веса доступны в формате PyTorch по лицензии Apache 2.0.

Vkt/model-facebookptbrlarge — модель распознавания речи, дообученная на Common Voice на основе facebook/wav2vec2-large-xlsr-53-portuguese. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст на португальском языке. В README приведены результаты на наборе оценки Common Voice: WER 0,1322 и loss 0,2206. Модель загружена в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения; результаты оценки относятся к указанному набору данных.

onnx-community/moonshine-base-ONNX — ONNX-версия модели Moonshine base, разработанной UsefulSensors и подготовленной сообществом onnx-community для запуска через Transformers.js и ONNX Runtime. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст, включая использование непосредственно в JavaScript-приложениях и локальный инференс через ONNX Runtime. Архитектура описана как encoder-decoder с отдельными ONNX-сессиями для энкодера и декодера; доступны квантованные файлы encoder_model_quantized.onnx и decoder_model_merged_quantized.onnx. В README не указаны точный размер модели, поддерживаемые языки, набор модальностей помимо аудио и максимальная длина контекста. Для ограничения генерации приведён ориентир до шести токенов на секунду аудио. Сильной стороной является совместимость с Transformers.js и ONNX Runtime, включая использование в браузерных или локальных сценариях; ограничения и показатели качества в README не описаны. Модель распространяется по лицензии MIT.

Nemotron-3.5 ASR Streaming 0.6B MLX bf16 — потоковая модель распознавания речи от NVIDIA, перенесённая aufklarer на MLX для Apple Silicon и Metal GPU. Это конверсия исходной модели NVIDIA в формат MLX с весами bf16; архитектура — кэшируемый FastConformer с RNN-T и языковым промптом. Размер модели — 600 млн параметров. Модель принимает аудио чанками и выдаёт распознанный текст с пунктуацией и заглавными буквами. Она предназначена для потоковой транскрипции речи с низкой задержкой и поддерживает 40 языковых локалей; среди указанных языков — английский, испанский, немецкий, французский, итальянский, португальский, русский, хинди, китайский, японский, корейский и арабский. В README приведены результаты оценки на части языков и показатели потоковой производительности на Apple M5 Pro. Карточка описывает bf16-вариант как почти не теряющий точность относительно исходника fp32, но опубликованные показатели качества ограничены тестами на небольших выборках FLEURS и не характеризуют все 40 локалей. Для запуска требуется MLX; автор также указывает `parakeet-mlx` для модуля Conformer. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией исходной модели NVIDIA и репозитория.

Это дообученная модель распознавания речи Nemotron 3.5 ASR для вьетнамского и английского языков, подготовленная автором репозитория на основе чекпойнта NVIDIA nvidia/nemotron-3.5-asr-streaming-0.6b. Она объединяет акустический энкодер FastConformer, сеть предсказаний RNNT, joint-сеть, токенизатор и процессор; веса представлены в формате safetensors и загружаются через AutoProcessor и AutoModelForRNNT в Transformers. Модель предназначена для преобразования речи во вьетнамскую или английскую транскрипцию, включая потоковые сценарии. В README приведены оценки на наборах PW733 и LSVSC: после дообучения ошибка распознавания на PW733 заметно снизилась относительно базовой модели. Результаты зависят от набора данных, нормализации и параметров lookahead; приведённая оценка английского языка получена на локальной выборке и напрямую не сопоставима с удалённой валидацией. Репозиторий распространяется по лицензии Apache-2.0. Для использования требуется аудиовход; карточка не сообщает длительность аудио или ограничения контекста.

mlx-community/parakeet-rnnt-0.6b — преобразованная в формат MLX версия модели NVIDIA parakeet-rnnt-0.6b. Это модель распознавания речи на архитектуре FastConformer с RNN-T, предназначенная для получения текстовой расшифровки из аудио. Базовая модель рассчитана на английскую речь; репозиторий содержит веса safetensors для использования с библиотекой MLX на совместимом оборудовании Apple. Модель подходит для транскрибирования записей и аудиопотоков на английском языке. В README приведены варианты запуска через parakeet-mlx и mlx-audio. Лицензия — CC BY 4.0. Данные о размере и длине контекста для этой версии в предоставленных источниках отсутствуют.

Parakeet RNNT 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Это крупная версия FastConformer Transducer с примерно 1,1 млрд параметров и декодером RNNT; она принимает монофоническое аудио WAV с частотой 16 кГц и возвращает текстовую расшифровку строчными буквами английского алфавита. Модель предназначена для транскрибирования английской речи в аудиозаписях, в том числе разговоров, совещаний, лекций и подкастов. Она обучена на 64 тысячах часов английской речи из частных и открытых наборов данных; в README приведены результаты оценки WER для нескольких речевых корпусов. Модель доступна через NeMo и Transformers, а также может использоваться как исходный чекпойнт для дообучения. Лицензия — CC-BY-4.0. Модель специализируется на английском языке и формате входа 16 кГц, моно; показатели качества зависят от акцента, условий записи и предметной области.

Parakeet TDT v3 0.6B CoreML — мультиязычная модель автоматического распознавания речи, разработанная FluidInference на основе nvidia/parakeet-tdt-0.6b-v3. Модель преобразована в формат Core ML для платформ Apple и предназначена для полностью локальной транскрипции аудиофайлов, диктовки, создания заметок и встраивания распознавания речи в приложения через Swift-фреймворк FluidAudio. Модель использует архитектуру FastConformer-TDT (Token Duration Transducer) и содержит около 0,6 млрд параметров. Она принимает монофонический аудиосигнал с частотой 16 кГц в формате Float32 PCM и поддерживает 25 европейских языков: английский, испанский, французский, немецкий, болгарский, хорватский, чешский, датский, нидерландский, эстонский, финский, греческий, венгерский, итальянский, латышский, литовский, мальтийский, польский, португальский, румынский, словацкий, словенский, шведский, русский и украинский. Используется смешанная точность, оптимизированная для выполнения на ANE и CPU. К сильным сторонам относятся высокая скорость пакетной обработки, низкая задержка, автономная работа без сетевых запросов после загрузки моделей и повышенная приватность данных. На M4 Pro заявлен показатель около 110x RTF в пакетном режиме, однако фактическая производительность зависит от устройства, длительности аудио и выбранных вычислительных блоков. Основное ограничение — специализация на европейских языках, поэтому качество для других языков не заявлено и может снижаться. В метаданных указана лицензия CC BY 4.0, тогда как в тексте README также упоминается Apache 2.0 для репозитория FluidAudio; условия для конкретных артефактов следует уточнять отдельно.

Это версия модели распознавания речи NVIDIA Parakeet TDT-CTC 1.1B, подготовленная mlx-community для работы с библиотекой MLX на Apple Silicon. Она принимает аудио и преобразует речь в текст; основное применение — автоматическая транскрипция записей и аудиопотоков. Модель основана на архитектуре FastConformer/Conformer и рассчитана на английскую речь; исходная карточка описывает транскрипцию с пунктуацией и заглавными буквами. Репозиторий содержит веса safetensors и распространяется по лицензии CC BY 4.0. README указывает на конвертацию исходной модели в формат MLX; метаданные каталога помечают связь с исходной моделью как finetune, поэтому происхождение указано по этим метаданным. Подробности о длине аудио, точности и ограничениях применения в предоставленной карточке отсутствуют.

beshkenadze опубликовал преобразованный вариант многоязычной модели распознавания речи Parakeet Ultra в формате MLX fp16 для использования с mlx-audio-swift. В основе лежит moondream/parakeet-ultra — постобученная Moondream модель nvidia/parakeet-tdt-0.6b-v3 с той же архитектурой и словарём; репозиторий содержит веса safetensors. При преобразовании тензоры переименованы и приведены к раскладке MLX, голова VAD удалена, а веса приведены к fp16. Модель предназначена для транскрибирования аудио, в том числе русской речи. В тестах README она показала меньший WER, чем Parakeet TDT v3 fp16 на FLEURS для 13 языков и на наборе русских записей, а также на пятиминутной записи совещания. Эти результаты относятся к описанным тестовым наборам и конвейеру Silero VAD с mlx-audio-swift. Лицензия репозитория — CC BY 4.0.

Rev AI Reverb Diarization V1 — модель на базе pyannote-audio для диаризации речи в аудиозаписях: она определяет, кто и когда говорит. По данным карточки, модель улучшает относительную Word Diarization Error Rate на 16,5% по сравнению с базовой pyannote 3.0; оценка проводилась на более чем 1,25 млн токенов в пяти тестовых наборах. Для запуска используется Pipeline из pyannote.audio и аудиофайл. Модель распространяется в формате PyTorch; лицензия обозначена как other, поэтому условия использования следует уточнить в карточке Hugging Face. Указанные в README значения WDER относятся к наборам earnings21 и rev16; других характеристик качества и поддерживаемых языков карточка не приводит.

SenseVoiceSmall-gguf — это конверсия и квантизированные GGUF-версии модели FunAudioLLM/SenseVoiceSmall, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и поддерживает китайский, кантонский, английский, японский и корейский языки. Она принимает монофонический WAV-аудиосигнал с частотой 16 кГц и обрабатывает фрагменты длительностью до 30 секунд за вызов. Модель использует 234-миллионный SAN-M encoder с одной CTC-головой и словарём SentencePiece на 25 055 токенов. Помимо автоматического распознавания речи, та же CTC-голова может выдавать идентификатор языка, простые метки эмоций, теги аудиособытий и управляющие теги обратной текстовой нормализации. Определение языка поддерживается, но потоковая обработка, перевод, встроенное разбиение длинных записей и временные метки отсутствуют. По умолчанию включена текстовая нормализация для удобного отображения регистра, пунктуации и чисел; доступен режим вывода произносимой формы. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 146 до 937 МБ. На тесте LibriSpeech test-clean заявленная частота ошибок слов составляет 3,13% для F32, F16 и Q8_0 и до 3,45% для Q4_K_M; качество зависит от языка и типа квантизации. Модель ориентирована прежде всего на офлайн-многоязычное распознавание, однако для длинных аудиозаписей потребуется внешняя сегментация. Использование регулируется лицензией model-license из FunASR MODEL_LICENSE, унаследованной от базовой модели; полные условия следует уточнять в лицензии FunAudioLLM/SenseVoiceSmall.