I.9Аудио и музыка

LFM2.5-Audio-1.5B-bf16 — конвертированная в формат MLX модель семейства Liquid AI, опубликованная mlx-community. Это аудиомодель с плотной архитектурой: Conformer-кодировщик обрабатывает входящее аудио, языковая основа LFM объёмом 1,5 млрд параметров выполняет мультимодальную обработку, а Depthformer-декодер и нейронный декодер формируют аудио. Модель рассчитана на работу через библиотеку mlx-audio на устройствах Apple с поддержкой MLX. Модель поддерживает преобразование текста в речь, транскрибацию аудио в текст и речевой диалог с аудиовходом и аудиовыходом. Также доступны чередование текстовых и аудиофрагментов в ответе и потоковая генерация для приложений с низкой задержкой. Карточка указывает английский язык; другие языки не заявлены. Веса сохранены в safetensors в формате bf16. В метаданных указана лицензия other; конкретные условия следует сверять с оригинальной карточкой LiquidAI/LFM2.5-Audio-1.5B. Практическое использование и скорость зависят от аппаратной поддержки MLX; сведения о точности распознавания и перечне поддерживаемых голосов в предоставленных данных отсутствуют.

Это преобразованная в формат Transformers копия сквозной аудиоязыковой модели Liquid AI LFM2.5-Audio-1.5B. Веса и конфигурация перенесены из LiquidAI/LFM2.5-Audio-1.5B; дополнительного обучения не проводилось. Модель поддерживает сценарии распознавания речи, синтеза речи и голосового взаимодействия с чередованием текста и аудио. В репозитории есть настройки извлечения аудиопризнаков, шаблон мультимодального диалога, токенизатор и аудиодетокенизатор. Проверка подтвердила совпадение текстовых токенов, аудиокодбуков, последовательностей модальностей и форм волн с исходной реализацией в описанных тестовых сценариях; это проверка совместимости, а не оценка точности распознавания или скорости. Для загрузки требуется обновлённая реализация LFM2-Audio в Transformers, которая на момент карточки ещё не была доступна в выпущенном пакете. Для ASR требуется монофонический сигнал 16 кГц, а генерация ограничена размером пакета 1. Лицензия указана как other; в репозитории приложена исходная лицензия.

Moonshine Tiny — компактная модель автоматического распознавания речи, разработанная Useful Sensors для транскрибации английской речи в текст. Она использует архитектуру encoder-decoder типа sequence-to-sequence и содержит 27 млн параметров; модель предназначена для приложений реального времени на устройствах с ограниченными вычислительными ресурсами и памятью. В метаданных указан контекст 194 токена. Модель принимает аудио и выдаёт текст. Она обучалась на аудиозаписях и транскрипциях, включая открытые наборы данных, и рассчитана прежде всего на англоязычное распознавание речи. Лицензия — MIT. К типичным сценариям относятся субтитры и доступность, транскрибация разговоров и голосовой ввод на маломощных устройствах. Возможны галлюцинации и повторение фрагментов, особенно на коротких записях или при обрезанных словах. Качество для конкретной области следует проверять отдельно; модель не предназначена для субъективной классификации людей или высокорисковых решений.

NVIDIA Parakeet-RNNT 110M Danish — модель автоматического распознавания речи с 110 млн параметров для преобразования датской речи в текст. Она предназначена для транскрибирования аудиозаписей и интеграции в приложения распознавания речи. Модель использует архитектуру FastConformer с предсказательной сетью LSTM и обучена с функцией потерь RNN-T. На вход подаётся монофоническое аудио с частотой 16 кГц, на выходе — строка с распознанным текстом. В README приведены оценки WER от 8,8% до 10,7% на датских тестовых наборах при жадном декодировании без внешней языковой модели. Для работы используется NVIDIA NeMo; модель оптимизирована для систем с GPU NVIDIA. Модель подходит для коммерческого и некоммерческого использования согласно README. В метаданных указана лицензия other, поэтому перед внедрением следует проверить применимые условия распространения и использования. Качество может зависеть от акустики, акцента и соответствия аудио обучающим данным; заявленные оценки относятся к указанным наборам и настройке декодирования.

Parakeet TDT 0.6B v2 MLX Mixed 3-bit/4-bit/BF16 — англоязычная модель распознавания речи на базе NVIDIA Parakeet-TDT 0.6B v2, преобразованная для MLX. Она предназначена для транскрибирования аудио с помощью автоматического распознавания речи. Веса объёмом 0,349 ГБ используют смешанную точность: 265 матриц квантизованы групповым аффинным методом с группами по 64 элемента — часть до 3 бит, остальные до 4 бит; матрицы предиктора и joint, нормализации, смещения и некоторые другие веса оставлены в BF16. В опубликованном локальном сравнении на Apple Silicon модель обработала 6 206 английских высказываний из LibriSpeech и FLEURS со средней WER 2,77% и скоростью 85,7× реального времени. По сравнению с FP32-вариантом объём весов сокращён на 85,90%, при этом точность немного снизилась. Это офлайн-модель с полным контекстом и жадным декодированием; README указывает на необходимость совместимого загрузчика для смешанных разрядностей. Модель рассчитана только на английскую речь и не заменяет многоязычную ASR. Качество зависит от акцента, предметной области, шума и условий записи, поэтому результаты следует проверять на целевых аудиоданных. Лицензия — CC BY 4.0.

Это преобразованная в формат GGUF версия англоязычного голоса en_US-lessac-medium из набора Piper, опубликованного rhasspy. Репозиторий подготовлен для использования с CrispASR; модель синтезирует речь из текста и выдаёт монофонический PCM-аудиосигнал с частотой 22,05 кГц. В основе — архитектура VITS с трансформерным текстовым энкодером, стохастическим предсказателем длительности, блоками нормализующего потока и декодером HiFi-GAN. Веса представлены в F16, размер файла — около 30 МБ. Модель предназначена для озвучивания английского текста голосом Lessac, в том числе при локальном синтезе речи через CrispASR. Для фонемизации требуется espeak-ng. Это конверсия представления весов upstream-модели без дообучения, изменения архитектуры или возможностей. Лицензия — MIT; README указывает, что условия upstream-модели сохраняются.

qwen-asr-0.6b-he — компактная модель распознавания речи на базе Qwen/Qwen3-ASR-0.6B, дообученная разработчиком flowty1 на специально собранном и размеченном корпусе иврита. Она преобразует аудио в текст и поддерживает потоковую транскрибацию с низкой задержкой, а также обработку аудиофайлов. Модель рассчитана прежде всего на распознавание речи на иврите; также проверена работа с английским и автоматическим определением языка. Размер составляет 0,6 млрд параметров. В README заявлена работа в реальном времени на CPU, а также запуск на NVIDIA GPU через vLLM, на Apple Silicon через MLX и локально на iPhone. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. На шумных или длинных записях компактная модель может повторять фрагменты или галлюцинировать. README рекомендует жадное декодирование и настройку штрафа за повторы и максимального числа новых токенов; для языков помимо иврита и английского качество не гарантируется.

Spoofdetection — модель распознавания речи на базе wav2vec2, дообученная автором репозитория 202015004 на facebook/wav2vec2-base. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC; доступные веса представлены в формате PyTorch. Модель предназначена для преобразования аудио в текст, однако README не раскрывает обучающий датасет и конкретный сценарий обнаружения спуфинга, несмотря на название репозитория. В README приведены результаты оценки: loss 1,7448 и WER 0,109. Модель распространяется по лицензии Apache-2.0. Данных о поддерживаемых языках и дополнительных ограничениях в карточке нет.

ctaguchi/ssc-kbd-mms-model — модель распознавания речи, дообученная на основе facebook/mms-1b-all. Она построена на архитектуре wav2vec2 и содержит 1,3 млрд параметров; модель принимает аудио и преобразует речь в текст. В README приведены результаты оценки: CER 0,0920 и WER 0,5172, однако набор данных указан как None, поэтому эти оценки не позволяют судить о качестве на конкретном языке или в практических условиях. Модель предназначена для автоматического распознавания речи. Карточка не уточняет языки и сценарии применения дообученной версии. Базовая модель поддерживает более тысячи языков, но это не подтверждает, что данная настройка сохраняет поддержку всех этих языков. Лицензия — CC BY-NC 4.0; коммерческое использование не разрешено условиями этой лицензии.

ad019el/tamasheq-99-3 — дообученная модель распознавания речи на архитектуре wav2vec2 с декодированием CTC. Она принимает аудио и преобразует речь в текст; в README указана оценка WER 0,4994 на наборе оценки. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. Модель предназначена для транскрибирования речи на тамашек. README сообщает о дообучении на ad019el/tamasheq-99-2, но не описывает обучающие данные и сценарии применения подробнее. Лицензия — Apache-2.0.

Hyuk разработал Hyuk/wav2vec2-korean-v2 — дообученную модель распознавания речи на архитектуре Wav2Vec2 с декодированием CTC. Модель содержит 404,1 млн параметров и предназначена для преобразования корейской речи в текст. В README приведён результат оценки: loss 0,4514 и WER 0,1679. Модель подходит для транскрибирования корейских аудиозаписей и голосового ввода. Репозиторий содержит веса PyTorch. В README не описаны обучающие данные, условия оценки и ограничения применения; лицензия в доступных сведениях не указана.

SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1 — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, опубликованная пользователем SpideyDLK на Hugging Face. По названию репозитория она предназначена для распознавания сингальской речи; карточка модели содержит стандартный пример запуска через Transformers, но не описывает обучение, данные или оценку качества. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указано около 402,7 млн параметров и формат Safetensors. Сведения о лицензии, длине контекста и ограничениях качества в доступных источниках отсутствуют.

Amrrs/wav2vec2-large-xlsr-53-tamil — модель распознавания речи на тамильском языке, разработанная дообучением facebook/wav2vec2-large-xlsr-53 на данных Common Voice. Она принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. В README приведён тестовый результат 82,94%, но не уточнена метрика, поэтому это значение нельзя напрямую трактовать как точность распознавания. Модель подходит для транскрибации записей и голосового ввода на тамильском языке. Доступны веса PyTorch и Flax. Лицензия — Apache-2.0.

Wav2Vec2-Large-XLSR-53-Telugu — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на телугу. Она принимает речь и преобразует её в текст; для распознавания входной звук должен иметь частоту дискретизации 16 кГц. Обучение проводилось на 70% набора OpenSLR SLR66 для телугу. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Репозиторий включает веса PyTorch и Flax. В карточке приведён результат тестирования 44,98%, но не уточнена метрика, поэтому его нельзя напрямую интерпретировать как точность распознавания. Модель распространяется по лицензии Apache-2.0.

Konstantin-Bogdanoski/wav2vec2-macedonian-base — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, обученная и дообученная на пользовательском наборе данных для македонского языка. Она преобразует аудио с речью в текст и подходит для транскрибации македонской речи в приложениях распознавания речи. Модель содержит 113,3 млн параметров и доступна в форматах PyTorch и Safetensors для использования с библиотекой Transformers. Модель принимает аудио и выдаёт текстовую транскрипцию. В README для подготовки аудио упоминается частота дискретизации 22050 Гц. Указана лицензия MIT, допускающая свободное использование на её условиях. Заявления README о высокой точности не сопровождаются метриками или описанием тестирования; качество на других языках и акустических условиях не установлено.

shivam/wav2vec2-xls-r-300m-hindi — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Mozilla Foundation Common Voice 7.0 для хинди. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя его в текст на хинди. В карточке указаны результаты на тестовой выборке: loss 1,4031 и WER 0,6827; высокий WER указывает на заметную долю ошибок распознавания. Модель подходит для транскрибирования записей речи на хинди, в том числе материалов, похожих на записи Common Voice. Она распространяется в формате PyTorch по лицензии Apache-2.0.

nurzhanit/whisper-enhanced-ml — дообученная модель распознавания речи семейства Whisper с архитектурой WhisperForConditionalGeneration. В README указано, что она обучена на датасете Common Voice 11.0; размер модели — 153,1 млн параметров. Модель предназначена для преобразования речи в текст на хинди. В README приведены результаты оценки: loss 0,0002 и WER 0,0. Эти значения относятся к указанному набору оценки; подробности его состава и методики не приведены, поэтому результат нельзя считать гарантией качества на других аудиозаписях. Модель опубликована в формате safetensors. Условия лицензии в доступных данных не указаны.

Whisper-Hindi2Hinglish-Prime — дообученная Oriserve модель распознавания речи на архитектуре Whisper large-v3 от OpenAI. Она преобразует аудио с индийским произношением хинди в транскрипцию на хинглиш — разговорную смесь хинди и английского, записанную латиницей. Модель построена для работы с Transformers и имеет около 905 млн параметров. Для дообучения использовали примерно 550 часов шумных аудиозаписей на хинди с индийским акцентом; набор данных был специально собран и размечен с помощью автоматической транскрибации и последующей правки человеком. По данным README, модель снижает ошибки распознавания на тестах Common Voice, FLEURS и Indic-Voices относительно исходной Whisper large-v3 и предназначена для аудио с фоновым шумом. README также сообщает о снижении ложных транскрипций на записях с одним шумом. Модель подходит для транскрибации разговорной речи на хинглиш, в том числе в шумной обстановке. В README указано, что доступна более новая версия Whisper-Hindi2Hinglish-Apex. Лицензия — Apache-2.0.

Whisper Kannada Small — дообученная версия модели Whisper-small от OpenAI, созданная участником проекта Whisper fine-tuning sprint для распознавания речи на каннада. Модель принимает аудио и генерирует текстовую расшифровку; её можно применять для транскрибирования записей и оценки систем ASR на корпусах каннада. Модель основана на архитектуре Whisper и содержит около 153,1 млн параметров. Для дообучения использованы корпуса IISc-MILE Kannada ASR, ULCA ASR, Shrutilipi ASR и обучающая и валидационная выборки Google Fleurs. Карточка указывает Apache 2.0 в качестве лицензии. Оценка проводилась на тестовой выборке Google Fleurs, тесте IISc-MILE и OpenSLR.

steja/whisper-large-shona — модель распознавания речи на архитектуре Whisper Large v2, дообученная автором steja на наборе google/fleurs для языка шона (вариант sn_ZW). Она преобразует аудио в текст и предназначена прежде всего для автоматической транскрипции речи на шона. Модель содержит около 905,2 млн параметров и опубликована в формате PyTorch. На оценочной выборке указана WER 37,5 и loss 0,9189; это результаты конкретной оценки, которые не гарантируют такой же точности на других записях. Модель распространяется по лицензии Apache-2.0.

Это дообученная модель распознавания речи на базе openai/whisper-large-v3-turbo, созданная для транскрибирования аудио на мальтийском языке в Мальте. Она использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Модель обучена на наборе данных FLEURS и распространяется в формате safetensors через библиотеку Transformers. Модель подходит для получения текстовых расшифровок мальтийской речи из аудиозаписей. В README приведены результаты оценки на тестовой выборке: WER 14,5151 и WER Ortho 39,1346. Лицензия — MIT. Подробные ограничения и рекомендуемые условия применения в карточке не описаны.

Whisper Small Shona ASR — модель распознавания речи на базе архитектуры Whisper, представленная в репозитории Code-Dev/whisper-small-shona-v3. Она предназначена для преобразования аудиозаписей на шона в текст; в карточке указана оптимизация для языка шона и этапы дообучения на FLEURS и фрагментах Библии. Для последнего этапа README сообщает WER 25,52%, а метаданные указывают класс WhisperForConditionalGeneration и формат safetensors. Модель принимает аудио и выдаёт текст. Лицензия и размер модели в доступных данных не приведены.

Lingalingeswaran создал и опубликовал дообученную версию Whisper Small для распознавания речи на сингальском языке. Модель основана на openai/whisper-small и дообучена на наборе Lingalingeswaran/asr-sinhala-dataset_json_v1; она содержит 153,1 млн параметров и доступна в формате safetensors для Transformers. Модель принимает аудио и генерирует текстовую транскрипцию. В README приведён результат оценки на тестовом наборе: WER 46,4577 и loss 0,2086. Репозиторий распространяется по лицензии Apache-2.0. Высокое значение WER указывает на заметные ошибки распознавания; качество может зависеть от записи и речи.

biodatlab/whisper-th-large-v3-combined — модель распознавания речи на тайском языке, разработанная BioDataLab как дообучение OpenAI Whisper large-v3. Это плотная архитектура WhisperForConditionalGeneration с 905,2 млн параметров, предназначенная для преобразования тайской речи в текст. Модель можно применять для транскрибирования аудио на тайском языке; в карточке указаны датасеты Common Voice 13.0, Fleurs и отобранные наборы данных, а для Common Voice 13 на тесте приведён WER 6,59 с токенизатором Deepcut. Модель принимает аудио и выдаёт текст. Она распространяется по лицензии Apache-2.0. В README подробно не описаны ограничения, условия оценки и состав отобранных данных; приведённый результат относится к указанному тесту и токенизатору.

Audio Flamingo 3 (AF3) — открытая большая аудиоязыковая модель, разработанная NVIDIA для понимания речи, звуков и музыки, ответов на вопросы по аудио и рассуждений. Она подходит для анализа коротких и длинных аудиозаписей, голосового диалога и интерактивных помощников для работы со звуком и музыкой. Архитектура сочетает аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в AF3-Chat также предусмотрен потоковый синтез речи. Модель принимает аудио и текст, обрабатывает аудио длительностью до 10 минут и текстовый контекст до 16 000 токенов. Основной язык в карточке — английский. На выходе модель формирует текст, а в голосовом режиме может выдавать речь. Модель поддерживает многошаговый диалог с аудио и опциональное рассуждение; её обучали на наборах данных для речи, звуков и музыки. Для запуска предусмотрены PyTorch и Hugging Face Transformers; авторы ориентируют применение на NVIDIA A100/H100. Лицензия обозначена как other, а карточка ограничивает использование некоммерческими исследовательскими целями.

Это англоязычная модель автоматического распознавания речи, опубликованная в ESPnet под идентификатором espnet/kamo-naoyuki-mini_an4_asr_train_raw_bpe_valid.acc.best. Модель обучена kan-bayashi по рецепту jsut/tts1 в ESPnet; карточка указывает набор данных mini-an4 и формат весов PyTorch. Модель преобразует аудио в текст и предназначена для распознавания речи в аудиозаписях. В примере использования аудио загружается с приведением к одному каналу и частоте 16 кГц. Модель распространяется по лицензии CC BY 4.0. Карточка не сообщает размер модели, длину контекста или показатели качества; результаты для других языков и условий записи не описаны.

Это независимая неофициальная конверсия KittenML/kitten-asr-tiny в формат ONNX, подготовленная для движка распознавания речи itamaker/kitten-asr-go. Модель принимает аудио и выполняет автоматическое распознавание речи с выдачей текста; в комплект входят аудиокодировщик для входа длительностью до 30 секунд и авторегрессионный текстовый декодер с KV-кэшем. Таблица эмбеддингов поставляется отдельно в формате float32. Конверсия предназначена для запуска в приложениях на Go через CLI, HTTP-сервер или библиотеку itamaker/kitten-asr-go. README не сообщает поддерживаемые языки или лицензию исходной модели; метаданные указывают лицензию «other».

facebook/mms-tts-fas — модель синтеза речи на персидском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания персидских текстов и создания речевого вывода в приложениях. Модель построена на архитектуре VITS и обучена для отдельного языка. Это компактная модель на 3,5 млн параметров с поддержкой Transformers. Стохастический предиктор длительности позволяет варьировать ритм произношения; из-за его недетерминированности для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Moonshine Base GGUF — квантованные версии модели Useful Sensors, подготовленные проектом handy-computer для работы с transcribe.cpp. Это модель автоматического распознавания речи на базе encoder-decoder Transformer с 61 млн параметров, предназначенная для преобразования английской речи в текст. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц напрямую через трёхслойный Conv1d-стем, без использования STFT и mel-признаков. Архитектура включает по 8 слоёв энкодера и декодера, размер скрытого состояния 416 и частичный RoPE с коэффициентом 0,62. Доступны варианты F32, F16 и Q8_0 размером 248, 132 и 77 МБ соответственно. На LibriSpeech test-clean показатель WER составляет 3,28% для F32 и F16 и 3,26% для Q8_0. Модель подходит для локальной транскрибации английской речи на CPU, Metal или Vulkan через transcribe.cpp. Она поддерживает только английский язык и выдаёт текст без временных меток; потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Основные ограничения — узкая языковая специализация и отсутствие timestamps и streaming. Модель распространяется по лицензии MIT, унаследованной от базовой модели UsefulSensors/moonshine-base.

Moonshine Streaming Tiny — Spanish — модель автоматического распознавания испанской речи с потоковой расшифровкой. Модель разработана Moonshine AI и предназначена для постепенного преобразования аудио в текст с небольшими задержками, в том числе на устройствах с ограниченными ресурсами. Репозиторий содержит конвертированный чекпойнт; архитектура включает аудиофронтенд с частотой 50 Гц, скользящий оконный Transformer-энкодер и декодер. В метаданных указано 13,8 млн параметров, тогда как README сообщает 27 млн; размер модели в источниках расходится. Модель обучена преимущественно на автоматически размеченном испанском аудио, дополненном меньшим набором транскрибированной речи. На двух тестах чтения испанской речи указана макро-WER 5,919 для чекпойнта при используемом в репозитории правиле остановки. Эти результаты не характеризуют телефонную, шумную, спонтанную или выраженную региональную речь. Автоматические метки могут переносить ошибки модели-учителя, а на коротких или шумных фрагментах возможны циклы повторения; рекомендуется ограничивать длину вывода и передавать attention mask. Лицензия — MIT.