I.9Аудио и музыка

gslm-scaling-20m-43p5b — исследовательский чекпойнт для экспериментов с масштабированием речевых языковых моделей из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 20 710 912 параметров и обучалась на 43 545 280 000 токенах. Это плотная TransformerLM из библиотеки slm-research; репозиторий содержит веса FP32 в формате safetensors. Модель генерирует последовательности дискретных речевых единиц: последовательные повторы 25-Гц кластеров K-means слоя 11 mHuBERT свёрнуты, размер словаря K=500. Её применяют для генерации речевых токенов и исследований свойств масштабирования; README приводит оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования токенов в звук нужен отдельный вокодер, который в репозиторий не входит. Лицензия — Apache-2.0.

Это экспериментальный чекпойнт синтеза речи на языке бамбара, созданный RobotsMali путём дообучения VITS-модели ylacombe/vits-vctk-with-discriminator. Веса сохранены в форме VitsModelForPreTraining вместе с генератором и дискриминатором и предназначены прежде всего для продолжения обучения; для обычного инференса после обучения авторы предлагают экспортировать вариант без дискриминатора. Размер модели — около 3,5 млн параметров, файлы представлены в формате safetensors. Модель обучалась на небольшом шумном корпусе спонтанной речи бамбара с псевдо-IPA предобработкой текста. Преобразование не применяется токенизатором автоматически, поэтому при продолжении обучения и диагностическом синтезе требуется использовать тот же cleaner. Чекпойнт прошёл лишь 200 эпох и существенно недообучен; авторы не обнаружили заметного улучшения относительно варианта с обычным текстом, а результат не проверялся статистически. Модель подходит для экспериментов и продолжения обучения синтезу речи на бамбара, но не считается сошедшейся или готовой к практическому использованию. Не представлены оценки разборчивости, качества голоса, сходства диктора, безопасности, смещений, приватности или запоминания данных. Лицензия — CC BY 4.0.

Модель tiagoCuervo/gslm-scaling-823m-82b — контрольная точка речевой языковой модели из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Она предсказывает последовательности дискретных речевых единиц: повторяющиеся соседние единицы схлопнуты, единицы получены из 11-го слоя mHuBERT с помощью K-means и имеют частоту 25 Гц. Репозиторий содержит веса FP32 в формате safetensors; размер в названии модели — 823 млн параметров. Модель предназначена для генерации последовательностей речевых токенов и оценки масштабирования речевых языковых моделей. Для декодирования этих последовательностей в аудио потребуется внешний вокодер: он не входит в репозиторий. В README приведены результаты оценки на sBLIMP и StoryCloze; для подготовки данных, оценки и декодирования рекомендуется кодовая база slm-research. Модель опубликована под лицензией Apache-2.0. Исходные наборы данных и вокодер CodeHiFiGAN не включены и сохраняют собственные лицензии. В README не указаны поддерживаемые естественные языки и длина контекста; результаты оценивания показывают ограничения качества на приведённых тестах.

Mercury-M14 — экспериментальная модель преобразования речи в речь с полнодуплексным режимом диалога, дообученная для учёта времени в разговоре. В карточке указаны архитектура RaonDuplexModel, формат весов safetensors и частота кадров 12,5 кадра в секунду при аудио 24 кГц. Модель обучалась два эпоха на 4 440 синтетических полнодуплексных диалогах; временные метки слов получены принудительным выравниванием аудио. Разработчик выпустил чекпойнт под кодовым именем, пока связанная статья проходит анонимное рецензирование. Модель предназначена для сценариев диалогового преобразования речи с учётом временной структуры и одновременного обмена репликами. В опубликованной оценке согласованность между текстовым потоком решений и сгенерированным аудио оказалась низкой: средняя символьная согласованность составила 53,9%, а полнота на уровне слов — 21,3%; серьёзное расхождение зафиксировано в 98 из 99 случаев. Обучающие данные, код и скрипты оценки не предоставлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Карточка модели mlx-community/phartakos-mlx на Hugging Face совпадает с карточкой pequodresearch/phartakos-mlx, поэтому описание составлено по ней. Phartakos MLX — модель-генератор звуков метеоризма, подготовленная pequodresearch для локального запуска на компьютерах Apple Silicon. Это безусловная генеративная модель на основе многомасштабного waveform U-Net с диффузионным процессом: она создаёт монофоническое аудио с частотой 32 кГц, обычно длительностью одну секунду. Для генерации используется полный 200-шаговый ancestral DDPM; модель работает только на этапе инференса. Модель предназначена для создания коротких звуковых эффектов. В тесте сравнения длительности двухсекундные образцы получили больше предпочтений, однако не достигли заранее заданного порога принятия, поэтому длительность по умолчанию — одна секунда. Генерация может звучать неправдоподобно, повторяться или фрагментироваться, а также напоминать обучающие записи. Для работы требуются Apple Silicon и macOS 14 или новее. Модель распространяется по лицензии MIT.

Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

OpenASR/whisper-large-v3 — это версия мультиязычной модели Whisper Large v3, разработанной OpenAI и адаптированной проектом OpenASR для нативного запуска в формате .oasr. Модель предназначена для автоматического распознавания речи и перевода речи на английский язык, включая сценарии локальной транскрипции аудиозаписей на CPU и GPU без использования Python во время инференса. Модель построена на стандартной encoder-decoder архитектуре Whisper и содержит 1,55 млрд параметров. Версия v3 обучена на более крупном и разнообразном размеченном корпусе и использует 128 mel-частотных каналов, что повышает устойчивость распознавания в разных языках и акустических условиях. Доступны сборки fp16, q8_0 и q4_k с различными требованиями к размеру файлов и оперативной памяти; q8_0 рекомендуется как вариант, близкий по качеству к fp16, но более компактный. Сильными сторонами модели являются высокая точность среди моделей семейства Whisper, поддержка множества языков, возможность speech-to-text и speech translation, а также оптимизация OpenASR для локального запуска и сниженного потребления памяти. Ограничения включают значительный размер полной модели и повышенные требования к ресурсам по сравнению с дистиллированными или меньшими вариантами; для q4_k в README не приведены показатели скорости и изменения качества. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели OpenAI; OpenASR выполняет преобразование формата и квантование весов.

Это конверсия модели OpenAI Whisper small в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для автоматического распознавания речи и используется через CTranslate2 или проекты на его основе, например faster-whisper. Репозиторий содержит веса FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на множестве языков, включая русский и английский. Лицензия — MIT.

Etherll разработала бинарный классификатор аудио на базе Whisper, дообученный от unsloth/whisper-small. Модель с 153,1 млн параметров определяет, содержит ли запись речи значимый фоновый шум окружающей среды: LABEL_0 означает clean, LABEL_1 — noisy. Для обучения использован специально собранный набор примерно из 55 тысяч аудиофрагментов. Модель предназначена для предварительной фильтрации аудиодатасетов, автоматической маркировки записей при контроле качества и отбора аудио перед передачей в систему распознавания речи. Она принимает аудио и возвращает метку класса. Лицензия — Apache-2.0. Классификатор считает чистыми не только качественные записи, но и записи с артефактами источника, такими как шипение, клиппинг или плохое качество микрофона. Он выявляет именно фоновый шум окружающей среды, например автомобили, музыку или другие голоса. Модель не подавляет шум и не очищает аудио.

TEMPO — дообученная аудиоязыковая модель на базе NVIDIA Audio Flamingo 3, разработанная авторами проекта TEMPO. Она предназначена для распознавания речи с временными метками, определения говорящих, привязки текстовых запросов к интервалам аудио, плотного описания звуковых событий и анализа музыки. Модель принимает аудио и формирует текст с временными метками; единственный тег задачи в запросе задаёт требуемое поведение. В основе — аудиокодировщик Whisper-large и Qwen2-7B, объединённые проектором; в этом чекпойнте применены два этапа SFT и временной проектор. Модель рассчитана на английский язык. Словарь меток времени ограничивает интервалы 60 секундами, поэтому более длинные записи нужно разбивать на фрагменты. Распознавание в многоголосых записях и оценка аккордов остаются неточными; метки говорящих согласованы внутри записи, но условны между разными записями. Лицензия указана как other; конкретные условия использования следует сверить с карточкой модели и лицензией проекта.

OpenASR/whisper-large-v3-turbo — модель автоматического распознавания речи, разработанная OpenAI и перепакованная проектом OpenASR для нативного выполнения в формате .oasr. Она предназначена для преобразования речи в текст на разных языках, а также для перевода речи на английский язык. Модель унаследовала мультиязычный интерфейс и архитектуру Whisper large-v3, но использует укороченный декодер: его глубина уменьшена с 32 до 4 слоёв. Модель ориентирована на локальное распознавание речи на CPU и GPU без использования Python во время инференса. Она сохраняет устойчивость Whisper к шумным и разнообразным аудиодоменам благодаря обучению на более чем пяти миллионах часов размеченного аудио. Доступны варианты fp16, q8_0 и q4_k размером примерно от 564 МБ до 1,62 ГБ; q8_0 рекомендован как компромисс между качеством и требованиями к памяти, а q4_k подходит для более ограниченных систем. Ключевое преимущество модели — существенно более высокая скорость генерации по сравнению с полной версией Whisper large-v3 при небольшом ухудшении качества. Ограничения включают возможную потерю качества из-за сокращения декодера и квантизации, особенно в компактной версии q4_k; точные языки и размер контекстного окна в карточке не указаны. Модель и пакеты распространяются по лицензии MIT, унаследованной от исходной модели OpenAI.

Это конверсия модели OpenAI Whisper Base в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для распознавания речи и может использоваться через CTranslate2 или проекты на его основе, например faster-whisper. Модель принимает аудио и выдаёт текст; поддерживает многоязычное распознавание, включая русский. Веса сохранены в FP16, а тип вычислений можно выбирать при загрузке через параметр compute_type. Репозиторий распространяется по лицензии MIT.

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, опубликованная aTrain-core. Она предназначена для распознавания речи и используется через CTranslate2 и совместимые проекты, в том числе faster-whisper. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Метаданные указывают поддержку множества языков, включая русский и английский. Для использования модели требуется совместимое программное обеспечение на основе CTranslate2. Лицензия репозитория — MIT.

Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, опубликованная jfmdai. Она предназначена для распознавания речи и может использоваться в CTranslate2, включая проекты на его основе, например faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель принимает аудио и выдаёт распознанный текст. По метаданным она поддерживает множество языков, в том числе русский, английский, китайский, немецкий, испанский, французский, японский и корейский. Лицензия репозитория — MIT. Карточка не приводит сведения о контексте или дополнительных ограничениях качества.

Это конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель принимает аудио и преобразует речь в текст; её можно использовать для транскрибации аудиозаписей и интеграции распознавания речи в приложения на faster-whisper. Веса сохранены в FP16; при загрузке можно выбрать другой compute_type. Репозиторий не описывает отдельное дообучение: это конверсия openai/whisper-medium. Модель распространяется по лицензии MIT. Карточка этой конверсии не приводит подробностей об ограничениях качества; поддерживаемые языки и возможности исходного Whisper medium здесь отдельно не описаны.

guillaumekln/faster-whisper-tiny — конверсия модели Whisper tiny от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи; исходная модель — openai/whisper-tiny. Веса сохранены в FP16. При загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий лицензирован по MIT.

Lite-Whisper large-v3 — сжатая версия мультиязычной модели распознавания речи Whisper, разработанная авторами LiteASR на основе openai/whisper-large-v3. Модель принимает аудио и преобразует речь в текст; её можно применять для транскрибации записей и других сценариев автоматического распознавания речи. В карточке указаны 905,2 млн параметров, архитектура LiteWhisperForConditionalGeneration и формат Safetensors. В сравнении на наборах ESB средняя частота ошибок слов (WER) составляет 10,2; для Whisper large-v3 в той же таблице указано 10,1. Модель распространяется по лицензии Apache-2.0.

Это конверсия модели distil-whisper/distil-large-v3 в формат CTranslate2, опубликованная Systran. Она предназначена для автоматического распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; тип вычислений можно выбрать при загрузке через параметр compute_type. Лицензия репозитория — MIT.

Systran/faster-whisper-tiny.en — конверсия модели OpenAI Whisper tiny.en в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи на английском языке и преобразования аудио в текст. Веса сохранены в FP16; при загрузке тип вычислений можно изменить параметром compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Карточка ссылается на исходную модель OpenAI для подробностей о её характеристиках.

Lite-Whisper large-v3-turbo — сжатая версия мультиязычной модели OpenAI Whisper, разработанная с использованием LiteASR. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. По метаданным, она основана на openai/whisper-large-v3-turbo, содержит 905,2 млн параметров и использует архитектуру LiteWhisperForConditionalGeneration; опубликована в формате safetensors и работает через Transformers. В карточке приведены результаты оценки на наборах ESB: варианты Lite-Whisper показывают средний WER 10,1–10,2. Метаданные указывают лицензию Apache-2.0. Поддерживаемые языки и длина контекста в предоставленных источниках не перечислены.

Qwen3-ForcedAligner-0.6B — модель выравнивания речи и текста из семейства Qwen3-ASR, разработанного командой Qwen. Она принимает аудио и соответствующий текст и предсказывает временные метки для слов или отдельных символов, что подходит для подготовки субтитров, синхронизации транскриптов и анализа речи. По README, модель поддерживает китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки; длина аудио — до пяти минут. В метаданных указаны архитектура Qwen3ASRForConditionalGeneration, 0,6 млрд параметров в названии модели, формат safetensors и задача automatic-speech-recognition. Лицензия — Apache 2.0. README не уточняет ограничения точности, кроме предельной длины аудио.

Компактная модель распознавания речи Whisper Tiny от OpenAI, преобразованная в формат CTranslate2 с точностью float16 и размещённая ctranslate2-4you. Она принимает аудио и преобразует речь в текст, например для транскрибации записей; для запуска в README указана библиотека whisper-s2t-reborn. Базовая модель — openai/whisper-tiny, многоязычная версия Whisper. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели indigoskyai/bark на Hugging Face совпадает с карточкой suno/bark, поэтому описание составлено по ней. Bark — трансформерная модель генерации аудио по тексту, разработанная Suno. Эта большая версия использует каскад из трёх трансформерных моделей: первая преобразует текст в семантические токены, вторая формирует грубые аудиотокены, а третья детализирует их с помощью кодеков EnCodec. В карточке описаны варианты компонентов на 80 млн и 300 млн параметров; размер именно этой версии в метаданных не приведён. Модель предназначена для синтеза многоязычной речи, а также может создавать музыку, фоновый шум, простые звуковые эффекты и невербальные вокализации — например, смех, вздохи и плач. Поддерживаются английский, немецкий, испанский, французский, хинди, итальянский, японский, корейский, польский, португальский, русский, турецкий и китайский языки. Авторы предоставляют контрольные точки для инференса и указывают исследовательское назначение; лицензия MIT. Выход не фильтруется, а клонирование голоса известных людей затруднено, но возможно злоупотребление моделью для имитации голоса.

Systran/faster-whisper-base — конверсия модели распознавания речи Whisper base от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель принимает аудио и выполняет распознавание речи; карточка указывает поддержку многих языков, в том числе русского, английского, китайского, немецкого, испанского, французского и японского. Веса сохранены в FP16; при загрузке тип вычислений можно изменить параметром compute_type в CTranslate2. Репозиторий предназначен для запуска модели в совместимом программном окружении. Лицензия — MIT.

Карточка модели luolixiehui/faster-whisper-large-v3 на Hugging Face совпадает с карточкой Systran/faster-whisper-large-v3, поэтому описание составлено по ней. Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

Kimi-Audio-7B-Instruct — открытая универсальная аудиомодель компании Moonshot AI для распознавания и понимания звука, генерации речи и аудиодиалога. Модель содержит 7,1 млрд параметров; её архитектура объединяет непрерывные акустические и дискретные семантические аудиотокены с ядром LLM и параллельными головами для генерации текста и аудиотокенов. Для генерации аудио предусмотрена потоковая обработка чанками с детокенизатором на основе flow matching. Модель предназначена для распознавания речи, ответов на вопросы по аудио, создания аудиоподписей, распознавания эмоций и классификации звуковых событий и сцен, а также для голосового общения с генерацией текста и речи. В карточке указаны английский и китайский языки. Контекст модели — 8192 токена. Модель предварительно обучена на более чем 13 млн часов разнообразных аудиоданных и текстовых данных. Лицензия — MIT.

Карточка модели servantofares/Ming-flash-omni-2.0 на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-2.0, поэтому описание составлено по ней. Ming-flash-omni 2.0 — мультимодальная модель от inclusionAI на архитектуре Ling-2.0 с Mixture-of-Experts: 100 млрд параметров всего, 6 млрд активных. Она принимает изображения, текст, видео и аудио, а выдаёт текст, изображения и аудио. Модель предназначена для мультимодального понимания и генерации, включая анализ визуальных сцен и знаний об объектах, потоковый диалог по видео, распознавание речи, синтез речи и музыки, а также создание и редактирование изображений. Среди заявленных возможностей — распознавание растений, животных, культурных объектов и достопримечательностей, управление характеристиками генерируемого аудио и клонирование голоса с нулевым примером. Для изображений заявлены генерация, сегментация и редактирование, в том числе удаление объектов и композиция сцен. Карточка описывает версии 2.0 как официальную открытую модель; лицензия репозитория — MIT. README не приводит подробностей о поддерживаемых языках, длине контекста, аппаратных требованиях или результатах независимой оценки; архитектура и заявленные способности не гарантируют качество на каждом сценарии. Метаданные указывают форматные варианты PyTorch, ONNX, Flax и TensorFlow.

Карточка модели andrewheins55/Ming-flash-omni-2.1 на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-2.0, поэтому описание составлено по ней. Ming-flash-omni 2.0 — мультимодальная модель от inclusionAI на архитектуре Ling-2.0 с Mixture-of-Experts: 100 млрд параметров всего, 6 млрд активных. Она принимает изображения, текст, видео и аудио, а выдаёт текст, изображения и аудио. Модель предназначена для мультимодального понимания и генерации, включая анализ визуальных сцен и знаний об объектах, потоковый диалог по видео, распознавание речи, синтез речи и музыки, а также создание и редактирование изображений. Среди заявленных возможностей — распознавание растений, животных, культурных объектов и достопримечательностей, управление характеристиками генерируемого аудио и клонирование голоса с нулевым примером. Для изображений заявлены генерация, сегментация и редактирование, в том числе удаление объектов и композиция сцен. Карточка описывает версии 2.0 как официальную открытую модель; лицензия репозитория — MIT. README не приводит подробностей о поддерживаемых языках, длине контекста, аппаратных требованиях или результатах независимой оценки; архитектура и заявленные способности не гарантируют качество на каждом сценарии. Метаданные указывают форматные варианты PyTorch, ONNX, Flax и TensorFlow.

Qwen3-ForcedAligner-0.6B-GGUF — это GGUF-конверсия модели Qwen3-ForcedAligner-0.6B, разработанной командой Qwen. Модель предназначена для forced alignment: она принимает аудиозапись и готовую расшифровку и в одном проходе предсказывает временные метки для слов или токенов. Это позволяет получать пословные тайминги и субтитры с временным разрешением 80 мс, в том числе при использовании различных бэкендов автоматического распознавания речи через CrispASR. Архитектура включает 24-слойный аудиоэнкодер с d_model 1024, 28-слойное тело Qwen3 с d_model 1024, 16 attention heads и 8 KV heads, а также специализированную 5000-классовую голову для предсказания временных интервалов. В отличие от ASR-моделей, она не генерирует текст авторегрессивно, а обрабатывает всю пару «аудио, текст» одним прямым проходом. Доступны варианты F16, Q8_0, Q5_0 и Q4_K размером примерно от 0,53 до 1,84 ГБ. Поддерживаются китайский, английский, кантонский, французский, немецкий, итальянский, японский, корейский, португальский, русский и испанский языки. Сильные стороны модели — однопроходное выравнивание, широкая языковая поддержка, совместимость с разными транскрипционными бэкендами и наличие компактных квантованных вариантов. Ограничение текущей C++-обёртки — использование разбиения текста по пробелам, что менее эффективно для китайского и японского языков; для них предпочтительнее upstream-реализация с языково-специфической токенизацией. Модель распространяется по лицензии Apache-2.0.