I.9Аудио и музыка
В разделе собраны самостоятельные задачи, где AI помогает анализировать, очищать, преобразовывать и создавать звук и музыку. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
4 835 моделейfacebook/mms-tts-kjb — модель синтеза речи на языке к’анхобаль (Q’anjob’al, код kjb), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка с ограниченными цифровыми ресурсами. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; он доступен для использования через библиотеку Transformers. Генерация зависит от стохастического предсказателя длительности: один и тот же текст может звучать по-разному, а для воспроизводимого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-kki — модель синтеза речи на языке кагулу (kki), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на кагулу. Модель использует архитектуру VITS: текстовый энкодер и вероятностный модуль длительности управляют генерацией речи, а декодер формирует аудиоволну. Для проекта MMS обучен отдельный чекпойнт для каждого языка; размер этой модели — 3,5 млн параметров. Она доступна через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторяемого результата нужно зафиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-kss — модель синтеза речи на языке киси, южный вариант (Kisi, Southern; код kss), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS: это сквозная система с текстовым энкодером на основе Transformer, потоковым модулем и декодером аудиосигнала. Для проекта MMS отдельный чекпойнт VITS обучен для каждого языка; размер этой модели — 3,5 млн параметров. Она доступна через библиотеку Transformers версии 4.33 и новее. Генерация зависит от стохастического предсказателя длительности, поэтому при одном и том же тексте результат может различаться; фиксированный seed позволяет воспроизвести ту же аудиоволну. Модель предназначена для языка киси, южный вариант, и её возможности для других языков не заявлены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mcb — модель синтеза речи на языке Matsigenka (mcb), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель основана на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер, формирующий аудио. Размер модели — 3,5 млн параметров; она доступна в Transformers начиная с версии 4.33. Модель предназначена для озвучивания текста на Matsigenka, например для синтеза речевых сообщений и аудиоверсий текстов. Из-за стохастического предиктора длительности генерация недетерминирована: для воспроизводимого результата нужно фиксировать seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
facebook/mms-tts-mco — модель синтеза речи для языка Mixe, Coatlán (код mco), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Для каждого языка MMS обучается отдельная модель VITS; архитектура VITS выполняет синтез речи сквозным образом и использует стохастический предиктор длительности, поэтому одинаковый текст может звучать с разным ритмом. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers с версии 4.33. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация недетерминирована: для воспроизводимого результата требуется фиксированное начальное значение генератора случайных чисел.
facebook/mms-tts-poh-dialect_eastern — модель синтеза речи на языке Poqomchi’ восточного диалекта из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на Poqomchi’ в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный чекпойнт, обученный для одного языка; модель доступна через библиотеку Transformers. Стохастический предсказатель длительности может создавать разные варианты ритма для одного текста, поэтому для повторяемого результата нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое. Модель рассчитана на Poqomchi’ восточного диалекта, поэтому её не следует считать универсальным или многоязычным синтезатором.
facebook/mms-tts-qvn — модель синтеза речи на языке кечуа, северный диалект Хунина (qvn), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель использует архитектуру VITS — сквозной генератор речи с вариационным автоэнкодером, поточным модулем и декодером в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы предусмотрена библиотека Transformers версии 4.33 и выше. Генерация стохастическая: один и тот же текст может звучать с разным ритмом, а для повторения результата нужен фиксированный seed. Модель специализирована на одном языке, поэтому её не следует считать многоязычной или универсальной. Лицензия CC BY-NC 4.0 требует указания авторства и запрещает коммерческое использование.
facebook/mms-tts-xua — модель синтеза речи из текста для языка курумба, алу (xua), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт проекта, реализованный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст и генерирует речевую аудиоволну; она доступна через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на курумба, алу. Стохастический предиктор длительности позволяет синтезировать варианты речи с разным ритмом, поэтому результат может меняться между запусками; фиксированное начальное значение генератора случайных чисел позволяет воспроизводить тот же результат. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
Модель jssaluja/nemotron35-punjabi-cer-train-113953-epochs-10-test-1408 — потоковая система автоматического распознавания речи на основе NVIDIA Nemotron 3.5 ASR Streaming 0.6B, дообученная для пенджабской речи, включая чтение и декламацию Gurbani. Она принимает аудио и выдаёт распознанный текст; режим распознавания обусловлен целевым языком pa-IN. Обучение использовало записи Sehaj Paath, киртана, аудиокниг, бесед и других материалов на пенджаби, а словарь токенизатора обучен на стихах Guru Granth Sahib. Модель предназначена для потоковой транскрипции пенджабских религиозных чтений и аудиозаписей. В README приведены метрики CER и WER, но их значения отсутствуют, поэтому качество по ним оценить нельзя. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства на некоммерческих условиях.
Qwen3-0.6B Polish Text Normalization — модель, разработанная Folx и дообученная на базе Qwen/Qwen3-0.6B методом LoRA. Это причинная языковая модель с примерно 600 млн параметров для нормализации польского текста перед синтезом речи: она преобразует числа, даты, время, адреса, валюты, единицы измерения и сокращения в произносимую форму, сохраняя остальной текст. Модель рассчитана на польские TTS-системы, голосовых помощников, IVR, аудиокниги, подкасты и средства чтения с экрана. В README приведены результаты на 1 709 отложенных примерах: точное совпадение — 85,7%, совпадение с нормализацией регистра и пунктуации — 87,7%, символьная точность — 92,6%. Для выдачи без цифр описано ограниченное декодирование. Модель распространяется по лицензии MIT. Модель предназначена только для польского языка и нормализации произношения, а не для исправления грамматики. Возможны ошибки в редких сокращениях и специальных терминах; записи адресов вида «1/34» иногда читаются неверно. Качество снижается на входах длиннее примерно 300 символов. README указывает, что для разумной задержки требуется GPU, а заявленная задержка около 46 мс измерена на RTX 5090 через vLLM.
UniSS — модель для сквозного перевода речи в речь, представленная как унифицированная одноэтапная система. Она предназначена для преобразования устной речи на одном языке в устную речь на другом без отдельной цепочки распознавания, машинного перевода и синтеза речи. В карточке заявлено сохранение тембра, эмоций и согласованности длительности исходной речи; поддерживаются английский и китайский языки. Модель основана на плотной архитектуре Qwen2 и имеет 1,6 млрд параметров, работает через Transformers и принимает контекст до 32 768 токенов. Веса объединяют Qwen/Qwen2.5-1.5B-Instruct, SparkAudio/Spark-TTS-0.5B и zai-org/glm-4-voice-tokenizer. Репозиторий содержит веса PyTorch в формате safetensors. Лицензия — CC BY 4.0. UniSS подходит для перевода устных высказываний и сохранения характеристик голоса при межъязыковой передаче речи. Доступные сведения не описывают показатели качества, поддерживаемые направления перевода, требования к аудиоформату или ограничения по длительности входа; заявленные характеристики сохранения голоса приведены в карточке модели и не сопровождаются здесь количественной оценкой.
Модель panlr/whisper-finetune-teochew — дообученная версия Whisper-medium для распознавания речи на чаошаньском диалекте (в том числе чаочжоуском). Она преобразует аудио в текст с принятой в обучающих данных орфографией диалекта и не переводит речь на путунхуа. Модель разработана на основе открытого набора teochew-wild; в карточке указаны архитектура Whisper, 455,8 млн параметров и формат safetensors. Для дообучения использовано около 18,9 часа аудио: 12 500 фрагментов речи 12 говорящих с несколькими региональными вариантами произношения. На тестовой выборке автор сообщает CER 12,254%, на валидационной — 12,865%; часть омонимов в эксперименте унифицировалась, что улучшило результат. Модель подходит для транскрибации чаошаньской речи, но точность может зависеть от диалекта и выбранного написания. Лицензия — CC BY 4.0.
DuplexJev-A · gender — модель adventists-ai для извлечения ответов на вопросы о речи в виде оценки вариантов, считываемой одним токеном. Это коннектор в формате Ultravox, который соединяет замороженный ASR-энкодер Qwen3-ASR-0.6B с замороженной языковой моделью Qwen3-32B. Обучаемая часть — блок слияния на основе cross-attention и проектор; всего 21,1 млн обучаемых параметров. Модель предназначена для классификации пола говорящего и других закрытых решений по аудио, например определения, закончилась ли реплика, выбора подходящего заполнителя паузы и ответа на вопросы с вариантами. В README приведены результаты для распознавания пола, эмоций и набора двуязычных речевых вопросов. Для запросов следует использовать язык аудиоклипа и формулировки вариантов, соответствующие обучающим примерам. Модель принимает речь и текстовые запросы, а выдаёт текстовый выбор из предложенных вариантов. В метаданных указаны китайский и английский языки. Лицензия — Apache-2.0. Для работы необходимы указанные в карточке энкодер и Qwen3-32B, а также пакет duplexjev версии 0.2.1 или новее.
Aratako/gemma-4-E4B-it-audio-encoder — аудиоэнкодер, извлечённый из Google Gemma 4 E4B Instruct. Это плотная модель класса Gemma4AudioEncoder, подготовленная для Transformers и распространяемая в формате safetensors. При включённой по умолчанию проекции она выдаёт векторы размерности 2560 в пространстве эмбеддингов языковой модели Gemma 4 E4B; без проекции — исходные аудиопредставления размерности 1536. Модель предназначена для извлечения признаков из аудио и передачи полученных представлений компонентам Gemma 4 E4B или другим совместимым системам. Для загрузки требуется Transformers версии 5.5.0 или новее. Лицензия — Apache 2.0. README не сообщает о поддерживаемых языках аудио и отдельных ограничениях качества или применения.
facebook/mms-tts-akb — модель синтеза речи на языке батак-ангкола (akb), разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для одного языка на архитектуре VITS: модель преобразует входной текст в речевую аудиоволну, используя стохастический предиктор длительности, поэтому одинаковый текст может звучать по-разному. Чекпойнт содержит 3,5 млн параметров и доступен для работы через библиотеку Transformers версии 4.33 и новее. Модель предназначена для озвучивания текста на батак-ангкола. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Для воспроизводимого результата нужно задавать фиксированное случайное зерно; в карточке не приведены сведения о качестве синтеза и поддержке других языков.
facebook/mms-tts-nuz — модель синтеза речи на науатльском языке варианта Тламакатсапа (код nuz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, Transformer-энкодера текста, flow-модуля и декодера в стиле HiFi-GAN. Веса доступны в форматах PyTorch и Safetensors; размер модели — около 3,5 млн параметров. Для языка обучен отдельный чекпойнт. Генерация стохастическая: для повторения того же результата нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка предлагает использовать её через Transformers версии 4.33 или новее.
facebook/mms-tts-pps — модель синтеза речи на языке пополока Сан-Луис-Темалакайука, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS для сквозного синтеза речи: текстовый энкодер и flow-модуль подготавливают акустическое представление, а декодер формирует аудиоволну. Размер модели — 3,5 млн параметров; она доступна в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Отдельные контрольные точки MMS-TTS обучены для разных языков. Из-за стохастического предсказателя длительности одинаковый текст может произноситься с разным ритмом, а для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерчески.
facebook/mms-tts-thl — модель синтеза речи на языке тхару, диалект дангаура (код thl), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания текстов и создания речевых интерфейсов на языке тхару. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Её размер — 3,6 млн параметров; модель доступна для Transformers версии 4.33 и новее в форматах PyTorch и Safetensors. Стохастический предиктор длительности позволяет получать варианты ритма речи, поэтому для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое. Модель предназначена для синтеза речи на тхару-дангаура; качество для других языков не заявлено.
facebook/mms-tts-zyb — модель синтеза речи на языке чжуан, диалект юнбэй, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для языка с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе транспонированных свёрток, подобным HiFi-GAN. Предсказатель длительности позволяет синтезировать текст с различным ритмом; из-за его стохастичности для повторяемого результата требуется фиксировать seed. Веса доступны в форматах PyTorch и Safetensors, размер модели — 3,5 млн параметров. Для использования доступна библиотека Transformers версии 4.33 и новее. Модель предназначена для генерации речи только на языке чжуан, диалект юнбэй. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
giangndm/omniASR-CTC-300M-encoder — отдельный аудиоэнкодер, извлечённый из facebook/omniASR-CTC-300M и представленный в формате SafeTensors с точностью bfloat16. Модель совместима с Wav2Vec2Model и AutoModel из Hugging Face Transformers и не требует Fairseq2. Энкодер предназначен для преобразования аудиосигнала в плотные акустические представления. Архитектура включает 24 слоя Transformer/Conformer с 16 головами внимания, размер скрытого состояния 1024 и FFN размером 4096; семислойный свёрточный экстрактор уменьшает временное разрешение аудио в 320 раз, выдавая представления с частотой 50 кадров в секунду. В метаданных указано 402,7 млн параметров. Репозиторий содержит только аудиоэнкодер, поэтому сам по себе он не выдаёт текст транскрипции и требует дополнительной CTC-головы или другого декодера для распознавания речи. Модель основана на facebook/omniASR-CTC-300M и обучена на датасете facebook/omniASR; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель vitouphy/wav2vec2-xls-r-300m-timit-phoneme разработана на основе facebook/wav2vec2-xls-r-300m и дообучена на корпусе DARPA TIMIT для распознавания речи. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует его в текст; в карточке Hugging Face задача указана как automatic-speech-recognition. В тестовом разбиении TIMIT автор сообщает результат 7,996%. Модель содержит около 402,7 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель подходит для экспериментов и распознавания речи на данных, близких к TIMIT. В README не уточняется, является ли текстовый результат обычной транскрипцией или фонетической последовательностью, поэтому это следует проверить перед использованием в конкретном конвейере. Лицензия — Apache-2.0.
Bodhan Indic Transcribe Core Marathi ASR Artifacts — экспериментальная дообученная модель распознавания речи на маратхи. Её разработали на основе bodhan-ai/indic-transcribe-core и обучали на ограниченной выборке из одного фрагмента Shrutilipi: 2 000 обучающих и 200 проверочных высказываний общей длительностью около 4,3 часа. Акустический энкодер был заморожен, обучалась часть декодера и выходного слоя. Репозиторий содержит экспорт модели NeMo, контрольные точки Lightning, журналы обучения и файлы оценки. Для восстановления переносимого артефакта .nemo требуется NeMo и регистрация официального пути токенизатора Bodhan. В приведённой оценке CER снизилась с 0,04109 до 0,03963, а WER изменилась с 0,15254 до 0,15316; авторы подчёркивают, что результаты ограниченного эксперимента не являются общей оценкой качества. Лицензия указана как other, конкретные условия использования в карточке не приведены.
MiniMax-H3 Acc LoRAs — ComfyUI conversion — это набор ускоряющих PDD-LoRA-модификаций для модели MiniMax-H3, предназначенный для генерации видео и аудио. Обучение и оригинальный выпуск выполнены alibaba-pai при участии авторов метода Parallel Decoding Distillation, базовая модель разработана MiniMaxAI, а данный репозиторий выполняет преобразование формата для ComfyUI. Набор предназначен для полной генерации аудио и видео в ComfyUI за 8 или 4 шага сэмплирования без CFG. Доступны варианты для архитектур FL2VA и Ref2VA. Каждый файл содержит LoRA ранга 64 для основной сети и банк PDD-голов: 32 проекции последнего слоя для каждого интервала и модальности. Также предлагается предварительно объединённый int8-конвёртированный чекпойнт Ref2VA размером 34 ГБ для систем с ограниченной видеопамятью; он снижает накладные расходы на повторное применение LoRA при каждом шаге. Модель требует специального набора узлов ComfyUI-MiniMax-H3-PDD-Acc и строго определённой схемы запуска с узлами SigmaShift, Apply, BasicGuider и сэмплером euler. Не следует объединять её с другими дистиллирующими LoRA или step-caching-узлами. Ограничения включают зависимость от совместимых базовых чекпойнтов, ComfyUI и пользовательских узлов; сведения о языках и размере контекстного окна не указаны. Распространение выполняется по лицензии Apache-2.0.
facebook/mms-tts-ixl-dialect_sanjuancotzal — модель синтеза речи на языке Ixil, диалект Сан-Хуан-Коцаль, из проекта Massively Multilingual Speech компании Facebook. Она преобразует текст на этом языке в речевой аудиосигнал; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером на основе Transformer, поточным модулем, стохастическим предиктором длительности и декодером, формирующим аудиоволну. Модель доступна для использования через Transformers версии 4.33 и новее. Чекпойнт предназначен для озвучивания текста на указанном диалекте Ixil. Из-за стохастического предиктора длительности синтез может различаться при одинаковом входном тексте; для воспроизводимого результата нужен фиксированный seed. Лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но не коммерческое.
facebook/mms-tts-lid — модель синтеза речи на языке ниндроу (Nyindrou), созданная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну; для каждого языка MMS обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это сквозная система синтеза речи с текстовым энкодером, вариационным автоэнкодером, нормализующими потоками, стохастическим предсказателем длительности и декодером на основе HiFi-GAN. Стохастический предсказатель позволяет варьировать ритм речи, поэтому для повторяемого результата требуется фиксированный seed. Модель доступна через Transformers версии 4.33 и новее. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Модель предназначена для синтеза речи на ниндроу; данных о поддержке других языков нет.
MOVA — открытая модель генерации видео и синхронного аудио, разработанная командой OpenMOSS. Она предназначена для создания видео по изображению и текстовому описанию с одновременным синтезом звука, включая синхронизацию речи с движением губ и звуковые эффекты, соответствующие сцене. В метаданных Hugging Face для этой модели указан основной сценарий image-to-video. Модель использует асимметричную архитектуру с двумя башнями для видео и аудио, объединёнными двунаправленным cross-attention, и схему Mixture-of-Experts: 32 млрд параметров всего, 18 млрд активны при инференсе. Авторы заявляют о поддержке многоязычной синхронизации губ и предоставляют веса, код инференса, обучающий конвейер и скрипты для дообучения LoRA. Лицензия — Apache-2.0. В карточке не приведены сведения о длине контекста и конкретном перечне поддерживаемых языков.
omniASR-W2V-300M — преобразованная в формат Hugging Face базовая самоконтролируемая аудиоэнкодерная модель Wav2Vec2, созданная автором репозитория на основе контрольной точки OmniLingual fairseq2 omniASR_W2V_300M. Модель содержит около 402,7 млн параметров; в README указаны 24 слоя энкодера и размер скрытого состояния 1024. Это энкодер без CTC-головы, предназначенный для извлечения признаков речи, анализа представлений и дообучения для последующих речевых задач. Модель принимает аудио и возвращает последовательности векторных представлений. Автор сообщает, что численные выходы преобразованной версии совпали с исходной контрольной точкой на проверочном аудиофрагменте с точностью atol=1e-4. Карточка не указывает языковой охват, контекст или лицензию; поэтому область применения и условия использования следует сверить с исходной моделью OmniLingual перед внедрением.
Qwen3-Omni-30B-A3B-Captioner-GGUF — это конвертация модели Qwen/Qwen3-Omni-30B-A3B-Captioner в формат GGUF, подготовленная пользователем или организацией presencesw для экспериментального распознавания и описания аудио в llama.cpp. Модель принимает один аудиовход и генерирует текстовое описание содержимого аудио. В комплект входят квантизированная модель Q4_K_M размером 17,7 GiB и мультимодальный проектор BF16 размером 2,1 GiB. Для работы требуется свежая сборка llama.cpp с поддержкой мультимодального аудио и запуск через llama-mtmd-cli. В README указано, что аудиоэнкодер успешно обработал тестовый файл из пяти фрагментов и сгенерировал подпись. В метаданных заявлен английский язык; сведения о поддерживаемых языках, размере контекста и точной архитектуре не приведены. Основное назначение модели — генерация текстовых подписей и описаний аудиозаписей. Поддержка аудио в llama.cpp обозначена как экспериментальная, поэтому совместимость и стабильность работы могут быть ограничены. Модель распространяется по лицензии Apache-2.0.
Noobbbbb/whisper-tiny-bn-custom-spm — модель распознавания речи на основе архитектуры Whisper, разработанная автором репозитория и дообученная на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; метаданные связывают модель с бенгальским языком. Модель загружается через библиотеку Transformers, веса опубликованы в формате safetensors, лицензия — Apache-2.0. В README приведены результаты оценки: loss 1,4220, WER 72,73 и CER 46,62. Высокие значения ошибок указывают на заметные ограничения распознавания, поэтому качество следует проверить на целевых аудиозаписях перед применением. Сведения о размере модели, контексте, обучающих данных и конкретных условиях записи не приведены.
Модель dima806/english_accents_classification предназначена для классификации аудиозаписи речи по распространённому акценту английского языка. Она дообучена на facebook/wav2vec2-base-960h и использует архитектуру wav2vec2 с классификационной головой; размер составляет 113,3 млн параметров. Модель принимает аудио и выдаёт метку класса акцента. Модель подходит для автоматической сортировки речевых образцов по акцентам и анализа английской речи. В карточке указана лицензия Apache-2.0. README не сообщает перечень классов акцентов и условия записи, поэтому точность для конкретных вариантов произношения оценить нельзя.