I.9Аудио и музыка

DiarizationLM-8b-Fisher-v2 — языковая модель для постобработки результатов диаризации বক্তоров, дообученная на обучающей части корпуса Fisher. Модель опубликована под идентификатором Google, однако в README отдельно указано, что это неофициальный продукт Google. Работа основана на исследовании DiarizationLM авторов Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia и Hank Liao. Модель принимает текстовую гипотезу распознавания с маркерами говорящих и генерирует исправленную версию с более согласованным распределением реплик между говорящими. Она предназначена для сценариев улучшения speaker diarization и связана с системами автоматического распознавания речи. Обучение проводилось на 51 063 парах «промпт–завершение» из вариантов данных hyp2ora и deg2ref корпуса Fisher; использовался LoRA-адаптер ранга 256, 28 800 шагов и около девяти эпох. В качестве базовой модели использована unsloth/llama-3-8b-bnb-4bit — Llama 3 с размером около 8 млрд параметров и 4-битным представлением. Общее число параметров обучения составило 671 088 640. Максимальная длина входного промпта — 6000 символов, максимальная длина последовательности — 4096 токенов. README не указывает полный набор поддерживаемых языков; обучение и приведённый пример относятся к англоязычным данным Fisher. На тестовой части Fisher модель снизила WDER с 5,32% до 3,28%, а cpWER — с 21,19% до 18,37% относительно базовой системы; на Callhome WDER снизился с 7,72% до 6,66%, а cpWER — с 24,39% до 23,57%. Ограничения включают зависимость от входной ASR-гипотезы, специализацию на диалоговых данных и необходимость GPU с CUDA для рекомендуемого запуска. Лицензия указана как llama3.

DuplexJev-B-Para-SenseVoice-Small-Qwen3-1.7B — компактная аудиотекстовая модель adventists-ai для коротких решений и анализа речевых признаков. Она объединяет замороженный аудиоэнкодер SenseVoice-Small с замороженной Qwen3-1.7B через обучаемый коннектор: последний слой энкодера проходит кадровое объединение и проекцию SwiGLU. Обучено 10,5 млн параметров коннектора; на вопросах с вариантами ответа модель выдаёт распределение вероятностей по вариантам за один проход без генерации токенов. Поддерживаются английский и китайский языки. Модель рассчитана на короткие задачи по аудиоклипам: ответы на простые вопросы о произнесённом, определение пола говорящего и распознавание эмоций. В карточке приведены результаты на небольших тестовых наборах и задержка 127 мс для одного события с десятью вопросами и клипом длительностью 4,5 секунды на H200. Модель обучена с дистилляцией транскриптов и смешанным обучением на речи и эмоциональных метках. Модель предназначена для работы только с указанными в README энкодером и LLM. Она слабо отвечает на вопросы, требующие общих знаний; проверена на прочитанной или разыгранной речи, но не на потоковом вводе. Эмоциональные метки основаны на актёрских корпусах, поэтому их не следует использовать для принятия решений о людях. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

DuplexJev-B-Whisper-small-Qwen3-4B-2507 — аудиоязыковая модель семейства Ultravox от adventists-ai для ответов на короткие вопросы по речи и принятия решений по аудиоклипам. Whisper-small кодирует аудио, а Qwen3-4B-Instruct-2507 обрабатывает его представление; обучаемый коннектор объединяет кадры энкодера и проецирует их в пространство языковой модели. Энкодер и языковая модель заморожены, обучено 30,4 млн параметров коннектора. Модель выдаёт распределение вероятностей по вариантам ответа без генерации токенов, что позволяет задавать несколько вопросов за один проход. Предназначена для коротких решений по аудио, вопросов и ответов по услышанному, а также определения речевых и голосовых признаков, например эмоций и характеристик говорящего. В README приведены результаты на небольших наборах spoken QA и тестах паралингвистики. Заявленные измерения задержки относятся к обработке одного клипа длительностью 4,5 секунды и не описывают потоковый режим. Модель поддерживает английский и китайский языки согласно карточке. Распространяется по лицензии Apache-2.0. Она рассчитана на короткие решения, а не на открытые вопросы, требующие обширных знаний; оценивалась на чтении и актёрской речи и небольших тестовых выборках. Распознавание эмоций проверялось на актёрских корпусах, поэтому README предостерегает от использования таких результатов для решений о людях. Коннектор совместим только с указанными Whisper-small и Qwen3-4B-Instruct-2507.

imprt/kushinada-hubert-base — предварительно обученная модель HuBERT Base для извлечения признаков из японской речи. Она обучена разработчиком imprt на 62 215 часах аудио японских телевизионных передач, отобранного с помощью определения речевой активности; обучение проводилось с использованием кода официального репозитория HuBERT. Модель предназначена для получения речевых представлений из аудио и может служить основой для последующих задач обработки японской речи. Для использования в README приведён пример с Transformers AutoFeatureExtractor и аудиофайлом с частотой дискретизации 16 кГц. Модель принимает аудио и выдаёт признаки; конкретные результаты для задач распознавания или транскрипции в карточке не заявлены. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Обучение на телевизионных передачах может влиять на переносимость признаков на другие акустические условия и типы речи; таких оценок в карточке нет.

Llama-Song-Stream-3B-Instruct — дообученная модель prithivMLmods на основе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для генерации музыкальных текстов: песенных строк и целых текстов песен по заданной теме, настроению или другим подсказкам. Модель может помогать авторам придумывать варианты строк и черновики, поддерживать рифму, размер и тематическую связность, а также создавать повествование в форме песни. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров. Она работает с текстом, использует библиотеку Transformers и имеет заявленную длину контекста 131 072 токена. В карточке указан английский язык; обучение на датасете песенных текстов и композиций описано разработчиком. Модель распространяется под лицензией Apache-2.0.

facebook/mms-tts-emp — модель синтеза речи на языке Emberá северного диалекта, созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текстов и создания речевых интерфейсов для языка, имеющего ограниченные цифровые ресурсы. Модель использует архитектуру VITS — сквозную генеративную систему, сочетающую вариационный автоэнкодер, нормализующие потоки, состязательное обучение и предиктор длительности. В репозитории указано 3,5 млн параметров; чекпойнт доступен в форматах PyTorch и Safetensors и поддерживается библиотекой Transformers начиная с версии 4.33. Предиктор длительности стохастический, поэтому для повторения идентичного результата требуется фиксированный seed. Модель рассчитана на синтез речи на Emberá северном и не заявлена как многоязычная. Карточка не приводит оценок качества или дополнительных настроек голоса. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-xte — модель синтеза речи на кетенгбанском языке (код xte), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания фраз на этом языке. Для разных языков проекта обучены отдельные чекпойнты. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиосигнал. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение. Предсказатель длительности работает стохастически, поэтому одинаковый текст может получать разный ритм и звучание; для повторяемого результата нужен фиксированный seed. Модель предназначена только для кетенгбанского и не заявлена как универсальная многоязычная система.

Phi-3-song-lyrics-1.1 — модель на базе Phi-3, предназначенная для написания текстов песен. Это чат-модель с архитектурой Phi3ForCausalLM и 3,7 млрд параметров; модель рассчитана на генерацию текста, в том числе песен со структурой из куплетов, припевов, бриджа и других частей. В примере карточки показан запрос на создание англоязычной романтической песни с названием и описанием музыкального стиля. Модель опубликована под лицензией MIT. README сообщает, что в репозиторий интегрирована LoRA от aifeifei799, поэтому модель классифицирована как дообучение; для работы также приводится вариант GGUF и инструкция по использованию в LM Studio. В метаданных указаны формат safetensors и контекст 4096 токенов. Генерация может быть длинной, и автор рекомендует редактировать результат. README отдельно возлагает на пользователя проверку сгенерированного текста, в том числе по вопросам авторских прав.

cge7/wav2vec2-base-version3 — дообученная на неизвестном наборе данных модель wav2vec 2.0 от автора репозитория cge7. Она предназначена для классификации аудио; архитектура — Wav2Vec2ForSequenceClassification, размер — 113,3 млн параметров. В оценке указаны loss 0,4587 и accuracy 0,8410. Модель принимает аудио и выдаёт метки классов. README не раскрывает набор данных, категории классификации и сценарии применения, поэтому результаты нельзя уверенно переносить на конкретные типы аудио. Модель распространяется в формате safetensors по лицензии Apache-2.0.

KBLab разработала wav2vec 2.0 large VoxRex-C — акустическую модель на архитектуре wav2vec2 с 402,7 млн параметров, предварительно обученную без учителя на 10 000 часах шведского местного радио и 1 500 часах аудиокниг и других речевых записей из коллекций KB. Модель обучалась 400 000 шагов и предназначена для работы с аудио на шведском языке. Её можно использовать для продолжения предварительного обучения на собственных неразмеченных аудиоданных или как извлекатель признаков при настройке downstream-задач, например для обучения собственного CTC-слоя или классификатора аудио. Веса представлены в формате PyTorch и доступны по лицензии CC0 1.0. В репозитории нет CTC-слоя, поэтому сама модель не преобразует речь в текст. README характеризует её как находящуюся в разработке; качество для конкретных задач может зависеть от последующего дообучения.

Muno459/zipformer_p-arabic-v2 — потоковая модель распознавания арабской речи, разработанная автором репозитория на базе Zipformer2 и стека icefall/k2. Она преобразует аудио в фонемные единицы, включая согласные и харакаты, чтобы фиксировать произношение, а не сразу выдавать арабскую орфографическую запись. Модель содержит 64,7 млн параметров и использует CTC; для входа нужны признаки Kaldi fbank с 80 полосами, извлечённые из аудио с частотой 16 кГц. Модель предназначена для повседневной арабской речи, включая литературный арабский и диалекты Египта, стран Залива, Леванта и Магриба, а также для чтения Корана с таджвидом. В README приведены результаты на наборах оценки для коранической рецитации и общей арабской речи; они не гарантируют такое же качество на других данных. Репозиторий содержит форматы ONNX и CoreML. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели. Выход модели — фонемы, а не готовый текст. Преобразование фонем в арабскую орфографию требует отдельного этапа; поиск ближайшего аята, использованный в некоторых приведённых оценках WER, ограничен кораническим словарём и не подходит для обычной речи. В README также отмечено снижение точности для некоторых эмфатических согласных у незнакомых чтецов. CoreML-сборки проверены конвертацией и точностью, но не запускались на оборудовании Apple.

Anime Whisper — авторская японская модель распознавания речи на базе kotoba-tech/kotoba-whisper-v2.0, дообученная Litagin на аудио и сценариях в стиле аниме и визуальных новелл. В метаданных указаны архитектура Whisper, около 905,2 млн параметров и библиотека Transformers. Модель принимает аудио и выдаёт японскую расшифровку; особенно хорошо подходит для эмоциональной актёрской речи, где сохраняет запинки, смех, крики, вздохи и другие невербальные звуки. По описанию автора, она также может распознавать речь в аудио для взрослых. Автор сообщает, что при сравнении на пяти визуальных новеллах модель показала качество примерно на уровне whisper-large-v3; опубликованная оценка ограничена этим набором. Расшифровка может зависеть от слов и имён из обучающих данных, а нормализация влияет на повторы гласных, знаки препинания и запись некоторых выражений. Не задавайте initial prompt: он может вызывать галлюцинации и резко ухудшать результат. Модель распространяется по лицензии MIT.

Это дообученный на японской речи чекпойнт HuBERT от TylorShine. Модель продолжительно обучалась 50 тысяч шагов на корпусах JVS, Tsukuyomi-Chan и Amitaro’s ITA, а также на собственных записях автора. Чекпойнт предназначен для извлечения признаков из японской речи и может служить основой для последующей настройки задач распознавания речи; в README для такой настройки упоминается замена класса Wav2Vec2ForCTC на HubertForCTC. Архитектура — HuBERT, размер — 18,9 млн параметров; опубликованы веса PyTorch. Метаданные указывают задачу feature-extraction и японский язык. Лицензия указана как other. README предупреждает, что при использовании чекпойнта необходимо соблюдать условия использования корпуса JVS, применимые и при использовании модели в других проектах.

DuplexJev-B-MOSS-Transcribe-Qwen3-4B-2507 — аудиотекстовая модель семейства Ultravox от adventists-ai для ответов на вопросы по речи и определения признаков говорящего. Она объединяет замороженный аудиоэнкодер MOSS-Transcribe-Diarize на архитектуре Whisper с замороженной Qwen3-4B-Instruct-2507; обучаемый коннектор с проектором SwiGLU содержит 38,8 млн параметров. Всего в базовых компонентах около 4 млрд параметров у языковой модели и 307 млн у аудиоэнкодера. Модель предназначена для коротких решений по аудиофрагментам: ответы на вопросы о сказанном, определение пола или эмоции говорящего. Для каждого вопроса она оценивает варианты ответа распределением по одному токену, что позволяет обрабатывать много вопросов за один проход без генерации текста. В README приведены результаты тестов на произнесённых вопросах и задержка на клипе длиной 4,5 секунды. Проверялась на прочитанной или разыгранной речи и небольших тестовых наборах; потоковый ввод не оценивался. Небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний, а метки эмоций основаны на разыгранной речи и не подходят для принятия решений о конкретных людях. Коннектор работает только с указанными аудиоэнкодером и языковой моделью. Лицензия — Apache-2.0.

DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-3B — аудиомодель adventists-ai для ответов на типизированные вопросы о речи. Замороженный аудиоэнкодер MOSS-Transcribe-Diarize на архитектуре Whisper передаёт признаки через обучаемый коннектор в замороженную Falcon-H1-3B-Instruct. Коннектор содержит 38,8 млн обучаемых параметров; для чтения вариантов ответа модель оценивает распределение по однотокенным вариантам без генерации текста. Архитектура Falcon-H1 сочетает внимание и Mamba. Модель предназначена для коротких решений по аудиоклипам: spoken QA, распознавания паралингвистических характеристик, таких как пол и эмоция, и вопросов о говорящих. В карточке указаны английский и китайский языки. Представленные оценки получены на небольших тестовых наборах; модель не предназначена для потоковой обработки, а небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний. Эмоциональные метки получены на корпусах с актёрской речью и не должны использоваться для принятия решений о людях. Коннектор работает только с указанными энкодером и LLM. Лицензия — CC BY-NC 4.0, допускает использование с ограничениями, включая запрет коммерческого применения.

DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B — компактный аудиоязыковой коннектор для коротких решений по речи и определения характеристик говорящего. Его разработала adventists-ai; модель объединяет замороженный энкодер Qwen3-ASR-0.6B и замороженную Qwen3-0.6B через обучаемый проектор SwiGLU с укладкой кадров. Обучаемая часть содержит 9,4 млн параметров. Для ответа на типизированные вопросы модель оценивает одним проходом вероятности вариантов, без генерации токенов; это позволяет обрабатывать несколько вопросов за один проход. Модель предназначена для коротких вопросов по аудиофрагменту, например о его содержании, поле голоса или эмоциях. В карточке приведены результаты на наборах spoken QA и показатели задержки для GPU и CPU. Проверка ограничена чтением или актёрской речью и небольшими тестовыми наборами; потоковый ввод не оценивался. Точность вопросов на общие знания ограничена возможностями компактной языковой модели, а эмоции размечены на актёрских корпусах. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и некоммерческим ограничением.

DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-1.7B — компактная аудиотекстовая модель семейства Ultravox от adventists-ai для коротких решений по речи и определения паралингвистических признаков. Замороженный аудиоэнкодер Qwen3-ASR-0.6B передаёт представления через обучаемый коннектор с укладкой кадров и проектором SwiGLU в замороженную языковую модель Qwen3-1.7B. Обучены только 11,5 млн параметров коннектора; модель выдаёт оценки вариантов ответа за один проход без генерации токенов, позволяя задавать несколько вопросов за проход. Модель предназначена для spoken QA, короткой классификации речевых характеристик, включая пол и эмоции, и решений по коротким аудиофрагментам. В README приведены результаты на наборах qa100 и ZJU-ML, а также замеры задержки на H200 и CPU. Поддерживаемые в метаданных языки — китайский и английский. Качество зависит от формулировки запроса и ограничено возможностями небольшой языковой модели; модель слабо отвечает на общие вопросы, а результаты оценки эмоций основаны на актёрской речи и не подходят для решений о конкретных людях. Проверка потокового аудио, квантизации и NPU не проводилась. Коннектор работает только с указанными энкодером и LLM. Лицензия — CC BY-NC 4.0, с ограничением на коммерческое использование.

DuplexJev-B-Para-Whisper-small-Falcon-H1-3B — аудиоязыковой коннектор для коротких решений по речи, созданный на основе Whisper-small и Falcon-H1-3B-Instruct. Он передаёт представления аудио из замороженного энкодера Whisper в замороженную LLM через обучаемый проектор SwiGLU; обучаемая часть содержит 30,4 млн параметров. Для каждого вопроса модель выдаёт распределение вероятностей по вариантам ответа за один шаг, без генерации текста, поэтому за один проход можно оценивать несколько вопросов. Модель предназначена для вопросов по устной речи и классификации паралингвистических признаков, включая пол говорящего и эмоции. В карточке указаны английский и китайский языки; обучение включает AISHELL-1, LibriSpeech, ESD и CREMA-D. По данным README, оценки на небольших наборах составили 49–50% для spoken QA и 85,0% в среднем для определения пола и эмоций. Модель использует архитектуру Ultravox и требует указанные в карточке Whisper-small и Falcon-H1-3B-Instruct; лицензия CC BY-NC 4.0 запрещает коммерческое использование. Для Falcon-H1 на CPU указана низкая производительность без специализированных Mamba-ядер.

OdyAsh/faster-whisper-base-ar-quran — это версия модели распознавания речи на основе Whisper Base, преобразованная в формат CTranslate2 для использования с faster-whisper и WhisperX. Она предназначена для транскрибирования чтения Корана на арабском языке и совместима с конвейерами WhisperX. Модель получена преобразованием tarteel-ai/whisper-base-ar-quran в CTranslate2 с точностью float16. По README, размер уменьшен примерно с 290 до 141 МБ; автор сообщает о небольшом влиянии на качество при проверке на примерах коранического аудио. Репозиторий указывает Apache-2.0. Возможны ошибки распознавания; для сценариев, где точность важнее размера, README предлагает использовать float32.

q1805 дообучила HuBERT Large для распознавания немецкой речи с выводом транскрипции в Международном фонетическом алфавите (IPA). Модель содержит 402,7 млн параметров, использует архитектуру HubertForCTC и принимает аудио; для работы применяется библиотека Transformers. В карточке указана лицензия CC BY-NC 4.0, которая не разрешает коммерческое использование. Модель предназначена для фонетической транскрипции немецкой речи в разных акустических условиях: от студийных записей и аудиокниг до спонтанной речи, дебатов и записей с телефонов. В README приведены результаты оценки на нескольких наборах данных; ошибки на фонемном уровне остаются заметными, поэтому транскрипции могут требовать проверки. Показатели задержки зависят от оборудования и условий запуска.

Ppaso-TTS — компактная модель синтеза корейской речи, разработанная для голосовых помощников и других приложений на периферийных устройствах. Она преобразует корейский текст в монофоническое аудио с частотой 22,05 кГц; поддерживает потоковую генерацию по мере поступления предложений и автоматическое разбиение длинного текста на фрагменты. В README описаны варианты запуска через RKNN на NPU устройств RK3576 и RK3588, а также через ONNX на CPU. Для версии RKNN указан размер 21 МБ; на RK3576 синтез тестовой реплики длительностью 5,94 секунды занимает около 305 мс на NPU и 477 мс на CPU с четырьмя потоками. Модель ориентирована на скорость и малый размер, а не на естественность звучания: доступен один женский голос с заметным роботизированным тембром. Модель рассчитана только на корейский язык; заимствования и английские слова могут звучать неестественно, редкие произношения могут обрабатываться хуже, а интонация между фрагментами длинного текста может быть непоследовательной. Для модели заявлена лицензия Apache-2.0. README запрещает использование для имитации конкретных людей, мошенничества и спама, а также самостоятельное применение в критических сценариях без проверки человеком.

Vāgdhenu — модель синтеза санскритского песнопения, разработанная автором модели на базе IndicF5. Она предназначена для озвучивания классических санскритских текстов в стиле pā­rāyaṇa — для декламации, учебных материалов и повышения доступности текстов. Модель односпикерная; для синтеза использует архитектуру F5-TTS с flow-matching DiT примерно на 337 млн параметров и вокодер BigVGAN-v2, дообученный на мел-спектрограммах F5. Санскрит подаётся в записи каннада, поскольку деванагари приводит к нежелательному выпадению гласных. Модель корректно произносит сложные сочетания согласных, включая ретрофлексные придыхательные, а в README для экспертной оценки указана MOS около 4,6. Просодия зависит от аудиопримера: произвольное задание просодии не поддерживается. Ведические svaras модель не синтезирует. Лицензия — Apache-2.0; голос принадлежит автору, поэтому разработчик просит использовать его ответственно и не выдавать синтез за речь другого человека.

Cnam-LMSSC разработала wav2vec2-spanish-phonemizer — модель распознавания речи на базе архитектуры Wav2Vec2ForCTC, дообученную на facebook/wav2vec2-base-es-voxpopuli-v2 для преобразования испанской речи в фонетическую транскрипцию. Модель содержит 113,3 млн параметров и обучалась на обучающей и валидационной выборках Multilingual Librispeech. На вход подаётся аудио с частотой дискретизации 16 кГц, на выходе — последовательность слов в IPA без знаков пунктуации. На испанской тестовой части Multilingual Librispeech указана оценка PER 2,94%. Модель распространяется по лицензии MIT; в README отмечено, что она работает без языковой модели.

Это экспериментальная модель распознавания речи на языке акан, разработанная Teckedd как продолжение дообучения Whisper Small Waxal Akan ASR. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре Whisper и содержит 153,1 млн параметров. Обучение продолжено на наборе WaxalNLP для распознавания речи на акан. В тесте на 1 522 примерах модель показала WER 32,77% и CER 12,47%, немного улучшив опубликованную базовую версию. Модель предназначена для исследований, оценки качества и прототипирования систем распознавания речи на акан. Лицензия — Apache-2.0. Это экспериментальный контрольный пункт, который авторы не позиционируют как готовое к промышленному или коммерческому применению решение.

DuplexJev-4B — архивированная аудиоязыковая модель от adventists-ai для извлечения решений и характеристик речи. Она принимает аудио вместе с текстовым вопросом и выбирает один вариант ответа: например, определяет, закончил ли говорящий реплику, кто говорит и какое настроение выражено. По README, модель объединяет замороженный аудиокодировщик Qwen3-ASR-0.6B, обученный коннектор на 12,6 млн параметров и замороженную языковую модель Qwen3-4B; всего около 4,2 млрд параметров, формат bf16. Архитектура позволяет получать распределение вероятностей по вариантам одним токеном и задавать несколько вопросов к одному аудиофрагменту. Модель рассчитана на короткую записанную или разыгранную речь и работает через vLLM с дополнительным плагином. В карточке приведены результаты на задачах выбора ответа, определения состояния хода диалога, пола говорящего и эмоции; модель уступает более крупной DuplexJev-32B в фактических вопросах по речи. Версия архивирована и заменена DuplexJev-4B-Para. Не проверялась на потоковом аудио; распознавание эмоций обучалось и оценивалось на эмоционально разыгранных корпусах, поэтому такие выводы не следует применять для принятия решений о людях. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое.

korean_kws2 — модель классификации аудио, разработанная на основе Kkonjeong/wav2vec2-base-korean и дообученная для распознавания аудиоклассов. Архитектура Wav2Vec2ForSequenceClassification содержит 113,3 млн параметров; веса опубликованы в формате safetensors и предназначены для использования с библиотекой Transformers. Карточка сообщает точность 1,0 и loss 0,2604 на оценочном наборе, но не описывает набор данных, классы или конкретный сценарий применения. Поэтому результаты нельзя переносить на другие данные без проверки. Лицензия в предоставленных сведениях не указана.

facebook/mms-tts-pao — модель синтеза речи на северном пайютском языке (pao), разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания коротких фраз и других текстов на этом языке. Модель построена на архитектуре VITS: текстовый энкодер, поточные слои и декодер формируют речь сквозным образом; стохастический предиктор длительности позволяет варьировать ритм произношения. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors, в том числе через Transformers версии 4.33 и новее. Генерация недетерминирована: для повторения того же результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Onyx-Kokoro-82M — производная модель синтеза речи на основе hexgrad/Kokoro-82M, подготовленная для приложения Onyx на iOS. Она предназначена для озвучивания ответов ассистента естественным нейросетевым голосом непосредственно на устройстве; движок OnyxTTS использует веса модели, а AVSpeechSynthesizer служит резервным вариантом. Модель основана на StyleTTS2 и поставляется в формате safetensors с разрядностью 4 бита для линейных слоёв текстового энкодера PL-BERT; путь вокодера оставлен в fp16. Вес модели занимает около 148 МБ, также доступны 54 голосовых пакета. README подтверждает синтез аудио с частотой 24 кГц и работу на Apple Silicon. Метаданные указывают английский язык; описания поддержки других языков голосовыми пакетами недостаточно, чтобы включить их в список языков. Модель предназначена для локального синтеза речи в OnyxTTS и требует совместимого движка MLX. Лицензия — Apache-2.0, как у базовой модели. Ограничение: применение описано для экосистемы Onyx на устройствах Apple, а другие среды запуска не подтверждены.

MIT/ast-finetuned-speech-commands-v2 — модель классификации аудио на базе Audio Spectrogram Transformer (AST), разработанного командой AST и дообученного на наборе Speech Commands v2. Архитектура переносит подход Vision Transformer на аудио: сигнал преобразуется в спектрограмму, которую обрабатывает трансформер. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель предназначена для отнесения аудиозаписей к классам Speech Commands v2, в частности для распознавания команд из этого набора. Она решает задачу классификации аудио, а не транскрибирования речи. Лицензия — BSD 3-Clause.

DuplexJev-B-MOSS-Transcribe-Falcon-H1-1.5B — аудиомодель на основе архитектуры Ultravox, разработанная adventists-ai для коротких решений и анализа признаков речи. Замороженный аудиоэнкодер MOSS-Transcribe-Diarize на архитектуре Whisper передаёт признаки через обучаемый connector-проектор замороженной языковой модели Falcon-H1-1.5B-Instruct. Обучались только 37,8 млн параметров connector; модель объединяет компоненты MOSS-Transcribe-Diarize и Falcon-H1-1.5B-Instruct. Модель принимает аудио и отвечает на типизированные вопросы выбором из предложенных вариантов: для каждого вопроса вычисляется распределение вероятностей вариантов без генерации токенов. Подходит для коротких решений по аудиоклипам, вопросов по устной речи и оценки голосовых признаков, включая пол и эмоции. В карточке указаны китайский и английский языки; результаты приведены для небольших наборов spoken QA и паралингвистических задач. Модель распространяется по лицензии Apache-2.0. Ограничения: оценивалась на прочитанной или разыгранной речи и небольших тестовых наборах, а не на потоковом аудио; небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний. Для работы необходимы указанные энкодер и LLM; без Mamba-ядер вычисления на CPU могут быть медленными. Оценки эмоций не следует использовать для принятия решений о людях.