I.9Аудио и музыка

LongCat-Flash-Omni — открытая мультимодальная модель, разработанная Meituan для понимания текста, изображений, видео и аудио, а также взаимодействия с аудио и видео в реальном времени и потоковой генерации речи. В карточке описана архитектура Mixture-of-Experts с 560 млрд параметров и 27 млрд активируемых параметров; метаданные репозитория указывают 17,7 млрд параметров. Модель принимает контекст до 128 тыс. токенов и рассчитана на диалоговые и многомодальные сценарии. Модель предназначена для анализа изображений и видео, распознавания речи, перевода речи в текст и аудиовизуального диалога. В README приведены результаты сравнительных оценок по мультимодальным, визуальным и аудиозадачам. Для запуска описаны адаптации SGLang; указаны требования Python 3.10+, PyTorch 2.8+ и CUDA 12.9+. Репозиторий распространяется по лицензии MIT. Авторы отмечают, что модель не была специально разработана и всесторонне проверена для всех прикладных сценариев.

Модель badrex/w2v-bert-2.0-kinyarwanda-asr разработана Бадром аль-Абси и предназначена для автоматического распознавания речи на киньяруанда. Это дообученная для ASR модель facebook/w2v-bert-2.0 с архитектурой Wav2Vec2-BERT и классификатором CTC; в метаданных указано 402,7 млн параметров. Она принимает аудио и выдаёт текстовую транскрипцию. Модель обучалась на примерно 1000 часах размеченной речи из датасета Kinyarwanda ASR Track B, охватывающего здравоохранение, государственное управление, финансы, образование и сельское хозяйство; для тестов внутри этих предметных областей автор сообщает WER ниже 8,4%.

VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

MOSS-Transcribe-Diarize 0.9B — мультимодальная модель для распознавания и структурированного анализа длинных аудио- и видеозаписей. Она совместно выполняет транскрибацию и диаризацию: выдаёт текст с временными метками и относительными анонимными метками говорящих, а также может отмечать акустические события. В README модель представлена как разработка MOSS; репозиторий использует архитектуру MossTranscribeDiarizeForConditionalGeneration и библиотеку Transformers с пользовательским кодом загрузки. Модель предназначена для встреч, звонков, подкастов, интервью, лекций и других записей с несколькими участниками. Поддерживает более 50 языков, обработку записей длительностью до 90 минут за один проход и подсказки с пользовательскими ключевыми словами для терминологии предметной области. В метаданных указаны английский и китайский языки; README также сообщает о результатах соревнования на 14 языках, включая русский. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Для загрузки требуется разрешить выполнение пользовательского кода Transformers через trust_remote_code=True.

Mungert/gemma-3n-E4B-it-GGUF — квантованный формат GGUF инструкционной мультимодальной модели Gemma 3n E4B, разработанной Google DeepMind и преобразованной с использованием llama.cpp. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и генерации текстовых ответов на основе текста, изображений, видео и аудио. Возможные сценарии включают ответы на вопросы, анализ визуального содержимого, суммирование документов, распознавание речи и автоматический перевод речи. Модель имеет 8 млрд фактических параметров, но благодаря выборочной активации параметров и выгрузке редко используемых матриц рассчитана на потребление памяти, сопоставимое с традиционной моделью на 4 млрд параметров. Она использует архитектуру MatFormer, поддерживает вложенную подмодель E2B и допускает создание моделей промежуточного размера. Контекст составляет до 32K токенов; изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768, аудио — с частотой 6,25 токена в секунду для одноканального сигнала. Максимальная длина вывода — до 32K токенов за вычетом входа. Модель обучалась на данных более чем 140 разговорных языков. К сильным сторонам относятся мультимодальность, компактное эффективное выполнение и поддержка сценариев на устройствах с ограниченными ресурсами. Ограничения связаны с использованием GGUF и необходимостью совместимого программного обеспечения для запуска; конкретные характеристики квантования в представленном README не указаны. Для использования требуется принять лицензию Google Gemma; лицензия обозначена как gemma, а авторами исходной модели являются Google DeepMind.