I.9Аудио и музыка

Whisper Medium FLEURS Language Identification — модель классификации аудио, созданная дообучением OpenAI Whisper Medium на подмножестве FLEURS датасета google/xtreme_s. Она предназначена для определения языка по аудиозаписи речи. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и сохранена в форматах PyTorch и safetensors. На оценочном наборе модель достигла accuracy 0,8805 и loss 0,8413. Базовая Whisper Medium — мультиязычная модель для распознавания речи и перевода, однако эта версия дообучена для идентификации языка. Лицензия — Apache-2.0.

facebook/mms-lid-1024 — модель Meta, разработанная Vineel Pratap и соавторами в рамках проекта Massively Multilingual Speech (MMS). Это аудиоклассификатор на архитектуре Wav2Vec2 с примерно 1,3 млрд параметров, предназначенный для определения языка по речи: модель относит входной аудиосигнал к одному из 1024 поддерживаемых языков. Принимает аудио с частотой дискретизации 16 кГц и возвращает метку языка; среди поддерживаемых языков есть русский, английский, арабский и многие другие. Модель подходит для предварительной маршрутизации аудиозаписей по языкам, сортировки многоязычных речевых коллекций и выбора языка для последующей транскрибации. Это не модель распознавания речи и сама по себе она не создаёт текстовую расшифровку. Для использования необходимы совместимое аудиопредставление и обработка результата как классификационной метки. Лицензия CC-BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Multitalker Parakeet Streaming 0.6B v1 — потоковая модель NVIDIA для распознавания речи отдельных участников в многоголосой аудиозаписи. Она основана на Nemotron-Speech-Streaming и архитектуре Parakeet с энкодером Fast-Conformer, входящим в NeMo Encoder for Speech Tasks (NEST). Механизм speaker kernel injection использует сведения об активности речи каждого участника, поступающие от системы диаризации, чтобы направлять распознавание на конкретного говорящего; предварительная запись голоса или speaker embeddings не требуются. Для каждого участника запускается отдельный экземпляр модели, все экземпляры получают один и тот же монофонический аудиопоток с частотой 16 кГц и независимо формируют транскрипцию своего говорящего, в том числе при сильном перекрытии речи. Модель поддерживает потоковую обработку с настраиваемым компромиссом между задержкой и точностью; результат сохраняется в формате SegLST. Для работы требуются NVIDIA NeMo и сведения о речевой активности участников от системы диаризации. Модель доступна как предобученный чекпойнт для инференса и дообучения. Лицензия в метаданных указана как other; конкретные условия следует сверять с карточкой модели NVIDIA.

Methystorn выпустил дообученную версию OpenAI Whisper Large-v3 для автоматического распознавания речи на кхмерском языке. Модель принимает аудио и преобразует речь в текст; она рассчитана на сценарии, где важна нормализация числительных, денежных сумм и дат. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров. В репозитории представлены веса safetensors, лицензия — MIT. Разработчик указывает кхмерский язык (km-KH); сведений о длине контекста нет.

kinit/whisper-large-v3-turbo-sk — модель команды KInIT для автоматического распознавания словацкой речи. Это полно-параметрическая донастройка Whisper encoder-decoder на базе openai/whisper-large-v3-turbo; в метаданных указано 905,2 млн параметров. При обучении использовался курируемый корпус словацкой речи, а 75% обучающих пакетов дополнительно усиливались синтетическим фоновым шумом для повышения устойчивости к условиям реальных записей. Модель предназначена для транскрибации словацкой речи из записей в разных предметных областях и акустических условиях. На тестовом наборе Common Voice 24.0 указаны WER 9,29% и CER 2,55%; на внутреннем наборе KInIT — WER 5,60% и CER 2,65%. По README, версия v2 добавила шумовую аугментацию и улучшила результаты относительно v1. Модель ориентирована на словацкий язык: донастройка существенно ухудшает распознавание других языков. Надёжная длина одного сегмента — до 30 секунд; более длинное аудио следует обрабатывать с разбиением на фрагменты. Качество может снижаться на сильных акцентах, диалектах и речи из областей, недостаточно представленных в обучающих данных. Для критически важных расшифровок требуется проверка человеком. Лицензия — MIT.

HyperCLOVA X SEED 8B Omni — мультимодальная модель компании NAVER на основе плотного авторегрессионного Transformer с 8 млрд параметров. Она объединяет текстовые, визуальные и речевые представления в общем семантическом пространстве и поддерживает взаимодействие между модальностями в контексте до 32 тыс. токенов. Модель принимает текст, изображения, видео и аудио, а выдаёт текст, изображения и аудио; генерация видео не поддерживается. Модель предназначена для диалога и мультимодальных задач: ответов на вопросы по изображениям и видео, генерации и редактирования изображений, распознавания и перевода речи, синтеза речи, а также обычной генерации текста. В README она описана как корейско-ориентированный этап разработки универсальных мультимодальных моделей HyperCLOVA X. Для инференса NAVER предлагает OmniServe с API, совместимым с OpenAI; приведённая конфигурация запуска требует 4 GPU NVIDIA A100 по 80 ГБ. Лицензия указана как other, поэтому условия использования следует сверить с лицензией репозитория.

VibeVoice-ASR-7B — мультимодальная модель распознавания речи семейства VibeVoice, представленная в карточке bezzam; код и исходный проект связаны с Microsoft. Она принимает аудио и создаёт структурированную транскрипцию с текстом, временными отметками и указанием говорящих, объединяя распознавание речи, диаризацию и таймкодирование. Модель рассчитана на длинные записи до 60 минут за один проход, поддерживает более 50 языков и переключение языков в речи. Можно передавать контекстные подсказки и пользовательские ключевые слова для имён и специализированных терминов. Модель реализована как плотная архитектура VibeVoice ASR для Transformers и распространяется в формате safetensors; в README заявлена обработка аудио с контекстом до 64K токенов. Для запуска карточка указывает на использование отдельного форка Transformers, поскольку поддержка ещё не объединена с основной библиотекой. Лицензия — MIT. В README приведены результаты оценки на нескольких наборах данных, однако они не гарантируют аналогичное качество на других языках, типах записи и акустических условиях.

MiniCPM-o-2_6-GGUF — это GGUF-квантизованные версии мультимодальной модели MiniCPM-o-2_6, разработанной openbmb и подготовленной для распространения пользователем bartowski. Модель предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. По данным карточки, модель поддерживает работу с текстом, изображениями, несколькими изображениями, видео и аудио. Заявлены сценарии оптического распознавания символов, автоматического распознавания речи, синтеза речи, клонирования голоса, потокового режима и диалогов в реальном времени. Указана многоязычная поддержка, однако конкретный перечень языков, архитектура, количество параметров и размер контекста в карточке не приведены. Основное преимущество набора — широкий мультимодальный охват и возможность локального запуска в различных вариантах квантизации. Доступны форматы от F32 до Q2 и IQ-квантизаций с размером файлов примерно от 2,78 до 30,46 ГБ; варианты Q4–Q6 отмечены как рекомендуемые для баланса качества и требований к памяти. Более сильная квантизация уменьшает потребление памяти, но может снижать качество. Для работы требуется совместимый рантайм и аппаратные ресурсы, соответствующие выбранному файлу. Лицензия в README не указана; условия лицензии исходной модели следует проверять в репозитории openbmb/MiniCPM-o-2_6.

Afrispeech-Whisper-Medium-All — модель распознавания речи на базе Whisper Medium, дообученная Intron Health на датасете AfriSpeech-200 для лучшей работы с африканскими акцентами. Модель принимает аудио и преобразует речь в текст; пример в карточке описывает автоматическое определение языка вывода и транскрибирование на английском языке. Архитектура — WhisperForConditionalGeneration, плотная модель на 455,8 млн параметров. Для длинных записей README рекомендует сегментировать аудио на фрагменты по 30 секунд с помощью Transformers pipeline; поддерживаются временные метки на уровне последовательности. Модель опубликована в формате safetensors под лицензией Apache-2.0.

NVIDIA разработала FastConformer-Hybrid Large (en) для автоматического распознавания английской речи. Модель принимает монофоническое аудио WAV с частотой 16 кГц и возвращает расшифровку текстом; её можно использовать для транскрибирования записей или дообучить на другом наборе данных с помощью NeMo. Это модель семейства FastConformer примерно на 115 млн параметров. Гибридная архитектура обучена с функциями потерь Transducer и CTC, поэтому поддерживает оба режима декодирования. В обучении использован объединённый набор из нескольких тысяч часов английской речи, включая LibriSpeech, Fisher, Common Voice, VoxPopuli и другие корпуса. Текст вывода использует английские буквы, пробелы, точки, запятые и вопросительные знаки. Модель может хуже распознавать акцентированную речь, технические термины и разговорные варианты, недостаточно представленные в обучающих данных; набор пунктуации ограничен точкой, запятой и вопросительным знаком. Лицензия — CC BY 4.0.

Модель Sunbird — адаптация Whisper large-v3 для распознавания речи на языках, распространённых в Уганде, включая луганда, ачоли, лугбара, атесо, раньяколе, руторо, лумасаба, суахили, лусога, киньяруанда и английский с угандийским акцентом. Она дообучена на датасете SALT, а также на данных Common Voice, Google FLEURS и Makerere Yogera. Модель принимает аудио и выдаёт транскрипцию, автоматически определяя язык или используя язык, заданный явно. Для повышения устойчивости к бытовым условиям при обучении добавляли шум, имитировали телефонную речь понижением частоты до 8 кГц и использовали уличные записи из Уганды. Карточка приводит метрики WER и CER на тестовых выборках; качество заметно различается по языкам, в частности WER выше на майянском и лусога, чем на английском, суахили и киньяруанда. Базовый Whisper не поддерживает перечисленные в карточке языки, поэтому для них используется особый формат задания языка. Модель опубликована под лицензией MIT.

Higgs Audio v3 8B STT v2 — модель распознавания речи от Boson AI. Она сочетает замороженный аудиоэнкодер Whisper-Large-v3 с декодером Qwen3-8B, дообученным с помощью LoRA и затем объединённым с базовыми весами. Всего в модели 8,91 млрд параметров; она принимает монофонический WAV с частотой 16 кГц и формирует текстовую транскрипцию. Модель предназначена для преобразования речи в текст и оценки качества распознавания на разнообразных ASR-наборах. В README указана поддержка thinking mode для повышения точности; приведены результаты ESB Benchmark для AMI, Earnings22 и GigaSpeech. Метаданные указывают английский язык. Модель распространяется по лицензии Apache-2.0. Результаты в карточке ограничены указанными наборами и сами по себе не подтверждают качество для других языков или акустических условий.

NB-Whisper Large beta — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Она предназначена для транскрибации речи и перевода речи, с особым упором на норвежские записи; поддерживает норвежский букмол, нюнорск и английский. Модель содержит 905,2 млн параметров и доступна в форматах PyTorch, TensorFlow, JAX/Flax и SafeTensors. Модель обучалась на 20 000 часах размеченных данных, включая норвежскую базу NST, парламентские выступления, телесубтитры NRK и аудиокниги. Для норвежской транскрибации разработчики заявляют высокие результаты среди моделей сопоставимого размера. Это публичная бета: возможны галлюцинации и пропуски фрагментов, а транскрипт может нормализовать устную речь в грамматически правильный письменный текст или опускать части высказывания. Лицензия — Creative Commons Attribution 4.0 International (CC BY 4.0).

Higgs Audio v3 STT — модель распознавания речи в текст, разработанная Boson AI. Она объединяет аудиоэнкодер Whisper-Large-v3 с декодером Qwen3-1.7B; общий размер составляет 2,68 млрд параметров. Модель принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт транскрипцию. Для загрузки используется собственная архитектура через Transformers с включённым trust_remote_code; обработка аудио требует библиотеки boson_multimodal. Модель предназначена для транскрибирования речи, включая записи встреч, выступлений, подкастов и финансовых аудиозаписей. В README упомянут режим Thinking для повышения точности. В обновлённом чекпойнте данные дообучения включают англоязычные наборы AMI, VoxPopuli, SPGISpeech, LibriSpeech, TED-LIUM, GigaSpeech и Earnings22; карточка отмечает, что опубликованные ранее результаты оценки относятся к предыдущему чекпойнту и требуют повторной оценки. Модель распространяется по лицензии Apache-2.0.

Ultravox v0.6 Llama 3.1 8B — мультимодальная речевая языковая модель от Fixie.ai. Она сочетает языковую модель Llama 3.1 8B с речевым энкодером Whisper large-v3-turbo и принимает аудио вместе с текстовым контекстом, например системной инструкцией или текстовым запросом. Модель выдаёт текстовые ответы и предназначена для голосовых агентов, распознавания и анализа речи, а также перевода устной речи. В версии 0.6 расширены данные для хинди, что улучшило понимание хинди и могло немного снизить качество на других языках. Обучение также включало шумовые данные: модель может лучше справляться с шумом и выводить специальную отметку для слишком шумного аудио или неразборчивой речи. README приводит результаты оценки распознавания, перевода, аудиорассуждений и обнаружения шума. Генерация речевого аудио не поддерживается этой версией; предпочтительная настройка ответов не применялась. Лицензия — MIT.

unsloth/Qwen2.5-Omni-7B — мультимодальная модель на архитектуре Qwen2.5-Omni, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-Omni-7B. Она принимает текст, изображения, аудио и видео и может вести диалог, объединяя сигналы из разных модальностей; ответы выдаёт текстом и естественной речью, в том числе в потоковом режиме. Модель рассчитана на голосовой и видеодиалог в реальном времени, распознавание и понимание речи, аудио- и видеовопросы, анализ изображений, мультимодальные рассуждения, перевод и генерацию речи. В README использование описано через библиотеку Transformers. Указана архитектура Thinker-Talker и синхронизация аудио с видеовременными метками посредством TMRoPE; метаданные относят модель к семейству Qwen2.5-Omni и указывают плотную архитектуру. Карточка сообщает об английском языке; характеристики контекста и число параметров этой версии в предоставленных данных не приведены. Модель демонстрирует широкие мультимодальные возможности, однако приведённые в README оценки относятся к исходной линейке Qwen2.5-Omni и не гарантируют идентичные результаты этой производной версии. Репозиторий указывает лицензию «other», поэтому перед применением следует проверить условия лицензии в карточке модели.

Sunbird/asr-whisper-large-v2-salt — модель распознавания речи, разработанная на основе Whisper large-v2 и адаптированная для языков Уганды. Она дообучена на наборе SALT, Common Voice для луганда и FLEURS; при обучении добавляли шум и понижали частоту аудио до 8 кГц, чтобы приблизить данные к телефонным записям. Модель принимает аудио и выдаёт транскрипцию, пытаясь автоматически определить язык; для повышения точности распознавания язык можно указать явно. Модель предназначена для транскрибации речи на луганда, ачоли, лугбара, атесо, руньянколе и английском с угандийским акцентом. В карточке приведены метрики CER и WER для английского, лугандийского и ачоли; результаты для остальных языков в предоставленном фрагменте не раскрыты. Автоопределение языка может ошибаться, а базовый Whisper не поддерживает перечисленные языки. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

LongCat-Next — мультимодальная авторегрессионная модель, разработанная Meituan и построенная на базе MoE-модели LongCat-Flash-Lite. Она обучается предсказывать единый поток дискретных токенов для текста, изображений и аудио. В репозитории указано 3B параметров, а контекст составляет 131 072 токена. Модель предназначена для чата, понимания и генерации изображений, понимания речи, голосового общения с низкой задержкой и клонирования голоса. Также заявлена конкурентоспособность на мультимодальных задачах и качество генерации изображений при сильном сжатии представления. Поддерживаются интерфейс вызова инструментов и работа с Transformers; для запуска README рекомендует не менее трёх GPU с 80 ГБ видеопамяти каждый. Модель распространяется по лицензии MIT. Разработчики отмечают, что её не проектировали и всесторонне не оценивали для всех возможных прикладных сценариев.

Карточка модели Jinstudio/VibeVoice-ASR-HF на Hugging Face совпадает с карточкой microsoft/VibeVoice-ASR-HF, поэтому описание составлено по ней. VibeVoice-ASR — мультиязычная модель Microsoft для распознавания речи, доступная в версии, совместимой с Transformers. Она принимает аудио и формирует транскрипцию с текстом, временными метками и указанием говорящего; также можно передавать контекстные подсказки, например имена или специальные термины, чтобы помочь распознаванию.

VibeVoice-ASR — модель Microsoft для распознавания речи и формирования структурированных расшифровок. Она принимает аудио и в одном проходе обрабатывает записи длительностью до 60 минут, указывая распознанный текст, временные метки и говорящих. Модель также поддерживает пользовательские ключевые слова для имён, терминов и другой специальной лексики. Модель рассчитана на многоязычную речь: README заявляет поддержку более 50 языков, автоматическое определение языка и переключение между языками в ходе записи. По данным карточки, модель построена на плотной архитектуре семейства VibeVoice, использует Transformers и хранит веса в формате safetensors. Указанная лицензия — MIT. Модель подходит для расшифровки длинных записей, где важны привязка реплик ко времени и разделение по говорящим. README заявляет обработку до 60 минут в пределах контекста 64K токенов; фактическое качество распознавания может зависеть от языка, акустики и предметной лексики.

Xoron-Dev-MultiMoe — мультимодальная модель семейства Xoron, опубликованная командой Xoron-Dev и представленная в репозитории Backup-bdg. В метаданных указаны архитектура MoE, 256,5 млн параметров, библиотека Transformers и контекст до 131 072 токенов. README заявляет обработку текста, изображений, видео и аудио, а также генерацию изображений, видео и речи. Для изображений описаны SigLIP-2 и сжатие TiTok, для видео — VidTok с обработкой до 32 кадров, для аудио — обработка сырого PCM и голосовой синтез. Модель позиционируется для мультимодального диалога, понимания визуального и аудиовизуального содержимого, работы с речью, генерации медиа и агентных сценариев с использованием инструментов. Среди заявленных характеристик — разреженная смесь экспертов и контекстное окно 128K. README также заявляет клонирование голоса по короткому образцу, но не приводит независимых оценок качества; описанные возможности и показатели следует считать заявлениями автора. Лицензия репозитория — MIT. В метаданных основной задачей указана генерация текста, тогда как авторский pipeline-тег — any-to-any; для каталога основной задачей выбрана any-to-any, поскольку карточка описывает модель для мультимодального ввода и вывода.

MiniCPM-o 2.6 — мультимодальная модель команды OpenBMB для понимания изображений, аудио и видео, а также голосового общения и потоковых сценариев. По карточке она построена как сквозная система на основе SigLip-400M, Whisper-medium-300M, ChatTTS-200M и Qwen2.5-7B; в метаданных указано 7,1 млрд параметров, плотная архитектура MiniCPMO и контекст 32 768 токенов. Модель доступна через Transformers и распространяется по лицензии Apache-2.0. Модель принимает текстовые запросы, изображения, аудио и непрерывные аудио-видеопотоки. Она отвечает текстом и может вести голосовой диалог с настраиваемыми голосом, эмоцией, скоростью и стилем; также поддерживает клонирование голоса. README описывает распознавание речи, анализ говорящих, аудиоподписи, классификацию звуковых сцен, OCR, понимание нескольких изображений и видео, а также мультимодальное общение в реальном времени. Заявлена поддержка более 30 языков для мультимодальных задач и двуязычный речевой диалог на английском и китайском. Среди заявленных сильных сторон — обработка изображений с разными пропорциями сторон, высокая плотность визуальных токенов и возможность локального запуска на устройствах с ограниченными ресурсами в подходящих сборках. README указывает на совместимость с Transformers 4.44.2 и предупреждает о возможных проблемах совместимости с другими версиями; работа с потоковыми аудио-видео данными требует соответствующей реализации и оборудования. Заявленные результаты бенчмарков приведены авторами модели и зависят от условий оценки.

Audio Flamingo Next Think — модель понимания аудио и ответов на вопросы, разработанная NVIDIA. Это вариант семейства Audio Flamingo Next, настроенный на многошаговое рассуждение по длинным аудиозаписям: он объединяет сведения о событиях, говорящих и временных отметках и может обосновывать ответы фрагментами аудио. Модель рассчитана на речь, окружающие звуки и музыку, включая записи длительностью до 30 минут. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текст. Архитектура сочетает аудиоэнкодер AF-Whisper, обработку аудио фрагментами по 30 секунд, MLP-адаптер и текстовую основу семейства Qwen2.5 с механизмом временной привязки RoTE. В карточке указано окно контекста 131 072 токена для текстовой основы; контекст метаданных каталога указан как 1 200 токенов. Модель поддерживает задачи распознавания речи, перевода речи и вопросов по аудио; основное назначение этого варианта — сложные вопросы с временно привязанными объяснениями. Основной язык в карточке — английский, при этом обучение включает многоязычные данные для распознавания и перевода речи. Модель сильна в рассуждениях по длинным записям и связывании событий, разделённых во времени. Ответы могут включать длинные рассуждения перед итогом. По описанию авторов, качество рассуждения снижается, когда нужные свидетельства редки или сильно разнесены по времени; аудиоданные также неравномерны по языкам и областям. Лицензия обозначена как other; карточка ограничивает использование некоммерческими исследовательскими целями.

Indic-Transcribe-flex — мультиязычная модель распознавания речи, разработанная Spark UX и основанная на NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и Transformer-декодер и дообучена для транскрибации 27 индийских языков, включая варианты английского с индийским акцентом и диалекты хинди. Для входа принимает аудио; базовые требования — моно, 16 кГц, поддерживаются WAV, FLAC и MP3. Модель предназначена для преобразования речи в текст, в том числе в шумной обстановке и при смешении языков в одной речи. Доступны вывод в родной письменности, смешанный режим с латиницей для английских слов и чисел и полностью романизированный текст. Также модель умеет определять язык и транскрибировать аудио без заранее заданного языка. Вариант flex поддерживает нормализацию чисел и кода-свитчинг; потоковая транскрибация, согласно карточке, относится к варианту lite. Заявленные сценарии включают голосовые продукты для образования, сельского хозяйства и здравоохранения, а также транскрибацию звонков и индексирование речи. В карточке приведены результаты бенчмарка Voice of India, но они не гарантируют такую же точность на других данных. Лицензия в метаданных обозначена как other; README заявляет готовность модели к коммерческому использованию, поэтому перед развертыванием следует проверить условия лицензии репозитория.

Voxtral Mini 3B 2507 Transformers Edition — мультимодальная модель семейства Voxtral от Mistral AI, основанная на Ministral-3B и дополненная обработкой аудио. Она принимает аудио и текстовые инструкции, распознаёт речь, переводит её и отвечает на вопросы по аудиозаписям; также поддерживает суммаризацию и вызов функций по голосовым намерениям. Модель работает через Transformers, использует плотную архитектуру VoxtralForConditionalGeneration, а карточка указывает формат safetensors и контекст до 32 тысяч токенов. Модель поддерживает английский, испанский, французский, португальский, хинди, немецкий, нидерландский и итальянский языки; для транскрибации автоматически определяет язык аудио. Согласно карточке, может обрабатывать аудио длительностью до 30 минут при транскрибации и до 40 минут при анализе. Лицензия Apache-2.0. Заявленные сценарии включают транскрибацию, перевод, вопросы и ответы по аудио, составление сводок и запуск действий по устным командам.

DiCoW v3.2 — модель распознавания речи от команды BUT Speech@FIT Брненского технического университета, предназначенная для многособеседниковой автоматической транскрипции речи (MT-ASR) и распознавания речи целевого говорящего. Модель основана на Whisper large-v3-turbo и насчитывает около 905,2 млн параметров; в карточке указана архитектура DiCoW и формат весов safetensors. Для загрузки используется Transformers. В версии 3.2 применены преобразование FDDT с учётом диаризации, последовательное декодирование с резервным поиском, обнаружение и подавление галлюцинаций при инференсе, а декодер заморожен при дообучении для сохранения языковых возможностей. Обучение опиралось на NOTSOFAR-1, AMI Meeting Corpus и Libri2Mix; использовались шумовые аугментации, включая SpecAugment и смешивание с MUSAN. Модель рассчитана на многоязычную речь, однако конкретный перечень языков в предоставленных данных не приведён. Лицензия модели — CC BY 4.0; базовая модель имеет лицензию MIT, а обучающие данные — CC BY 4.0.

RedHatAI/Voxtral-Mini-3B-2507-FP8-dynamic — мультимодальная модель компании Mistral, созданная на базе Voxtral-Mini-3B-2507 и оптимизированная Red Hat в формате FP8. Она принимает аудио и текст, а генерирует текст; модель предназначена для автоматического распознавания речи, перевода речи, понимания аудио, ответов на вопросы по аудиозаписям и их суммаризации. Также заявлена поддержка вызова функций на основе голосовых намерений и сохранение возможностей текстового понимания базовой модели Ministral-3B. Модель имеет архитектуру VoxtralForConditionalGeneration, поддерживает контекст до 32 тысяч токенов и работает с аудио длительностью до 30 минут для транскрибации и до 40 минут для анализа. Она автоматически определяет язык речи и поддерживает английский, французский, испанский, португальский, хинди, немецкий, нидерландский и итальянский языки. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8: это примерно вдвое снижает требования к памяти и размер модели, а также может увеличить пропускную способность матричных умножений примерно в два раза. К сильным сторонам относятся сочетание распознавания речи и языкового анализа в одной модели, мультиязычность, обработка длинных аудиозаписей и возможность работы через vLLM. Ограничения включают зависимость качества от исходной Voxtral-модели и возможные потери точности из-за квантизации; конкретные показатели качества в README не приведены. Модель распространяется по лицензии Apache-2.0 и валидирована для RHOAI 2.25, RHAIIS 3.2.2 и vLLM 0.10.1.1.

Карточка модели Jinstudio/Voxtral-Small-24B-2507 на Hugging Face совпадает с карточкой Mistral: Voxtral Small 24B 2507, поэтому описание составлено по ней. Voxtral Small 1.0 (24B) 2507 — мультимодальная модель Mistral, дообученная на базе mistralai/Mistral-Small-24B-Base-2501 для работы с аудио и сохранения возможностей текстовой языковой модели. Она принимает аудио и текстовые инструкции и генерирует текст: распознаёт речь, переводит её, отвечает на вопросы по аудиозаписям и составляет их краткие структурированные сводки. Модель поддерживает автоматическое определение языка речи и восемь языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди. Контекст модели составляет 32 тыс. токенов; согласно карточке, она обрабатывает аудио до 30 минут при транскрибации и до 40 минут при анализе. Также заявлена экспериментальная поддержка вызова функций по голосовым инструкциям. Для запуска рекомендуются vLLM или Transformers; обработка на GPU требует около 55 ГБ видеопамяти в bf16 или fp16. Модель распространяется по лицензии Apache-2.0.

NVIDIA NeMo Canary-Qwen-2.5B — модель распознавания английской речи, разработанная NVIDIA. Она предназначена для преобразования аудио в текст с пунктуацией и заглавными буквами, а также для обработки уже полученной расшифровки: например, её можно суммировать или задавать по ней вопросы. В режиме распознавания модель принимает аудио и текстовую инструкцию; в текстовом режиме работает только с расшифровкой и не анализирует исходное аудио. Модель содержит 2,5 млрд параметров и построена как Speech-Augmented Language Model: аудиокодировщик FastConformer связан с декодером Transformer на основе Qwen3-1.7B. Для распознавания рассчитана на английский язык; в README указана скорость 418 RTFx. Обучающие аудиозаписи длились не более 40 секунд, а максимальная последовательность ограничена 1024 токенами, поэтому точность на более длинных входах может снижаться. Модель не сохраняет навыки рассуждения базовой LLM в режиме работы с аудио. Для использования требуется NVIDIA NeMo; лицензия — CC BY 4.0.

Voxtral Small 1.0 (24B) 2507 — мультимодальная модель Mistral, дообученная на базе mistralai/Mistral-Small-24B-Base-2501 для работы с аудио и сохранения возможностей текстовой языковой модели. Она принимает аудио и текстовые инструкции и генерирует текст: распознаёт речь, переводит её, отвечает на вопросы по аудиозаписям и составляет их краткие структурированные сводки. Модель поддерживает автоматическое определение языка речи и восемь языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди. Контекст модели составляет 32 тыс. токенов; согласно карточке, она обрабатывает аудио до 30 минут при транскрибации и до 40 минут при анализе. Также заявлена экспериментальная поддержка вызова функций по голосовым инструкциям. Для запуска рекомендуются vLLM или Transformers; обработка на GPU требует около 55 ГБ видеопамяти в bf16 или fp16. Модель распространяется по лицензии Apache-2.0.