I.7Речь, диалоги и встречи

DiCoW v3.3 large — модель распознавания речи целевого говорящего, разработанная командой BUT Speech@FIT. Она транскрибирует речь выбранного участника в аудиозаписи с несколькими говорящими, используя результаты диаризации для настройки распознавания. Модель дообучена на базе Whisper large-v3 и содержит слои FDDT, которые преобразуют сигналы диаризации на уровне кадров; размер модели — 905,2 млн параметров. Модель рассчитана на аудио со смешанной речью, например записи встреч и разговоров. Вход включает 30-секундный аудиофрагмент и четырёхканальную STNO-маску; маску и диаризацию можно подготовить через демонстрационное приложение DiCoW inference. Модель обучалась на AMI, NOTSOFAR-1, LibriMix и синтетических смесях LibriSpeech. Карточка сообщает о снижении tcpWER примерно на 50% относительно DiCoW v1 на Libri3Mix. Качество распознавания зависит от точности диаризации. При полном перекрытии речи более чем двух говорящих модель может хуже отделять целевого участника. Репозиторий распространяется по лицензии CC BY 4.0.

freds0/distil-whisper-large-v3-ptbr — модель автоматического распознавания речи, созданная дообучением distil-whisper/distil-large-v3 для бразильского португальского языка. Она принимает аудио и генерирует текстовую транскрипцию; архитектура основана на WhisperForConditionalGeneration и содержит 905,2 млн параметров. Для работы можно использовать библиотеку Transformers. Модель обучена на Common Voice 16 и частном наборе данных, автоматически размеченном с помощью Whisper Large v3. В README указана частота ошибок слов (WER) 8,221% на валидационном наборе Common Voice 16. Модель распространяется по лицензии MIT.

EdgeIn-v3 — мультимодальная модель семейства EdgeInstant, опубликованная chenjz24. Она объединяет аудиоэнкодер Qwen3-ASR, обученный аудиопроектор, Qwen3.5 Thinker, компактный Talker с нативными токенами и декодер Qwen3-TTS для генерации звуковой волны. Модель принимает монофоническое аудио с частотой 16 кГц и текст; выдаёт текст и аудио с частотой 24 кГц. Поддерживаются китайский и английский языки, а аудио может быть длиннее 30 секунд. Модель предназначена для распознавания речи, аудиообусловленного диалога и потоковой генерации речи из текста. Для загрузки требуется Transformers 5.12.1 и включение пользовательского кода через trust_remote_code=True. Потоковая речь использует фиксированный встроенный голос и обрабатывает за один вызов одну беседу; для синтеза доступны китайский, английский и автоматический выбор языка. Веса и токенизаторы компонентов Qwen включены, лицензии Qwen и условия LICENSE.codec применяются к соответствующим компонентам.

EraX-WoW-Turbo-V1.0 — модель распознавания речи команды EraX, дообученная на базе OpenAI Whisper Large-v3 Turbo. Она преобразует аудио в текст и предназначена для быстрой транскрибации, создания субтитров, расшифровки встреч и работы голосовых приложений. Архитектура Whisper, размер — 905,2 млн параметров. В карточке заявлены обучение на примерно 300 тысячах примеров (около 1000 часов аудио) и поддержка вьетнамского, хинди, китайского, английского, русского, немецкого, украинского, японского, французского, нидерландского и корейского языков; также заявлена обработка аудио в реальном времени. Автор приводит предварительную оценку WER около 12%, но сообщает, что бенчмарки ещё завершаются. Модель может быть полезна для автоматической расшифровки речи, субтитров и голосовых интерфейсов. README отмечает возможные трудности с детской речью и тихим шёпотом. Указана лицензия MIT.

Карточка модели aTrain-core/faster-distil-whisper-large-v2 на Hugging Face совпадает с карточкой Systran/faster-distil-whisper-large-v2, поэтому описание составлено по ней. Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.

Карточка модели Purfview/faster-distil-whisper-large-v3.5 на Hugging Face совпадает с карточкой distil-whisper/distil-large-v3.5-ct2, поэтому описание составлено по ней. Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

Это конверсия модели OpenAI Whisper Base в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для распознавания речи и может использоваться через CTranslate2 или проекты на его основе, например faster-whisper. Модель принимает аудио и выдаёт текст; поддерживает многоязычное распознавание, включая русский. Веса сохранены в FP16, а тип вычислений можно выбирать при загрузке через параметр compute_type. Репозиторий распространяется по лицензии MIT.

Systran/faster-whisper-large-v1 — конверсия модели распознавания речи Whisper large-v1 от OpenAI в формат CTranslate2, подготовленная для использования в CTranslate2 и проектах на его основе, включая faster-whisper. Модель принимает аудио и выполняет автоматическое распознавание речи; Whisper поддерживает многоязычное распознавание и перевод речи в текст. Репозиторий создан 23 ноября 2023 года, веса сохранены в FP16, а тип вычислений можно менять при загрузке через параметр compute_type. Модель распространяется по лицензии MIT. Это конверсия исходных весов, поэтому её назначение и качество определяются исходной Whisper large-v1; точные ограничения в карточке конверсии не описаны.

Это конверсия модели распознавания речи Whisper large-v2, разработанной OpenAI, в формат CTranslate2. Репозиторий подготовлен для использования в CTranslate2 и проектах на его основе, включая faster-whisper; веса сохранены в FP16, а тип вычислений можно менять при загрузке через параметр compute_type. Модель принимает аудио и преобразует речь в текст. Она поддерживает многоязычное распознавание, в том числе русский и английский, а также другие языки, перечисленные в карточке. Лицензия репозитория — MIT. Ограничения качества и рекомендуемые сценарии в README этой конверсии не описаны.

Это конверсия модели распознавания речи Whisper large-v3 от OpenAI в формат CTranslate2, опубликованная Systran. Она предназначена для распознавания речи из аудио и используется в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно изменить через параметр compute_type. Модель поддерживает распознавание речи на многих языках, в том числе русском и английском. Репозиторий содержит конвертированные веса, а не исходную реализацию Whisper. Лицензия — MIT.

Это конверсия модели openai/whisper-large-v3-turbo в формат CTranslate2, опубликованная пользователем lukas-jkl. Она предназначена для распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на многих языках, включая русский и английский. Репозиторий распространяется по лицензии MIT.

Карточка модели jie123123123/faster-whisper-large-v3-turbo-ct2 на Hugging Face совпадает с карточкой deepdml/faster-whisper-large-v3-turbo-ct2, поэтому описание составлено по ней. Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, подготовленная для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт текстовую расшифровку. Веса сохранены в FP16; при загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Карточка указывает поддержку распознавания на множестве языков, в том числе русском и английском. Репозиторий распространяется по лицензии MIT.

Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

Systran/faster-whisper-tiny — конверсия модели openai/whisper-tiny в формат CTranslate2, подготовленная Systran для запуска через CTranslate2 и проекты на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи и представлена в виде весов FP16; при загрузке тип вычислений можно изменить параметром compute_type. Модель принимает аудио и преобразует речь в текст. Whisper поддерживает распознавание и транскрибирование многоязычной речи; метаданные перечисляют языки, включая английский, китайский, немецкий, русский, французский, японский, испанский и другие. Репозиторий содержит именно конвертированные веса и ссылается на карточку исходного Whisper tiny за подробностями о модели. Лицензия репозитория — MIT. Компактный вариант tiny подходит для сценариев, где важны скорость и умеренные вычислительные ресурсы; по сравнению с более крупными моделями качество распознавания может быть ниже, особенно на сложной или шумной речи.

Gemma 3n E4B IT — мультимодальная инструктивная модель Google из семейства Gemma, рассчитанная на эффективный запуск на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; доступна для использования через библиотеку Transformers. В модели около 8 млрд параметров, но выборочная активация параметров и перенос редко используемых матриц позволяют запускать её с затратами памяти, сопоставимыми с обычной моделью на 4 млрд параметров. Архитектура MatFormer включает вложенную подмодель E2B и поддерживает создание вариантов разных размеров методом Mix-and-Match. Модель подходит для диалога, генерации и суммаризации текста, описания визуальных материалов, транскрибирования речи и перевода аудио в текст. Обучающие данные охватывают более 140 устных языков, но в карточке не перечислены языки, поддерживаемые в конкретных задачах. Модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости обучающих данных; сложные задачи и неоднозначные инструкции могут снижать качество ответов. Лицензия — Gemma License.

por62/GigaAM-v3-e2e-rnnt-vllm — версия GigaAM-v3, подготовленная для запуска в контейнере vLLM. Это модель распознавания речи на основе Conformer с декодером RNN-T и сквозной обработкой аудио: она преобразует русскую речь в нормализованный текст с пунктуацией. В README указано, что семейство GigaAM-v3 разработано на основе предварительного обучения на русской речи с целью HuBERT-CTC; эта версия соответствует варианту e2e_rnnt. Метаданные репозитория указывают 151,2 млн параметров и формат safetensors. Модель предназначена для транскрибации русской речи в разных акустических условиях, включая разговоры в колл-центрах, фоновую музыку и естественную речь. README сообщает об улучшении среднего качества на новых доменах и приводит результаты сравнений, однако численные показатели могут зависеть от тестового набора и условий оценки. Метаданные также отмечают английский язык, но README описывает обучение и основные сценарии для русской речи. Лицензия — MIT.

cstr/gigaam-v3-GGUF — это набор конвертированных и квантизированных представлений модели GigaAM-v3, разработанной ai-sage. Модель предназначена для автоматического распознавания русской речи и транскрибации аудиозаписей, в частности для использования с backend gigaam в CrispASR. Репозиторий содержит только преобразование формата и численного представления весов без обучения, дообучения или изменения архитектуры и возможностей исходной модели. GigaAM-v3 — Conformer-модель примерно на 220 млн параметров, предварительно обученная на около 700 тыс. часов русской речи с целью HuBERT-CTC. Доступны варианты с головами RNN-T и CTC, а также SentencePiece-вокабуляром или посимвольным кириллическим вокабуляром. Варианты e2e поддерживают пунктуацию, регистр и inverse text normalization; посимвольные варианты выдают строчные буквы без пунктуации. Форматы f16, q8_0 и q4_k занимают примерно 449–154 МБ. Аудио должно быть монофоническим с частотой 16 кГц, а практическое окно обработки составляет около 25 секунд. Вариант e2e-rnnt-q8_0 рекомендуется как наиболее точный и сбалансированный: он показывает средний WER 8,4%, сохраняет результаты PyTorch-эталона и обеспечивает меньший размер по сравнению с f16. CTC быстрее декодируется, а q4_k экономит память, но может немного снижать точность регистра и пунктуации. Длинные записи требуют нарезки, обычно выполняемой средствами VAD и chunking в CLI; модель использует полное внимание с квадратичной сложностью по длине последовательности. Распространение выполняется по лицензии MIT, унаследованной от исходной модели.

Higgs Audio v3 8B STT — модель распознавания речи от Boson AI, дообученная методом LoRA на разнообразных наборах данных для ASR. Она принимает монофонический WAV-аудиосигнал с частотой 16 кГц и преобразует речь в текст. Архитектура объединяет замороженный энкодер Whisper-Large-v3 и декодер Qwen3-8B с объединёнными LoRA-весами; общий размер составляет 8,91 млрд параметров. Модель поддерживает режим Thinking для повышения точности. В README приведены результаты на бенчмарке ESB, включая WER 6,23% на AMI, 11,33% на Earnings22 и 9,34% на GigaSpeech. Обучение использовало выборки AMI, SPGISpeech, Earnings22, VoxPopuli, LibriSpeech и TED-LIUM. Метаданные указывают английский язык и лицензию Apache-2.0; опубликованный формат весов — safetensors.

Higgs Audio v3 STT — модель распознавания речи в текст, разработанная Boson AI. Она объединяет аудиоэнкодер Whisper-Large-v3 с декодером Qwen3-1.7B; общий размер составляет 2,68 млрд параметров. Модель принимает монофоническое аудио WAV с частотой 16 кГц и выдаёт транскрипцию. Для загрузки используется собственная архитектура через Transformers с включённым trust_remote_code; обработка аудио требует библиотеки boson_multimodal. Модель предназначена для транскрибирования речи, включая записи встреч, выступлений, подкастов и финансовых аудиозаписей. В README упомянут режим Thinking для повышения точности. В обновлённом чекпойнте данные дообучения включают англоязычные наборы AMI, VoxPopuli, SPGISpeech, LibriSpeech, TED-LIUM, GigaSpeech и Earnings22; карточка отмечает, что опубликованные ранее результаты оценки относятся к предыдущему чекпойнту и требуют повторной оценки. Модель распространяется по лицензии Apache-2.0.

Lite-Whisper large-v3-turbo-acc — сжатая версия мультиязычной модели распознавания речи OpenAI Whisper, разработанная авторами LiteASR. Модель предназначена для преобразования аудио в текст и доступна для запуска через библиотеку Hugging Face Transformers. В карточке приведено сравнение на наборах ESB: вариант acc показывает средний WER 10,1 при размере энкодера 429 млн параметров и декодера 907 млн; у Whisper large-v3 указаны тот же WER и энкодер 635 млн. По метаданным модель содержит 905,2 млн параметров и основана на openai/whisper-large-v3-turbo. Репозиторий распространяется в формате safetensors под лицензией Apache-2.0.

MERaLiON-3-10B — мультимодальная речевая языковая модель, разработанная I2R при A*STAR в Сингапуре для многоязычной среды Юго-Восточной Азии. Модель объединяет архитектуры Gemma 2 9B IT и Whisper large-v3 и дообучена на 150 000 часах аудио и речи для шести задач: распознавания речи, ответов на вопросы по аудио, суммаризации диалогов, описания аудио, вопросов об аудиосценах и контекстного анализа паралингвистических признаков. В репозитории 8,1 млрд параметров, веса сохранены в формате safetensors; модель рассчитана на монофоническое аудио 16 кГц длительностью до 300 секунд и текстовые запросы. Модель предназначена для мультиязычной транскрибации, анализа речи и звукового окружения, ответов на вопросы о содержании аудио, а также распознавания возрастных и гендерных характеристик говорящего. Поддерживаемые языки включают английский, китайский, малайский, тамильский, индонезийский, тайский и вьетнамский; основное внимание уделено английскому и китайскому в региональном контексте. Авторы сообщают о конкурентных результатах в собственных бенчмарках, однако эти оценки получены с использованием LLM-as-a-Judge и не гарантируют качество для каждого сценария. Лицензия — MERaLiON Public License; модель не предназначена для вызова инструментов, математики и программирования.

cstr/mimo-asr-GGUF — это конверсия модели MiMo-V2.5-ASR от Xiaomi MiMo Team в формате GGUF, подготовленная для работы с runtime CrispASR от CrispStrobe. Модель предназначена для автоматического распознавания речи и преобразует аудио в текст; поддерживает Mandarin, включая диалекты Wu, Cantonese, Hokkien и Sichuanese, английский язык и переключение между языками. Для работы требуется отдельная аудиотокенизаторная модель cstr/mimo-tokenizer-GGUF, преобразующая 16-кГц PCM-аудио в коды, которые потребляет языковая модель. Архитектура включает аудиотракт с 6-слойным input_local_transformer, 8-канальными RVQ-эмбеддингами и проекцией в пространство размерности 4096, а также 36-слойную Qwen2 с 7,5 млрд параметров, 4096-мерными скрытыми состояниями, 32 attention heads, 8 KV heads и максимальной длиной позиции 8192. Доступны варианты F16 размером 14,9 ГБ и Q4_K размером 4,2 ГБ; последний рекомендуется по умолчанию, помещается примерно в 8 ГБ RAM и использует объединённые Q/K/V-проекции для ускорения декодирования. Модель поддерживает полностью нативный C++-инференс без Python и Transformers, работает на CPU, CUDA и Apple Silicon с Metal, использует KV-кэширование и подходит для локальной транскрипции. На Apple M1 вариант Q4_K обрабатывает 11 секунд аудио примерно за 25–30 секунд, то есть около 0,4× реального времени; основным ограничением остаётся медленное пошаговое декодирование. Качество зависит от квантования, а для длительных записей могут потребоваться значительные объёмы памяти. Модель распространяется по лицензии MIT.

FriendliAI/MiniCPM-o-2_6 — мультимодальная модель MiniCPM-o 2.6, разработанная командой OpenBMB и размещённая FriendliAI. Это плотная end-to-end архитектура MiniCPMO на 7,1 млрд параметров с компонентами для зрения, речи и текста; модель поддерживает контекст до 32 768 токенов и работает через Transformers. Модель предназначена для диалога с изображениями, распознавания и описания аудио, синтеза речи, перевода речи, а также взаимодействия в реальном времени с потоками видео и аудио. Она поддерживает английский и китайский для двуязычного речевого диалога и заявляет мультиязычные возможности более чем для 30 языков. Среди особенностей — OCR, обработка изображений с разными пропорциями сторон, управление стилем и скоростью речи и клонирование голоса. Модель компактна для своего набора мультимодальных возможностей и рассчитана в том числе на запуск на конечных устройствах; для изображений высокого разрешения заявлена эффективная обработка по числу визуальных токенов. Для инференса доступны разные варианты, включая квантизированные сборки, однако этот репозиторий содержит safetensors. Лицензия — Apache-2.0.

Это конверсия модели распознавания речи Whisper large-v3-turbo от OpenAI в формат CTranslate2. Репозиторий Mobius Labs предназначен для использования с CTranslate2 и совместимыми проектами, включая faster-whisper; модель автоматически используется в форке faster-whisper от Mobius Labs. Модель принимает аудио и преобразует речь в текст. В метаданных перечислена поддержка многих языков, включая русский, английский, китайский, немецкий, испанский, французский и другие. Репозиторий распространяется по лицензии MIT. Это конверсия весов, а не отдельное дообучение.

MOSS-Audio-4B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Это вариант Instruct с аудиоэнкодером MOSS-Audio-Encoder и языковой основой Qwen3-4B; общий размер составляет около 4,6 млрд параметров. Аудио преобразуется в временные представления с частотой 12,5 Гц, которые объединяются с представлениями языковой модели для генерации текста. Модель принимает аудио и выполняет инструкции на его основе. Модель предназначена для распознавания речи с временными метками, ответов на вопросы и составления резюме по аудио, анализа говорящих, эмоций и звуковых событий, описания окружающей обстановки и понимания музыки. Архитектура с передачей признаков между слоями энкодера и временными маркерами поддерживает анализ акустических деталей и последовательности событий. В карточке семейства заявлена поддержка английского и китайского языков; результаты оценки относятся к семейству моделей и не гарантируют такое же качество именно для варианта 4B. Модель распространяется по лицензии Apache-2.0. Карточка описывает возможности семейства, но не приводит отдельные результаты оценки, требования к ресурсам или конкретные ограничения варианта 4B-Instruct.

MOSS-Audio-8B-Instruct — открытая модель для понимания аудио, разработанная MOSI.AI, командой OpenMOSS и Shanghai Innovation Institute. Она принимает аудио и по инструкции формирует текстовые ответы: распознаёт речь, описывает звуки и музыку, отвечает на вопросы о содержании записи и создаёт её краткое изложение. Поддерживает временные отметки на уровне слов и предложений, анализ говорящих, эмоций и акустических событий, а также рассуждения по аудиоконтексту. Архитектура объединяет аудиоэнкодер MOSS-Audio-Encoder, адаптер модальности и языковую модель Qwen3-8B; общий размер составляет около 8,6 млрд параметров. Эмбеддинги аудио формируются с частотой 12,5 Гц, а временные маркеры помогают отвечать на вопросы о том, когда происходили события. Карточка указывает поддержку английского и китайского языков. Модель распространяется под лицензией Apache-2.0. Модель предназначена для прямого выполнения инструкций по аудио и может применяться для анализа записей разговоров, подкастов, музыки и окружающей среды. README приводит результаты сравнительных оценок, но они не гарантируют качество на конкретных данных; опубликованная информация также не описывает ограничения по длительности аудио или качество для других языков.

MOSS-Transcribe-Diarize GGUF — квантизированная версия модели OpenMOSS-Team/MOSS-Transcribe-Diarize, подготовленная handy-computer для запуска через transcribe.cpp. Это офлайн-модель автоматического распознавания речи с диаризацией говорящих, предназначенная для обработки английской и китайской речи, расшифровки аудиозаписей, выделения сегментов и определения говорящих в каждом сегменте. Модель имеет общий размер около 0,9 млрд параметров и сочетает аудиоэнкодер Whisper Medium с 24 слоями и размерностью скрытого состояния 1024, temporal merge 4x, VQAdaptor и декодер Qwen3-0.6B с 28 слоями. Она работает с аудио и генерирует текст вместе с маркерами временных сегментов и идентификаторами говорящих; runtime преобразует их в структурированные результаты. Поддерживаются сегментные временные метки и опциональная диаризация. Сильными сторонами являются локальная работа без обращения к внешним сервисам, поддержка диаризации и несколько вариантов GGUF-квантизации. Для LibriSpeech test-clean заявленная WER составляет от 1,93% для Q8_0 до 2,59% для Q4_K_M; для сохранения качества рекомендуется Q5_K_M или более точная версия. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка. Для работы требуется transcribe.cpp; входные записи должны быть преобразованы в моно WAV с частотой 16 кГц. Модель распространяется по лицензии Apache-2.0.

Это конверсия модели NVIDIA Nemotron 3 Diarization в CoreML, подготовленная FluidAudio для локального запуска на устройствах Apple. Модель основана на потоковом Sortformer для диаризации до восьми говорящих: трансформер с RoPE из 31 слоя, около 100 млн параметров и разрешением выходных меток 10 мс. Она принимает аудио и выдаёт временные сегменты активности и говорящих. Модель предназначена для потоковой и офлайн-диаризации записей встреч и разговоров на macOS 14+ и iOS 17+, с исполнением на Neural Engine или GPU. Наборы пресетов позволяют выбирать баланс между задержкой, скоростью и точностью; в тестах AMI MHM вариант fast128 показал DER 9,36 и верно определил число говорящих во всех 16 встречах. Репозиторий содержит CoreML-модели и вспомогательные файлы для FluidAudio; библиотека поддерживает интеграцию на Swift. Ограничения зависят от конфигурации: короткие окна могут снижать точность определения числа говорящих, а некоторые пресеты имеют задержку в несколько секунд или десятки секунд. Метрики README получены на 16 встречах AMI по указанному протоколу и не гарантируют аналогичное качество на других данных. Лицензия — OpenMDW 1.1.

Nemotron-Labs-Audex-30B-A3B — унифицированная аудио-текстовая языковая модель NVIDIA на базе Nemotron-Cascade-2-30B-A3B. Это MoE-модель с 30 млрд параметров и 3 млрд активируемых параметров; для аудио она расширяет словарь дискретных аудиотокенов и включает аудиоэнкодер. Модель работает в режимах рассуждения и инструкций и предназначена для аудио- и речевых задач, а также для текстовых диалогов и рассуждений. Модель понимает аудио, распознаёт и переводит речь, генерирует речь из текста, создаёт аудио по текстовому описанию и поддерживает взаимодействие «речь — речь». По заявлению разработчика, она сохраняет возможности базовой модели в рассуждениях, знаниях, длинном контексте и работе с агентными сценариями. Доступны веса Safetensors; для запуска описана поддержка vLLM и Transformers, а для некоторых аудиосценариев нужны дополнительные зависимости и декодеры. Лицензия указана как other, поэтому условия использования следует уточнять в карточке репозитория. Длина контекста и конкретный перечень поддерживаемых языков в предоставленных данных не обозначены; метаданные указывают английский язык.

Это преобразованная в формат Hugging Face версия модели omniASR-CTC-300M-v2 на архитектуре Wav2Vec2, созданная из чекпойнта OmniLingual fairseq2. Модель предназначена для автоматического распознавания речи: она принимает аудио и выдаёт CTC-логиты по словарю SentencePiece, которые используются для получения текстовой расшифровки. В конфигурации указаны 24 слоя энкодера и размер скрытого представления 1024; в репозитории заявлено 413,2 млн параметров. Модель поддерживает распознавание речи на нескольких языках. Автор сообщает о совпадении выходов с исходным чекпойнтом fairseq2 на проверенном аудиофрагменте с точностью до atol=1e-4. Это конверсия чекпойнта, а не отдельное дообучение; файлы весов опубликованы в формате safetensors. Лицензия в предоставленных данных не указана.