I.7Речь, диалоги и встречи

Moonshine Tiny — компактная модель автоматического распознавания речи, разработанная Useful Sensors для транскрибации английской речи в текст. Она использует архитектуру encoder-decoder типа sequence-to-sequence и содержит 27 млн параметров; модель предназначена для приложений реального времени на устройствах с ограниченными вычислительными ресурсами и памятью. В метаданных указан контекст 194 токена. Модель принимает аудио и выдаёт текст. Она обучалась на аудиозаписях и транскрипциях, включая открытые наборы данных, и рассчитана прежде всего на англоязычное распознавание речи. Лицензия — MIT. К типичным сценариям относятся субтитры и доступность, транскрибация разговоров и голосовой ввод на маломощных устройствах. Возможны галлюцинации и повторение фрагментов, особенно на коротких записях или при обрезанных словах. Качество для конкретной области следует проверять отдельно; модель не предназначена для субъективной классификации людей или высокорисковых решений.

Nemotron-3.5-Lightning-Omni-30B-A3B-GGUF — мультимодальная версия NVIDIA Nemotron 3.5 Lightning, подготовленная engram-ae в формате GGUF для llama.cpp. Модель объединяет текстовую агентную основу NVIDIA Nemotron 3.5 Lightning 30B-A3B с 3B активных параметров, гибридной архитектурой Mamba-2, MoE и attention, а также контекстом до 1 млн токенов. Обучение для добавления модальностей не проводилось: использованы vision tower C-RADIO ViT-H и audio tower Parakeet FastConformer-XL из Nemotron-3-Nano-Omni, подключённые через единый мультимодальный проектор. Модель предназначена для работы с текстом, изображениями, аудио и видео, включая однопроходный анализ видео вместе с аудиодорожкой. Для видео применяются обработка кадров C-RADIO, временные патчи из двух кадров и прореживание токенов EVS. Доступны различные квантизации GGUF размером примерно от 18,7 до 35 ГБ; проектор занимает около 3 ГБ и используется со всеми вариантами. Поддерживаются сценарии локального запуска от Jetson до серверных систем и API-совместимый endpoint llama.cpp. Сильными сторонами являются широкий набор модальностей, большой контекст, агентная текстовая основа и возможность локального инференса. Видео для Nemotron требует специализированной ветки llama.cpp-omni; стандартная upstream-версия поддерживает текст, изображения и аудио, но не этот видеопуть. При совместном анализе видео и звука рекомендуется явно просить модель описать визуальную часть и транскрибировать речь, поскольку нейтральный запрос может привести к доминированию аудиоканала. Лицензия указана как openmdw-1.1.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

oddadmix/qwen3-asr-1.7b-arabic-dialectal-v2 — дообученная oddadmix модель распознавания речи на базе Qwen/Qwen3-ASR-1.7B-hf с архитектурой Qwen3-ASR и 1,7 млрд параметров. Она предназначена для транскрибации арабской речи с разных диалектов в текст; модель обучена на сбалансированном по диалектам наборе oddadmix/lahgtna-v3-small. В карточке приведены результаты на тестовой выборке примерно из 2600 аудиофрагментов: WER 0,478 и CER 0,182 при оценке нормализованного текста без диакритики. По опубликованным примерам и метрикам качество различается между диалектами: легче распознаются Gulf/Levantine, а магрибские диалекты сложнее. Модель принимает аудио и выдаёт текст, работает через Transformers; длина контекста не указана. Веса распространяются по лицензии Apache-2.0. Результаты карточки относятся к указанному тестовому набору, поэтому качество на других записях и условиях может отличаться.

TEMA Qwen2.5-Omni-7B Evidence GRPO — модель на базе архитектуры Qwen2.5-Omni с 7 млрд параметров, разработанная авторами проекта TEMA и дообученная для ответов на вопросы по нескольким аудиозаписям. Она ведёт многошаговый диалог, находит нужный фрагмент во временной последовательности аудио, обосновывает вывод свидетельствами и формулирует ответ. Для текстовых ответов в README предлагается отключить возврат аудио; основной сценарий модели — аудиовопросы с привязкой к временным фрагментам и подтверждающими свидетельствами. Обучение включает временную инициализацию, SFT для диалога и оптимизацию Evidence GRPO. В бенчмарке TEMA-Bench на 253 диалогах и 1 239 вопросах указаны результаты QA 69,81%, QA+T 58,76%, Span F1@0.5 58,65% и H@0.1 44,39%. Репозиторий содержит объединённые веса и адаптер для базовой модели bluesky7/TEMA-Qwen2.5-Omni-7B-SFT; используется библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Карточка описывает англоязычную версию; размер контекста не сообщается.

TEMPO-RL-Multitask — дообученная модель Kaousheik на базе NVIDIA Audio Flamingo 3 для временной привязки содержания аудио. Она объединяет распознавание речи с временными метками, диаризацию говорящих, поиск временных интервалов по текстовому запросу, плотное описание звуковых событий и анализ музыки. Модель принимает аудио и текстовую инструкцию с тегом задачи, а выдаёт текст с временными метками; единый декодер обслуживает все пять задач. Модель использует архитектуру Audio Flamingo 3: аудиокодировщик Whisper-large и Qwen2-7B, соединённые проектором. Для временной разметки применяются специальные токены времени с разрешением 0,1 секунды и временной мультимодальный проектор. По README, модель рассчитана на английский язык, а временной словарь ограничивает обрабатываемые интервалы 60 секундами, поэтому длинные записи нужно разбивать на фрагменты. WER для многоговорящей ASR остаётся высоким, музыкальные оценки приблизительны, а метки говорящих согласованы только внутри одного клипа. Лицензия указана как other; конкретные условия использования в предоставленных данных не раскрыты.

Модель davidilag/wav2vec2-xls-r-1b-scandinavian-251h-30-epochs-20250111_v9 — дообученная на неизвестном наборе данных версия facebook/wav2vec2-xls-r-1b для автоматического распознавания речи. Она принимает аудио и преобразует его в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 1,3 млрд параметров. В README приведены результаты оценки: WER 22,6884 и CER 5,8380. Модель предназначена для транскрибирования речи. Карточка не сообщает, на каких языках и наборах данных она обучалась, поэтому пригодность для конкретного скандинавского языка и качество в отдельных сценариях по имеющимся сведениям установить нельзя. Модель распространяется в формате safetensors по лицензии Apache-2.0.

AmirMohseni/whisper-large-v3-persian-ct2-int8 — версия Whisper large-v3, подготовленная Amir Mohseni для распознавания персидской речи. Модель принимает аудио и генерирует текстовую транскрипцию; карточка Hugging Face указывает задачу automatic-speech-recognition, язык Persian и базовые модели openai/whisper-large-v3 и AmirMohseni/whisper-large-v3-persian-bf16. Это вариант с INT8-квантованием, предназначенный для более экономичного по памяти вывода. Репозиторий относится к семейству Whisper encoder-decoder моделей OpenAI; для задачи распознавания особенно подходит персидский язык. Карточка не приводит размер модели или контекст, а также не описывает точность именно этой квантованной версии. Модель распространяется по лицензии Apache-2.0. Известное практическое ограничение: квантование может влиять на качество распознавания, но величина такого влияния для этой версии не указана.

apexAI Whisper Large-v3 Swiss German — модель распознавания речи, разработанная apexAI Research и дообученная на базе OpenAI Whisper Large-v3. Она преобразует речь на швейцарском немецком, преимущественно бернском диалекте, в текст на стандартном немецком, совмещая распознавание речи и перевод диалекта в письменную норму. Модель содержит 1,55 млрд параметров и сохраняет архитектуру Whisper Large-v3; она принимает аудио и выдаёт текст. В карточке указано обучение на 180 000 фрагментах из Swiss Parliament Corpus R и немецкой части VoxPopuli. Модель предназначена прежде всего для транскрибации формальной швейцарской речи: заседаний, интервью, диктовок, пресс-конференций и публичных выступлений. На тестовой выборке SPC-R из 15 096 фрагментов заявлены WER 13,31%, CER 6,66% и BLEU 81,28. Эти результаты относятся к материалам, похожим на тестовый корпус: независимой проверки на других корпусах и реальных сценариях эксплуатации не проводилось. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое лицензирование предлагается отдельно разработчиком.

Chillarmo/whisper-large-v3-turbo-armenian — модель распознавания армянской речи, разработанная Movses Movsesyan и дообученная на базе openai/whisper-large-v3-turbo на наборе Chillarmo/common_voice_20_armenian. Она преобразует аудио с армянской речью в текст и предназначена для транскрибации записей, создания субтитров, голосовых интерфейсов и анализа разговоров. Архитектура Whisper Large v3 Turbo использует Transformer-энкодер для обработки мел-спектрограмм и Transformer-декодер для генерации текста; размер модели — 905,2 млн параметров. Модель рассчитана на армянский язык и использует библиотеку Transformers. В README приведены результаты оценки на отложенной выборке того же датасета: WER 15,31%, CER 2,86% и точное совпадение для 42,73% высказываний. Качество может снижаться на шумных записях, при диалектных различиях и в областях, отличающихся от обучающих данных; для критически важных решений требуется проверка человеком. Модель требует больше вычислительных ресурсов, чем меньшие варианты Whisper. Лицензия — Apache 2.0.

royshilkrot/whisper-large-v3-turbo-korean-ggml — дообученная модель распознавания речи на основе OpenAI Whisper Large v3 Turbo, созданная для транскрибирования корейской речи. Обучение проводилось на двух корейских наборах данных общим объёмом около 102 тысяч предложений; в карточке сообщается, что последний чекпойнт достиг примерно 16 WER против примерно 24 WER ранее. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; карточка указывает корейский язык. Указанная лицензия — Apache 2.0. README называет модель GGML, однако метаданные репозитория указывают формат файлов safetensors.

Модель IonGrozea/whisper-medium_ro-80mel — дообученная Ion Grozea версия OpenAI Whisper Medium для распознавания румынской речи. Это плотная модель архитектуры WhisperForConditionalGeneration с 455,8 млн параметров; на вход принимает аудио, представленное 80-канальной мел-спектрограммой, и преобразует его в текст. Модель обучена на объединённом румынском корпусе объёмом около 445 часов, включавшем Echo, VoxPopuli и RODigits. В карточке указаны WER 0,0656 и CER 0,0228 на 25 348 валидационных примерах общей длительностью 52,75 часа; оценка выполнена с beam search ширины 5. Модель подходит для транскрибирования румынской речи, включая записи из новостных и цифровых речевых корпусов. Опубликованные веса представлены в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.

nikes64/whisper-small-uk — модель распознавания речи, полученная дообучением Whisper Small от OpenAI на наборе Mozilla Common Voice 16.1. Она преобразует украинскую речь в текст и рассчитана на транскрибирование аудио. Архитектура — WhisperForConditionalGeneration с 153,1 млн параметров; веса опубликованы в формате Safetensors. В карточке приведён результат оценки на тестовой выборке: WER 26,357 и loss 0,2744. Модель предназначена для транскрибирования записей и голосовых сообщений на украинском языке. Она распространяется по лицензии Apache-2.0. Карточка не уточняет параметры аудио и дополнительные ограничения; указанная ошибка распознавания означает, что в транскриптах возможны неточности.

Whisper-small-vaani-hindi — дообученная модель распознавания речи, созданная на основе Whisper Small компании OpenAI. По данным карточки, её обучали примерно на 718 часах размеченной речи на хинди из нескольких наборов данных, включая Vaani, Gramvaani, IndicVoices, Fleurs, IndicTTS и Common Voice. Модель содержит 153,1 млн параметров и принимает аудио, выдавая его текстовую расшифровку. Модель предназначена для транскрибирования речи на хинди. В README приведены результаты оценки по WER: 32,49 на Gramvaani, 19,08 на Fleurs и 11,33 на IndicTTS. Показатели зависят от набора данных и указывают на различия в качестве распознавания между тестовыми корпусами. Репозиторий распространяется по лицензии Apache-2.0.

Модель abilमानsplus/whisper-turbo-ksc2 — версия Whisper large-v3-turbo от OpenAI, дообученная разработчиком репозитория на казахском корпусе речи Kazakh Speech Corpus 2 объёмом около 1000 часов размеченного аудио из разных источников. Она предназначена для автоматического распознавания речи и преобразования казахской речи в текст. Модель построена на архитектуре WhisperForConditionalGeneration, содержит 905,2 млн параметров и распространяется в формате Safetensors для библиотеки Transformers. На тестовой части корпуса автор сообщает WER 9,16%. Для аудио длиннее 35 секунд README рекомендует разбивать запись на фрагменты по 30 секунд и объединять результаты транскрибации. Модель доступна по лицензии MIT. Указанный результат получен на конкретном тестовом разделе корпуса и не гарантирует такую же точность на других источниках, акцентах или условиях записи.

lidiya/bart-base-samsum — англоязычная модель суммаризации диалогов, созданная дообучением facebook/bart-base на наборе SAMSum. Она предназначена для преобразования переписки в краткое связное изложение и подходит, например, для резюме чатов и разговоров. Модель построена на архитектуре BART, содержит 95,2 млн параметров и принимает текст длиной до 1024 токенов; для запуска можно использовать pipeline summarization из Transformers. В карточке приведены оценки на тестировании: ROUGE-1 46,6619, ROUGE-2 23,3285 и ROUGE-L 39,4811. Модель доступна в форматах PyTorch и Safetensors по лицензии Apache-2.0.

Shre09/bart-cnn-samsum-finetuned — модель семейства BART, дообученная на основе facebook/bart-large-cnn. Она предназначена для генерации кратких пересказов текста; название указывает на настройку для диалоговых сводок, однако README не подтверждает состав обучающего набора или целевые сценарии. Модель содержит 252,8 млн параметров, принимает текст с контекстом до 1024 токенов и выдаёт текст. В метаданных указан формат safetensors и лицензия MIT. README сообщает значение loss 0,1421 на оценочном наборе, но не уточняет набор данных и методику оценки.

BigQwen2.5-Echo-47B-Instruct — разговорная языковая модель mlabonne, созданная с помощью MergeKit на основе Qwen/Qwen2-32B-Instruct. Это self-merge с распределённым повторением отдельных слоёв: число повторов постепенно меняется от краёв к середине и обратно. Модель имеет архитектуру Qwen2 и 46,6 млрд параметров, принимает текст и генерирует текст; поддерживает контекст до 32 768 токенов и интерфейс вызова инструментов. Метаданные указывают языки: китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Модель предназначена для диалогов и генерации текста; базовая Qwen2.5 также рассчитана на программирование, математику и структурированные ответы. В приведённой карточке результаты оценки ниже показателей Qwen2.5-32B-Instruct по среднему баллу, IFEval и BBH, поэтому показатели базовой модели не следует переносить на этот вариант. Доступны веса в формате Safetensors; лицензия — Apache-2.0.

Breeze ASR 25 — это модель распознавания речи MediaTek Research, дообученная на базе Whisper-large-v2. Она предназначена для транскрибации тайваньского мандаринского китайского языка, включая традиционное письмо, а также речи с переключением между китайским и английским языками внутри фраз и между фразами. Улучшенное выравнивание временных меток подходит для автоматического создания субтитров. Модель имеет архитектуру Whisper и содержит около 905,2 млн параметров. В описании приведены результаты на коротких и длинных аудиозаписях: на нескольких тестах Breeze ASR 25 показывает более низкую частоту ошибок слов, чем сравниваемые версии Whisper и COOL-Whisper. Данные обучения включают синтетическую китайскую речь, английскую речь Common Voice и примеры переключения языков. Модель принимает аудио и выдаёт текстовую транскрипцию. Карточка указывает лицензию Apache-2.0. Оптимизация ориентирована на тайваньский мандаринский и китайско-английскую речь; качество для других языков и условий записи в карточке не охарактеризовано.

Модель Discrete Diffusion Speech Translation разработана aiai-laboratory для распознавания вьетнамской речи и перевода речи на английский, китайский и корейский языки. Она предназначена для сценариев, где из аудиозаписи нужно получить распознанный текст или перевод. Архитектура объединяет аудиоэнкодер Moonshine с текстовой моделью XLM-RoBERTa и использует дискретную диффузию. В метаданных указано окно контекста 514 токенов и формат весов safetensors. Лицензия в предоставленных данных не указана.

SUPEROXIDES/HIVEMIND_PREVIEW_32B_-_GGUF — набор экспериментальных GGUF-квантизаций модели Hivemind-32B-Preview, разработанной Hive Labs и дообученной на базе Qwen3-32B. Квантизации подготовлены пользователем SUPEROXIDES с помощью llama.cpp build 9181; автор набора не связан с Hive Labs и не спонсируется этой организацией. Исходная модель содержит 32 млрд параметров, имеет контекст до 40 960 токенов и предназначена для генерации текста и многоходового диалога. Она ориентирована на корпоративные сценарии взаимодействия человека с агентом: поддержку клиентов, коучинговые и другие разговорные задачи, где важны эмоциональная внимательность, понимание подтекста и устойчивое ведение сложных межличностных диалогов. В метаданных указан английский язык. Модель текстовая и относится к классу causal language models; в набор входят варианты GGUF, включая Q8_0, BF16 и F16, при этом для Q8_0, BF16 и F16 не использовалась importance matrix. Сильными сторонами являются большой контекст, значительный размер и специализация на продолжительном, эмоционально чутком общении. Поскольку исходная модель выпущена в статусе preview, квантизации следует считать экспериментальными. Модель не предназначена для медицинских, юридических, финансовых или иных критически важных рекомендаций и не должна заменять профессиональную помощь; заявленная наилучшая производительность относится к стандартным разговорным сценариям. Для набора квантизаций указана лицензия Apache-2.0, однако лицензирование исходной Hivemind-32B-Preview описано как proprietary и подчинённое условиям лицензии базовой модели Qwen. Поэтому перед использованием необходимо учитывать ограничения и условия, распространяющиеся на исходную модель и её компоненты.

RedHatAI/Inkling-FP8-dynamic — мультимодальная модель, разработанная RedHatAI на основе thinkingmachines/Inkling. Она предназначена для генерации текста по текстовым, графическим и аудиовходам, включая диалоговые сценарии, анализ изображений и аудио, а также универсальные задачи рассуждения и обработки мультимодального контента. Модель использует архитектуру InklingForConditionalGeneration и Mixture-of-Experts с 975 млрд общих параметров, из которых 41 млрд активируются для отдельного запроса. Веса и активации языкового блока квантизированы в FP8: веса используют статическое поканальное масштабирование, а активации — динамическое масштабирование на уровне токенов. Энкодеры изображений и аудио, эмбеддинги, нормализация, смещения, маршрутизация MoE и отдельные слои сохранены в исходной точности. Квантизация примерно вдвое уменьшает размер модели на диске и требования к памяти по сравнению с 16-битным представлением. В конфигурации развертывания заявлена поддержка контекста до 131 072 токенов и до четырёх изображений и одного аудиофайла на запрос. К сильным сторонам относятся поддержка нескольких модальностей, высокая общая ёмкость MoE-модели, снижение требований к GPU-памяти благодаря FP8 и готовность к инференсу через vLLM. Ограничения включают значительный абсолютный размер модели, необходимость совместимой версии vLLM с поддержкой FP8 для Inkling и отсутствие в README сведений о языках, результатах бенчмарков и качестве после квантизации. Модель распространяется по лицензии Apache-2.0.

MiMo-V2.5-ASR-8B-NOESIS-BF16 — версия модели распознавания речи Xiaomi MiMo-V2.5-ASR-8B, подготовленная AMAImedia для платформы автоматизации дубляжа NOESIS. Это плотная причинная языковая модель на архитектуре MiMoV2ASRForCausalLM, производной от Qwen2; в аудиотракте используются аудиотокены с параметрами n_rvq=20 и group_size=4. Веса преобразованы из FP32 в BF16 для уменьшения занимаемого места и совместимости с инструментами PEFT; дообучение модели не заявлено. По данным карточки, модель предназначена для распознавания и транскрибации речи на китайском путунхуа, английском и кантонском языках. Контекст составляет 8192 токена. Модель подходит для многоязычной транскрибации и как компонент конвейера кинодубляжа; BF16-сборка также рассчитана на запуск на оборудовании с нативной поддержкой BF16 и на использование в качестве основы для адаптерного дообучения или учителя при дистилляции. Карточка не приводит оценок точности или подробных условий работы с разными акустическими условиями. Лицензия — MIT.

Moonshine Streaming — модель распознавания речи, разработанная Useful Sensors для низколатентной потоковой транскрипции английской речи на периферийных устройствах с ограниченными ресурсами. Это seq2seq-модель с аудиофронтендом 50 Гц, скользящим Transformer-энкодером с локальным вниманием и авторегрессионным Transformer-декодером. В репозитории указано 112,7 млн параметров; модель распространяется в формате Safetensors и работает через Transformers и Moonshine Voice. Модель предназначена для живых субтитров, голосовых команд и транскрипции в реальном времени. Она обучена и оценивалась на английских данных; при потоковой работе энкодер использует ограниченное заглядывание вперёд, а задержка полного результата зависит от длины расшифровки. Известные ограничения: декодер может галлюцинировать или повторять фразы, особенно на коротких и зашумлённых фрагментах. Реализация в Transformers пока не обеспечивает полностью эффективный потоковый режим. Лицензия — MIT; модель не предназначена для скрытого наблюдения, идентификации говорящих и высокорисковых решений.

Модель NotoriousH2/Qwen3-0.6B-JSON-SFT-GRPO — компактная причинная языковая модель семейства Qwen3, дообученная NotoriousH2 на базе NotoriousH2/Qwen3-0.6B-JSON-SFT. Она предназначена для генерации текста и, судя по описанию базовой модели, извлечения метаданных, поручений, решений и препятствий из корейских протоколов совещаний с представлением результата в JSON. Модель содержит 507,9 млн параметров, поддерживает контекст до 40 960 токенов и распространяется в формате safetensors. В карточке указаны английский язык и интерфейс чата. Лицензия — Apache-2.0.

Это модель разделения аудиоисточников SepFormer, разработанная командой SpeechBrain и обученная на наборе Libri3Mix. Она предназначена для разделения записи с тремя одновременно говорящими людьми на отдельные речевые сигналы. Модель реализована с помощью SpeechBrain и принимает монофонический звук с частотой дискретизации 8 кГц, выдавая разделённое аудио. На тестовом наборе Libri3Mix в карточке указано улучшение SI-SNR на 19,8 дБ; в таблице результатов для выпуска от 16 сентября 2022 года приведены SI-SNRi 19,0 дБ и SDRi 19,4 дБ. Модель рассчитана на англоязычную речь. Для других наборов данных качество не гарантируется. Лицензия — Apache-2.0.

TEMPO — Table 3 — + Both — это экспериментальный англоязычный аудио-языковой чекпойнт, дообученный Kaousheik на базе NVIDIA Audio Flamingo 3 для определения временных границ событий в аудио. Он объединяет распознавание речи с временными метками, диаризацию говорящих, поиск временного интервала по текстовому запросу, плотное описание звуков и анализ музыки. Архитектура Audio Flamingo 3 сочетает аудиоэнкодер Whisper-large и Qwen2-7B; вариант использует временной мультимодальный проектор и функцию потерь, учитывающую близость ошибочных временных меток. Для загрузки этой версии требуется файл time_proj.pt. Модель принимает аудио и текстовые инструкции с тегом задачи, а выдаёт текст с временными метками. Шаг временной шкалы составляет 0,1 секунды, но словарь временных токенов ограничивает разметку отрезками до 60 секунд, поэтому более длинные записи нужно разбивать на фрагменты. Модель рассчитана на английский язык; качество многоголосого распознавания и определения аккордов ограничено, а метки говорящих согласованы только внутри одной записи. Лицензия указана как other, конкретные условия использования в карточке не описаны.

Kaousheik/tempo-ablation-projector — экспериментальный чекпойнт проекта TEMPO, построенный на базе аудиоязыковой модели NVIDIA Audio Flamingo 3. Это вариант абляции с временным мультимодальным проектором; в README для него указаны результаты Table 3, а файл time_proj.pt необходим для загрузки. Базовая архитектура Audio Flamingo 3 объединяет замороженный аудиоэнкодер Whisper-large примерно на 0,6 млрд параметров и Qwen2-7B через двухслойный MLP-проектор. Модель принимает аудио и по запросу формирует текст с временными метками для речи, звуков и музыки. Модель предназначена для распознавания речи с временной привязкой, определения говорящих и границ их реплик, поиска аудиофрагментов по текстовому запросу, сегментации записи с описанием событий и анализа музыкальных фрагментов. Проект TEMPO использует специальные токены временных меток с разрешением 0,1 секунды и временные кодировки в проекторе. Карточка описывает английский язык; метаданные указывают задачу audio-text-to-text и датасет Kaousheik/tempo. Это исследовательская абляция, а не лучший вариант TEMPO: README сообщает метрики конкретного чекпойнта и отмечает, что распознавание речи при нескольких говорящих остаётся трудным, а результаты анализа аккордов приблизительны. Метки говорящих согласованы внутри записи, но произвольны между записями; временные метки ограничены 60 секундами, поэтому длинные аудио нужно делить на фрагменты. Лицензия в метаданных обозначена как other; конкретные условия использования здесь не приведены.

wav2vec2-large-xls-r-300m-spanish-small — модель автоматического распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная glob-asr на датасете Common Voice от базовой модели jhonparra18/wav2vec2-large-xls-r-300m-spanish-custom. Модель принимает аудио и преобразует речь в текст; она предназначена для распознавания испанской речи. В репозитории указано 402,7 млн параметров. На оценочной выборке модель достигла loss 0,3596 и WER 0,2105. Доступны веса в формате PyTorch. Лицензия и подробные ограничения в предоставленных данных не указаны.

facebook/wav2vec2-xls-r-1b-en-to-15 — модель Facebook для перевода устной английской речи в письменный текст на одном из 15 языков. Это связка речевого энкодера и текстового декодера: энкодер основан на facebook/wav2vec2-xls-r-1b, декодер — на facebook/mbart-large-50. Модель дообучена на 15 парах перевода из набора Covost2; для выбора языка перевода используются целевые токены. Модель принимает аудио на английском и генерирует текст на немецком, турецком, персидском, шведском, монгольском, китайском, валлийском, каталанском, словенском, эстонском, индонезийском, арабском, тамильском, латышском или японском. Она предназначена для перевода речи, а не только для распознавания английской транскрипции. В метаданных указан формат PyTorch и библиотека Transformers. Лицензия — Apache 2.0.