I.7Речь, диалоги и встречи

Модель Zoont/faster-whisper-large-v3-turbo-int8-ct2 — преобразованная версия OpenAI Whisper large-v3-turbo в формате CTranslate2 с 8-битной квантизацией. Она предназначена для распознавания речи и преобразования аудио в текст с использованием faster-whisper; поддерживает мультиязычную обработку, включая русский и английский языки. Репозиторий создан 31 января 2025 года, использует библиотеку CTranslate2 и распространяется по лицензии MIT. Карточка отсылает к исходной модели за подробностями; в ней не приведены отдельные сведения о качестве распознавания или длине контекста.

Systran/faster-whisper-medium — конверсия модели распознавания речи Whisper medium от OpenAI в формат CTranslate2, подготовленная для использования с CTranslate2 и faster-whisper. Модель принимает аудио и преобразует речь в текст; семейство Whisper поддерживает многоязычное распознавание, включая русский и английский, а также перевод речи на английский язык. Веса сохранены в FP16. При загрузке в CTranslate2 можно выбрать другой тип вычислений через параметр compute_type. Репозиторий распространяется по лицензии MIT; для сведений о возможностях исходной модели следует обращаться к её карточке OpenAI.

Карточка модели xiaofeng123456/faster-whisper-small на Hugging Face совпадает с карточкой Systran/faster-whisper-small, поэтому описание составлено по ней. Systran/faster-whisper-small — конверсия модели openai/whisper-small в формат CTranslate2, опубликованная для использования с CTranslate2 и проектами на его основе, включая faster-whisper. Это модель распознавания речи, которая преобразует аудио в текст и поддерживает распознавание речи на множестве языков, включая русский и английский. Веса сохранены в FP16; при загрузке через CTranslate2 тип вычислений можно выбирать с помощью параметра compute_type. Репозиторий предназначен для эффективного запуска Whisper в совместимых инструментах. Модель распространяется по лицензии MIT.

GigaAM-v3 — семейство моделей распознавания русской речи от ai-sage на основе архитектуры Conformer, с вариантами размером 220–240 млн параметров. Модели предварительно обучены на разнообразных русскоязычных аудиоданных с objective HuBERT-CTC; для распознавания доступны варианты с декодерами CTC и RNN-T, а также сквозные варианты, которые сразу расставляют пунктуацию и нормализуют текст. Модель предназначена для транскрибации русской речи в разных условиях: в том числе телефонных разговоров, естественной речи и аудио с фоновой музыкой. В README заявлено улучшение качества в среднем на 30% на новых доменах обучения при сохранении качества на публичных наборах. Для работы используется PyTorch и Transformers; загрузка через AutoModel требует trust_remote_code=True. Репозиторий распространяется по лицензии MIT. GigaAM-v3 рассчитана прежде всего на русский язык; английский также указан среди языков модели. Она принимает аудио и выдаёт текст. Варианты ssl, ctc, rnnt, e2e_ctc и e2e_rnnt имеют разные назначения и способы декодирования, поэтому при выборе следует учитывать требуемое оформление результата: сквозные варианты включают пунктуацию и нормализацию. Заявления о качестве основаны на наборах и сравнениях, приведённых в карточке; фактическая точность зависит от аудио и условий записи.

Higgs Audio v3 STT — модель распознавания речи в текст от автора репозитория erik-at-boson. Она объединяет энкодер Whisper-Large-v3 с дообученными в версии v2 слоями внимания и декодер Qwen3-1.7B; всего в модели 2,68 млрд параметров. Модель принимает монофонические WAV-аудиозаписи с частотой 16 кГц и предназначена для транскрибации речи. Для повышения точности поддерживается режим Thinking. Карточка описывает обновлённые веса и обновлённый набор данных для дообучения, включающий публичные обучающие части AMI, VoxPopuli, SPGISpeech, LibriSpeech, TED-LIUM, GigaSpeech и Earnings22. В репозитории также приведён скрипт транскрибации с детерминированным подавлением повторов слов и фраз. Для загрузки требуется включить trust_remote_code=True и установить библиотеку boson_multimodal для предварительной обработки аудио. Модель распространяется по лицензии Apache-2.0.

MERaLiON-2-10B — мультимодальная языковая модель для речи и аудио, разработанная I2R, A*STAR в Сингапуре. Она объединяет локализованный аудиоэнкодер Whisper Large v3 с текстовым декодером Gemma 2 9B и содержит 8,1 млрд параметров. Модель дообучена на 120 000 часах аудио и речи для распознавания речи, вопросов и ответов по аудио, суммаризации диалогов, создания аудиоподписей и понимания звуковой сцены. Модель рассчитана на многоязычные сценарии Сингапура и Юго-Восточной Азии: распознаёт английскую, китайскую, малайскую, тамильскую, индонезийскую, тайскую и вьетнамскую речь, включая местные акценты, разговорные выражения и переключение языков. Принимает монофоническое аудио с частотой 16 кГц длительностью до 300 секунд; для транскрибации и перевода README рекомендует аудиофрагменты до 30 секунд. Основная задача в каталоге — автоматическое распознавание речи. Модель предназначена для понимания речи и аудио, а не для вызова инструментов, математических или программных задач. Распространяется по лицензии MERaLiON Public License; перед использованием следует проверить её условия для конкретного сценария.

Карточка модели swarnendu123/MERaLiON-2-10B на Hugging Face совпадает с карточкой MERaLiON/MERaLiON-2-10B, поэтому описание составлено по ней. MERaLiON-2-10B — мультимодальная языковая модель для речи и аудио, разработанная I2R, A*STAR в Сингапуре. Она объединяет локализованный аудиоэнкодер Whisper Large v3 с текстовым декодером Gemma 2 9B и содержит 8,1 млрд параметров. Модель дообучена на 120 000 часах аудио и речи для распознавания речи, вопросов и ответов по аудио, суммаризации диалогов, создания аудиоподписей и понимания звуковой сцены. Модель рассчитана на многоязычные сценарии Сингапура и Юго-Восточной Азии: распознаёт английскую, китайскую, малайскую, тамильскую, индонезийскую, тайскую и вьетнамскую речь, включая местные акценты, разговорные выражения и переключение языков. Принимает монофоническое аудио с частотой 16 кГц длительностью до 300 секунд; для транскрибации и перевода README рекомендует аудиофрагменты до 30 секунд. Основная задача в каталоге — автоматическое распознавание речи. Модель предназначена для понимания речи и аудио, а не для вызова инструментов, математических или программных задач. Распространяется по лицензии MERaLiON Public License; перед использованием следует проверить её условия для конкретного сценария.

MiMo-V2.5-ASR — сквозная модель распознавания речи, разработанная командой Xiaomi MiMo. Это плотная модель семейства Qwen2 с 7 млрд параметров; в репозитории представлены веса Safetensors, а для работы используется Transformers. В метаданных указана длина контекста 8192 токена. Модель предназначена для транскрибирования речи на китайском и английском языках, включая китайские диалекты, переключение между китайским и английским, песни, техническую и другую насыщенную терминами речь. Она рассчитана на шумные записи, дальний микрофон и многоголосые разговоры; пунктуацию добавляет при распознавании. README сообщает о высоких результатах на ряде публичных тестов, но конкретные оценки здесь не приведены. Лицензия — MIT.

MiniCPM-o 2.6 — мультимодальная модель команды OpenBMB для понимания изображений, аудио и видео, а также голосового общения и потоковых сценариев. По карточке она построена как сквозная система на основе SigLip-400M, Whisper-medium-300M, ChatTTS-200M и Qwen2.5-7B; в метаданных указано 7,1 млрд параметров, плотная архитектура MiniCPMO и контекст 32 768 токенов. Модель доступна через Transformers и распространяется по лицензии Apache-2.0. Модель принимает текстовые запросы, изображения, аудио и непрерывные аудио-видеопотоки. Она отвечает текстом и может вести голосовой диалог с настраиваемыми голосом, эмоцией, скоростью и стилем; также поддерживает клонирование голоса. README описывает распознавание речи, анализ говорящих, аудиоподписи, классификацию звуковых сцен, OCR, понимание нескольких изображений и видео, а также мультимодальное общение в реальном времени. Заявлена поддержка более 30 языков для мультимодальных задач и двуязычный речевой диалог на английском и китайском. Среди заявленных сильных сторон — обработка изображений с разными пропорциями сторон, высокая плотность визуальных токенов и возможность локального запуска на устройствах с ограниченными ресурсами в подходящих сборках. README указывает на совместимость с Transformers 4.44.2 и предупреждает о возможных проблемах совместимости с другими версиями; работа с потоковыми аудио-видео данными требует соответствующей реализации и оборудования. Заявленные результаты бенчмарков приведены авторами модели и зависят от условий оценки.

MOSS-Transcribe-Diarize LiteRT — это порт модели OpenMOSS-Team/MOSS-Transcribe-Diarize, опубликованный Luigi и предназначенный для автоматического распознавания речи с одновременной диаризацией говорящих и разметкой временных интервалов высказываний. Модель обрабатывает аудио и генерирует текст с тегами говорящих и временными метками; заявлены поддерживаемые языки Chinese и English. Архитектура объединяет Whisper-medium encoder, модуль VQAdaptor и 4-кратное объединение временных отсчётов с языковой частью на базе Qwen3-0.6B. Исходная модель имеет размер около 0,9 млрд параметров. Реализация LiteRT разделена на encoder, embedder и decoder в формате TFLite; производственный набор использует int8-квантизированные encoder и embedder и int4 decoder. Доступны варианты f32, fp16, q8 и int4, включая конфигурации с KV cache для окон длительностью примерно до 90 секунд или более, в зависимости от варианта. Сильные стороны модели — единый конвейер распознавания речи и определения говорящих, точное соответствие эталонной PyTorch-реализации для f32-варианта и высокая близость к ней для квантизированных версий. Версия v2 с QAT повышает устойчивость int4-модели к тишине и устраняет зацикленные галлюцинации на беззвучных фрагментах. Ограничения включают заметные требования к памяти и вычислительным ресурсам, зависимость производительности от явной настройки числа CPU-потоков и снижение точности при агрессивной квантизации. Для Android GPU рекомендуется fp16, а для CPU — q8 или int4. Лицензия Apache-2.0.

multitalker-parakeet-streaming-0.6b-v1-gguf — конверсия модели NVIDIA multitalker-parakeet-streaming-0.6b-v1 в формат GGUF для библиотеки transcribe.cpp. Это англоязычная модель автоматического распознавания речи, предназначенная для офлайн-транскрибации и потоковой обработки аудио с сохранением состояния между фрагментами. Модель подходит для субтитров, расшифровки встреч, голосовых интерфейсов и других сценариев преобразования речи в текст. В основе лежит cache-aware streaming FastConformer с 0,6 млрд параметров и декодером RNN-T; поддерживаются пунктуация, капитализация и токеновые временные метки. Модель работает на английском языке, поддерживает четыре варианта latency lookahead и не поддерживает перевод или автоматическое определение языка. Обычные GGUF-файлы предназначены для режима одного говорящего. Варианты из каталога bundle дополнительно содержат потоковый Sortformer для диаризации и могут формировать размеченную по говорящим транскрипцию максимум для четырёх перекрывающихся говорящих. Сильными сторонами являются потоковая работа, офлайн-использование, кэширование контекста, поддержка диаризации и близкие показатели качества у разных уровней квантизации: заявленный WER на LibriSpeech test-clean составляет около 2,18–2,20%. Ограничения — поддержка только английского языка, отсутствие перевода и language detection, а также необходимость учитывать требования к ресурсам: размер файлов варьируется примерно от 617 МБ для Q4_K_M до 2,96 ГБ для F32. Модель распространяется по NVIDIA Open Model License; указана лицензия other с названием nvidia-open-model-license.

Nemotron 3.5 ASR — многоязычная модель распознавания речи, разработанная NVIDIA. Она преобразует аудио в текст и предназначена для транскрибации потоковой речи с низкой задержкой и обработки аудиозаписей пакетами. Модель содержит 600 млн параметров и использует архитектуру Cache-Aware FastConformer-RNNT с языковым prompt-conditioning; потоковый режим повторно использует контекст кодировщика и обрабатывает новые аудиофрагменты. Размер фрагментов настраивается во время запуска: 80, 160, 320, 560 или 1120 мс. Модель поддерживает транскрибацию с пунктуацией и заглавными буквами для 32 локалей из коробки, включая русский, английский, испанский, немецкий, французский, арабский, китайский, японский и украинский. Ещё для восьми локалей заявлена готовность к адаптации, но для полноценной транскрибации на них требуется дообучение. Режим auto может определять язык и добавлять его метку к результату. Модель доступна через NeMo и Transformers; карточка заявляет готовность к коммерческому применению, лицензия указана как other.

Nemotron 3.5 ASR — разработанная NVIDIA многоязычная модель автоматического распознавания речи на 600 млн параметров. Она предназначена для потоковой транскрибации с низкой задержкой и пакетной обработки аудио; доступна через NeMo и Transformers, а веса представлены в формате safetensors. Архитектура Cache-Aware FastConformer-RNNT использует кэш контекста, чтобы обрабатывать новые аудиофрагменты без повторных вычислений. Размер фрагментов можно настраивать от 80 до 1120 мс; модель расставляет пунктуацию и заглавные буквы, а при режиме auto может определять язык речи и добавлять языковую метку к транскрипту. Модель поддерживает 40 языковых локалей: для 32 заявлена транскрибация без дополнительной адаптации, а для восьми требуется дообучение на данных целевого домена. Среди языков есть русский, английский, испанский, французский, немецкий, арабский, китайский, японский и другие. Карточка указывает готовность к коммерческому использованию, однако метаданные обозначают лицензию как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Для английской речи автор рекомендует отдельную англоязычную модель Nemotron ASR Streaming.

Nemotron 3.5 ASR Streaming 0.6B ONNX INT4 — мультиязычная модель автоматического распознавания речи, разработанная NVIDIA и представленная в формате ONNX сообществом onnx-community. Это квантизированная INT4-версия модели nvidia/nemotron-3.5-asr-streaming-0.6b с примерно 600 миллионами параметров, предназначенная для преобразования речи в текст с поддержкой пунктуации и капитализации. Модель рассчитана на потоковую расшифровку речи, голосовых агентов и приложений, которым нужны низкая задержка и высокая пропускная способность, а также на пакетную обработку аудио. Она использует архитектуру Cache-Aware FastConformer-RNNT, переиспользующую закэшированный контекст энкодера и обрабатывающую только новые аудиофрагменты. Поддерживается 40 языковых локалей, включая английский, испанский, немецкий, французский, итальянский, арабский, японский, корейский, португальский, русский, китайский, хинди и другие. Предусмотрены автоматическое определение языка и языковое условное управление. Преимуществами являются потоковый режим, заявленная задержка около 0,56 секунды, эффективное использование вычислений и гибкие размеры аудиочанков от 80 до 1120 мс; экспорт оптимизирован для чанка 560 мс. Ограничения включают зависимость качества от языка, акустических условий и размера чанка, а также снижение точности из-за INT4-квантизации по сравнению с исходной моделью, хотя конкретное сравнение в README не приведено. В README указана готовность к коммерческому использованию; в метаданных обозначены лицензии MIT и NVIDIA Open Model License, поэтому условия NVIDIA Open Model License следует учитывать отдельно.

Карточка модели ldov/Nemotron-3-Diarization на Hugging Face совпадает с карточкой nvidia/Nemotron-3-Diarization, поэтому описание составлено по ней. Nemotron 3 Diarization — модель NVIDIA с открытыми весами для диаризации речи: она определяет, кто и в какие моменты говорил в аудиозаписи. Модель поддерживает потоковую обработку и обработку готовых записей, в том числе длительных аудио при работе чанками, и рассчитана на записи с числом говорящих до восьми. В метаданных указана архитектура Nemotron3DiarizationForAudioFrameClassification и библиотека NeMo; доступны веса в safetensors и квантованный вариант GGUF Q8_0. Модель подходит для разметки реплик в интервью, совещаниях и других многоголосых записях. В потоковом режиме настраивается входная буферная задержка: карточка указывает минимум 80 мс, рекомендует не менее 0,32 с и приводит конфигурации для задержки от 0,64 с; задержка не включает время вычислений. Разрешение выходных кадров настраивается с шагом 10 мс. Лицензия OpenMDW 1.1 допускает коммерческое и некоммерческое использование согласно карточке модели. Для работы с массивами аудиоданных нужно указывать корректную частоту дискретизации; по умолчанию используется 16 кГц. Модель определяет говорящих и временные границы их речи, но сама по себе не распознаёт слова.

Nemotron 3 Diarization (MLX) — версия модели NVIDIA Nemotron-3-Diarization, преобразованная сообществом mlx-community для запуска через mlx-audio на устройствах Apple с MLX. Модель анализирует монофоническое аудио с частотой 16 кГц и с шагом 10 мс определяет активность до восьми говорящих; поддерживаются пакетная обработка и потоковая обработка с сохранением меток говорящих между фрагментами. Модель подходит для разметки реплик и временных границ в записях встреч и для обработки аудиопотока в реальном времени. Она может отмечать одновременную активность нескольких говорящих, но выдаёт только условные идентификаторы в порядке появления и не устанавливает личности людей. В карточке указана лицензия OpenMDW-1.1; сведения об обучающих данных и оценке предлагается смотреть в карточке базовой модели.

Карточка модели LimitlessMindd/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16 на Hugging Face совпадает с карточкой lactroiii/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, поэтому описание составлено по ней. NVIDIA Nemotron 3 Nano Omni — мультимодальная большая языковая модель семейства Nemotron, разработанная NVIDIA и дополнительно обученная на базе нескольких моделей, включая Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen3.5-397B-A17B, Qwen2.5-VL-72B-Instruct и gpt-oss-120b. Репозиторий содержит веса в формате safetensors для Transformers; модель поддерживает чат и интерфейс вызова инструментов. В README рекомендуют начинать с контекста 131072 токена при развертывании на Spark. Модель предназначена для корпоративного мультимодального анализа видео, аудио, изображений и текста: ответов на вопросы, суммаризации, транскрибирования речи, OCR и анализа документов, а также понимания GUI. Примеры применения — поиск и краткое изложение видео, проверка заказов по видеозаписям, анализ договоров и финансовых документов, автоматизация браузера и почты. Ключевые ограничения и характеристики, включая точное число параметров и перечень поддерживаемых естественных языков, в предоставленных данных не раскрыты. Модель доступна для коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует свериться с условиями лицензии в карточке репозитория.

ProfessorF (Nick V. Flor, PhD) публикует эту версию NVIDIA Nemotron 3 Nano Omni в формате GGUF BF16 для воспроизводимости исследований. Исходная мультимодальная модель разработана NVIDIA и объединяет понимание видео, аудио, изображений и текста для корпоративных сценариев: вопросов и ответов, суммаризации, транскрипции и анализа документов. В карточке указано, что модель дополнительно обучалась с использованием нескольких моделей Qwen и gpt-oss-120b; точное число параметров и длина контекста для этой копии не приведены. Модель предназначена для анализа записей встреч и обучающих видео, поиска по медиаматериалам, распознавания речи и текста на документах, а также для GUI-агентов и автоматизации работы с браузерами, почтой и системами управления инцидентами. Заявлена поддержка коммерческого использования; метаданные указывают лицензию other, поэтому перед внедрением следует проверить условия лицензии в карточке исходной модели NVIDIA и этой копии.

Nemotron-Labs-Audex-2B — компактная плотная аудио-текстовая языковая модель NVIDIA, дообученная в несколько этапов методом SFT на основе Nemotron-Cascade-2-30B-A3B. Она принимает текст и аудио и генерирует текст или аудио; поддерживает понимание аудио, распознавание и перевод речи, синтез речи, генерацию аудио и диалог с преобразованием речи в речь. Для текстовых запросов доступны режимы с рассуждением и без него, а также сохраняются возможности базовой текстовой модели в рассуждении, работе с длинным контекстом и использовании инструментов. Компактный размер снижает требования к ресурсам по сравнению с Audex-30B-A3B. Модель использует плотную архитектуру семейства Nemotron Labs Audex и выпущена после многоэтапного SFT; в отличие от Audex-30B-A3B, для неё не заявлен дополнительный каскадный этап RL. Для инференса README описывает Transformers и vLLM с версией 0.20.0 и плагином модели. В метаданных указана лицензия other, поэтому конкретные права использования следует сверять с условиями репозитория.

Orukeet — модель распознавания речи от Oruk AI, созданная на основе NVIDIA Parakeet TDT 0.6B v3. Это мультиязычная модель на 25 языков для транскрибирования аудиозаписей, медиаматериалов и потоков пакетной обработки, а также для серверных и интерактивных приложений. Модель сохраняет 627 млн параметров, 24-слойный энкодер FastConformer и transducer-архитектуру Parakeet. В половине временных depthwise-фильтров энкодера используются 12 288 обученных и зафиксированных Gabor-ядер. В описанных тестах Orukeet показала меньший WER, чем исходная Parakeet, на 61 из 74 тестовых срезов; например, объединённый WER по 25 языкам FLEURS составил 9,85% против 11,01%. Доступны варианты для NeMo, ONNX INT8, GGUF Q8 и F16, а также экспорт Transformers. Карточка описывает обучение и выбор контрольной точки на записях LibriSpeech test-other, поэтому результаты оценки следует учитывать с этой оговоркой. Модель распространяется по лицензии CC-BY-SA-4.0.

Это GGUF-версия мультиязычной модели распознавания речи NVIDIA Parakeet TDT 0.6B v3, подготовленная автором репозитория из официальных контрольных точек NeMo PyTorch. Модель предназначена для локальной транскрипции аудио с автоматическим определением языка; для работы в parakeet-cli требуется декодер TDT. Архитектура Token-and-Duration Transducer предсказывает текстовые токены и длительность их звучания, что позволяет эффективнее проходить аудиопоследовательность. Модель содержит около 600 млн параметров, представлена в GGUF F32 и рассчитана на запуск через parakeet.cpp и движок ggml. Поддерживаются 25 европейских языков, включая русский, английский, украинский, французский, немецкий, испанский и итальянский. Версия ориентирована на офлайн-транскрипцию на локальном оборудовании; README приводит оценки потребления памяти около 2,8 ГБ RAM и 2,6 ГБ VRAM. Лицензия — CC BY 4.0, требуется атрибуция.

Phi-4-multimodal-instruct — мультимодальная модель Microsoft на 3,8 млрд параметров с плотной авторегрессионной архитектурой Phi4MM. Она принимает текст, изображения и аудио, а отвечает текстом; в метаданных указано контекстное окно 4096 токенов. В карточке README заявлено 128K токенов, поэтому длина контекста в источниках расходится. Модель предназначена для диалоговых и генеративных систем, которым нужны распознавание и перевод речи, ответы на вопросы по аудио и изображениям, понимание диаграмм и таблиц, OCR, суммаризация и вызов инструментов. Она поддерживает текст на арабском, китайском, чешском, датском, нидерландском, английском, финском, французском, немецком, иврите, венгерском, итальянском, японском, корейском, норвежском, польском, португальском, русском, испанском, шведском, тайском, турецком и украинском; аудио — на английском, китайском, немецком, французском, итальянском, японском, испанском и португальском; изображения — на английском. Microsoft сообщает о supervised fine-tuning, direct preference optimization и RLHF для следования инструкциям и повышения безопасности. Модель распространяется по лицензии MIT. Разработчики предупреждают, что качество может различаться между языками, а применимость к конкретным сценариям следует оценивать отдельно, особенно в высокорисковых областях.

Карточка модели thoratsr7/Phi-4-multimodal-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-multimodal-instruct, поэтому описание составлено по ней. Phi-4-multimodal-instruct — мультимодальная модель Microsoft на 3,8 млрд параметров с плотной авторегрессионной архитектурой Phi4MM. Она принимает текст, изображения и аудио, а отвечает текстом; в метаданных указано контекстное окно 4096 токенов. В карточке README заявлено 128K токенов, поэтому длина контекста в источниках расходится. Модель предназначена для диалоговых и генеративных систем, которым нужны распознавание и перевод речи, ответы на вопросы по аудио и изображениям, понимание диаграмм и таблиц, OCR, суммаризация и вызов инструментов. Она поддерживает текст на арабском, китайском, чешском, датском, нидерландском, английском, финском, французском, немецком, иврите, венгерском, итальянском, японском, корейском, норвежском, польском, португальском, русском, испанском, шведском, тайском, турецком и украинском; аудио — на английском, китайском, немецком, французском, итальянском, японском, испанском и португальском; изображения — на английском. Microsoft сообщает о supervised fine-tuning, direct preference optimization и RLHF для следования инструкциям и повышения безопасности. Модель распространяется по лицензии MIT. Разработчики предупреждают, что качество может различаться между языками, а применимость к конкретным сценариям следует оценивать отдельно, особенно в высокорисковых областях.

mlx-community/Qwen2-Audio-7B-Instruct-4bit — 4-битная версия Qwen2-Audio-7B-Instruct, подготовленная сообществом mlx-community для запуска на компьютерах Apple Silicon с помощью MLX и mlx-audio. Это плотная мультимодальная чат-модель с аудиоэнкодером в стиле Whisper из 32 слоёв, линейным проектором и языковой моделью Qwen2-7B. В 4 бита квантована только языковая модель; энкодер и проектор сохранены в bf16. Размер модели — около 4,2 ГБ вместо примерно 15 ГБ у версии bf16. Модель принимает аудио и текстовые инструкции, поддерживает распознавание и перевод речи, создание текстовых описаний аудио, анализ эмоций и тональности, классификацию окружающих звуков, понимание музыки и голосовой чат. В README указана скорость генерации около 4,7 токена в секунду на устройствах Apple Silicon серии M; качество транскрипции, по заявлению авторов карточки, соответствует версии на Hugging Face. Модель распространяется по лицензии Apache-2.0.

Карточка модели Jinstudio/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Карточка модели mig-ai/Qwen3-ASR-1.7B на Hugging Face совпадает с карточкой Qwen/Qwen3-ASR-1.7B, поэтому описание составлено по ней. Qwen3-ASR-1.7B — плотная аудиоречевая модель семейства Qwen3-ASR, разработанная командой Qwen. Она распознаёт речь и определяет язык аудио; модель поддерживает 30 естественных языков и 22 китайских диалекта, включая русский, английский, китайский и кантонский. Основана на возможностях аудиопонимания Qwen3-Omni и содержит 1,7 млрд параметров согласно названию модели. Модель предназначена для транскрибации речи в потоковом и офлайн-режимах, в том числе длинных записей, аудио в сложных акустических условиях, пения и песен с фоновой музыкой. В README заявлены сильные результаты на открытых и внутренних тестах; отдельные сравнительные показатели в карточке не приведены. Для потокового распознавания требуется backend vLLM; доступны также интеграции через Transformers и пакет qwen-asr. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Модель принимает аудио и выдаёт распознанный текст. Описанный в README Qwen3-ForcedAligner-0.6B — отдельная модель для временных меток, а не функция данного чекпойнта.

Это неизменённая копия конвейера pyannote/speaker-diarization-community-1, размещённая StillScript. Модель предназначена для диаризации аудиозаписей: определения участков речи и разметки того, кто говорил в каждый момент, включая случаи смены говорящего и перекрывающейся речи. Веса конвейера и компонентов segmentation, embedding и plda побайтно совпадают с upstream-репозиторием. Модель работает с аудио и выдаёт временную разметку говорящих. Копия опубликована в формате PyTorch; её лицензия — CC BY 4.0. README не сообщает размер модели, длину контекста или языковую специализацию.

Kyutai STT — потоковая модель автоматического распознавания речи, разработанная Kyutai. Вариант kyutai/stt-1b-en_fr предназначен для транскрибации английской и французской речи и содержит около 1,1 млрд параметров. Модель использует декодерную архитектуру Transformer и многопоточный подход Moshi: аудио кодируется токенизатором Mimi, а модель предсказывает текстовые токены с задержкой около 0,5 секунды. Модель начинает выдавать транскрипт по мере поступления аудио, поддерживает потоковую обработку и работает с длинными записями. Она рассчитана на шумные условия и формирует текст с заглавными буквами и пунктуацией; временные метки текста можно восстановить с учётом задержки потока. Для работы через Transformers требуется версия 4.53.0 или новее. Веса распространяются по лицензии CC-BY 4.0.

AudenAI/TagSpeech-AMI — модель сквозного распознавания речи нескольких говорящих с диаризацией, разработанная AudenAI и дообученная на базе Qwen/Qwen2.5-7B-Instruct. Она принимает аудиоволну и за один проход формирует расшифровку с метками говорящих, временными отметками и прогнозом пола говорящего. Архитектура использует два энкодера — семантический и голосовой — и числовые временные якоря; для входа рекомендуется аудио с частотой 16 кГц. Модель предназначена прежде всего для офлайн-расшифровки совещаний и разговоров с несколькими участниками, включая перекрывающуюся речь и шумные условия записи на расстоянии. Выход представлен в XML и может быть преобразован в JSON. Модель поддерживает английский язык и обучалась примерно на 65 часах речи из набора AMI. Рекомендуется обрабатывать фрагменты длительностью не более 30 секунд; для длинных записей требуется самостоятельно организовать разбиение на фрагменты и постобработку. Модель не поддерживает потоковое распознавание, а качество может снижаться на аудио вне домена AMI. Лицензия — Apache-2.0.

Карточка модели aoiandroid/ultravox-v0_5-llama-3_1-8b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_5-llama-3_1-8b, поэтому описание составлено по ней. Ultravox v0.5 — мультимодальная речевая языковая модель от Fixie.ai, построенная на Llama 3.1 8B Instruct и Whisper Large-v3-Turbo. Она принимает речь вместе с текстом, например текстовую системную инструкцию и голосовое сообщение, и формирует текстовый ответ. Модель предназначена для голосовых агентов, распознавания и анализа речи, а также перевода устной речи. В README заявлена скорость около 150 мс до первого токена и 50–100 токенов в секунду на GPU A100 40 ГБ при обработке аудио. Для версии 0.5 приведены результаты оценки перевода речи на наборе CoVoST 2. Для этой версии не проводилась настройка предпочтений; генерация аудио не поддерживается. Модель распространяется по лицензии MIT.