I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиКарточка модели Edge0/Audio8-ASR-0.1B-onnx-runtime на Hugging Face совпадает с карточкой Audio8/Audio8-ASR-0.1B-onnx-runtime, поэтому описание составлено по ней. Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.
A.X K2 Raon-Speech — мультимодальная речевая языковая модель KRAFTON AI для английского и корейского языков. Она объединяет текстовую основу A.X K2 Light 20B-A3B с архитектурой mixture-of-experts, речевой энкодер AuT и нейронный аудиокодек в одном чекпойнте. Всего модель содержит около 21,2 млрд параметров, из которых активны около 3,5 млрд; веса представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для распознавания и генерации речи, понимания аудио, ответов на вопросы по речи и голосового общения с ассистентом. Она поддерживает STT, TTS, SpeechQA, SpokenQA, диалог с чередованием текста и аудио, а также генерацию речи с учетом эмоций и интонации. Для TTS доступны голосовое обусловливание по эталонной записи и продолжение речи с сохранением просодии; эти функции используют внешний замороженный энкодер ECAPA из SpeechBrain. В карточке сообщается о высоких агрегированных результатах на корейских и английских речевых бенчмарках. Для запуска требуется Transformers версии 4.57.1 или новее; BF16-чекпойнт занимает около 42,4 ГБ, рекомендуется GPU с 80 ГБ памяти или подходящая многокарточная конфигурация. Модель предназначена для исследований и некоммерческого прототипирования; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. При голосовом обусловливании и генерации с идентифицируемыми голосами необходимо получать согласие.
Модель lidiya/bart-large-xsum-samsum — дообученная версия facebook/bart-large-xsum, созданная для суммаризации диалогов. Она основана на архитектуре BART и содержит 252,8 млн параметров; принимает текст и генерирует текстовое резюме. Модель обучалась на датасете SAMSum, содержащем диалоги на английском языке, и поддерживает задачу summarization. Максимальная длина контекста составляет 1024 токена. В карточке приведены результаты оценки на SAMSum: ROUGE-1 — 54,3921, ROUGE-2 — 29,8078 и ROUGE-L — 45,1543. Модель подходит для краткого пересказа переписок и диалогов на английском языке. Распространяется по лицензии Apache-2.0.
batisay-ko-large 1.1 — BatiAI әзірлеген, корей тіліндегі сөйлеуді мәтінге айналдыруға арналған Whisper Large v3 негізіндегі модель. Ол KsponSpeech, Zeroth және AI Hub деректерімен, соның ішінде көпсалалы сөйлеу және 8 кГц телефон жазбаларымен дообучен; базалық Whisper Large v3 шамамен 1,55 млрд параметрден тұрады. Модель жиналыс, дәріс, сұхбат, диктовка, телефон қоңырауы және медиаға субтитр дайындау транскрипциясына бағытталған. Карточкада таза сөйлеу, шулы жазбалар және бірнеше домен бойынша CER бенчмарктары берілген. Қысқа клиптер мен құжаттық/пакеттік транскрипцияға дәлдігі басым; ұзақ қоңыраулар мен ағындық жұмысқа автор жеңілірек turbo нұсқасын ұсынады. Whisper Large өлшемі есептеу ресурстарын көбірек қажет етеді. Репозиторийде safetensors форматы көрсетілген, ал README-де басқа кванттау нұсқалары және whisper.cpp, Transformers арқылы іске қосу жолдары аталады. Лицензиясы — BatiAI Community v2 («other» метадерегінде). Транскрипцияда сирек жеке әріптер қалып қоюы мүмкін; оларды кейінгі өңдеуде алып тастау ұсынылады.
bp500-base100k_voxpopuli — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского варианта португальского языка. В карточке указано, что исходное обучение выполнялось с fairseq, а опубликованная версия представляет собой конвертированную модель. Число параметров — 113,3 млн; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей на бразильском португальском в текст. Для обучения использовались объединённые данные CETUC, Common Voice, LaPS BM, Multilingual Librispeech, TEDx, SID и VoxForge; README приводит результаты WER на тестовых выборках этих корпусов, которые различаются между наборами и не всегда улучшаются при использовании 4-граммной языковой модели. Лицензия репозитория — Apache-2.0. Карточка показывает демонстрационные примеры и оценки, поэтому результаты на других типах аудио могут отличаться.
CogniSoftOrg/canary-1b-v2-mlx-bf16 — неофициальная конверсия модели NVIDIA Canary-1B-v2 для запуска на Apple Silicon через MLX и mlx-audio. Основная модель распознаёт речь и выдаёт текст; в репозитории также есть CTC-компонент для выравнивания текста по аудио и получения временных меток. Веса конвертированы из формата NVIDIA NeMo в safetensors с точностью bf16 без дообучения и квантизации. Модель построена на архитектуре FastConformer: 32-слойный аудиоэнкодер и 8-слойный Transformer-декодер. Она рассчитана на распознавание речи на 25 европейских языках, включая русский, и поддерживает перевод речи между английским и другими языками этого набора. Для CTC-выравнивания README указывает временные метки примерно с шагом 80 мс. README сообщает о проблемах совместимости в коде инференса mlx-audio 0.4.3: возможна ошибка типов в масках декодера, параметры языков могут фильтроваться, а жадное декодирование может зацикливаться на сложной записи. CTC-компонент может искажать текст на дальней или сложной речи, поэтому предназначен прежде всего для выравнивания. Лицензия — CC BY 4.0; конверсия не связана с NVIDIA и не одобрена ею.
Cohere Transcribe 03-2026 CoreML 6bit — конверсия модели CohereLabs/cohere-transcribe-03-2026, разработанная для автоматического распознавания речи на устройствах Apple. Модель предназначена для локальной транскрипции аудио в приложениях для macOS и iOS без обязательной передачи данных во внешние сервисы. Поддерживаются английский, арабский, немецкий, греческий, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский языки. Модель поставляется в формате CoreML .mlpackage и использует конвейер из извлечения аудиопризнаков, encoder и авторегрессионного decoder с KV-кэшированием. Веса имеют формат Float16 с 6-битной палетизацией; общий размер составляет около 1,4 ГБ, что примерно в 2,7 раза меньше FP16-версии. Вычисления могут выполняться на Apple GPU, CPU или Neural Engine; рекомендуется Apple GPU. Минимальные версии платформ — macOS 13 и iOS 16. Для обработки используются аудиофрагменты по 30 секунд с перекрытием 5 секунд. На тесте LibriSpeech test-clean модель показала WER 2,58% на 2619 из 2620 образцов. На Apple M4 Pro заявлен коэффициент работы в реальном времени 35,9×: обработка 30 секунд аудио занимает около 836 мс. Ключевые преимущества — компактность по сравнению с FP16, высокая скорость локального распознавания и практически сохранённая точность. Ограничения включают значительный размер около 1,4 ГБ, зависимость от экосистемы Apple и отсутствие данных о качестве на других наборах данных, акцентах, шумной речи и длинных аудиозаписях. Конвертированная модель распространяется по лицензии GPL-3.0; исходная модель CohereLabs имеет лицензию Apache-2.0.
evewashere/cohere-transcribe-03-2026-ungated — публичное зеркало модели Cohere Transcribe, созданное для загрузки без токена доступа к gated-репозиторию. Исходную модель разработали Cohere и Cohere Labs. Это специализированная модель распознавания речи с архитектурой Cohere ASR и 2 млрд параметров; она принимает аудио и выдаёт текст. Поддерживает арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский языки. Модель предназначена для транскрибации речи, в том числе в приложениях и сервисах с локальным или серверным инференсом. Разработчики заявляют высокую точность на 14 языках и скорость до трёх раз выше других специализированных ASR-моделей сопоставимого размера. Репозиторий использует формат Safetensors и поддерживается Transformers и vLLM. Лицензия — Apache-2.0. Лучшие результаты модель показывает, когда язык аудио заранее задан и остаётся одним из поддерживаемых. В ней нет автоматического определения языка, временных меток и разделения речи по говорящим; на смешанной речи качество непостоянно. Модель может ошибочно транскрибировать тихий фоновый шум, поэтому для таких записей полезны VAD или шумовой фильтр.
BuzzASR/Czech — одноязычная модель автоматического распознавания чешской речи, разработанная как часть набора BuzzASR. Это дообучение Whisper large-v3 с исходным токенизатором Whisper, настроенное только для распознавания речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; языковая и задачавая подсказки заданы в конфигурации генерации. Модель предназначена для транскрибации чешской речи. В оценке на тестовых наборах FLEURS и Common Voice 25 она показала CER 3,13 и 3,3 соответственно; качество на других типах записей и диалектах может отличаться. Обучение использовало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Модель распространяется по лицензии MIT.
WSHAPER разработала дообученный классификатор на основе DistilBERT для определения речевых актов в разговорных репликах. Модель относит текст к одному из четырёх классов: commissive (обещание или обязательство), directive (команда или просьба), inform (сообщение или факт) и четвёртый класс, название которого в карточке не приведено. Она рассчитана на английский, немецкий и русский языки, в том числе на транскрипты ASR с разговорными особенностями. Контекст модели — до 512 токенов. В тестах на английском и немецком языках точность составила 80,8–82,5%, макро-F1 — 0,725–0,750; на наборе с небрежными ASR-транскриптами результат составил 77,8% (35 из 45 примеров). Модель распространяется в формате safetensors, использует библиотеку Transformers и лицензию Apache-2.0. В приведённых результатах нет оценки на русском языке, поэтому качество для этого языка по карточке оценить нельзя.
English_Wav2Vec_Finetune — модель автоматического распознавания английской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на наборе данных generator. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В карточке приведены результаты оценки на тестовой выборке: loss 0,3020 и WER 0,2061. Подробности о составе и условиях оценки, а также рекомендации по применению не раскрыты. Модель распространяется по лицензии Apache-2.0.
Systran подготовила конверсию английской версии Whisper base.en от OpenAI в формат CTranslate2. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Подробности об исходной модели приведены в карточке OpenAI Whisper base.en.
OpenASR/firered-aed-l-v2 — модель автоматического распознавания речи, созданная FireRedTeam и упакованная для работы в среде OpenASR. Она предназначена для локального преобразования речи в текст, включая распознавание путунхуа, английского языка и их смешанной речи, а также китайских диалектов и акцентов. Модель может применяться для транскрибации аудио на CPU и GPU без использования Python во время инференса. В основе лежит attention-based encoder-decoder архитектура с Conformer-энкодером и Transformer-декодером. Модель содержит 1,1 млрд параметров и является развитием FireRedASR2-AED; она обучена с использованием расширенного словаря. Заявлены высокие результаты на китайской речи: средний CER 3,05% на четырёх публичных тестах путунхуа, 11,67% на 19 тестах китайских диалектов и акцентов, а также 1,17% на тесте песенных текстов. Для aishell1 указан CER 0,57%. Доступны варианты fp16, q8_0 и q4_k; q4_k уменьшает размер и пиковое потребление памяти, а fp16 ориентирован на максимальную точность. Модель особенно сильна в распознавании китайской речи, диалектов, акцентов, код-свитчинга и песенного вокала. Ограничения включают Mandarin-first специализацию и отсутствие в README сведений о поддерживаемых языках помимо китайского и английского, максимальной длине контекста и точности на других типах аудио. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели FireRedASR2-AED.
FireRedASR2-AED GGUF — это модель автоматического распознавания речи, разработанная командой FireRedTeam и преобразованная в формат GGUF для использования с CrispASR. Репозиторий содержит варианты исходной точности F16 и квантованные версии Q8_0 и Q4_K; преобразование не изменяет обучение, архитектуру, словарь или возможности исходной модели. Модель предназначена для транскрибации аудио на стандартном китайском языке, английском и более чем 20 китайских диалектах. Она использует Conformer-энкодер из 16 слоёв с размерностью 1280 и 20 головами внимания, относительным позиционным кодированием, macaron FFN и глубинно разделимой свёрткой с ядром 33, а также CTC-голову. Размер модели составляет около 1,1 млрд параметров. Заявленная средняя CER для мандаринского китайского — 3,05% по данным публикации. Сильными сторонами являются поддержка нескольких вариантов квантования, возможность работы через GGML/CPU и сопоставимое качество транскрипции между доступными вариантами на тестовых аудиозаписях. Ограничения включают вывод английского текста в верхнем регистре, использование только CTC-декодирования без beam search decoder и необходимость применения совместимого инструмента, например CrispASR. Модель распространяется по лицензии Apache 2.0; конвертация не предоставляет прав сверх лицензии исходной модели.
Карточка модели PatchyTisa/FireRedLID-vllm на Hugging Face совпадает с карточкой allendou/FireRedASR2-LLM-vllm, поэтому описание составлено по ней. allendou/FireRedASR2-LLM-vllm — версия модели распознавания речи FireRedASR2-LLM, выпущенной командой FireRedASR2. Это система ASR на основе архитектуры Encoder-Adapter-LLM: аудиокодировщик и адаптер передают представление речи языковой модели Qwen2. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и ориентирован на запуск через vLLM. Модель преобразует речь в текст на китайском языке, включая мандаринский диалект и более 20 региональных акцентов, и на английском; поддерживает смешение китайского и английского языков, а также распознавание текста песен. В описанных авторами тестах средняя ошибка распознавания составила 2,89% CER для мандаринского китайского и 11,55% CER для китайских диалектов. Эти показатели относятся к указанным тестовым наборам и не гарантируют такое же качество на произвольной записи. Лицензия Apache-2.0 допускает коммерческое использование с соблюдением её условий.
Fun-ASR-Nano-2512-4bit — компактная многоязычная модель распознавания речи из сообщества mlx-community, преобразованная из FunAudioLLM/Fun-ASR-Nano-2512 в формат MLX с помощью mlx-audio-plus 0.1.4. Она принимает аудио и выдаёт текст, поддерживает потоковую транскрипцию, распознавание с подсказками и перевод речи в английский текст. В README заявлена поддержка более 13 языков; полный перечень приведён в карточке исходной модели. Модель предназначена для запуска через библиотеку mlx-audio-plus. В метаданных указана лицензия? Она не предоставлена, поэтому условия использования определить нельзя.
Карточка модели Edge0/GPA на Hugging Face совпадает с карточкой Audio8/GPA, поэтому описание составлено по ней. GPA (General Purpose Audio) — компактная модель, объединяющая распознавание речи, синтез речи и преобразование голоса в одном авторегрессионном трансформере с общей языковой основой. Репозиторий Audio8 включает обучающие и дообучающие конвейеры, примеры инференса и средства развертывания; карточка также описывает отдельный дистиллированный вариант GPA-TTS для синтеза речи на устройствах с ограниченными ресурсами. Основной GPA построен на плотной архитектуре Qwen3ForCausalLM, содержит 246,5 млн параметров и поддерживает контекст до 32 768 токенов. В модели объединены обработка аудио и текста для ASR, TTS и преобразования голоса; заявлены английский и китайский языки. Проект подчёркивает потоковый и параллельный инференс, а GPA-TTS — клонирование голоса по короткому образцу и локальную работу без внешней LLM. Модель предназначена для голосовых приложений, включая облачное развертывание и сценарии на периферийных устройствах. Репозиторий лицензирован по Apache-2.0. Приведённые в README таблицы результатов частично опущены, поэтому по этой карточке нельзя независимо оценить сравнительное качество модели.
GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.
Granite Speech 4.1-2B-Plus GGUF — это квантизированная версия мультимодальной модели IBM Granite Speech 4.1-2B-Plus, подготовленная сообществом handy-computer для работы в transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с поддержкой английского, французского, немецкого, испанского и португальского языков. Она принимает монофонический WAV с частотой 16 кГц и поддерживает выдачу временных меток для каждого слова или разметку текста по говорящим. Архитектура включает Conformer-энкодер, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1B. В варианте Plus используются объединённые скрытые состояния промежуточного и финального слоёв энкодера, а эмбеддинги токенов связаны с выходной головкой языка. Доступны варианты GGUF от BF16 и F16 до Q4_K_M размером примерно от 1,49 до 4,23 ГБ. На тесте LibriSpeech test-clean заявленный WER составляет 1,46–1,56% в зависимости от квантизации; для языков FLEURS WER в варианте Q8_0 составляет 4,46% для английского, 8,06% для немецкого, 6,53% для испанского, 8,82% для французского и 10,61% для португальского. Сильные стороны модели — локальная работа без облачных сервисов, многоязычное распознавание, словесные временные метки и диаризация. Ограничения: потоковая обработка и автоматическое определение языка не поддерживаются, перевод речи отсутствует, а режимы временных меток и диаризации нельзя использовать одновременно. Для работы требуется transcribe.cpp и аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
facebook/hubert-large-ls960-ft — модель распознавания речи от Facebook, построенная на архитектуре HuBERT Large и дообученная на 960 часах LibriSpeech. Она преобразует речь в текст и рассчитана на распознавание английской речи, записанной с частотой дискретизации 16 кГц; входной аудиосигнал следует подавать с этой частотой. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. HuBERT использует самоконтролируемое обучение речевых представлений: при предобучении модель учится предсказывать кластерные метки на маскированных фрагментах аудио, а затем дообучается для распознавания речи. Подходит для транскрибирования англоязычных записей и аудио из наборов LibriSpeech-подобного типа. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит конкретных метрик распознавания этой версии; качество зависит от условий записи и соответствия входа требованиям по частоте дискретизации.
Hviske v3 conversation — модель распознавания датской речи, разработанная syv.ai и дообученная на базе CoRal-project/roest-whisper-large-v1. Она предназначена для транскрибации естественных разговоров: встреч, интервью, подкастов и других записей реальной речи. Модель построена на архитектуре Whisper и доступна в формате safetensors для запуска через Transformers. В README заявлено, что модель превосходит Whisper Large v3 и v3 Turbo по метрикам WER и CER, однако приведённое там исследование гендерного смещения основано на тестовом наборе всего с четырьмя дикторами и не является репрезентативным. Модель бесплатна согласно указанной в репозитории лицензии; тип лицензии в предоставленных данных не уточнён.
hviske-v5.1 — модель автоматического распознавания датской речи, разработанная syvai. Это 2-миллиардная модель архитектуры Conformer encoder-decoder, обученная примерно на 3,5 млн аудиозаписей общей длительностью около 16 тыс. часов из набора syvai/danish-asr-unified. Она преобразует аудио в текст и предназначена для транскрибации датской речи, в том числе разговоров и чтения вслух. Модель принимает аудио, автоматически разбивает записи длиннее 35 секунд на фрагменты и выполняет внутреннее преобразование частоты дискретизации в 16 кГц. Для запуска описана поддержка Transformers 4.57.6 и сервера vLLM с API, совместимым с OpenAI. Указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор рекомендует более новую версию hviske-v5.3; версия v5.1 сохранена как основа для последующих дообучений и воспроизводимости.
Карточка модели sensenova/InteractiveOmni-4B на Hugging Face совпадает с карточкой sensenova/InteractiveOmni-8B, поэтому описание составлено по ней. InteractiveOmni-8B — плотная омнимодальная модель SenseNova для интерактивного общения с изображениями, аудио, текстом и видео. Она принимает мультимодальные входные данные и генерирует связные текстовые и речевые потоки; поддерживает многошаговое взаимодействие и долговременную память. Модель предназначена для мультимодального понимания, речевого диалога и генерации речи, а также для сценариев, где требуется сочетать аудио-визуальный ввод с текстовыми ответами. В README заявлены результаты уровня SOTA на открытых тестах понимания изображений, аудио и видео, а также речевого общения; приведены сценарии запуска через Transformers с требованием версии не ниже 4.51.0 и FlashAttention 2. В репозитории доступны файлы ONNX и safetensors. Лицензия — MIT. Размер 8B указан в названии модели; поддерживаемые языки по карточке — китайский и английский.
Mega-ASR-MLX-int8 — сборка Mega-ASR в формате MLX от littlebearlabs, созданная на основе mlx-community/Mega-ASR-MLX-bf16 и предназначенная для распознавания речи на устройствах Apple Silicon. Mega-ASR повышает устойчивость Qwen3-ASR-1.7B: аудиомаршрутизатор определяет, чистая ли запись или ухудшенная, и при необходимости подключает LoRA-адаптер во время инференса. 344 линейные проекции аудиоэнкодера и текстового декодера квантизированы в int8 с размером группы 64; фронтенд, нормализации, маршрутизатор и LoRA-адаптер сохранены в bf16. Упакованные веса загружаются напрямую через native loader mlx-mega-asr без квантизации при запуске. Репозиторий содержит токенизатор Qwen2 BPE. README сообщает о близком качестве int8 и bf16 на LibriSpeech test-clean, однако проверка охватывает только 20 файлов. Модель основана на Qwen3-ASR-1.7B, для которой в карточке указаны английский и китайский языки. Лицензия — Apache-2.0.
MERaLiON-2-10B-ASR — мультимодальная модель распознавания речи, разработанная Институтом исследований и информатики A*STAR (I2R) в Сингапуре. Это ASR-оптимизированная версия MERaLiON-2: архитектура объединяет речевой энкодер на основе Whisper Large v3 и текстовый декодер Gemma 2; число параметров — 8,1 млрд. Модель дообучена и объединена с базовыми моделями для распознавания речи на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках. Модель предназначена прежде всего для транскрибации аудио, в том числе речи с сингапурскими акцентами, местными разговорными выражениями и переключением языков. Она принимает монофоническое аудио с частотой 16 кГц; README указывает длительность до 300 секунд для аудиозапросов, но для удовлетворительного качества транскрибации рекомендует ограничивать аудио 30 секундами. Разработчики сообщают об улучшении распознавания на 5–30% относительно Whisper Large v3, однако результат зависит от языка и условий записи. Модель использует Transformers и распространяется по лицензии MERaLiON Public License. README исключает применение для вызова инструментов, математики и программирования; подтверждённые задачи модели относятся к распознаванию речи.
MERaLiON-2-3B — мультимодальная речевая языковая модель, разработанная I2R, A*STAR (Сингапур) для распознавания речи и работы с аудио в многоязычном контексте Юго-Восточной Азии. Версия 3B сочетает локализованный аудиоэнкодер Whisper-large-v3 с текстовым декодером Gemma-2-2b-it; в метаданных указано 2,1 млрд параметров. Модель принимает моно-аудио с частотой 16 кГц; README заявляет поддержку входных аудиозаписей до 300 секунд для вопросов и ответов по аудио, но для транскрибации рекомендует записи до 30 секунд. Основной сценарий этой облегчённой версии — автоматическое распознавание речи. Семейство ориентировано на английский, китайский, малайский, тамильский, индонезийский, тайский и вьетнамский языки, включая локальные акценты, сингапурский английский и переключение языков в речи. Модель выдаёт текст; README также описывает для семейства задачи понимания аудио, но не приводит отдельные результаты версии 3B. Модель доступна в формате safetensors через Transformers. Указана лицензия MERaLiON Public License; её конкретные условия следует сверять с текстом лицензии в репозитории. README исключает использование для вызова инструментов, математики и программирования.
MERaLiON-3-3B-ASR — модель распознавания речи с открытыми весами из семейства Speech-Text Large Language Models MERaLiON-3, разработанного институтом I2R агентства A*STAR в Сингапуре. Модель содержит около 2,1 млрд параметров по метаданным и предназначена для аудио на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках, а также на кантонском и хоккиенском диалектах. Она обучена распознавать естественное переключение между английским и языками региона Юго-Восточной Азии, включая синглиш. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текстовую транскрипцию. По README, она дообучена для ASR на многоязычной смеси данных с акцентом на сингапурский английский, региональные диалекты и переключение языков. Авторы сообщают, что меньшая по размеру модель сопоставима с MERaLiON-2-10B-ASR или превосходит её на приведённых оценках; для самостоятельного размещения указана одна GPU с 80 ГБ памяти. Для запуска предлагаются пакет meralion-3-asr с бэкендом vLLM и бэкенд Transformers. Лицензия обозначена как other, конкретные условия следует проверять в карточке репозитория.
Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.
Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-42 — дообученная версия facebook/mms-1b-all, разработанная на наборе BEMGEN - BEM. Это модель распознавания речи на архитектуре wav2vec2 с головой Wav2Vec2ForCTC, принимающая аудио и преобразующая его в текст. В репозитории указано 1,3 млрд параметров; модель рассчитана на применение в сценариях автоматической транскрипции речи. На оценочном наборе указаны Loss 12,2430 и CER 0,0530. Базовая модель поддерживает более тысячи языков, но язык и охват языков именно этой дообученной версии не уточнены. Для файлов используется формат safetensors, библиотека — Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
cstr/MOSS-Transcribe-preview-2B-GGUF — это GGUF/GGML-конверсия модели MOSS-Transcribe-preview-2B, разработанной командой OpenMOSS-Team. Репозиторий cstr содержит только преобразованные и квантизированные веса и предназначен для запуска через CrispASR. Модель выполняет автоматическое распознавание речи и транскрибацию аудио, поддерживая английский и китайский языки. Заявленная авторами средняя ошибка распознавания составляет 4,87% WER. Модель представляет собой speech-LLM примерно на 2,4 млрд параметров. Она объединяет аудиоэнкодер Qwen3-Omni-MoE с 32-слойным Transformer, размерностью 1280, и языковую модель Qwen3-1.7B с 28 слоями и GQA. Аудио обрабатывается в формате 16 кГц, моно, с 128 mel-бинами; для запуска необходима обязательная ChatML-шаблонизация запроса. Доступны варианты F16 размером 4,51 ГБ, Q8_0 размером 3,28 ГБ и рекомендуемый Q4_K размером 2,63 ГБ. Квантизация применяется преимущественно к матричным операциям языковой модели, тогда как аудиоэнкодер, адаптер и связанные embedding-слои сохраняются в F16 для поддержания качества. Модель может работать на CPU и GPU, включая Metal и CUDA, а runtime CrispASR использует постоянный KV-кэш для эффективной генерации токенов. Сильными сторонами являются компактный размер, наличие квантизированных сборок и проверенная эквивалентность с эталонной реализацией на тестовом аудио. Ограничения включают специализацию на распознавании речи, необходимость подачи монофонического аудио 16 кГц и зависимость от runtime CrispASR; в README также отмечено, что вывод обычно представлен строчными буквами с минимальной пунктуацией. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.