I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиNVIDIA NeMo Canary-Qwen-2.5B — модель распознавания английской речи, разработанная NVIDIA. Она предназначена для преобразования аудио в текст с пунктуацией и заглавными буквами, а также для обработки уже полученной расшифровки: например, её можно суммировать или задавать по ней вопросы. В режиме распознавания модель принимает аудио и текстовую инструкцию; в текстовом режиме работает только с расшифровкой и не анализирует исходное аудио. Модель содержит 2,5 млрд параметров и построена как Speech-Augmented Language Model: аудиокодировщик FastConformer связан с декодером Transformer на основе Qwen3-1.7B. Для распознавания рассчитана на английский язык; в README указана скорость 418 RTFx. Обучающие аудиозаписи длились не более 40 секунд, а максимальная последовательность ограничена 1024 токенами, поэтому точность на более длинных входах может снижаться. Модель не сохраняет навыки рассуждения базовой LLM в режиме работы с аудио. Для использования требуется NVIDIA NeMo; лицензия — CC BY 4.0.
Confucius4-R2T2 — модель распознавания речи в реальном времени от NetEase Youdao, дообученная на базе Qwen/Qwen3-ASR-1.7B. Она предназначена для потоковой и офлайн-транскрибации: выдаёт текст по мере поступления аудио и фиксирует уже выведенные фрагменты, не пересматривая их. Размер модели — 1,7 млрд параметров; архитектура — плотная Qwen3-ASR. Модель поддерживает настраиваемые интервалы декодирования от 80 мс до 2 с; в README заявлена средняя задержка 200–600 мс. Модель рассчитана прежде всего на китайскую и английскую речь, а также поддерживает ряд других языков, включая русский. Она подходит для субтитров и расшифровки в реальном времени, а также для передачи распознанного текста в NLP-системы и голосовых агентов. Доступны бэкенды vLLM и Hugging Face Transformers, а также подсказки с контекстом и ключевыми словами. README сообщает о высокой точности, но приведённые таблицы результатов опущены, поэтому независимо оценить эти заявления по карточке нельзя. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.
Confucius4-R2T2-GGUF — это квантизированная GGUF-версия модели Confucius4-R2T2 от NetEase Youdao, подготовленная для запуска в audio.cpp. Модель предназначена для автоматического распознавания речи, включая офлайн-транскрибацию и потоковую обработку аудио в реальном времени с низкой задержкой. Поддерживается append-only потоковая выдача текста с декодированием по принципу Longest Stable Prefix. Модель представляет собой дообученную версию Qwen3-ASR-1.7B. Доступны варианты Q8_0 размером около 2,31 GiB и F16 размером около 3,81 GiB; вариант F16 ориентирован на максимальную точность, а Q8_0 — на более компактное размещение. GGUF-файлы содержат токенизатор, конфигурации процессора и генерации, шаблон чата и спецификацию модели, поэтому для запуска достаточно одного файла. Поддерживаются CPU, CUDA и Metal, а также размеры потоковых фрагментов от 80 мс до 2 секунд. Заявлена поддержка китайского, английского, кантонского и ряда других языков, включая русский, японский, корейский, арабский, немецкий, французский, испанский, португальский, итальянский, хинди и другие. Сильными сторонами являются локальный запуск без Python и PyTorch, потоковый режим, низкая задержка и возможность работы с живым аудиопотоком. Ограничения включают отсутствие проверенной поддержки квантизаций ниже Q8_0, а также то, что VAD-определение окончания речи на момент публикации не включено. Модель распространяется по лицензии netease-youdao-model-use-license; условия следует уточнять в тексте лицензии.
Confucius4-R2T2-GGUF — официальный формат GGUF модели Confucius4-R2T2, разработанной NetEase Youdao. Это модель автоматического распознавания речи (ASR), предназначенная для высокоточной транскрипции в режиме реального времени и потоковой обработки аудио с низкой задержкой. Модель поддерживает настраиваемые фрагменты декодирования длительностью от 80 миллисекунд до 2 секунд, что позволяет выбирать баланс между задержкой и качеством распознавания. В репозитории доступны варианты f16 размером 3,2 GiB, Q8_0 размером 1,7 GiB и Q4_K_M размером 1,0 GiB; меньшие варианты требуют меньше ресурсов, но могут обеспечивать более низкое качество. Дополнительные файлы mmproj предназначены для мультимодального дополнения. В метаданных указана поддержка китайского языка; сведения об архитектуре, размере исходной модели и длине контекста не приведены. Сильные стороны модели — потоковое распознавание с тонкой настройкой размера обрабатываемых фрагментов, низкая задержка и наличие нескольких уровней квантования для разных аппаратных ограничений. Ограничения включают отсутствие в предоставленных данных подробных характеристик архитектуры, перечня дополнительных языков и результатов сравнительных оценок. Модель распространяется по NetEase Model Use License Agreement; код связанного проекта лицензирован по Apache 2.0.
distil-large-v3-fr — французская модель распознавания речи семейства Distil-Whisper, созданная посредством дистилляции Whisper large-v3. Она предназначена для автоматической транскрибации коротких записей и длинных аудиофайлов; поддерживает последовательную обработку длинной записи для приоритета точности и обработку фрагментами для более высокой скорости. Архитектура — WhisperForConditionalGeneration, размер — около 905,2 млн параметров; модель принимает аудио и генерирует текст на французском языке. По данным README, качество на тестах вне обучающего распределения находится в пределах 2% WER от Whisper large-v3 для коротких и длинных записей, а модель работает быстрее исходной большой модели. Также её можно использовать как вспомогательную модель для спекулятивного декодирования Whisper large-v3. Для работы требуется Transformers версии 4.41 или новее. Лицензия — MIT.
jonatasgrosman/exp_w2v2t_ru_hubert_s818 — модель распознавания русской речи, дообученная автором jonatasgrosman с помощью HuggingSound на обучающей части Common Voice 7.0. Она основана на facebook/hubert-large-ll60k и использует архитектуру HuBERT с CTC-головой; размер составляет 402,7 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Подходит для автоматической транскрипции русскоязычных записей. Распространяется по лицензии Apache-2.0.
Это конверсия модели distil-whisper/distil-large-v2 в формат CTranslate2, подготовленная для использования с CTranslate2 и проектами на его основе, например faster-whisper. Модель предназначена для распознавания речи по аудиозаписям и транскрибирования речи в текст. Веса сохранены в FP16; при загрузке тип вычислений можно выбирать через параметр compute_type в CTranslate2. В карточке указана поддержка английского языка. Репозиторий использует библиотеку CTranslate2, а лицензия — MIT.
Это конверсия модели distil-whisper/distil-large-v3 в формат CTranslate2, опубликованная Systran. Она предназначена для автоматического распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; тип вычислений можно выбрать при загрузке через параметр compute_type. Лицензия репозитория — MIT.
Это конверсия модели deepdml/whisper-large-v3-turbo в формат CTranslate2, опубликованная jfmdai. Она предназначена для распознавания речи и может использоваться в CTranslate2, включая проекты на его основе, например faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель принимает аудио и выдаёт распознанный текст. По метаданным она поддерживает множество языков, в том числе русский, английский, китайский, немецкий, испанский, французский, японский и корейский. Лицензия репозитория — MIT. Карточка не приводит сведения о контексте или дополнительных ограничениях качества.
FastSLM — модель на базе Qwen3-4B, дообученная okestro-ai-lab для преобразования речи в текст и других задач понимания аудио. Она использует архитектуру FastSLM с плотной моделью условной генерации и адаптацией языковой модели к аудио; веса доступны в формате safetensors. Модель ориентирована на эффективную обработку длинных записей: в README заявлена обработка до восьми часов аудио на GPU с 40 ГБ памяти. Для вывода требуются GPU и специальный код модели в Transformers. FastSLM поддерживает транскрибирование речи, перевод аудио в текст на другом языке, суммаризацию аудиозаписей и ответы на вопросы по их содержанию. README сообщает о сохранении возможностей исходной языковой модели для текстовых задач при отключении LoRA. В метаданных указаны английский и корейский языки; опубликованные материалы также упоминают стандартные тесты распознавания речи, но численные результаты здесь не приведены. Модель распространяется по лицензии Apache-2.0.
GigaAM-v3 — третье поколение семейства моделей GigaAM, разработанное для распознавания русской речи. Это модель на архитектуре Conformer размером 220–240 млн параметров, предварительно обученная на разнообразных русскоязычных аудиоданных с целью HuBERT-CTC. В семействе представлены самоконтролируемый энкодер и варианты распознавания с декодерами CTC и RNN-T; сквозные варианты также выполняют пунктуацию и нормализацию текста. Модель предназначена для транскрибации речи в разных условиях, включая разговоры в колл-центрах, речь с фоновой музыкой, естественную речь и записи с нетипичными характеристиками голоса. README сообщает об улучшении качества на новых доменах и приводит результаты на наборах русской речи. Для отдельных вариантов доступны исходные веса FP16 и квантизированные FP8; указанные тесты показывают близкое качество транскрипции FP8 к FP16. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT. Модель ориентирована на русский язык; метаданные карточки также отмечают английский язык, но README не описывает качество распознавания английской речи. Результаты зависят от варианта модели и условий записи; опубликованные сравнения и оценки не гарантируют такое же качество на произвольных данных.
GigaChat Audio 10B (A1.8B) — аудионативная языковая модель ai-sage, созданная на основе текстовой GigaChat 3.1 Lightning. Conformer-энкодер речи и адаптер модальности передают аудиоэмбеддинги в декодер Mixture-of-Experts; модель также выполняет текстовые задачи. В названии указаны 10B параметров и активная конфигурация A1.8B, однако метаданные не содержат отдельного значения общего размера модели. Модель предназначена для вопросов и ответов по аудио, классификации звука, поиска событий и фрагментов по времени, создания описаний и кратких пересказов аудио с временными отметками. README также заявляет поддержку использования инструментов. В карточке приведены сравнительные результаты на аудио-бенчмарках и отмечено, что добавление аудиомодальности меняет качество текстовых задач: на части тестов результаты базовой модели снижаются, на других растут. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы и описания с временными отметками. Для temporal grounding заявлено обучение на длинных аудиозаписях с временной разметкой из TimeGround-1M. Лицензия — MIT.
GLM-ASR-Nano-2512 — компактная модель распознавания речи от zai-org с 1,5 млрд параметров, построенная на архитектуре GLM-ASR и распространяемая в формате safetensors. Она принимает аудио и преобразует речь в текст; карточка заявляет поддержку китайского и английского, включая кантонский диалект, и устойчивость к тихой речи и сложной акустике. Модель предназначена для транскрибации разговоров и совещаний, в том числе при фоновом шуме и низкой громкости. В README заявлено, что модель превосходит Whisper V3 на ряде бенчмарков и показывает средний показатель ошибки 4,10; это заявления разработчика, а не независимая оценка. Для интеграции указана библиотека Transformers, а лицензия — MIT.
Indic-Transcribe-flex — мультиязычная модель распознавания речи, разработанная Spark UX и основанная на NVIDIA Canary-1B-v2. Она использует энкодер FastConformer и Transformer-декодер и дообучена для транскрибации 27 индийских языков, включая варианты английского с индийским акцентом и диалекты хинди. Для входа принимает аудио; базовые требования — моно, 16 кГц, поддерживаются WAV, FLAC и MP3. Модель предназначена для преобразования речи в текст, в том числе в шумной обстановке и при смешении языков в одной речи. Доступны вывод в родной письменности, смешанный режим с латиницей для английских слов и чисел и полностью романизированный текст. Также модель умеет определять язык и транскрибировать аудио без заранее заданного языка. Вариант flex поддерживает нормализацию чисел и кода-свитчинг; потоковая транскрибация, согласно карточке, относится к варианту lite. Заявленные сценарии включают голосовые продукты для образования, сельского хозяйства и здравоохранения, а также транскрибацию звонков и индексирование речи. В карточке приведены результаты бенчмарка Voice of India, но они не гарантируют такую же точность на других данных. Лицензия в метаданных обозначена как other; README заявляет готовность модели к коммерческому использованию, поэтому перед развертыванием следует проверить условия лицензии репозитория.
Карточка модели Goat7777721/Inquisitive-Omni-1.0 на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.
Модель toiar/khasi-asr-transcribe-diarize-v2 — дообученная версия MOSS-Transcribe-Diarize от OpenMOSS-Team для транскрибирования аудио на кхаси, английском и хинди. Она обучена на корпусе объёмом около 342 часов и поддерживает режимы вывода с временными метками и диаризацией, а также только с указанием говорящих. Базовая модель имеет размер 0,9 млрд параметров и предназначена для длинных записей с транскрипцией, временными метками, разделением говорящих и аннотациями акустических событий. Модель подходит для расшифровки многоязычных записей и разметки реплик по говорящим. Лицензия — Apache 2.0. Для загрузки требуется trust_remote_code=True.
knkarthick/MEETING-SUMMARY-BART-LARGE-XSUM-SAMSUM-DIALOGSUM — модель на архитектуре BART, созданная дообучением facebook/bart-large-xsum. Она предназначена для суммаризации встреч и диалогов, в том числе в сценариях, связанных с датасетами SAMSum и DialogSum. Модель содержит 252,8 млн параметров и принимает текст с контекстом до 1024 токенов, выдавая краткое текстовое резюме. Модель ориентирована на англоязычные входные данные. Репозиторий включает веса PyTorch и SafeTensors, а также формат TensorFlow. Лицензия — Apache-2.0. Карточка сообщает о дообучении базовой модели, но не приводит оценок качества или подробностей о данных обучения и поведении на длинных либо иных языковых входах.
Карточка модели NostraEmpire/mirror-qwen2.5-omni-7b на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Omni-7B, поэтому описание составлено по ней. Qwen2.5-Omni-7B — мультимодальная модель семейства Qwen, разработанная командой Qwen компании Alibaba. Она использует архитектуру Thinker-Talker для сквозной обработки текста, изображений, аудио и видео и потоковой генерации текста и естественной речи. Временные позиционные представления TMRoPE синхронизируют видеокадры со звуком. Модель предназначена для мультимодального диалога в реальном времени, включая голосовое и видеообщение, распознавание и понимание речи, анализ изображений и видео, следование инструкциям на слух и генерацию речи. Карточка сообщает о результатах на тестах мультимодального рассуждения, понимания видео, речи и перевода; модель работает через Transformers и хранит веса в формате safetensors. Модель принимает текст, изображения, аудио и видео, а выдаёт текст и аудио. В README не приведены сведения о лицензии, позволяющие назвать её условия: метаданные указывают лицензию «other».
moona3k подготовил квантованный вариант Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Это модель распознавания речи, которая преобразует аудио в текст; через пакет mlx-qwen3-asr она также поддерживает выдачу временных меток слов и работу HTTP-сервера. По данным карточки, модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. Текстовый декодер и эмбеддинги квантованы до 4 бит с размером группы 64, аудиоэнкодер — до 8 бит; остальные плавающие тензоры хранятся в float16. Размер загрузки — 1,2 ГБ против 4,4 ГБ у исходной версии в fp16. В тесте на 100 фрагментах LibriSpeech test-clean этот артефакт показал WER 1,73% и CER 0,53%; результаты небольшого теста не гарантируют такого же качества на других языках и аудио. Для загрузки требуется mlx-qwen3-asr версии 0.4.3 или новее. Лицензия — Apache-2.0.
facebook/mms-1b-fl102 — мног multilingual-модель автоматического распознавания речи из проекта Massively Multilingual Speech компании Facebook (Meta), разработанная Vineel Pratap и соавторами. Это дообученный на наборе Fleurs чекпойнт семейства Wav2Vec2 с CTC-архитектурой и адаптерами, содержащий около 1,3 млрд параметров по метаданным. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; заявлена поддержка 102 языков. Модель подходит для транскрибации записей и распознавания речи на множестве языков, в том числе при создании многоязычных речевых сервисов. Карточка указывает лицензию CC-BY-NC 4.0, которая ограничивает коммерческое использование. Возможны ошибки распознавания, особенно для условий и языков, не представленных в обучающих данных; метаданные перечисляют лишь часть языкового покрытия.
Это GGUF-сборка MOSS-Transcribe-Diarize от Luigi на основе модели OpenMOSS-Team/MOSS-Transcribe-Diarize. Репозиторий содержит варианты весов для запуска через движок RapidSpeech.cpp: основная версия q4mix-v2 занимает 759 МБ, также доступны варианты q8mix и F32. Базовая модель с 0,9 млрд параметров использует энкодер Whisper-medium и декодер Qwen3-0.6B; веса портированы в формат C++/ggml и проверены на соответствие исходному PyTorch-чекпойнту. Основная задача — транскрибирование аудио с временными метками и диаризацией говорящих; модель рассчитана на китайский и английский языки. Вариант q4mix-v2 дополнительно адаптирован QAT к распознаванию тишины: на полностью беззвучном входе он должен возвращать пустую расшифровку, сохраняя чувствительность к тихой речи. По приведённым тестам, точность на китайском наборе из пятиминутных записей улучшилась по сравнению с предыдущим q4-вариантом, а качество английской однопроходной расшифровки снизилось на 1,5 процентного пункта. Лицензия — Apache-2.0. Описание не подтверждает, что эта сборка сохраняет все функции диаризации базовой модели во всех вариантах весов.
Это MLX-совместимая версия модели распознавания речи NVIDIA Nemotron 3.5 ASR Streaming, подготовленная theoracleguy для OpenVox и других сценариев на Apple Silicon с библиотекой mlx-audio. Модель содержит 600 млн параметров и использует потоковую архитектуру FastConformer-RNNT с учетом кэша и подсказкой идентификатора языка. В репозитории размещены веса bfloat16 для инференса полного качества. Модель предназначена для потоковой транскрипции речи с пунктуацией и восстановлением заглавных букв; README сообщает о поддержке 40 языковых локалей. Метаданные перечисляют языки, включая английский, русский, испанский, немецкий, французский, арабский, японский, китайский и другие. Её можно использовать в локальных голосовых сценариях OpenVox или независимо через mlx-audio. Это производная версия NVIDIA Nemotron 3.5 ASR Streaming, адаптированная для MLX; метаданные указывают связь finetune. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория и исходной моделью NVIDIA. Архитектура, бенчмарки и ограничения описаны в оригинальной карточке NVIDIA, на которую ссылается README.
nemotron-3.5-asr-streaming-0.6b-gguf — это квантованные GGUF-версии модели NVIDIA nemotron-3.5-asr-streaming-0.6b, подготовленные проектом handy-computer для transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования речи в текст в офлайн- и потоковом режимах, включая приложения с пониженной задержкой и обработку аудио в реальном времени. Модель содержит около 0,6 млрд параметров и использует кэшируемый streaming FastConformer-энкодер с prompt-conditioned RNN-T-декодером. Поддерживаются 32 языковые локали, включая английский, испанский, французский, немецкий, русский, китайский, японский, корейский, арабский, хинди и другие европейские и азиатские языки. Доступны пунктуация и капитализация, автоматическое определение языка и токенные временные метки. Перевод речи не поддерживается. Для разных требований к памяти и скорости доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M; размер файлов составляет примерно от 496 МБ до 2,55 ГБ. Сильные стороны модели — потоковая работа, мультиязычность и близкая к эталонной NeMo точность. На тесте LibriSpeech test-clean заявленная частота ошибок слов составляет около 3,04% для F32, а на английской части FLEURS — около 7,9%; у более сильной квантизации точность снижается умеренно. Ограничения включают отсутствие перевода, зависимость качества от языка, квантизации и акустических условий, а также необходимость подачи аудио в формате 16 кГц, моно WAV либо предварительного преобразования. Модель распространяется по лицензии OpenMDW-1.1, унаследованной от базовой модели; для запуска используется transcribe.cpp.
Nemotron-3.5 ASR Streaming 0.6B MLX bf16 — потоковая модель распознавания речи от NVIDIA, перенесённая aufklarer на MLX для Apple Silicon и Metal GPU. Это конверсия исходной модели NVIDIA в формат MLX с весами bf16; архитектура — кэшируемый FastConformer с RNN-T и языковым промптом. Размер модели — 600 млн параметров. Модель принимает аудио чанками и выдаёт распознанный текст с пунктуацией и заглавными буквами. Она предназначена для потоковой транскрипции речи с низкой задержкой и поддерживает 40 языковых локалей; среди указанных языков — английский, испанский, немецкий, французский, итальянский, португальский, русский, хинди, китайский, японский, корейский и арабский. В README приведены результаты оценки на части языков и показатели потоковой производительности на Apple M5 Pro. Карточка описывает bf16-вариант как почти не теряющий точность относительно исходника fp32, но опубликованные показатели качества ограничены тестами на небольших выборках FLEURS и не характеризуют все 40 локалей. Для запуска требуется MLX; автор также указывает `parakeet-mlx` для модуля Conformer. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией исходной модели NVIDIA и репозитория.
Nemotron 3 Diarization preview — предварительная модель NVIDIA для анализа многоголосой аудиозаписи и определения, кто и когда говорил. Она предназначена для диаризации речи в потоковом и офлайн-режимах; метаданные также относят её к voice activity detection и указывают на архитектуру Streaming Sortformer. Модель принимает аудио и выдаёт временные метки активности говорящих. Подробная карточка основной версии Nemotron 3 Diarization описывает Transformer-энкодер с 31 слоем и около 100 млн параметров, поддержку до восьми говорящих, потоковую обработку и разрешение выходных кадров 10 мс. Эти характеристики относятся к основной версии и не подтверждены отдельно для preview. Доступ к preview предоставляется по лицензии NVIDIA Software and Model Evaluation License для внутреннего тестирования и оценки: использование в производстве и запуск не на системах с NVIDIA GPU не разрешены. Карточка основной версии описывает её как готовую к коммерческому и некоммерческому применению под другой лицензией, поэтому её условия нельзя переносить на preview.
omniASR-CTC-1B-v2 — конвертированная в формат Hugging Face модель распознавания речи на архитектуре Wav2Vec2, созданная автором репозитория на основе контрольной точки OmniLingual fairseq2 omniASR_CTC_1B_v2. Модель содержит 1,3 млрд параметров, использует 48 слоёв энкодера и скрытый размер 1280; она выдаёт CTC-логиты по словарю SentencePiece. Численное соответствие исходной контрольной точке проверено на аудиопримере. Модель предназначена для автоматической транскрипции речи на нескольких языках. Её можно применять для преобразования аудиозаписей в текст и для многоязычного распознавания речи. Карточка не приводит список поддерживаемых языков. Репозиторий содержит веса safetensors для Transformers; сведения о лицензии в доступных данных отсутствуют.
omniASR-CTC-300M — конверсия чекпойнта OmniLingual omniASR_CTC_300M в формат Hugging Face, опубликованная aadel4. Это модель распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием: она принимает аудио и выдаёт логиты по SentencePiece-словарю для транскрибирования речи на нескольких языках. В метаданных указано 412,7 млн параметров; модель использует класс Wav2Vec2ForCTC и библиотеку Transformers. В карточке описаны 24 слоя энкодера и размер скрытого состояния 1024. Автор сообщает, что результаты модели совпадают с исходным чекпойнтом fairseq2 с точностью до atol=1e-4 на контрольном аудиофрагменте, и приводит совпадающую транскрипцию. Модель предназначена для многоязычного ASR; конкретные поддерживаемые языки в карточке не перечислены. Условия лицензирования в предоставленных данных не описаны.
omniASR-CTC-300M-v2 — модель автоматического распознавания речи на базе Wav2Vec2 с CTC-декодированием, преобразованная из чекпойнта OmniLingual fairseq2. Она принимает аудио и выдаёт последовательность логитов по словарю SentencePiece, предназначенную для транскрибации речи на нескольких языках. Модель содержит 413,2 млн параметров и доступна в формате Safetensors для библиотеки Transformers. Подходит для многоязычной транскрибации аудиозаписей и распознавания речи в приложениях. Сведения о поддерживаемых языках, точности и длине контекста в карточке не приведены. Лицензия — Apache 2.0.
iljab/omniASR-CTC-3B-v2 — преобразованный в формат Hugging Face чекпойнт omniASR-CTC-3B-v2 от Meta. Модель предназначена для автоматического распознавания речи и выдаёт текстовую расшифровку аудио. В Transformers используется класс Wav2Vec2ForCTC; энкодер содержит 60 слоёв со скрытым размером 2048. В репозитории указаны веса safetensors и лицензия Apache-2.0. Модель подходит для транскрибации аудиозаписей и интеграции распознавания речи в приложения на базе Transformers. README не сообщает поддерживаемые языки, ограничения по качеству, требования к аудио или длину контекста, поэтому эти характеристики здесь не уточняются.
omniASR-LLM-7B — форк модели Meta AI из семейства Omnilingual ASR, подготовленный для интеграции с vLLM. Согласно README, веса идентичны оригинальной facebook/omniASR-LLM-7B: изменена только упаковка, добавлены конфигурация Hugging Face, настройки токенизатора и таблица языковых идентификаторов. Это плотная модель класса OmniAsrForConditionalGeneration с весами в формате safetensors. Модель предназначена для автоматического распознавания речи на множестве языков; семейство заявляет поддержку более 1600 языков. Форк позволяет запускать распознавание через vLLM. README не приводит точного числа параметров именно этой 7B-версии. Репозиторий распространяется по лицензии Apache 2.0.