/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
661–690 из 26 923
Edge0
Audio8-ASR-0.1B-onnx-runtime

Карточка модели Edge0/Audio8-ASR-0.1B-onnx-runtime на Hugging Face совпадает с карточкой Audio8/Audio8-ASR-0.1B-onnx-runtime, поэтому описание составлено по ней. Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

8114июль 2026
textaudiocc-by-nc-4.0hugging-face
KRAFTON
A.X-K2-Raon-Speech-21B-A3B

A.X K2 Raon-Speech — мультимодальная речевая языковая модель KRAFTON AI для английского и корейского языков. Она объединяет текстовую основу A.X K2 Light 20B-A3B с архитектурой mixture-of-experts, речевой энкодер AuT и нейронный аудиокодек в одном чекпойнте. Всего модель содержит около 21,2 млрд параметров, из которых активны около 3,5 млрд; веса представлены в формате safetensors, библиотека для работы — Transformers. Модель предназначена для распознавания и генерации речи, понимания аудио, ответов на вопросы по речи и голосового общения с ассистентом. Она поддерживает STT, TTS, SpeechQA, SpokenQA, диалог с чередованием текста и аудио, а также генерацию речи с учетом эмоций и интонации. Для TTS доступны голосовое обусловливание по эталонной записи и продолжение речи с сохранением просодии; эти функции используют внешний замороженный энкодер ECAPA из SpeechBrain. В карточке сообщается о высоких агрегированных результатах на корейских и английских речевых бенчмарках. Для запуска требуется Transformers версии 4.57.1 или новее; BF16-чекпойнт занимает около 42,4 ГБ, рекомендуется GPU с 80 ГБ памяти или подходящая многокарточная конфигурация. Модель предназначена для исследований и некоммерческого прототипирования; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. При голосовом обусловливании и генерации с идентифицируемыми голосами необходимо получать согласие.

3.6K106июль 2026ctx131.1K
textcc-by-nc-4.0hugging-face
lidiya
bart-large-xsum-samsum

Модель lidiya/bart-large-xsum-samsum — дообученная версия facebook/bart-large-xsum, созданная для суммаризации диалогов. Она основана на архитектуре BART и содержит 252,8 млн параметров; принимает текст и генерирует текстовое резюме. Модель обучалась на датасете SAMSum, содержащем диалоги на английском языке, и поддерживает задачу summarization. Максимальная длина контекста составляет 1024 токена. В карточке приведены результаты оценки на SAMSum: ROUGE-1 — 54,3921, ROUGE-2 — 29,8078 и ROUGE-L — 45,1543. Модель подходит для краткого пересказа переписок и диалогов на английском языке. Распространяется по лицензии Apache-2.0.

7538март 2022ctx1K
textapache-2.0hugging-face
batiai
batisay-ko-large

batisay-ko-large 1.1 — BatiAI әзірлеген, корей тіліндегі сөйлеуді мәтінге айналдыруға арналған Whisper Large v3 негізіндегі модель. Ол KsponSpeech, Zeroth және AI Hub деректерімен, соның ішінде көпсалалы сөйлеу және 8 кГц телефон жазбаларымен дообучен; базалық Whisper Large v3 шамамен 1,55 млрд параметрден тұрады. Модель жиналыс, дәріс, сұхбат, диктовка, телефон қоңырауы және медиаға субтитр дайындау транскрипциясына бағытталған. Карточкада таза сөйлеу, шулы жазбалар және бірнеше домен бойынша CER бенчмарктары берілген. Қысқа клиптер мен құжаттық/пакеттік транскрипцияға дәлдігі басым; ұзақ қоңыраулар мен ағындық жұмысқа автор жеңілірек turbo нұсқасын ұсынады. Whisper Large өлшемі есептеу ресурстарын көбірек қажет етеді. Репозиторийде safetensors форматы көрсетілген, ал README-де басқа кванттау нұсқалары және whisper.cpp, Transformers арқылы іске қосу жолдары аталады. Лицензиясы — BatiAI Community v2 («other» метадерегінде). Транскрипцияда сирек жеке әріптер қалып қоюы мүмкін; оларды кейінгі өңдеуде алып тастау ұсынылады.

61июнь 2026
textaudiootherhugging-face
lgris
bp500-base100k_voxpopuli

bp500-base100k_voxpopuli — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского варианта португальского языка. В карточке указано, что исходное обучение выполнялось с fairseq, а опубликованная версия представляет собой конвертированную модель. Число параметров — 113,3 млн; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей на бразильском португальском в текст. Для обучения использовались объединённые данные CETUC, Common Voice, LaPS BM, Multilingual Librispeech, TEDx, SID и VoxForge; README приводит результаты WER на тестовых выборках этих корпусов, которые различаются между наборами и не всегда улучшаются при использовании 4-граммной языковой модели. Лицензия репозитория — Apache-2.0. Карточка показывает демонстрационные примеры и оценки, поэтому результаты на других типах аудио могут отличаться.

8.2K1март 2022
textaudioapache-2.0hugging-face
CogniSoftOrg
canary-1b-v2-mlx-bf16

CogniSoftOrg/canary-1b-v2-mlx-bf16 — неофициальная конверсия модели NVIDIA Canary-1B-v2 для запуска на Apple Silicon через MLX и mlx-audio. Основная модель распознаёт речь и выдаёт текст; в репозитории также есть CTC-компонент для выравнивания текста по аудио и получения временных меток. Веса конвертированы из формата NVIDIA NeMo в safetensors с точностью bf16 без дообучения и квантизации. Модель построена на архитектуре FastConformer: 32-слойный аудиоэнкодер и 8-слойный Transformer-декодер. Она рассчитана на распознавание речи на 25 европейских языках, включая русский, и поддерживает перевод речи между английским и другими языками этого набора. Для CTC-выравнивания README указывает временные метки примерно с шагом 80 мс. README сообщает о проблемах совместимости в коде инференса mlx-audio 0.4.3: возможна ошибка типов в масках декодера, параметры языков могут фильтроваться, а жадное декодирование может зацикливаться на сложной записи. CTC-компонент может искажать текст на дальней или сложной речи, поэтому предназначен прежде всего для выравнивания. Лицензия — CC BY 4.0; конверсия не связана с NVIDIA и не одобрена ею.

5092июнь 2026
textaudiocc-by-4.0hugging-face
BarathwajAnandan
cohere-transcribe-03-2026-CoreML-6bit

Cohere Transcribe 03-2026 CoreML 6bit — конверсия модели CohereLabs/cohere-transcribe-03-2026, разработанная для автоматического распознавания речи на устройствах Apple. Модель предназначена для локальной транскрипции аудио в приложениях для macOS и iOS без обязательной передачи данных во внешние сервисы. Поддерживаются английский, арабский, немецкий, греческий, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский языки. Модель поставляется в формате CoreML .mlpackage и использует конвейер из извлечения аудиопризнаков, encoder и авторегрессионного decoder с KV-кэшированием. Веса имеют формат Float16 с 6-битной палетизацией; общий размер составляет около 1,4 ГБ, что примерно в 2,7 раза меньше FP16-версии. Вычисления могут выполняться на Apple GPU, CPU или Neural Engine; рекомендуется Apple GPU. Минимальные версии платформ — macOS 13 и iOS 16. Для обработки используются аудиофрагменты по 30 секунд с перекрытием 5 секунд. На тесте LibriSpeech test-clean модель показала WER 2,58% на 2619 из 2620 образцов. На Apple M4 Pro заявлен коэффициент работы в реальном времени 35,9×: обработка 30 секунд аудио занимает около 836 мс. Ключевые преимущества — компактность по сравнению с FP16, высокая скорость локального распознавания и практически сохранённая точность. Ограничения включают значительный размер около 1,4 ГБ, зависимость от экосистемы Apple и отсутствие данных о качестве на других наборах данных, акцентах, шумной речи и длинных аудиозаписях. Конвертированная модель распространяется по лицензии GPL-3.0; исходная модель CohereLabs имеет лицензию Apache-2.0.

4.7K7март 2026
textaudiogpl-3.0hugging-face
evewashere
cohere-transcribe-03-2026-ungated

evewashere/cohere-transcribe-03-2026-ungated — публичное зеркало модели Cohere Transcribe, созданное для загрузки без токена доступа к gated-репозиторию. Исходную модель разработали Cohere и Cohere Labs. Это специализированная модель распознавания речи с архитектурой Cohere ASR и 2 млрд параметров; она принимает аудио и выдаёт текст. Поддерживает арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский языки. Модель предназначена для транскрибации речи, в том числе в приложениях и сервисах с локальным или серверным инференсом. Разработчики заявляют высокую точность на 14 языках и скорость до трёх раз выше других специализированных ASR-моделей сопоставимого размера. Репозиторий использует формат Safetensors и поддерживается Transformers и vLLM. Лицензия — Apache-2.0. Лучшие результаты модель показывает, когда язык аудио заранее задан и остаётся одним из поддерживаемых. В ней нет автоматического определения языка, временных меток и разделения речи по говорящим; на смешанной речи качество непостоянно. Модель может ошибочно транскрибировать тихий фоновый шум, поэтому для таких записей полезны VAD или шумовой фильтр.

1.5K0июль 2026ctx2K
textaudioapache-2.0hugging-face
BuzzASR
czech

BuzzASR/Czech — одноязычная модель автоматического распознавания чешской речи, разработанная как часть набора BuzzASR. Это дообучение Whisper large-v3 с исходным токенизатором Whisper, настроенное только для распознавания речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; языковая и задачавая подсказки заданы в конфигурации генерации. Модель предназначена для транскрибации чешской речи. В оценке на тестовых наборах FLEURS и Common Voice 25 она показала CER 3,13 и 3,3 соответственно; качество на других типах записей и диалектах может отличаться. Обучение использовало FLEURS, Common Voice Corpus 25.0 и текстовые данные Goldfish. Модель распространяется по лицензии MIT.

1520сент. 2026
textaudiomithugging-face
WSHAPER
distilbert-multilingual-dialogue-act-classifier

WSHAPER разработала дообученный классификатор на основе DistilBERT для определения речевых актов в разговорных репликах. Модель относит текст к одному из четырёх классов: commissive (обещание или обязательство), directive (команда или просьба), inform (сообщение или факт) и четвёртый класс, название которого в карточке не приведено. Она рассчитана на английский, немецкий и русский языки, в том числе на транскрипты ASR с разговорными особенностями. Контекст модели — до 512 токенов. В тестах на английском и немецком языках точность составила 80,8–82,5%, макро-F1 — 0,725–0,750; на наборе с небрежными ASR-транскриптами результат составил 77,8% (35 из 45 примеров). Модель распространяется в формате safetensors, использует библиотеку Transformers и лицензию Apache-2.0. В приведённых результатах нет оценки на русском языке, поэтому качество для этого языка по карточке оценить нельзя.

910май 2026ctx512
textapache-2.0hugging-face
pdabo1607
English_Wav2Vec_Finetune

English_Wav2Vec_Finetune — модель автоматического распознавания английской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на наборе данных generator. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В карточке приведены результаты оценки на тестовой выборке: loss 0,3020 и WER 0,2061. Подробности о составе и условиях оценки, а также рекомендации по применению не раскрыты. Модель распространяется по лицензии Apache-2.0.

140нояб. 2025
textaudioapache-2.0hugging-face
Systran
faster-whisper-base.en

Systran подготовила конверсию английской версии Whisper base.en от OpenAI в формат CTranslate2. Модель предназначена для автоматического распознавания речи на английском языке и может использоваться через CTranslate2 и проекты на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий распространяется по лицензии MIT. Подробности об исходной модели приведены в карточке OpenAI Whisper base.en.

620K8нояб. 2023
textaudiomithugging-face
OpenASR
firered-aed-l-v2

OpenASR/firered-aed-l-v2 — модель автоматического распознавания речи, созданная FireRedTeam и упакованная для работы в среде OpenASR. Она предназначена для локального преобразования речи в текст, включая распознавание путунхуа, английского языка и их смешанной речи, а также китайских диалектов и акцентов. Модель может применяться для транскрибации аудио на CPU и GPU без использования Python во время инференса. В основе лежит attention-based encoder-decoder архитектура с Conformer-энкодером и Transformer-декодером. Модель содержит 1,1 млрд параметров и является развитием FireRedASR2-AED; она обучена с использованием расширенного словаря. Заявлены высокие результаты на китайской речи: средний CER 3,05% на четырёх публичных тестах путунхуа, 11,67% на 19 тестах китайских диалектов и акцентов, а также 1,17% на тесте песенных текстов. Для aishell1 указан CER 0,57%. Доступны варианты fp16, q8_0 и q4_k; q4_k уменьшает размер и пиковое потребление памяти, а fp16 ориентирован на максимальную точность. Модель особенно сильна в распознавании китайской речи, диалектов, акцентов, код-свитчинга и песенного вокала. Ограничения включают Mandarin-first специализацию и отсутствие в README сведений о поддерживаемых языках помимо китайского и английского, максимальной длине контекста и точности на других типах аудио. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели FireRedASR2-AED.

4.8K0июль 2026
textaudioapache-2.0hugging-face
cstr
firered-asr2-aed-GGUF

FireRedASR2-AED GGUF — это модель автоматического распознавания речи, разработанная командой FireRedTeam и преобразованная в формат GGUF для использования с CrispASR. Репозиторий содержит варианты исходной точности F16 и квантованные версии Q8_0 и Q4_K; преобразование не изменяет обучение, архитектуру, словарь или возможности исходной модели. Модель предназначена для транскрибации аудио на стандартном китайском языке, английском и более чем 20 китайских диалектах. Она использует Conformer-энкодер из 16 слоёв с размерностью 1280 и 20 головами внимания, относительным позиционным кодированием, macaron FFN и глубинно разделимой свёрткой с ядром 33, а также CTC-голову. Размер модели составляет около 1,1 млрд параметров. Заявленная средняя CER для мандаринского китайского — 3,05% по данным публикации. Сильными сторонами являются поддержка нескольких вариантов квантования, возможность работы через GGML/CPU и сопоставимое качество транскрипции между доступными вариантами на тестовых аудиозаписях. Ограничения включают вывод английского текста в верхнем регистре, использование только CTC-декодирования без beam search decoder и необходимость применения совместимого инструмента, например CrispASR. Модель распространяется по лицензии Apache 2.0; конвертация не предоставляет прав сверх лицензии исходной модели.

1.9K0апр. 2026
textaudioapache-2.0hugging-face
PatchyTisa
FireRedLID-vllm

Карточка модели PatchyTisa/FireRedLID-vllm на Hugging Face совпадает с карточкой allendou/FireRedASR2-LLM-vllm, поэтому описание составлено по ней. allendou/FireRedASR2-LLM-vllm — версия модели распознавания речи FireRedASR2-LLM, выпущенной командой FireRedASR2. Это система ASR на основе архитектуры Encoder-Adapter-LLM: аудиокодировщик и адаптер передают представление речи языковой модели Qwen2. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и ориентирован на запуск через vLLM. Модель преобразует речь в текст на китайском языке, включая мандаринский диалект и более 20 региональных акцентов, и на английском; поддерживает смешение китайского и английского языков, а также распознавание текста песен. В описанных авторами тестах средняя ошибка распознавания составила 2,89% CER для мандаринского китайского и 11,55% CER для китайских диалектов. Эти показатели относятся к указанным тестовым наборам и не гарантируют такое же качество на произвольной записи. Лицензия Apache-2.0 допускает коммерческое использование с соблюдением её условий.

1002март 2026
textaudioapache-2.0hugging-face
mlx-community
Fun-ASR-Nano-2512-4bit

Fun-ASR-Nano-2512-4bit — компактная многоязычная модель распознавания речи из сообщества mlx-community, преобразованная из FunAudioLLM/Fun-ASR-Nano-2512 в формат MLX с помощью mlx-audio-plus 0.1.4. Она принимает аудио и выдаёт текст, поддерживает потоковую транскрипцию, распознавание с подсказками и перевод речи в английский текст. В README заявлена поддержка более 13 языков; полный перечень приведён в карточке исходной модели. Модель предназначена для запуска через библиотеку mlx-audio-plus. В метаданных указана лицензия? Она не предоставлена, поэтому условия использования определить нельзя.

802дек. 2025ctx131.1K
textaudiohugging-face
Edge0
GPA

Карточка модели Edge0/GPA на Hugging Face совпадает с карточкой Audio8/GPA, поэтому описание составлено по ней. GPA (General Purpose Audio) — компактная модель, объединяющая распознавание речи, синтез речи и преобразование голоса в одном авторегрессионном трансформере с общей языковой основой. Репозиторий Audio8 включает обучающие и дообучающие конвейеры, примеры инференса и средства развертывания; карточка также описывает отдельный дистиллированный вариант GPA-TTS для синтеза речи на устройствах с ограниченными ресурсами. Основной GPA построен на плотной архитектуре Qwen3ForCausalLM, содержит 246,5 млн параметров и поддерживает контекст до 32 768 токенов. В модели объединены обработка аудио и текста для ASR, TTS и преобразования голоса; заявлены английский и китайский языки. Проект подчёркивает потоковый и параллельный инференс, а GPA-TTS — клонирование голоса по короткому образцу и локальную работу без внешней LLM. Модель предназначена для голосовых приложений, включая облачное развертывание и сценарии на периферийных устройствах. Репозиторий лицензирован по Apache-2.0. Приведённые в README таблицы результатов частично опущены, поэтому по этой карточке нельзя независимо оценить сравнительное качество модели.

7835дек. 2025ctx32.8K
textapache-2.0hugging-face
Edge0
GPA-v1.5

GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.

5627апр. 2026ctx32.8K
textapache-2.0hugging-face
handy-computer
granite-speech-4.1-2b-plus-gguf

Granite Speech 4.1-2B-Plus GGUF — это квантизированная версия мультимодальной модели IBM Granite Speech 4.1-2B-Plus, подготовленная сообществом handy-computer для работы в transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с поддержкой английского, французского, немецкого, испанского и португальского языков. Она принимает монофонический WAV с частотой 16 кГц и поддерживает выдачу временных меток для каждого слова или разметку текста по говорящим. Архитектура включает Conformer-энкодер, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1B. В варианте Plus используются объединённые скрытые состояния промежуточного и финального слоёв энкодера, а эмбеддинги токенов связаны с выходной головкой языка. Доступны варианты GGUF от BF16 и F16 до Q4_K_M размером примерно от 1,49 до 4,23 ГБ. На тесте LibriSpeech test-clean заявленный WER составляет 1,46–1,56% в зависимости от квантизации; для языков FLEURS WER в варианте Q8_0 составляет 4,46% для английского, 8,06% для немецкого, 6,53% для испанского, 8,82% для французского и 10,61% для португальского. Сильные стороны модели — локальная работа без облачных сервисов, многоязычное распознавание, словесные временные метки и диаризация. Ограничения: потоковая обработка и автоматическое определение языка не поддерживаются, перевод речи отсутствует, а режимы временных меток и диаризации нельзя использовать одновременно. Для работы требуется transcribe.cpp и аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

13K0май 2026
textaudioapache-2.0hugging-face
facebook
hubert-large-ls960-ft

facebook/hubert-large-ls960-ft — модель распознавания речи от Facebook, построенная на архитектуре HuBERT Large и дообученная на 960 часах LibriSpeech. Она преобразует речь в текст и рассчитана на распознавание английской речи, записанной с частотой дискретизации 16 кГц; входной аудиосигнал следует подавать с этой частотой. Модель содержит около 402,7 млн параметров и доступна в форматах PyTorch и TensorFlow. HuBERT использует самоконтролируемое обучение речевых представлений: при предобучении модель учится предсказывать кластерные метки на маскированных фрагментах аудио, а затем дообучается для распознавания речи. Подходит для транскрибирования англоязычных записей и аудио из наборов LibriSpeech-подобного типа. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит конкретных метрик распознавания этой версии; качество зависит от условий записи и соответствия входа требованиям по частоте дискретизации.

287K80март 2022
textaudioapache-2.0hugging-face
syvai
hviske-v3-conversation

Hviske v3 conversation — модель распознавания датской речи, разработанная syv.ai и дообученная на базе CoRal-project/roest-whisper-large-v1. Она предназначена для транскрибации естественных разговоров: встреч, интервью, подкастов и других записей реальной речи. Модель построена на архитектуре Whisper и доступна в формате safetensors для запуска через Transformers. В README заявлено, что модель превосходит Whisper Large v3 и v3 Turbo по метрикам WER и CER, однако приведённое там исследование гендерного смещения основано на тестовом наборе всего с четырьмя дикторами и не является репрезентативным. Модель бесплатна согласно указанной в репозитории лицензии; тип лицензии в предоставленных данных не уточнён.

1.7K12июль 2025
textaudiohugging-face
syvai
hviske-v5.1

hviske-v5.1 — модель автоматического распознавания датской речи, разработанная syvai. Это 2-миллиардная модель архитектуры Conformer encoder-decoder, обученная примерно на 3,5 млн аудиозаписей общей длительностью около 16 тыс. часов из набора syvai/danish-asr-unified. Она преобразует аудио в текст и предназначена для транскрибации датской речи, в том числе разговоров и чтения вслух. Модель принимает аудио, автоматически разбивает записи длиннее 35 секунд на фрагменты и выполняет внутреннее преобразование частоты дискретизации в 16 кГц. Для запуска описана поддержка Transformers 4.57.6 и сервера vLLM с API, совместимым с OpenAI. Указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор рекомендует более новую версию hviske-v5.3; версия v5.1 сохранена как основа для последующих дообучений и воспроизводимости.

391апр. 2026ctx2K
textaudiocc-by-nc-4.0hugging-face
sensenova
InteractiveOmni-4B

Карточка модели sensenova/InteractiveOmni-4B на Hugging Face совпадает с карточкой sensenova/InteractiveOmni-8B, поэтому описание составлено по ней. InteractiveOmni-8B — плотная омнимодальная модель SenseNova для интерактивного общения с изображениями, аудио, текстом и видео. Она принимает мультимодальные входные данные и генерирует связные текстовые и речевые потоки; поддерживает многошаговое взаимодействие и долговременную память. Модель предназначена для мультимодального понимания, речевого диалога и генерации речи, а также для сценариев, где требуется сочетать аудио-визуальный ввод с текстовыми ответами. В README заявлены результаты уровня SOTA на открытых тестах понимания изображений, аудио и видео, а также речевого общения; приведены сценарии запуска через Transformers с требованием версии не ниже 4.51.0 и FlashAttention 2. В репозитории доступны файлы ONNX и safetensors. Лицензия — MIT. Размер 8B указан в названии модели; поддерживаемые языки по карточке — китайский и английский.

1796нояб. 2025ctx4.1K
textmithugging-face
littlebearlabs
Mega-ASR-MLX-int8

Mega-ASR-MLX-int8 — сборка Mega-ASR в формате MLX от littlebearlabs, созданная на основе mlx-community/Mega-ASR-MLX-bf16 и предназначенная для распознавания речи на устройствах Apple Silicon. Mega-ASR повышает устойчивость Qwen3-ASR-1.7B: аудиомаршрутизатор определяет, чистая ли запись или ухудшенная, и при необходимости подключает LoRA-адаптер во время инференса. 344 линейные проекции аудиоэнкодера и текстового декодера квантизированы в int8 с размером группы 64; фронтенд, нормализации, маршрутизатор и LoRA-адаптер сохранены в bf16. Упакованные веса загружаются напрямую через native loader mlx-mega-asr без квантизации при запуске. Репозиторий содержит токенизатор Qwen2 BPE. README сообщает о близком качестве int8 и bf16 на LibriSpeech test-clean, однако проверка охватывает только 20 файлов. Модель основана на Qwen3-ASR-1.7B, для которой в карточке указаны английский и китайский языки. Лицензия — Apache-2.0.

160июнь 2026ctx131.1K
textaudioapache-2.0hugging-face
MERaLiON
MERaLiON-2-10B-ASR

MERaLiON-2-10B-ASR — мультимодальная модель распознавания речи, разработанная Институтом исследований и информатики A*STAR (I2R) в Сингапуре. Это ASR-оптимизированная версия MERaLiON-2: архитектура объединяет речевой энкодер на основе Whisper Large v3 и текстовый декодер Gemma 2; число параметров — 8,1 млрд. Модель дообучена и объединена с базовыми моделями для распознавания речи на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках. Модель предназначена прежде всего для транскрибации аудио, в том числе речи с сингапурскими акцентами, местными разговорными выражениями и переключением языков. Она принимает монофоническое аудио с частотой 16 кГц; README указывает длительность до 300 секунд для аудиозапросов, но для удовлетворительного качества транскрибации рекомендует ограничивать аудио 30 секундами. Разработчики сообщают об улучшении распознавания на 5–30% относительно Whisper Large v3, однако результат зависит от языка и условий записи. Модель использует Transformers и распространяется по лицензии MERaLiON Public License. README исключает применение для вызова инструментов, математики и программирования; подтверждённые задачи модели относятся к распознаванию речи.

18213май 2025
textaudiootherhugging-face
MERaLiON
MERaLiON-2-3B

MERaLiON-2-3B — мультимодальная речевая языковая модель, разработанная I2R, A*STAR (Сингапур) для распознавания речи и работы с аудио в многоязычном контексте Юго-Восточной Азии. Версия 3B сочетает локализованный аудиоэнкодер Whisper-large-v3 с текстовым декодером Gemma-2-2b-it; в метаданных указано 2,1 млрд параметров. Модель принимает моно-аудио с частотой 16 кГц; README заявляет поддержку входных аудиозаписей до 300 секунд для вопросов и ответов по аудио, но для транскрибации рекомендует записи до 30 секунд. Основной сценарий этой облегчённой версии — автоматическое распознавание речи. Семейство ориентировано на английский, китайский, малайский, тамильский, индонезийский, тайский и вьетнамский языки, включая локальные акценты, сингапурский английский и переключение языков в речи. Модель выдаёт текст; README также описывает для семейства задачи понимания аудио, но не приводит отдельные результаты версии 3B. Модель доступна в формате safetensors через Transformers. Указана лицензия MERaLiON Public License; её конкретные условия следует сверять с текстом лицензии в репозитории. README исключает использование для вызова инструментов, математики и программирования.

1898май 2025
textaudiootherhugging-face
MERaLiON
MERaLiON-3-3B-ASR

MERaLiON-3-3B-ASR — модель распознавания речи с открытыми весами из семейства Speech-Text Large Language Models MERaLiON-3, разработанного институтом I2R агентства A*STAR в Сингапуре. Модель содержит около 2,1 млрд параметров по метаданным и предназначена для аудио на английском, китайском, малайском, тамильском, индонезийском, тайском и вьетнамском языках, а также на кантонском и хоккиенском диалектах. Она обучена распознавать естественное переключение между английским и языками региона Юго-Восточной Азии, включая синглиш. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текстовую транскрипцию. По README, она дообучена для ASR на многоязычной смеси данных с акцентом на сингапурский английский, региональные диалекты и переключение языков. Авторы сообщают, что меньшая по размеру модель сопоставима с MERaLiON-2-10B-ASR или превосходит её на приведённых оценках; для самостоятельного размещения указана одна GPU с 80 ГБ памяти. Для запуска предлагаются пакет meralion-3-asr с бэкендом vLLM и бэкенд Transformers. Лицензия обозначена как other, конкретные условия следует проверять в карточке репозитория.

38K9май 2026
textaudiootherhugging-face
inclusionAI
Ming-flash-omni-Preview

Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

2.9K70окт. 2025
textmithugging-face
csikasote
mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-42

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-42 — дообученная версия facebook/mms-1b-all, разработанная на наборе BEMGEN - BEM. Это модель распознавания речи на архитектуре wav2vec2 с головой Wav2Vec2ForCTC, принимающая аудио и преобразующая его в текст. В репозитории указано 1,3 млрд параметров; модель рассчитана на применение в сценариях автоматической транскрипции речи. На оценочном наборе указаны Loss 12,2430 и CER 0,0530. Базовая модель поддерживает более тысячи языков, но язык и охват языков именно этой дообученной версии не уточнены. Для файлов используется формат safetensors, библиотека — Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.

1170сент. 2026
textaudiocc-by-nc-4.0hugging-face
cstr
MOSS-Transcribe-preview-2B-GGUF

cstr/MOSS-Transcribe-preview-2B-GGUF — это GGUF/GGML-конверсия модели MOSS-Transcribe-preview-2B, разработанной командой OpenMOSS-Team. Репозиторий cstr содержит только преобразованные и квантизированные веса и предназначен для запуска через CrispASR. Модель выполняет автоматическое распознавание речи и транскрибацию аудио, поддерживая английский и китайский языки. Заявленная авторами средняя ошибка распознавания составляет 4,87% WER. Модель представляет собой speech-LLM примерно на 2,4 млрд параметров. Она объединяет аудиоэнкодер Qwen3-Omni-MoE с 32-слойным Transformer, размерностью 1280, и языковую модель Qwen3-1.7B с 28 слоями и GQA. Аудио обрабатывается в формате 16 кГц, моно, с 128 mel-бинами; для запуска необходима обязательная ChatML-шаблонизация запроса. Доступны варианты F16 размером 4,51 ГБ, Q8_0 размером 3,28 ГБ и рекомендуемый Q4_K размером 2,63 ГБ. Квантизация применяется преимущественно к матричным операциям языковой модели, тогда как аудиоэнкодер, адаптер и связанные embedding-слои сохраняются в F16 для поддержания качества. Модель может работать на CPU и GPU, включая Metal и CUDA, а runtime CrispASR использует постоянный KV-кэш для эффективной генерации токенов. Сильными сторонами являются компактный размер, наличие квантизированных сборок и проверенная эквивалентность с эталонной реализацией на тестовом аудио. Ограничения включают специализацию на распознавании речи, необходимость подачи монофонического аудио 16 кГц и зависимость от runtime CrispASR; в README также отмечено, что вывод обычно представлен строчными буквами с минимальной пунктуацией. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

7290июнь 2026
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей