/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
481–510 из 26 923
distil-whisper
distil-large-v2

Distil-Whisper distil-large-v2 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper как дистиллированная версия Whisper large-v2. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из исходной модели, а декодер сокращён до двух слоёв. В метаданных указано 905,2 млн параметров. Модель предназначена для транскрибации английской речи в коротких и длинных аудиозаписях и может использоваться как ускоренная замена Whisper large-v2. По данным карточки, она примерно в шесть раз быстрее и на 49% меньше исходной модели, сохраняя близкое качество распознавания; также её можно применять как вспомогательную модель для speculative decoding с Whisper. Поддерживаются форматы PyTorch, safetensors, ONNX и Flax. Модель принимает аудио и выдаёт текст. Она рассчитана только на распознавание английской речи; авторы рекомендуют вместо неё более новую distil-large-v3 для лучшей поддержки последовательной генерации на длинных записях. Лицензия — MIT.

3.6K517окт. 2023ctx1K
textaudiomithugging-face
distil-whisper
distil-large-v3

Distil-Whisper distil-large-v3 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper и полученная дистилляцией OpenAI Whisper large-v3. Она предназначена для транскрибации коротких записей и длинных аудиофайлов; архитектура — кодировщик-декодировщик Whisper с сокращённым числом слоёв декодера. В README указано 756 млн параметров, тогда как метаданные каталога указывают 905,2 млн параметров. Модель рассчитана на английскую речь и поддерживает последовательный и пакетный алгоритмы обработки длинных записей. По данным README, качество на длинных аудио близко к Whisper large-v3, а распознавание выполняется примерно в 6,3 раза быстрее; для одиночных длинных файлов, где важна скорость, рекомендуется пакетный алгоритм, а для точности и пакетной обработки — последовательный. Модель доступна по лицензии MIT. Она предназначена для распознавания речи на английском языке; вывод включает текстовую транскрипцию, а при соответствующих настройках — временные метки сегментов.

575K384март 2024
textaudiomithugging-face
distil-whisper
distil-large-v3.5

Distil-Large-v3.5 — англоязычная модель распознавания речи из семейства Distil-Whisper, созданная в совместной работе Бофэном Хуаном, Эсташем Ле Бианом, Стивеном Чжэном и Вайбхавом Шриваставом. Это дистиллированная версия OpenAI Whisper-Large-v3 с архитектурой Whisper encoder-decoder; в метаданных указано 905,2 млн параметров. Модель предназначена для преобразования речи в текст, включая короткие аудиозаписи и длинные записи с последовательной или разбитой на фрагменты обработкой. Авторы сообщают об обучении на 98 тысячах часов разнообразных публичных данных, использовании teacher-модели с расширенным графиком обучения и аугментации SpecAugment. По оценкам авторов, модель примерно в 1,5 раза быстрее Whisper-Large-v3-Turbo и показывает хорошие результаты на коротких записях; также её можно использовать как черновую модель для speculative decoding с Whisper-Large-v3. Модель рассчитана на английскую речь. Она поддерживается библиотекой Transformers версии 4.39 и новее, веса опубликованы в формате safetensors. Лицензия — MIT. Результаты зависят от типа аудио: на приведённой авторами оценке ошибка распознавания длинных записей выше, чем коротких; заявленные метрики основаны на нормализованном тексте и конкретных тестовых наборах.

8.4K95дек. 2024
textaudiomithugging-face
primeline
distil-whisper-large-v3-german

primeline/distil-whisper-large-v3-german — модель распознавания немецкой речи, разработанная Флорианом Циммермайстером и основанная на технике дистилляции Whisper. Она предназначена для транскрибации немецкой речи как локально, так и в составе конвейеров распознавания. В карточке описана версия с 756 млн параметров и размером 1,51 ГБ в bfloat16; метаданные указывают архитектуру Whisper с 905,2 млн параметров и формат safetensors. Модель обучена на отфильтрованных данных Common Voice, многоязычного LibriSpeech и внутренних данных. Автор заявляет о более быстром выводе с минимальной потерей качества относительно немецкой версии Whisper large v3; при оптимизации, например с TensorRT, модель может применяться для распознавания речи в реальном времени. Указанный язык — немецкий. Лицензия — Apache-2.0.

23121апр. 2024
textaudioapache-2.0hugging-face
OpenVINO
distil-whisper-large-v3-int8-ov

OpenVINO/distil-whisper-large-v3-int8-ov — версия модели distil-large-v3 от Distil-whisper, преобразованная в формат OpenVINO IR и сжата до INT8 с помощью NNCF. Модель предназначена для автоматического распознавания речи по аудио; архитектура основана на Whisper и содержит около 905,2 млн параметров. Квантизация выполнена с параметрами INT8_ASYM и group_size 128. Модель совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel 1.23.0 и выше. В метаданных указан английский язык. Лицензия — MIT, как у исходной модели. Карточка отсылает к описанию исходной модели за подробностями об ограничениях. Заявленная совместимость ограничена указанными версиями OpenVINO и Optimum Intel.

8.6K5окт. 2024
textaudiomithugging-face
cslys1999
Eureka-Audio-Instruct

Eureka-Audio-Instruct — компактная аудиоязыковая модель на 1,7 млрд параметров, разработанная авторами Eureka-Audio. Она принимает аудио и формирует текстовые ответы для распознавания речи, вопросов об аудиозаписи, описания звуков, распознавания эмоций в речи и классификации звуковых событий. Архитектура объединяет аудиоэнкодер на основе Whisper, разреженный MoE-адаптер и языковую основу Qwen3-1.7B-Base; контекст составляет 32 768 токенов. Модель предназначена для транскрибации и широкого анализа аудио. Авторы сообщают о конкурентных результатах на аудиобенчмарках при меньшем размере по сравнению с рядом моделей на 7–30 млрд параметров и о более быстром декодировании относительно крупных моделей. Метаданные указывают поддержку английского и китайского языков. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Качество может различаться в зависимости от языка, типа записи и задачи; README не приводит здесь численных результатов оценивания, поскольку таблицы опущены. Для работы необходимы аудиовход и совместимая программная среда Transformers.

1296февр. 2026ctx32.8K
textapache-2.0hugging-face
guillaumekln
faster-whisper-small

Это конверсия модели OpenAI Whisper small в формат CTranslate2, опубликованная Guillaume Klein. Она предназначена для автоматического распознавания речи и используется через CTranslate2 или проекты на его основе, например faster-whisper. Репозиторий содержит веса FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на множестве языков, включая русский и английский. Лицензия — MIT.

3.3K29март 2023
textaudiomithugging-face
guillaumekln
faster-whisper-tiny

guillaumekln/faster-whisper-tiny — конверсия модели Whisper tiny от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Модель предназначена для автоматического распознавания речи; исходная модель — openai/whisper-tiny. Веса сохранены в FP16. При загрузке тип вычислений можно выбрать через параметр compute_type в CTranslate2. Репозиторий лицензирован по MIT.

3.2K10март 2023
textaudiomithugging-face
stillerman
fdt-disfluency-distilbert-66m-v5

stillerman/fdt-disfluency-distilbert-66m-v5 — модель-разметчик для удаления речевых дисфлуентностей из транскриптов живой речи. Она помечает каждое слово тегом KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего короткая процедура реконструкции собирает очищенный текст. Модель основана на DistilBERT с архитектурой DistilBertForTokenClassification и содержит 65,2 млн параметров; контекст — 512 токенов. Версия v5 сохраняет слова like, когда они вводят цитату или сравнение, и удаляет их как заполнитель в соответствующем контексте. Модель предназначена для очистки разговорных транскриптов, в том числе в браузере через int8 ONNX и transformers.js; автор сообщает о времени обработки порядка 10–50 мс на высказывание и метриках exact match 0,9745 и DELETE-F1 0,9916. Архив модели также содержит веса safetensors. Она удаляет или корректирует только помеченные токены и не перефразирует текст. Лицензия репозитория — Apache-2.0, однако обучение частично использовало DailyDialog с лицензией CC BY-NC-SA, поэтому автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развертывания без дополнительной проверки условий.

1160авг. 2026ctx512
textapache-2.0hugging-face
stillerman
fdt-disfluency-mini-11m

stillerman/fdt-disfluency-mini-11m — компактная модель разметки слов в расшифровках живой речи, разработанная в рамках проекта FluencyAI. Она присваивает каждому слову один из тегов KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая реконструкция формирует очищенный текст. Модель предназначена для удаления речевых запинок и лишних слов с сохранением исходной формулировки, имён и чисел. Модель основана на BERT с архитектурой L4/H256 и содержит около 11,1 млн параметров; максимальный контекст — 512 токенов. Для репозитория доступны ONNX и safetensors, включая квантованный int8 ONNX-вариант для запуска через transformers.js в браузере. В карточке заявлены exact-match 0,9065 и DELETE-F1 0,9854 на валидационных данных. Модель обучалась на синтетически дополненных разговорных корпусах, включая DailyDialog с лицензией CC BY-NC-SA. Основная лицензия репозитория — Apache-2.0, однако из-за обучающих данных автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развёртывания без отдельной проверки условий использования данных.

160июль 2026ctx512
textapache-2.0hugging-face
philschmid
flan-t5-base-samsum

philschmid/flan-t5-base-samsum — модель на базе google/flan-t5-base, дообученная разработчиком philschmid на наборе диалогов SAMSum. Она предназначена для суммаризации переписок и разговоров: на вход подаётся текст диалога, на выходе — краткое резюме. Модель использует архитектуру T5 и содержит 123,8 млн параметров; максимальная длина контекста — 512 токенов. Доступны веса PyTorch. На оценочном наборе указаны значения ROUGE-1 47,24, ROUGE-2 23,51 и ROUGE-L 39,63. Карточка не описывает поддержку языков и не приводит иных ограничений или рекомендаций по применению. Лицензия — Apache-2.0.

79293дек. 2022ctx512
textapache-2.0hugging-face
Luigi
gemma-4-E2B-meeting-agent-zh-GGUF

Luigi разработал Gemma-4-E2B meeting agent (zh-TW) — дообученную версию Gemma-4-E2B для работы с расшифровками совещаний на устройствах с ограниченными ресурсами. Модель принимает фрагменты китайской речи на традиционном письме Тайваня вместе с журналом предыдущих заметок и по заданному протоколу формирует краткие заметки с временными отметками и ссылками на источник: решения, поручения, предложения, открытые вопросы и ключевые цифры. В версиях начиная с v8 она также составляет связное резюме и заголовок встречи по заметкам. В основе лежит Google Gemma-4-E2B-it-qat-q4_0-unquantized; модель дообучена с LoRA-адаптером и распространяется в том числе в формате GGUF Q4_0 размером 3,35 ГБ. Для телефонов подготовлена версия LiteRT-LM, рассчитанная на CPU; README приводит результаты измерений на Galaxy Note10+ и указывает, что на этом устройстве CPU быстрее GPU. Модель предназначена для специализированного протокола с последовательной подачей фрагментов стенограммы, а не для произвольного диалога. Указанный в примере контекст запуска GGUF — 32 768 токенов; мобильная версия использует контекст 4k на окно и перезапускает сессию на компактном журнале при достижении 8k токенов. Лицензия — Apache-2.0.

8570сент. 2026
textapache-2.0hugging-face
waveletdeboshir
gigaam-ctc

Это неофициальная обёртка для Transformers модели GigaAM-v2-CTC, разработанной SberDevices. Она предоставляет интерфейс библиотеки Transformers для распознавания русской речи и совместима с привычными средствами загрузки моделей, извлечения признаков и токенизации в этой библиотеке. Модель принимает аудио и преобразует речь в текст, поэтому подходит для автоматической расшифровки русскоязычных записей. В репозитории указаны веса в форматах PyTorch и Safetensors, а для работы приведены версии PyTorch, Torchaudio, Transformers и Accelerate. Лицензия — MIT. Это сторонняя обёртка исходной модели; README не сообщает её размер, длину контекста или результаты оценки качества.

20410март 2025ctx1K
textaudiomithugging-face
istupakov
gigaam-v3-onnx

istupakov/gigaam-v3-onnx — это набор моделей автоматического распознавания речи, преобразованных в формат ONNX из GigaAM v3. Разработчик конвертации — istupakov; исходная модель указана как ai-sage/GigaAM-v3, а связанные модели GigaAM разработаны командой Salute Developers. Модель предназначена для преобразования русской речи из WAV-аудио в текст и интеграции с библиотекой onnx-asr. Доступны варианты на архитектурах CTC и RNN-T, включая версии E2E CTC и E2E RNN-T с расстановкой пунктуации и нормализацией текста. Модели ориентированы на русский язык и поддерживают выполнение через ONNX, в том числе с CPU. Размер модели, максимальная длина контекста, точные требования к аудио и другие архитектурные характеристики в README не указаны. Преобразование в ONNX может быть удобно для развёртывания и инференса в совместимых средах, однако ограничения исходной GigaAM v3 и различия между вариантами CTC и RNN-T требуют выбора модели под конкретный сценарий. Лицензия — MIT.

6.6K21нояб. 2025
textaudiomithugging-face
Audio8
GPA-v1.5

Карточка модели Audio8/GPA-v1.5 на Hugging Face совпадает с карточкой Edge0/GPA-v1.5, поэтому описание составлено по ней. GPA v1.5 — разработанная AutoArk-AI единая авторегрессионная аудиоязыковая модель для распознавания речи и синтеза речи. Репозиторий содержит чекпойнт для PyTorch и Hugging Face Transformers, а также поддерживает дообучение через Trainer. В метаданных указаны архитектура ArkASR, около 504,7 млн параметров, контекст 32 768 токенов и форматы PyTorch и Safetensors; базовая модель — Qwen/Qwen3-0.6B. Модель предназначена для преобразования речи в текст и генерации речи по тексту с условием на референсный голос. В README описаны сценарии локального запуска и развёртывания сервисов, а также приведены оценки ASR на англоязычном LibriSpeech и китайском AISHELL-1. Карточка заявляет поддержку английского и китайского языков. Указанная лицензия — Apache-2.0. В нативной версии GPA v1.5 преобразование голоса пока обозначено как планируемая функция, поэтому не следует считать его доступной возможностью этого чекпойнта. Для работы TTS требуются отдельные ресурсы токенизатора Spark; оптимизированные ONNX-файлы размещены в отдельном репозитории.

6527апр. 2026ctx32.8K
textapache-2.0hugging-face
ibm-granite
granite-4.0-1b-speech

Granite-4.0-1b-speech — компактная речевая модель IBM на 1 млрд параметров, полученная адаптацией Granite-4.0-1b-base для работы с аудио. Она предназначена для многоязычного распознавания речи и перевода речи в текст, в том числе перевода между английским и французским, немецким, испанским, португальским и японским; также поддерживается перевод с английского на итальянский и китайский. Модель принимает аудио и выдаёт текст. Для распознавания имён и аббревиатур можно использовать списки ключевых слов; авторы также отмечают высокую скорость распознавания и пригодность для устройств с ограниченными ресурсами. Модель построена на архитектуре Granite Speech и распространяется в формате safetensors для Transformers. Лицензия — Apache 2.0. README описывает обучение на открытых корпусах для распознавания и перевода речи, включая синтетические данные для японского распознавания и распознавания с подсказками по ключевым словам. Модель рассчитана на английский, французский, немецкий, испанский, португальский и японский языки. Итальянский и китайский указаны для перевода только с английского. Результаты могут зависеть от языка, акустических условий и соответствия данных пользователя обучающим корпусам; ключевые слова помогают распознавать заданные имена и аббревиатуры.

130K252февр. 2026
textaudioapache-2.0hugging-face
loom-ai-org
granite-speech-4.0-1b-loom

Granite Speech 4.0 1B Loom — экспорт речевой модели IBM Granite 4.0 1B Speech, подготовленный для запуска в loom.cpp. Репозиторий содержит веса в формате GGUF; по README, параметры модели не изменялись при экспорте, а сама модель перенесена в формат упаковки loom.cpp. Модель предназначена для автоматического распознавания речи и преобразования аудио в текст. Она поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Запуск предусмотрен через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс с настройками оконной обработки, сэмплирования и сборки результата. Модель основана на IBM Granite 4.0 1B Speech; размер 1B указан в названии, однако точное число параметров в метаданных отсутствует. Репозиторий распространяется по лицензии Apache-2.0. Указанный формат GGUF и связка с loom.cpp ориентированы на работу в соответствующей программной среде.

1530авг. 2026
textaudioapache-2.0hugging-face
ibm-granite
granite-speech-4.1-2b

Granite Speech 4.1 2B — компактная речевая модель IBM для многоязычного распознавания речи и перевода речи. Она дообучена на базе ibm-granite/granite-4.0-1b-base и принимает аудио, выдавая текст. Модель обучалась на 174 000 часах аудио из открытых корпусов и синтетических данных. Модель поддерживает английский, французский, немецкий, испанский, португальский и японский языки. Она предназначена для транскрибации и перевода речи в обе стороны между этими языками и английским; также заявлены переводы с английского на итальянский и китайский. Архитектура использует двойную CTC-голову с графемным и BPE-выходами. Модель умеет расставлять пунктуацию и регистр, а также учитывать заданные ключевые слова для распознавания имён, аббревиатур и технической лексики. Модель ориентирована на обработку речи в корпоративных приложениях. В README не приведены результаты, позволяющие сравнить качество на всех языках и сценариях; дополнительные возможности временных меток и атрибуции говорящих относятся к отдельному варианту granite-speech-4.1-2b-plus. Лицензия — Apache 2.0.

69K168апр. 2026
textaudioapache-2.0hugging-face
ibm-granite
granite-speech-5.0-470m-turboctc

Granite Speech 5.0 TurboCTC — компактная модель распознавания английской речи от IBM с 470 млн параметров. Она предназначена для быстрой транскрибации речи в текст и рассчитана на развертывание на ноутбуках, смартфонах и других устройствах с ограниченными ресурсами. Модель использует акустический энкодер Conformer с блочным self-attention, self-conditioning и временным уменьшением частоты представлений. Она обучена на примерно 60 000 часах английского аудио и применяет CTC с жадным неавторегрессионным декодированием, что обеспечивает высокую скорость вывода. Поддерживается Transformers; для локального запуска также описаны варианты MLX Audio и transcribe.cpp. Модель подходит для корпоративной транскрибации с низкой задержкой и высокой пропускной способностью. Обучающие данные включают общедоступные аудиокорпуса и синтетические примеры, в том числе речь с числами, валютами и адресами. Поддерживается английский язык; лицензия — Apache 2.0. Модель ориентирована на английскую речь, поэтому её не следует считать многоязычной.

59K78авг. 2026
textaudioapache-2.0hugging-face
danieleV9H
hubert-base-libri-clean-ft100h-v3

danieleV9H/hubert-base-libri-clean-ft100h-v3 — англоязычная модель распознавания речи, созданная дообучением facebook/hubert-base-ls960 на наборе LibriSpeech ASR. Она принимает аудио и выдаёт текстовую расшифровку; архитектура — HuBERT с CTC-головой, размер — 113,3 млн параметров. На указанном в карточке наборе оценки модель достигла WER 0,1332 и loss 0,1120. Модель подходит для транскрибации английской речи, особенно аудиокниг и записей, похожих на LibriSpeech. Доступна под лицензией Apache-2.0.

2730май 2022
textaudioapache-2.0hugging-face
sensenova
InteractiveOmni-8B

InteractiveOmni-8B — плотная омнимодальная модель SenseNova для интерактивного общения с изображениями, аудио, текстом и видео. Она принимает мультимодальные входные данные и генерирует связные текстовые и речевые потоки; поддерживает многошаговое взаимодействие и долговременную память. Модель предназначена для мультимодального понимания, речевого диалога и генерации речи, а также для сценариев, где требуется сочетать аудио-визуальный ввод с текстовыми ответами. В README заявлены результаты уровня SOTA на открытых тестах понимания изображений, аудио и видео, а также речевого общения; приведены сценарии запуска через Transformers с требованием версии не ниже 4.51.0 и FlashAttention 2. В репозитории доступны файлы ONNX и safetensors. Лицензия — MIT. Размер 8B указан в названии модели; поддерживаемые языки по карточке — китайский и английский.

12011нояб. 2025ctx4.1K
textmithugging-face
lemuralabs
lemura-arabic-asr-qwen3

lemura-arabic-asr-qwen3 — модель распознавания арабской речи от Lemura Labs, дообученная на базе Qwen/Qwen3-ASR-1.7B. Это генеративная ASR-модель: аудиоэнкодер передаёт аудиоконтекст декодеру на основе Qwen3, который выдаёт транскрипцию как текст. Модель предназначена для современного литературного арабского языка и диалектов Персидского залива, Египта, Леванта, Ирака и Магриба, включая марокканскую дариджу; поддерживает переключение между арабским и английским. Модель рассчитана на расшифровку голосовых сообщений, звонков, медиаматериалов и аудио для голосовых агентов. Список направляющих слов можно использовать для распознавания имён, брендов и специальной терминологии. Веса bf16 опубликованы в формате safetensors; для вывода подходят Transformers и ms-swift. Входное аудио должно быть монофоническим с частотой 16 кГц; базовое окно обработки — 30 секунд, поэтому длинные записи нужно делить на фрагменты. Рекомендуется жадное декодирование. Лицензия — Apache-2.0. Качество может снижаться на незнакомых акцентах, в новых предметных областях и при сильном шуме или удалённой записи; марокканская дариджа остаётся особенно сложным случаем. Модель не оценивалась для скрытой идентификации говорящих и не предназначена для такого применения; возможны смещения из обучающих корпусов.

2692авг. 2026ctx131.1K
textaudioapache-2.0hugging-face
prithivMLmods
Llama-Chat-Summary-3.2-3B

Llama-Chat-Summary-3.2-3B — языковая модель PrithivMLmods для контекстной суммаризации диалогов и текстов. Она дообучена на базе meta-llama/Llama-3.2-3B-Instruct и предназначена для создания кратких сводок с сохранением важных деталей из длинных чатов, обсуждений и документов. Модель имеет плотную архитектуру LlamaForCausalLM на 3,2 млрд параметров, принимает текст и генерирует текст. В карточке указана поддержка контекста до 131 072 токенов; модель рассчитана прежде всего на английский язык. Она может пригодиться для сводок обращений в поддержку, стенограмм встреч, статей и отчётов, а также для подготовки контекста для последующих систем. Карточка не приводит количественных оценок качества или подробностей обучения. Для работы с ней автор рекомендует Transformers; отмечено, что для развёртывания следует использовать выделенные эндпоинты, поскольку модель пока не подходит для serverless API. Лицензия — CreativeML Open RAIL-M.

427дек. 2024ctx131.1K
textcreativeml-openrai…hugging-face
XiaomiMiMo
MiMo-Audio-7B-Base

Карточка модели XiaomiMiMo/MiMo-Audio-7B-Base на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

33061сент. 2025ctx8.2K
textmithugging-face
ahmadsm1
MiMo-Audio-7B-Instruct

Карточка модели ahmadsm1/MiMo-Audio-7B-Instruct на Hugging Face совпадает с карточкой XiaomiMiMo/MiMo-Audio-7B-Instruct, поэтому описание составлено по ней. MiMo-Audio-7B-Instruct — 7-миллиардная плотная аудиоязыковая модель XiaomiMiMo на архитектуре семейства Qwen2. Она объединяет аудиоэнкодер, языковую модель и аудиодекодер и предназначена для выполнения разнообразных задач с аудио и текстом по инструкциям и примерам. Модель обучена на корпусе инструкций для понимания и генерации аудио и поддерживает контекст до 8192 токенов. Модель подходит для распознавания и понимания речи, диалогов с голосовым вводом и синтеза речи по тексту. В описании семейства также заявлены продолжение речи, преобразование голоса, перенос стиля и редактирование речи. Карточка сообщает о высоких результатах на тестах понимания аудио, голосового диалога и instruct-TTS; эти заявления относятся к оценкам авторов и не гарантируют качество в каждом сценарии. Модель распространяется в формате safetensors по лицензии MIT. Для запуска приведён демонстрационный интерфейс на Gradio; инструкции указывают Linux, Python 3.12 и CUDA 12.0 или новее.

70июль 2026ctx8.2K
textmithugging-face
inclusionAI
Ming-Lite-Omni

Ming-Lite-Omni — мультимодальная модель от InclusionAI, дообученная на Ling-lite. Она использует архитектуру MoE с маршрутизаторами для разных модальностей и выделенными энкодерами. По данным разработчика, активируется 2,8 млрд параметров; модель объединяет обработку изображений, текста, аудио и видео, а также генерацию текста, речи и изображений. Она предназначена для мультимодального диалога, распознавания и понимания речи, преобразования текста в речь, анализа изображений и видео, генерации и редактирования изображений. Модель подходит для приложений, где нужно принимать смешанные мультимодальные запросы и формировать текстовые, речевые или визуальные ответы без отдельных моделей для каждой задачи. README приводит результаты оценок на задачах понимания изображений, видео и речи, а также генерации изображений. Контекст, поддерживаемые языки и ограничения качества в предоставленных источниках не описаны. Лицензия — MIT.

118200май 2025
textmithugging-face
bartowski
MiniCPM-o-2_6-GGUF

MiniCPM-o-2_6-GGUF — это GGUF-квантизованные версии мультимодальной модели MiniCPM-o-2_6, разработанной openbmb и подготовленной для распространения пользователем bartowski. Модель предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. По данным карточки, модель поддерживает работу с текстом, изображениями, несколькими изображениями, видео и аудио. Заявлены сценарии оптического распознавания символов, автоматического распознавания речи, синтеза речи, клонирования голоса, потокового режима и диалогов в реальном времени. Указана многоязычная поддержка, однако конкретный перечень языков, архитектура, количество параметров и размер контекста в карточке не приведены. Основное преимущество набора — широкий мультимодальный охват и возможность локального запуска в различных вариантах квантизации. Доступны форматы от F32 до Q2 и IQ-квантизаций с размером файлов примерно от 2,78 до 30,46 ГБ; варианты Q4–Q6 отмечены как рекомендуемые для баланса качества и требований к памяти. Более сильная квантизация уменьшает потребление памяти, но может снижать качество. Для работы требуется совместимый рантайм и аппаратные ресурсы, соответствующие выбранному файлу. Лицензия в README не указана; условия лицензии исходной модели следует проверять в репозитории openbmb/MiniCPM-o-2_6.

1.3K7янв. 2025
textimagehugging-face
moona3k
mlx-qwen3-asr-1.7b-8bit

moona3k подготовил 8-битную квантованную версию Qwen/Qwen3-ASR-1.7B для библиотеки MLX и компьютеров Apple Silicon. Модель предназначена для автоматического распознавания речи и транскрибации аудио; при использовании mlx-qwen3-asr поддерживаются временные метки слов и HTTP-сервер. Архитектура — плотная Qwen3-ASR с аудиоэнкодером и текстовым декодером; линейные слои и эмбеддинги квантованы до 8 бит с размером группы 64, остальные указанные в README тензоры хранятся в float16. Размер загрузки — около 2 ГБ. Модель поддерживает английский, китайский, японский, корейский, немецкий, французский, испанский, русский, арабский и хинди. В описанном тесте на 100 аудиофрагментах LibriSpeech test-clean её гипотезы и показатели WER/CER совпали с версией fp16, однако эти результаты ограничены данным набором и настройками оценки. Для запуска требуется пакет mlx-qwen3-asr версии 0.4.1 или новее; лицензия — Apache-2.0.

4230сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
csikasote
mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52

Модель csikasote/mms-1b-all-bemgen-combined-train-drodat-gdro-1.65e-4-dat-0.019-no-sd-0.00-52 — дообученная версия facebook/mms-1b-all для автоматического распознавания речи. Она основана на архитектуре wav2vec2, содержит 1,3 млрд параметров и принимает аудио, выдавая текст. Дообучение выполнено на наборе BEMGEN - BEM; на оценочном наборе указаны Loss 12.0449 и CER 0.0516. Модель предназначена для преобразования речи в текст. Базовая MMS-1B-All поддерживает более тысячи языков, однако языковой охват именно этой дообученной версии в карточке не уточнён. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

1570сент. 2026
textaudiocc-by-nc-4.0hugging-face
facebook
mms-1b-l1107

facebook/mms-1b-l1107 — мультиязычная модель распознавания речи из проекта Massively Multilingual Speech (MMS), разработанного Vineel Pratap и коллегами. Она преобразует аудиозапись в текст и предназначена для автоматического распознавания речи на 1107 языках. Модель основана на архитектуре wav2vec 2.0 с выходной головой CTC и содержит около 1,3 млрд параметров. Репозиторий содержит веса PyTorch и Safetensors; в README указана частота дискретизации 16 кГц. Метаданные связывают модель с датасетом Google FLEURS. Модель охватывает большое число языков, включая языки с ограниченными ресурсами, что подходит для транскрибирования разнообразной речи. Качество для конкретного языка и аудиозаписи может различаться; поддержка языка не гарантирует одинаковую точность для всех диалектов и условий записи. Лицензия CC-BY-NC 4.0 допускает использование с атрибуцией, но запрещает коммерческое применение.

88615май 2023
textaudiocc-by-nc-4.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей