/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
2 011–2 040 из 26 923
Titanfrm
gemma-4-E4B-it-uncensored-heretic

Карточка модели Titanfrm/gemma-4-E4B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-E4B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

350сент. 2026
textapache-2.0hugging-face
facebook
hf-seamless-m4t-large

SeamlessM4T Large — крупная модель семейства SeamlessM4T, разработанная Meta и реализованная в библиотеке Hugging Face Transformers. Это единая плотная модель на 664,9 млн параметров для перевода речи и текста между языками и распознавания речи; в Transformers доступны как универсальная модель, так и специализированные варианты для отдельных задач. Модель поддерживает речевой ввод на 101 языке, текстовый ввод и вывод на 96 языках и генерацию речи на 35 языках. Она предназначена для перевода речи в речь, речи в текст, текста в речь и текста в текст, а также для автоматического распознавания речи. Можно выбирать голос синтеза с помощью идентификатора говорящего. Для синтеза речи SeamlessM4T v2 предлагает улучшенную по сравнению с этой версией архитектуру, качество и скорость. Репозиторий содержит веса PyTorch, модель рассчитана на контекст до 1024 токенов и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Модель объединяет несколько языковых задач в одном решении, но для генерации речи поддерживает меньше языков, чем для речевого ввода или текстовых операций.

1.0K64сент. 2023ctx1K
textaudiocc-by-nc-4.0hugging-face
kotoba-tech
kotoba-whisper-bilingual-v1.0

Kotoba-Whisper-Bilingual v1.0 — модель распознавания и перевода речи, разработанная Асахи Усио совместно с Kotoba Technologies. Она основана на архитектуре Whisper и обучена методом дистилляции: полный энкодер взят от Whisper large-v3, а двухслойный декодер инициализирован слоями учительской модели. В репозитории указаны веса safetensors; модель также заявлена как совместимая с faster-whisper и whisper.cpp. Модель принимает аудио и умеет распознавать японскую и английскую речь, а также переводить речь с японского на английский и с английского на японский текст. Для обучения использовались ReazonSpeech и Multilingual LibriSpeech, а переводные обучающие тексты получены с помощью внешней LLM. Модель предназначена для транскрибации и сквозного речевого перевода; авторы указывают ускорение до 6,3 раза относительно Whisper large-v3. В переводных задачах авторы отмечают более высокие показатели точности у каскадного подхода, хотя он требует больше памяти и усложняет обработку. Модель содержит около 905,2 млн параметров, поддерживается библиотекой Transformers версии 4.39 и новее и распространяется по лицензии Apache-2.0.

5.3K19сент. 2024
textaudioapache-2.0hugging-face
RUPunct
RUPunct_medium

RUPunct_medium — средняя модель семейства RUPunct для автоматической расстановки пунктуации в русском тексте. По метаданным это модель token classification на архитектуре ELECTRA с 100,6 млн параметров и контекстом до 512 токенов; веса доступны в формате PyTorch. Автор README характеризует её как баланс между производительностью и качеством. Модель может применяться для восстановления пунктуации в текстах без знаков препинания, например в результатах распознавания речи. Репозиторий распространяется по лицензии MIT.

3151май 2024ctx512
textmithugging-face
onnx-community
gemma-3n-E2B-it-ONNX

onnx-community/gemma-3n-E2B-it-ONNX — ONNX-версия инструкционной мультимодальной модели Gemma 3n E2B IT, разработанной Google DeepMind и подготовленной для использования с Transformers.js. Модель предназначена для эффективного запуска на устройствах с ограниченными ресурсами и принимает текстовые, графические, видео- и аудиовходы, генерируя текстовые ответы. Она подходит для вопросов и ответов, суммаризации, анализа изображений и видео, распознавания речи и автоматического перевода речи. Модель использует архитектуру MatFormer и технологию выборочной активации параметров. При общем размере около 6 млрд параметров её эффективный размер соответствует примерно 2 млрд параметров, поскольку матрицы с низкой частотой использования могут выгружаться с ускорителя. Изображения обрабатываются в разрешениях 256×256, 512×512 или 768×768 и кодируются в 256 токенов каждое; аудио представляется со скоростью 6,25 токена в секунду для одного канала. Максимальный входной контекст составляет 32 тысячи токенов, а суммарная длина генерации — до 32 тысяч токенов за вычетом входа. Обучение проводилось на данных более чем 140 разговорных языков. К сильным сторонам относятся сочетание мультимодальности, компактного эффективного размера и возможности локального выполнения через Transformers.js, включая сценарии с WebGPU. Ограничения включают зависимость от поддерживаемого окружения ONNX и Transformers.js, а также отсутствие в предоставленной карточке подробных результатов бенчмарков, точного перечня языков и количественной оценки качества по отдельным задачам. Модель распространяется на условиях лицензии Gemma; применяются соответствующие Terms of Use Google.

52138июнь 2025
textimagegemmahugging-face
WhiskyAKM
Gemma-4-12B-it-qat-NVFP4-GGUF

WhiskyAKM/Gemma-4-12B-it-qat-NVFP4-GGUF — сборка Gemma 4 12B IT от Google DeepMind, подготовленная WhiskyAKM в формате GGUF для llama.cpp и других совместимых движков. В репозитории есть варианты NVFP4 и BF16; NVFP4 уменьшает требования к памяти, а ускорение инференса на NVIDIA Blackwell зависит от совместимого оборудования и движка. Модель содержит 12 млрд параметров и мультимодальную архитектуру Gemma4ForConditionalGeneration. Модель предназначена для диалога и понимания текста, изображений и аудио с генерацией текстовых ответов; также заявлены работа с видео, многоязычность более чем на 140 языках, контекст до 256 тысяч токенов и поддержка вызова инструментов. Для обработки изображений и аудио требуется подключить файл проектора mmproj.gguf. Лицензия — Apache 2.0.

3.2K1июль 2026
textapache-2.0hugging-face
bond005
meno-tiny-0.1

Meno-Tiny-0.1 — компактная языковая модель на 1,5 млрд параметров, разработанная как дообученная версия Qwen/Qwen2.5-1.5B-Instruct на специальном русскоязычном наборе инструкций. Это декодерная Transformer-модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; для работы используется библиотека Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и ориентирована прежде всего на русский язык. Модель предназначена для диалогов и генерации текста, в частности для ответов на вопросы по документам в RAG-сценариях. Среди описанных задач — суммаризация, разрешение анафоры, оценка токсичности и детоксикация текста, а также исправление ошибок распознавания речи. Компактный размер рассчитан на сценарии с ограничениями по памяти и вычислениям или требованиями к низкой задержке. Модель выпущена под лицензией Apache-2.0. Карточка предупреждает о возможных неточностях, предвзятости и небезопасных или оскорбительных ответах; качество на языках, отличных от русского, может быть ниже. Для старых версий Transformers до 4.37.0 указана несовместимость с архитектурой qwen2.

17014нояб. 2024ctx32.8K
textapache-2.0hugging-face
kristijonas
paprika-whisper-lt-v3

paprika-whisper-lt-v3 — третье поколение модели распознавания литовской речи, созданное для kalamo.ai и дообученное на базе kristijonas/paprika-whisper-lt. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration; в README указано, что она основана на whisper-large-v3-turbo и обучена на примерно 3 281 часе данных LIEPA-3. Модель принимает монофоническое аудио с частотой 16 кГц и преобразует речь в текст на литовском языке. Модель предназначена для транскрибации аудиозаписей и создания субтитров, в том числе для длинных файлов. Она рассчитана на высокую скорость работы: авторы указывают примерно 83-кратную скорость относительно реального времени и отмечают, что качество уступает некоторым более крупным литовским моделям. Вывод сохраняет разговорные формы речи, но по умолчанию содержит только строчные буквы и не содержит пунктуации; README рекомендует добавлять пунктуацию отдельным теггером. Для длинных записей README рекомендует длинноформатное декодирование и предупреждает, что сегментация фиксированными окнами может терять фрагменты речи или порождать текст на тишине. Доступ к весам предоставляется по лицензии CC BY 4.0.

2.8K4авг. 2026
textaudiocc-by-4.0hugging-face
d0rj
ru-mbart-large-summ

d0rj/ru-mbart-large-summ — модель суммаризации на базе ru-bart-large, созданной как уменьшенная версия facebook/mbart-large-50 с эмбеддингами только для русского и английского языков. Модель дообучена на объединённых обучающих выборках из датасетов d0rj/samsum-ru, IlyaGusev/gazeta, zjkarina/matreshka, rcp-meetings/rudialogsum_v2, GEM/wiki_lingua и mlsum; размер обучающей выборки составил 155 678 примеров. Модель предназначена для сокращения текстов, в том числе новостных материалов и диалогов. Это плотная encoder-decoder архитектура mBART с 226,2 млн параметров и контекстом до 1024 токенов; в репозитории доступны веса PyTorch и safetensors. В README приведён пример использования через pipeline Transformers с задачей summarization. Лицензия — MIT. В README указано, что оценка проводилась на части объединённых validation-наборов, однако численные результаты и подробное описание метрик недоступны в карточке; отчёт обозначен как незавершённый.

439июнь 2023ctx1K
textmithugging-face
nvidia
stt_uk_citrinet_1024_gamma_0_25

NVIDIA Streaming Citrinet 1024 для украинского языка — потоковая модель автоматического распознавания речи, разработанная NVIDIA. Это неавторегрессионная архитектура Citrinet с CTC-декодированием, примерно 141 млн параметров. Модель дообучена на украинской речи методом переноса знаний с русской Citrinet-1024 и обучалась на 69 часах проверенных записей Mozilla Common Voice 10.0. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает текстовую расшифровку украинской речи в нижнем регистре, включая пробелы и апострофы. Её можно применять для распознавания речи в потоковом режиме, пакетной транскрибации и как контрольную точку NeMo для инференса или дальнейшего дообучения; также поддерживается развёртывание через NVIDIA Riva. Лицензия — CC-BY-4.0. В README приведены результаты WER на тестовых и валидационных наборах Common Voice 8–10. Качество может снижаться на технической лексике, непривычных разговорных вариантах и акцентированной речи.

3914июль 2022
textaudiocc-by-4.0hugging-face
InflexionLab
sybyrla

Sybyrla — модель распознавания речи на основе Whisper Large V3, дообученная Inflexion Lab для казахской речи. Она преобразует аудио в текст и рассчитана на транскрибацию казахской речи, в том числе записанной в региональных акустических условиях. Модель обучалась на смеси данных KSC2 и русскоязычного Common Voice: русская речь помогает распознавать заимствования и переключение между казахским и русским языками. Для текстов KSC2 применялась автоматическая обработка с восстановлением заглавных букв и пунктуации. На тестовой части KSC2 заявлен WER около 17,7%. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и опубликована в формате safetensors. Лицензия — Apache 2.0. Показатель WER относится к тесту KSC2; качество на других языках, аудиосредах и типах записей может отличаться.

896дек. 2025
textaudioapache-2.0hugging-face
LyngualLabs
whisper-small-yoruba

LyngualLabs/whisper-small-yoruba — дообученная LyngualLabs модель OpenAI Whisper Small на архитектуре Seq2Seq/Transformer с 153,1 млн параметров. Она предназначена для автоматической транскрибации речи на йоруба и английском, включая частое переключение между этими языками в одной беседе. Модель принимает аудио и выдаёт текст; в README сообщается о настройке на акценты, тональность и языковое смешение в разговорах на йоруба и английском. На отложенной тестовой выборке авторы сообщили WER 20,76%. Модель может путать орфографию заимствованных слов при переключении языков; качество снижается на шумных записях и диалектных вариантах йоруба. Лицензия репозитория — Apache-2.0.

1812февр. 2026ctx1K
textaudioapache-2.0hugging-face
nvidia
audio-flamingo-next-think-hf

Audio Flamingo Next Think — модель понимания аудио и ответов на вопросы, разработанная NVIDIA. Это вариант семейства Audio Flamingo Next, настроенный на многошаговое рассуждение по длинным аудиозаписям: он объединяет сведения о событиях, говорящих и временных отметках и может обосновывать ответы фрагментами аудио. Модель рассчитана на речь, окружающие звуки и музыку, включая записи длительностью до 30 минут. Модель принимает монофоническое аудио с частотой 16 кГц и выдаёт текст. Архитектура сочетает аудиоэнкодер AF-Whisper, обработку аудио фрагментами по 30 секунд, MLP-адаптер и текстовую основу семейства Qwen2.5 с механизмом временной привязки RoTE. В карточке указано окно контекста 131 072 токена для текстовой основы; контекст метаданных каталога указан как 1 200 токенов. Модель поддерживает задачи распознавания речи, перевода речи и вопросов по аудио; основное назначение этого варианта — сложные вопросы с временно привязанными объяснениями. Основной язык в карточке — английский, при этом обучение включает многоязычные данные для распознавания и перевода речи. Модель сильна в рассуждениях по длинным записям и связывании событий, разделённых во времени. Ответы могут включать длинные рассуждения перед итогом. По описанию авторов, качество рассуждения снижается, когда нужные свидетельства редки или сильно разнесены по времени; аудиоданные также неравномерны по языкам и областям. Лицензия обозначена как other; карточка ограничивает использование некоммерческими исследовательскими целями.

1.2K11апр. 2026ctx1.2K
textaudiootherhugging-face
MuXodious
gemma-4-12B-it-QAT-SOMPOA-heresy

MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

446июль 2026
textapache-2.0hugging-face
llmfan46
gemma-4-12B-it-uncensored-heretic

llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

62019июнь 2026
textapache-2.0hugging-face
MeFFyLe
gemma-4-12B-it-uncensored-heretic

Карточка модели MeFFyLe/gemma-4-12B-it-uncensored-heretic на Hugging Face совпадает с карточкой llmfan46/gemma-4-12B-it-uncensored-heretic, поэтому описание составлено по ней. llmfan46/gemma-4-12B-it-uncensored-heretic — производная от Google Gemma 4 12B IT модель, опубликованная независимым автором. По README это мультимодальная модель для диалога, рассуждений, программирования и понимания текста, изображений, видео и аудио. Вариант 12B построен на плотной архитектуре Gemma 4 Unified с чередованием локального скользящего и глобального внимания; заявленный контекст базовой модели — до 256K токенов. Модель поддерживает многоязычные сценарии и вызов инструментов. В названии и тегах автор характеризует эту версию как uncensored, decensored и abliterated; README сообщает о целевом компоненте attn.o_proj, но не раскрывает конкретную методику изменения модели. Заявлены распознавание речи и перевод речи в текст, а также анализ изображений и последовательностей видеокадров. Возможные применения включают диалоговых помощников, извлечение сведений из документов и изображений, суммаризацию и генерацию кода. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и быть ненадёжными при неоднозначных или сложных запросах. Указанная в метаданных лицензия — Apache-2.0.

440сент. 2026
textapache-2.0hugging-face
llmfan46
gemma-4-E4B-it-uncensored-heretic

llmfan46/gemma-4-E4B-it-uncensored-heretic — производная модель на основе Google Gemma 4 E4B Instruct, опубликованная независимым автором. Это плотная мультимодальная модель для диалога и генерации текста, понимания изображений и аудио, рассуждений, программирования и вызова инструментов. В карточке заявлены гибридное внимание с локальными скользящими окнами и глобальными слоями, а для базовой модели E4B — контекст до 128 тысяч токенов и поддержка более 35 языков. Модель подходит для чат-ботов, суммаризации и создания текстов, извлечения данных из изображений и документов, распознавания речи и голосовых сценариев. В названии и тегах указано uncensored/abliterated, однако README не описывает конкретные изменения и не приводит отдельные оценки качества именно этой производной версии. Возможны фактические ошибки, смещения и трудности с неоднозначными или сложными запросами. Лицензия — Apache-2.0.

2.0K8апр. 2026
textapache-2.0hugging-face
ai-babai
gigachat-audio-mlx

GigaChat Audio MLX — независимый порт модели ai-sage/GigaChat3.1-Audio-10B-A1.8B в формате BF16 для запуска на компьютерах Apple Silicon с библиотекой MLX. Модель принимает аудио вместе с текстовой инструкцией и формирует текстовый ответ: расшифровку речи, перевод, ответы на вопросы об аудио, анализ эмоций, поиск событий с временными отметками и сводки с таймкодами. Архитектура основана на DeepSeek V3; в метаданных указано 1,5 млрд параметров и контекст длиной 262 144 токена. Модель поддерживает русский и английский языки. Репозиторий содержит веса safetensors в BF16; для работы требуется среда Apple Silicon. Разработчики порта сообщают о завершённой обработке тестового аудиофрагмента длительностью 5 минут 17 секунд за 10,41 секунды на Apple M4 Pro с 48 ГБ памяти, однако совместимость с другими конфигурациями не подтверждена. Порт создан независимо от авторов исходной модели. Лицензия модели — MIT. Модель не выполняет диаризацию, потоковое распознавание с микрофона или синтез речи; факты, метки эмоций, сводки и временные отметки могут быть ошибочными и требуют проверки по аудио.

410июль 2026ctx262.1K
textmithugging-face
hmarchant
speaker-names-attr-ettin-150m

Speaker Names Attribution, Ettin 150M — англоязычная модель для извлечения из расшифровки напечатанного имени человека, соответствующего диаризованной метке говорящего, например Speaker A. Она разработана на основе энкодера jhu-clsp/ettin-encoder-150m: ModernBERT с 149 млн параметров дообучен с SQuAD-подобной головой, предсказывающей начало и конец фрагмента; позиция 0 обозначает отсутствие ответа. Модель принимает текст и возвращает имя либо воздерживается, если расшифровка не позволяет его установить. Контекст модели — до 7 999 токенов. Модель предназначена для связывания меток диаризации с именами, явно упомянутыми в стенограммах, например при обработке новостных и общественно-политических передач. На вручную проверенной выборке из 264 строк показатель F1 по человеку составил 0,857, а точный F1 текста — 0,812; на автоматически проверенной тестовой выборке из 638 строк — соответственно 0,882 и 0,830. Модель не определяет личность по голосу, внешним знаниям или неупомянутому контексту. Для работы нужны PyTorch и Transformers; пользовательская голова хранится отдельно, поэтому чекпойнт не является стандартной моделью AutoModelForQuestionAnswering. Лицензия — MIT.

590сент. 2026ctx8K
textmithugging-face
InflexionLab
VibeVoice-ASR-Kazakh

InflexionLab/VibeVoice-ASR-Kazakh — модель распознавания речи на казахском языке, созданная дообучением Microsoft VibeVoice-ASR с помощью LoRA; адаптеры объединены с базовыми весами для инференса. Обучение проводилось на наборе ISSAI-KSC2-Structured объёмом около 1 200 часов казахской речи из новостей, парламентских выступлений, ток-шоу, подкастов, радио и краудсорсинговых записей. Модель преобразует казахскую речь в текстовую транскрипцию с пунктуацией и заглавными буквами. В README указаны WER около 22% и CER около 9,6% на тестовой части ISSAI KSC2, а также WER 17,6% и CER 4,25% на наборе farabi-lab/kazakh-stt, который не использовался при обучении. Репозиторий содержит веса safetensors; лицензия — Apache-2.0.

276март 2026ctx131.1K
textaudioapache-2.0hugging-face
BSC-LT
whisper-large-v3-LoS

LoS Whisper-large-v3 — мультиязычная модель автоматического распознавания речи, разработанная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC) на основе дообучения openai/whisper-large-v3. Модель предназначена для транскрибации речи на испанском, каталанском, галисийском и баскском языках. Модель с архитектурой Whisper содержит 905,2 млн параметров и принимает аудио, выдавая текст. Для дообучения использовали 8 110 часов предварительно обработанных данных; объём данных по четырём языкам выравнивали для сопоставимой производительности. В обучающий набор вошли публичные и институциональные аудиоданные, включая датасеты Common Voice и 3CatParla. Модель подходит для транскрибации записей и аудиоматериалов на поддерживаемых языках. Демографические сведения о говорящих отсутствуют, поэтому в данных могут присутствовать смещения, в том числе из-за использования институциональных материалов. Лицензия — Apache-2.0.

2101дек. 2025
textaudioapache-2.0hugging-face
cstr
canary-1b-v2-GGUF

Canary 1B v2 GGUF — мультиязычная модель NVIDIA для автоматического распознавания речи и перевода речи, преобразованная в формат GGUF проектом CrispStrobe/CrispASR. Модель содержит около 978 млн параметров и предназначена для работы с runtime canary-main. Она поддерживает 25 европейских языков, включая русский, английский, немецкий, французский, испанский, украинский и польский. Язык источника и язык результата задаются явными токенами, что снижает риск ошибок автоматического определения языка. Архитектура включает 32-слойный аудиоэнкодер FastConformer и 8-слойный Transformer-декодер с механизмами self-attention и cross-attention. Модель принимает монофонический звук 16 кГц, использует 128 мел-фильтров и словарь SentencePiece на 16 384 токена; максимальный контекст декодера — 1024 токена. При совпадении языков выполняется распознавание речи, а при различии — перевод. Поддерживаются переводы между английским и 24 другими языками в обоих направлениях. Заявленная средняя ошибка распознавания на английском составляет 7,15% по Open ASR Leaderboard. Сильные стороны модели — мультиязычность, явное указание языков, поддержка распознавания и speech translation, а также несколько вариантов квантования: от F16 до Q4_K, рекомендованного для экономии памяти. Ограничения включают необходимость использования совместимого runtime canary-main, обязательный выбор исходного и целевого языков и отсутствие в описании сведений о встроенной сегментации или временных метках. Модель распространяется по лицензии CC-BY-4.0.

2.5K2апр. 2026
textaudiocc-by-4.0hugging-face
ai4bharat
indic-conformer-600m-multilingual

IndicConformer-600M-Multi — многоязычная модель распознавания речи от AI4Bharat. Она преобразует аудио в текст на 22 официальных языках Индии и предназначена для транскрибирования устной речи. Модель основана на архитектуре Conformer и сочетает методы CTC и RNNT; размер составляет 600 млн параметров. Доступны оба способа декодирования: CTC и RNNT. Репозиторий содержит модель в формате ONNX, а лицензия — MIT.

452K228март 2025
textaudiomithugging-face
kristijonas
kmynas-parakeet-lt-v4

kmynas-parakeet-lt-v4 — модель распознавания литовской речи, разработанная Kristijonas и дообученная на базе NVIDIA Parakeet TDT 0.6B v3. Это плотная TDT-транспьюсерная модель с 0,6 млрд параметров; она принимает аудио и возвращает текст на литовском языке с пунктуацией, заглавными буквами и нормализованным написанием заимствований. Для обучения использованы 3 087 часов корпуса LIEPA-3. Модель доступна в формате safetensors и в исходном формате NeMo, работает через Transformers и рассчитана на быстрое распознавание речи, в том числе на локальном устройстве. Модель подходит для расшифровки разговоров, радиопередач и записей с телефона, когда нужен читаемый текст без отдельного этапа расстановки пунктуации. Архитектура транспьюсера обеспечивает монотонное выравнивание аудио и текста; автор сообщает о высокой скорости на MacBook и GPU, но эти показатели получены на конкретных устройствах и не гарантируют аналогичную производительность в других условиях. Лицензия — CC BY 4.0. Среди известных ограничений — непоследовательное распознавание имён собственных и редкой иностранной технической лексики, а также смешанный подход к дословной передаче разговорных форм. Модель не выполняет диаризацию и не размечает говорящих; для очень длинных файлов рекомендуется делить запись по паузам.

5.3K1сент. 2026
textaudiocc-by-4.0hugging-face
nitky
Megac4ai-command-r-plus

Megac4ai-command-r-plus — экспериментальная языковая модель, созданная автором nitky с помощью mergekit: слои CohereForAI/c4ai-command-r-plus чередуются с её же слоями методом passthrough. Модель содержит 160,4 млрд параметров, использует архитектуру CohereForCausalLM и формат safetensors; для запуска применяется библиотека Transformers с необходимыми изменениями. README также указывает на отдельную GGUF-версию и вариант квантования bitsandbytes до 4 бит. Модель предназначена для генерации текста и диалоговых ответов. В примере она отвечает на вопрос по японскому диалогу; метаданные перечисляют поддержку английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Контекст составляет 8192 токена; доступны интерфейсы чата и вызова инструментов. Указанная лицензия — CC BY-NC 4.0, допускающая использование с атрибуцией, но не коммерческое использование.

226апр. 2024ctx8.2K
textcc-by-nc-4.0hugging-face
pere
multi-sentencefix-mt5-large

DeUnCaser — модель pere для восстановления пунктуации и капитализации в тексте, например в расшифровках автоматического распознавания речи. Это последовательностная модель на базе mT5, дообученная на корпусах OSCAR: обучение длилось 130 000 шагов, использовалось до миллиона примеров на каждый из 42 языков с латинским алфавитом. Модель добавляет знаки препинания, заглавные буквы в начале предложений и именах собственных, а также может расставлять дефисы и скобки, если это помогает прояснить смысл. Модель содержит около 608,4 млн параметров; в репозитории представлены форматы Flax и PyTorch. Она предназначена прежде всего для постобработки неотформатированных речевых транскрипций. Карточка не приводит оценок качества или подробностей ограничений. Лицензия — CC BY 4.0.

363март 2022
textcc-by-4.0hugging-face
Axiveri
NaijaVox-2.0

NaijaVox-2.0 — модель распознавания речи с открытыми весами, разработанная Axiveri для нигерийских языков и вариантов английского. Она дообучена методом PEFT LoRA на базе OpenAI Whisper large-v3 и предназначена для преобразования аудиозаписей в текст на йоруба, хауса, игбо, нигерийском пиджине и нигерийском английском. Модель содержит около 905,3 млн параметров; в репозитории веса представлены в формате Safetensors. Обучение проводилось на 25 866 примерах из семи наборов данных с применением SpecAugment и добавлением фонового шума. По данным карточки, модель подходит для транскрибации разговоров, интервью, эфиров и голосового ввода, в том числе в шумных условиях и при переключении между языками. Для йоруба заявлена поддержка диакритики. В тестах на небольших выборках WER составил 14,7% для нигерийского пиджина, 19,6% для нигерийского английского, 22,3% для йоруба, 25,8% для хауса и 30,5% для игбо. Модель принимает аудио и выдаёт текст. Качество может зависеть от языка, акцента, шума и условий записи; опубликованные метрики получены на тестах по 50 примеров на язык и не гарантируют аналогичных результатов в других сценариях. Лицензия — Apache-2.0.

9818июнь 2026
textaudioapache-2.0hugging-face
NbAiLabBeta
nb-whisper-small

NB-Whisper Small — модель распознавания речи семейства Whisper, разработанная NB AI-Lab Национальной библиотекой Норвегии и дообученная на основе openai/whisper-small. Она предназначена прежде всего для транскрибирования норвежской речи, включая букмол и нюношк, а также поддерживает английский язык. Модель содержит 153,1 млн параметров и работает с аудио; для использования доступны реализации в форматах PyTorch, Safetensors, ONNX и Flax. Модель обучалась на 66 тысячах часов аудиозаписей и рассчитана на автоматическое преобразование речи в текст. Её можно запускать локально через Transformers; версия Small оптимизирована для работы на CPU. Для длинных записей README рекомендует обрабатывать аудио фрагментами, а увеличение beam size может повысить точность ценой скорости и памяти. Модель выпущена как кандидат на релиз, поэтому результаты и готовность следует оценивать с учётом её предварительного статуса. Лицензия — Apache 2.0. Распознавание может содержать ошибки и предвзятости; для длинного аудио нужны подходящие настройки разбиения на фрагменты. В README также описан перевод речи на английский, но основной pipeline-тег модели — распознавание речи.

2701янв. 2024ctx1K
textaudioapache-2.0hugging-face
jonatasgrosman
wav2vec2-xls-r-1b-french

Это модель автоматического распознавания речи на базе XLS-R 1B, дообученная Jonatas Grosman для транскрибации французской речи. Дообучение проведено с помощью HuggingSound на обучающих и валидационных данных Common Voice 8.0, MediaSpeech, Multilingual TEDx, Multilingual LibriSpeech и Voxpopuli. Архитектура — Wav2Vec2ForCTC; модель содержит 1,3 млрд параметров и принимает аудио с частотой дискретизации 16 кГц. Модель предназначена для преобразования французской речи в текст, в том числе для расшифровки записей и аудиоматериалов. Репозиторий содержит веса PyTorch. Лицензия — Apache-2.0. Карточка не сообщает об ограничениях точности или о поддержке других языков.

2.2K8март 2022
textaudioapache-2.0hugging-face
comodoro
wav2vec2-xls-r-300m-cs-250

Модель comodoro/wav2vec2-xls-r-300m-cs-250 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания чешской речи. Она основана на архитектуре Wav2Vec2 с выходной CTC-головой и содержит 402,7 млн параметров. Для распознавания принимает аудио с частотой дискретизации 16 кГц и выдаёт текст на чешском языке. Модель дообучена на Common Voice 8.0 и чешских наборах OVM, встречах парламента Чехии и Vystadial 2016. В карточке приведены результаты на тестовой выборке Common Voice: WER 0,1475 и CER 0,0329; с языковой моделью указаны WER 0,0727 и CER 0,0212. Подходит для транскрибации чешских записей, включая диктовку, интервью и разговорную речь. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. Результаты зависят от качества записи и близости речи к обучающим данным; для работы требуется аудиовход, записанный или приведённый к 16 кГц.

887K9март 2022
textaudioapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей