I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиwhisper-small-alif — дообученная на датасете audiofolder модель распознавания речи на основе openai/whisper-small. Она предназначена для преобразования аудио в текст; карточка сообщает о результате WER 0,0 на оценочном наборе, но не описывает его состав, поэтому этот показатель нельзя переносить на другие данные. Модель построена на архитектуре WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Базовая Whisper поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии не уточняет языки и сценарии дообучения. Модель распространяется по лицензии Apache-2.0. Состав обучающих данных и ограничения применения в карточке подробно не раскрыты.
Jeremy-p/whisper-small-qc-fr — дообученная версия мультиязычной модели OpenAI Whisper-small для распознавания речи, с повышенным весом квебекского французского в обучающей смеси французского и английского языков. Это плотная encoder-decoder модель WhisperForConditionalGeneration; в данном репозитории опубликованы веса fp32 для Transformers, а отдельная версия CTranslate2 int8 предназначена для faster-whisper. Обучающая смесь использовала французские данные с вероятностью выборки 0,90 и английские — 0,10. Модель предназначена для транскрибирования аудио на квебекском французском и английском. В приведённой оценке она улучшила показатели исходной Whisper-small по WER на обоих языках и превзошла Qwen3-ASR-0.6B на французской выборке, но уступила ей на английской; размеры выборок составили 100 французских и 324 английских примера. Максимальная длина целевых последовательностей при обучении была ограничена 448 токенами. Лицензия — MIT.
onnx-community/whisper-small_timestamped — это веб-совместимая версия модели openai/whisper-small, подготовленная сообществом ONNX Community. Репозиторий содержит ONNX-веса, предназначенные для использования с библиотекой Transformers.js, а исходная модель разработана OpenAI. Модель предназначена для задач автоматического распознавания речи в приложениях, работающих через Transformers.js, включая веб-сценарии. Архитектура, размер, поддерживаемые языки, модальности и размер контекста в предоставленных данных отдельно не указаны; известно только, что базовой моделью является whisper-small. Ключевое преимущество — наличие ONNX-весов, упрощающих запуск модели в средах, совместимых с Transformers.js. Ограничение состоит в том, что README не содержит подробностей о производительности, точности, требованиях к ресурсам и фактическом наборе поддерживаемых сценариев. Лицензия в предоставленных данных не указана.
eai6/whisper-tiny.en — дообученная модель распознавания речи на основе openai/whisper-tiny.en, созданная сообществом eai6 и обученная на наборе данных Azure-dataset. Модель использует архитектуру Whisper и содержит 29,4 млн параметров; она предназначена для преобразования английской речи в текст. Модель подходит для транскрибации аудиозаписей и распознавания речи в приложениях. В README приведены результаты оценки на тестовой выборке: loss 0,0680 и WER 44,3486. Весовые файлы доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
mlx-community/whisper-tiny.en-8bit — компактная модель распознавания речи на основе Whisper tiny.en от OpenAI, преобразованная в формат MLX сообществом mlx-community с помощью mlx-audio-plus версии 0.1.4. Она предназначена для преобразования англоязычной речи в текст и подходит для транскрибирования аудиозаписей и голосового ввода. Репозиторий содержит веса в формате safetensors; модель использует архитектуру Whisper и библиотеку mlx-audio-plus. Лицензия — Apache-2.0. Карточка не приводит отдельных оценок качества или известных ограничений.
nagorebravo/whisper-tiny-en-minds14 — компактная модель распознавания речи на архитектуре Whisper, дообученная на openai/whisper-tiny разработчиком nagorebravo на датасете PolyAI/minds14. Она преобразует аудио в текст и предназначена для транскрибации речи, в том числе аудиозаписей из сценариев, представленных в этом датасете. На оценочном наборе указаны Loss 0,5909 и WER 0,3241 (WER Ortho 0,3288). Модель распространяется в формате safetensors по лицензии Apache-2.0.
Это компактная модель автоматического распознавания речи на базе OpenAI Whisper Tiny, дообученная автором репозитория akimbabananan для русского и английского языков. Она принимает аудио и преобразует речь в текст; автор описывает её как эксперимент с полным дообучением, направленный на специализацию модели в двуязычном режиме. В карточке указаны архитектура Whisper, библиотека Transformers, формат safetensors и лицензия MIT. По заявлению автора, обучение шло 4000 шагов на датасете Common Voice 22.0, а знания языков помимо русского и английского намеренно вытеснялись. Поэтому модель подходит для транскрибации речи на этих двух языках, но может молчать или транслитерировать речь на других языках. Заявления о высокой точности в README не подкреплены приведёнными метриками; для практического применения качество стоит проверять на целевых аудиозаписях.
ihanif/whisper-turbo-ar-v2 — дообученная модель распознавания речи на основе openai/whisper-large-v3-turbo, созданная Hanif Rahman. Она предназначена для преобразования аудио в текст; обучение проводилось на наборе Common Voice 17.0. В карточке приведены результаты оценки: WER 39,2011 и орфографический WER 39,8068. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и распространяется в формате safetensors для Transformers. Лицензия — MIT. В карточке нет сведений о целевом языке или специальной области применения; суффикс ar в имени репозитория сам по себе этого не подтверждает.
Модель hypaai/wspr_small_2025-11-11_12-12-17 — дообученная версия мультиязычной Whisper Small от OpenAI, разработанная hypaai. Она предназначена для автоматического распознавания речи и транскрибирования аудио. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors для библиотеки Transformers. В тегах карточки указаны йоруба, английский и хауса; метаданные также отмечают игбо. Эти языки можно считать поддерживаемыми, хотя описание обучения не раскрывает данные и результаты оценки. Модель распространяется по лицензии Apache-2.0.
Xoron-Dev-MultiMoe — мультимодальная модель семейства Xoron, опубликованная командой Xoron-Dev и представленная в репозитории Backup-bdg. В метаданных указаны архитектура MoE, 256,5 млн параметров, библиотека Transformers и контекст до 131 072 токенов. README заявляет обработку текста, изображений, видео и аудио, а также генерацию изображений, видео и речи. Для изображений описаны SigLIP-2 и сжатие TiTok, для видео — VidTok с обработкой до 32 кадров, для аудио — обработка сырого PCM и голосовой синтез. Модель позиционируется для мультимодального диалога, понимания визуального и аудиовизуального содержимого, работы с речью, генерации медиа и агентных сценариев с использованием инструментов. Среди заявленных характеристик — разреженная смесь экспертов и контекстное окно 128K. README также заявляет клонирование голоса по короткому образцу, но не приводит независимых оценок качества; описанные возможности и показатели следует считать заявлениями автора. Лицензия репозитория — MIT. В метаданных основной задачей указана генерация текста, тогда как авторский pipeline-тег — any-to-any; для каталога основной задачей выбрана any-to-any, поскольку карточка описывает модель для мультимодального ввода и вывода.
Arabic-Whisper-CodeSwitching-Edition — модель распознавания речи, разработанная العبد لله и дообученная на базе Whisper Large v2 от OpenAI на наборе данных арабско-английской речи с переключением языков. Она предназначена для транскрибации арабской речи, в которую включены английские слова, в том числе в многоязычной среде. Модель построена на архитектуре Whisper и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; в карточке заявлена поддержка арабского и английского языков в контексте арабской речи. Репозиторий содержит веса SafeTensors и использует библиотеку Transformers. Лицензия — GPL-3.0. Модель ориентирована на арабскую речь с английскими вставками. По карточке, она может хуже работать с одноязычной речью на других языках и с переключением языков, отличных от арабского и английского.
ARC-Qwen-Video-7B-Narrator — дообученная мультимодальная модель TencentARC на базе Qwen2.5-VL-7B-Instruct для анализа коротких видео. Она формирует описания с временными метками, различает говорящих и передаёт распознанную речь, помогая разбирать события и диалоги в роликах. Архитектура — плотная модель семейства Qwen2.5-VL с 7,1 млрд параметров; она обрабатывает видео и аудио и выдаёт текст. В метаданных указан контекст длиной до 128 000 токенов. Модель подходит для создания временной расшифровки ролика, краткого описания сцен и анализа последовательности событий. В README также показан сценарий, где результат модели передают внешней LLM для получения более подробного структурированного разбора. Для развёртывания описаны проверенные конфигурации с NVIDIA H20 и A100; установка зависит от соответствующих библиотек и окружения. Модель распространяется по лицензии Apache-2.0.
Jacaranda Health разработала модель распознавания речи на базе Whisper medium, дообученную для транскрибирования речи на суахили и английском языках. Модель принимает аудио и выдаёт текст; число параметров — 455,8 млн. В метаданных указано объединение моделей openai/whisper-medium и openai/whisper-small, а README описывает дообучение whisper-medium на Common Voice 17.0. Поэтому точный способ получения чекпойнта по источникам расходится. Модель подходит для расшифровки записей и смешанной речи на суахили и английском. README сообщает WER 14,7 на оценочном наборе и улучшение по сравнению с базовой моделью, особенно для суахили, но подробности протокола оценки не приведены. Лицензия в метаданных — CC BY-SA 4.0; README ограничивает назначение исследованиями, общественно полезными и внутренними сценариями, а коммерческое использование и распространение предлагает согласовывать с Jacaranda Health.
Ąžuolas Whisper LT CT2 — литовская модель распознавания речи, созданная akisviete на основе Ąžuolas Whisper LT и преобразованная в формат CTranslate2 для работы с faster-whisper. В репозитории доступны варианты float16 и int8_float16; второй занимает около 1,5 ГБ вместо 2,9 ГБ, при этом в приведённых тестах качество почти не меняется. Исходная модель основана на Whisper large-v3 и обучена на литовской речи из корпуса LIEPA-3. Модель предназначена для транскрибации литовской речи с временными метками сегментов. В тестах указаны WER 9,05% на FLEURS LT и 4,60% на Common Voice 26.0 LT. Для практического использования автор рекомендует включать фильтр тишины VAD и делить длинные записи на фрагменты до 22 секунд. Модель выдаёт текст строчными буквами без пунктуации и может генерировать текст на участках тишины без VAD. Лицензия — CC BY 4.0.
Baichuan-Omni-1.5 — открытая мультимодальная модель команды Baichuan, представленная в карточке репозитория baichuan-inc/Baichuan-Omni-1d5. Это плотная модель с 7,1 млрд параметров и контекстом 65 536 токенов, предназначенная для диалогов и взаимодействия с текстом, изображениями, видео и аудио. Модель принимает эти четыре типа входных данных и формирует текстовые и аудиовыходы; заявлены потоковая обработка аудио и видео и голосовое общение в реальном времени. Модель рассчитана на понимание изображений и видео, распознавание и понимание речи, генерацию речи, а также мультимодальные диалоги. В README отдельно отмечены двуязычные голосовые сценарии на китайском и английском, управление стилем голоса и понимание медицинских изображений. Заявления о сравнительных результатах приведены разработчиками и здесь не подтверждены независимой проверкой. Репозиторий содержит веса в формате safetensors; метаданные указывают Apache-2.0. Для развёртывания и оценки медицинских выводов необходима отдельная проверка качества в целевом сценарии; README также предостерегает от использования в интернет-сервисах без соответствующих проверок и согласований.
Модель ingeniumacademy/bart-cnn-samsum-finetuned — дообученная версия facebook/bart-large-cnn на наборе данных SAMSum. Она предназначена для создания кратких пересказов диалогов, например бесед из чатов. Модель построена на архитектуре BART и содержит 252,8 млн параметров; принимает текст длиной до 1024 токенов и генерирует текст. В README приведено значение loss 0,1344 на оценочной выборке, но описание не уточняет методику оценки или другие показатели качества. Лицензия — MIT.
bartconvo-summarizer — дообученная Advaith1612 модель BART для краткого пересказа диалогов. Она создана на основе facebook/bart-large-cnn и обучена на датасете SAMSum, содержащем диалоги и их краткие сводки. Модель принимает текст диалога и генерирует его краткое текстовое изложение; её контекст составляет 1024 токена, размер — 252,8 млн параметров. Модель подходит для суммирования переписок и разговоров на английском языке. Она распространяется в формате safetensors по лицензии MIT. README не содержит результатов оценки качества или дополнительных сведений об ограничениях.
slauw87/bart_summarisation — англоязычная модель суммаризации диалогов, разработанная на основе BART и обученная с помощью Amazon SageMaker. Она предназначена для создания краткого пересказа беседы; в README приведён пример диалога и оценки ROUGE. Модель имеет архитектуру BART с 252,8 млн параметров, принимает текст и выдаёт текст. Максимальная длина контекста — 1024 токена. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Модель подходит для краткого изложения переписок и разговоров на английском языке. В карточке указано обучение на датасете SAMSum. Приведённые метрики относятся к оценке на наборе, использованном автором; README не описывает отдельные проверки на других типах текста.
bp400-xlsr — модель автоматического распознавания речи на базе Wav2Vec 2.0, дообученная для бразильского португальского языка. Карточка описывает её как демонстрационную модель, обученную на объединённых корпусах CETUC, Common Voice, LaPS BM, MLS, TEDx, SID и VoxForge; веса представлены в формате PyTorch. Размер модели — около 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и предназначена для транскрибирования бразильского португальского, в том числе записей из перечисленных корпусов. В README приведены результаты WER на отдельных тестовых наборах: без языковой модели среднее значение составляет 0,124, а с 4-граммовой языковой моделью — 0,105. Качество зависит от корпуса; для TEDx ошибки заметно выше, чем для некоторых других наборов. Для использования указана лицензия Apache-2.0.
Brazley Nemotron 3.5 Lightning Omni — неофициальная мультимодальная модель, созданная Ником Брэзли путём слияния компонентов двух опубликованных чекпойнтов NVIDIA. Текстовая часть основана на Nemotron 3.5 Lightning, а аудио- и визуальные энкодеры и проекторы взяты из Nemotron 3 Nano Omni V2. Обучение не проводилось; веса объединены на уровне модулей и представлены в формате safetensors с ModelOpt-квантизацией. NVIDIA не выпускала эту мультимодальную версию и не проверяла её. Модель принимает текст, изображения, аудио и видео, а отвечает текстом. Она предназначена для понимания документов и изображений, распознавания речи, ответов на вопросы по аудио и видео, включая описание событий во времени. Поддерживает английский язык и контекст до 262 144 токенов; общий размер составляет около 34 млрд параметров, примерно 3 млрд активны на токен. Для запуска автор указывает DGX Spark как минимальную GPU-платформу. Модель доступна для коммерческого использования на условиях лицензий исходных моделей; применяются обе лицензии, а лицензия репозитория обозначена как other.
cali-whisper-tiny.en-drop-006-production — дообученная модель распознавания речи на базе 1Developer/cali-whisper-tiny.en-drop-005-production. Она использует архитектуру WhisperForConditionalGeneration семейства Whisper и предназначена для преобразования входящего аудио в текст; обучение проводилось на датасете audiofolder. В карточке приведены результаты оценки: Loss 0.0000, Wer Ortho 0.0 и Wer 0.0. Эти значения не сопровождаются описанием оценочного набора и методики, поэтому по ним нельзя судить о качестве на других данных. Модель ориентирована на английскую речь, как и базовая версия tiny.en. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не описывает дополнительные ограничения или сценарии использования.
coco-research/coco-voice-models — репозиторий-зеркало моделей распознавания речи, используемых приложением Coco Voice. Владелец репозитория указывает, что файлы побайтно скопированы из проекта Handy и не переконвертировались и не перепаковывались при переносе в это зеркало. В репозитории собраны модели разных разработчиков, включая OpenAI, MediaTek Research, Useful Sensors и NVIDIA; среди примеров — Whisper, Breeze ASR и Moonshine. Модели предназначены для преобразования речи в текст. В репозитории есть файлы GGUF-квантований Q5_K_M и Q8_0, однако конкретный формат, размер и лицензия зависят от отдельной модели и указаны рядом с её файлами. Лицензии различаются; README рекомендует сверяться с лицензией и атрибуцией каждой модели. Репозиторий предоставляется без гарантий.
Cohere Transcribe — открытая модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Эта GGUF-версия представляет собой квантованные конвертации базовой модели CohereLabs/cohere-transcribe-03-2026 для запуска с помощью transcribe.cpp. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой дискретизации 16 кГц. Она поддерживает 14 языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский, польский, греческий, арабский, японский, китайский, вьетнамский и корейский. Архитектура основана на Conformer-энкодере и Transformer-энкодер-декодере с cross-attention и связанными эмбеддингами токенов; размер модели составляет около 2 млрд параметров, декодирование выполняется авторегрессионно. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,56 до 4,11 ГБ. На тесте LibriSpeech test-clean заявленная ошибка распознавания составляет около 1,24–1,27% в зависимости от квантования, что указывает на высокую точность для английской речи. Ограничения включают отсутствие потокового режима, встроенного перевода, автоматического определения языка и временных меток; модель предназначена именно для распознавания, а не для перевода речи. Для работы требуется transcribe.cpp, а аудио при необходимости нужно предварительно привести к формату 16 кГц, mono WAV. Модель и конвертации распространяются по лицензии Apache-2.0, унаследованной от базовой модели.
cstr/cohere-transcribe-03-2026-GGUF — набор весов в формате GGUF для модели автоматического распознавания речи CohereLabs/cohere-transcribe-03-2026, разработанной Cohere. Конвертация предназначена для высокопроизводительного запуска на CPU через C++-среду CrispASR. Модель содержит около 2 млрд параметров и, согласно README, занимала первое место в Open ASR Leaderboard со средним WER 5,42 на март 2026 года. Архитектура включает 48-слойный Conformer-энкодер и 8-слойный каузальный Transformer-декодер; максимальный контекст декодера составляет 1024 токена, словарь — 16 384 SentencePiece-токена. На вход подаётся монофоническое аудио 16 кГц с 128 mel-признаками. Заявлена поддержка 14 языков: английского, французского, немецкого, испанского, итальянского, португальского, нидерландского, польского, греческого, арабского, японского, китайского, вьетнамского и корейского. Модель предназначена для транскрибации аудиозаписей и потоков речи; доступны варианты от F16 до Q4_K, позволяющие выбирать между качеством, размером и скоростью. Сильные стороны — мультиязычность, высокая заявленная точность и возможность эффективного CPU-инференса. Ограничения включают зависимость от CrispASR, необходимость корректной языковой настройки и отсутствие заявленной поддержки русского языка, несмотря на наличие соответствующего токена в токенизаторе: README предупреждает, что модель может выдавать ошибочную русскоязычную транскрипцию без явного сигнала об ошибке. Лицензия — Apache 2.0, унаследованная от исходной модели.
Covo-Audio-Chat — аудиоязыковая модель Tencent с 7 млрд параметров, построенная на единой плотной архитектуре CovoAudioForCausalLM. Она принимает непрерывный аудиосигнал и генерирует аудио, объединяя акустические признаки, дискретные речевые токены и текст в общей последовательности. Модель предназначена для речевого диалога, понимания речи и аудио, а также голосового взаимодействия на английском и китайском языках. В семействе Covo-Audio также описана версия Covo-Audio-Chat-FD с полнодуплексным взаимодействием и низкой задержкой; карточка этого репозитория не подтверждает, что полнодуплексность доступна именно в данной версии. Автор заявляет конкурентные результаты среди моделей сравнимого размера и использование обучения на нескольких голосах с разделением характеристик говорящего и диалогового интеллекта. Возможны неточные, неподходящие, предвзятые, устаревшие или фактически неверные ответы, поэтому важные сведения следует проверять. Модель выпущена для исследований и экспериментов; лицензия в предоставленных данных не указана.
distil-whisper/distil-small.en — англоязычная модель распознавания речи, созданная командой Distil-Whisper как дистиллированная версия Whisper small.en. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из учительской модели, а декодер сокращён до четырёх слоёв и обучен на псевдоразметке и дистилляции знаний. В метаданных указано 153,1 млн параметров; README приводит 166 млн. Репозиторий содержит веса PyTorch, SafeTensors и ONNX. Модель предназначена для транскрибации английской речи, в том числе на устройствах с ограниченной памятью. README сообщает об ускорении до 6 раз относительно Whisper и качестве, близком к нему на тестах вне обучающего распределения; также модель можно использовать как вспомогательную для ускоренного спекулятивного декодирования Whisper. Поддерживается библиотекой Transformers версии 4.35 и новее. Лицензия — MIT. Модель работает только с английской речью. README отмечает, что distil-small.en медленнее некоторых более крупных вариантов Distil-Whisper и уступает Whisper large-v2 по WER; для большинства сценариев авторы рекомендуют distil-medium.en или distil-large-v2.
Aspik101 разработал польскую версию Distil-Whisper large-v3 — сжатую дистиллированную модель распознавания речи на основе Whisper large-v3. Она принимает аудио и преобразует речь в текст на польском языке; предназначена для транскрибации коротких записей и длинных аудиофайлов с обработкой по чанкам. Модель содержит около 905,2 млн параметров и распространяется в формате PyTorch; для работы поддерживается библиотекой Transformers версии 4.35 и новее. По данным карточки, Distil-Whisper в три раза быстрее и на 49% меньше исходной модели. Для обработки длинных записей README рекомендует чанки по 15 секунд; указанный в карточке прирост скорости для чанковой обработки — до девяти раз относительно последовательного алгоритма из статьи Whisper. Модель выпущена под лицензией MIT.
BuzzASR/dutch — одноязычная модель автоматического распознавания речи на нидерландском языке, разработанная как часть набора BuzzASR из 102 специализированных ASR-моделей. Это дообученная версия Whisper large-v3 от OpenAI: модель использует архитектуру Whisper и токенизатор исходной модели, а настройка выполнена для распознавания речи. Веса доступны в формате Safetensors; размер модели — около 905,2 млн параметров. Модель предназначена для транскрибации нидерландской речи. В README приведены результаты на тестовых наборах FLEURS и Common Voice 25; авторы сообщают о снижении CER относительно Whisper large-v3 без дообучения на объединённом тесте. Модель поддерживает только нидерландский язык. Качество на других доменах и диалектах может отличаться от результатов на указанных тестовых наборах. Модель распространяется по лицензии MIT.
charsiu/en_w2v2_ctc_libris_and_cv — модель автоматического распознавания речи, опубликованная пользователем charsiu на Hugging Face. Она предназначена для преобразования английской речи в текст и может использоваться через Transformers как модель AutoModelForCTC или в pipeline automatic-speech-recognition. Модель основана на архитектуре wav2vec2, использует PyTorch и библиотеку Transformers. Название указывает на обучение на данных LibriSpeech и Common Voice, однако точные размер, конфигурация архитектуры, параметры контекста, поддерживаемые варианты английского языка, метрики качества и ограничения в карточке модели не описаны. Лицензия также не указана, поэтому условия использования по доступным данным установить нельзя.
Tejveer12 разработал эту модель как дообученную версию openai/whisper-large-v3-turbo для распознавания английской речи с индийским акцентом. Это модель WhisperForConditionalGeneration на 905,2 млн параметров, предназначенная для преобразования аудио в текст; основное применение — транскрибация записей и речи на английском языке с индийским акцентом. Модель работает с аудио на входе и выдаёт текст. В README приведены результаты оценки: loss 0,2065 и WER 7,5056; описание методики оценки и единиц измерения WER не приведено. Модель распространяется по лицензии MIT.