I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиAmiran13/wav2vec2-large-xlsr-georgian_v1 — модель распознавания речи на базе wav2vec 2.0, дообученная разработчиком Amiran13 на основе facebook/wav2vec2-large-xlsr-53. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. README сообщает о результате WER 0,2605 на оценочном наборе, но не раскрывает его состав и язык обучения явно; грузинский язык следует из названия модели. Модель предназначена для автоматической транскрипции речи. Распространяется под лицензией Apache-2.0. Карточка не описывает требования к аудио, условия применения и прочие ограничения.
Wav2Vec2-Large-XLSR-53-Turkish — модель распознавания турецкой речи, созданная на основе facebook/wav2vec2-large-xlsr-53 и дообученная на Common Voice. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей в текст; входную речь следует подавать с частотой дискретизации 16 кГц. Модель содержит 402,7 млн параметров. На тестовой выборке Common Voice для турецкого языка указана доля ошибок слов WER 27,51%. Доступны веса в форматах PyTorch и Flax. Модель распространяется по лицензии Apache-2.0.
Baybars/wav2vec2-xls-r-300m-cv8-turkish — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на турецкой части датасета Common Voice. Это архитектура Wav2Vec2 с CTC-декодированием; метаданные указывают 402,7 млн параметров и формат PyTorch. Модель принимает аудио и преобразует речь в текст на турецком языке. Модель предназначена для автоматической транскрипции турецкой речи, в том числе записей в сценариях, похожих на Common Voice. В README приведены результаты на тестовом наборе: WER 0,3098 и CER 0,0764. Для языкового декодирования также описана n-граммная модель KenLM, обученная на статьях турецкой Википедии; она упоминается отдельно от основного чекпойнта. Модель распространяется по лицензии Apache-2.0. Оценка качества приведена для конкретного набора данных и не гарантирует таких же результатов на других акцентах, условиях записи или типах аудио; README не содержит подробностей о таких ограничениях.
Andrew McDowell дообучил модель facebook/wav2vec2-xls-r-300m для автоматического распознавания немецкой речи на датасете Mozilla Common Voice 7.0 (немецкая конфигурация). Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC; в метаданных указано около 402,8 млн параметров. Она принимает аудио и выдаёт распознанный текст на немецком языке. На оценочной выборке автор сообщает значение WER 0,2016 и loss 0,1768. Модель распространяется по лицензии Apache-2.0.
DrishtiSharma/wav2vec2-xls-r-300m-kk-n2 — модель распознавания речи, дообученная на базе facebook/wav2vec2-xls-r-300m на казахской части набора Mozilla Common Voice 8.0. Она принимает аудио и преобразует речь на казахском языке в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 402,7 млн параметров. На тестовой оценке автор сообщает WER 0,451 и loss 0,7149. Модель распространяется по лицензии Apache-2.0.
NbAiLab/wav2vec2-xls-r-300m-npsc-bokmaal — модель распознавания речи на базе архитектуры wav2vec2 с выходной головой CTC. В метаданных указано около 402,7 млн параметров; модель опубликована в формате PyTorch и предназначена для преобразования аудио в текст на норвежском букмоле. Она связана с датасетом NbAiLab/NPSC, а в карточке приведены результаты оценки: WER 0,0932 и loss 0,1663. Модель подходит для транскрибирования речи на букмоле. Репозиторий использует лицензию Apache-2.0. Карточка не содержит подробностей о составе обучающих данных, условиях оценки или ограничениях применения, поэтому приведённые метрики не следует считать гарантией качества на других аудиозаписях.
Whisper Base Hindi — дообученная на датасете Mozilla Common Voice 16.0 для хинди модель распознавания речи. Она основана на архитектуре Whisper и содержит 51,7 млн параметров. Модель принимает аудио и преобразует речь на хинди в текст; для оценки на тестовой выборке указана ошибка слов (WER) 28,649 и loss 0,4679. Модель предназначена для транскрибирования записей и голосовых сообщений на хинди. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0.
whispercharsplitnewround20061 — дообученная на неизвестном наборе данных модель распознавания речи на базе OpenAI Whisper Tiny. Она принимает аудио и преобразует речь в текст; размер модели — 29,4 млн параметров. В README приведены результаты обучения и валидации после 60 эпох: Validation Loss 0,5606 и Validation Wermet 7,0558. Модель предназначена для автоматической транскрибации аудиозаписей. Язык данных обучения и качество распознавания для отдельных языков не описаны. Модель распространяется по лицензии Apache-2.0; результаты на неизвестном наборе данных не позволяют оценить качество для конкретных сценариев.
argmaxinc/whisperkit-coreml — репозиторий Argmax с моделями Whisper в формате Core ML для WhisperKit, SDK распознавания речи на устройствах Apple Silicon. Модель предназначена для преобразования аудио в текст, включая локальную транскрибацию на устройствах Apple. Репозиторий использует библиотеку WhisperKit и содержит файлы Core ML. В карточке указана лицензия MIT. README упоминает отдельный платный SDK Argmax Pro для транскрибации в реальном времени с разделением по говорящим и пользовательским словарём; эти возможности не заявлены для данной модели.
Whisper Large-v2 Czech CV11 v2 — модель распознавания речи, созданная дообучением openai/whisper-large-v2 на чешской части набора Mozilla Common Voice 11.0. Она предназначена для преобразования чешской речи в текст. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров. На оценочной выборке указана WER 9,0459 и loss 0,2120. Обучение проводилось с оптимизацией DeepSpeed и размером пакета 32. Модель распространяется по лицензии Apache-2.0. Подробности о дополнительных сценариях применения и ограничениях в карточке не приведены.
Mohammed Nasri дообучил модель OpenAI Whisper Large на наборе Common Voice 11.0 для распознавания арабской речи. Это плотная модель архитектуры Whisper с 905,2 млн параметров, представленная в формате PyTorch. На оценочной выборке автор сообщает значение WER 15,9259 и loss 0,1784. Модель принимает аудио и генерирует текстовую расшифровку; карточка не описывает дополнительные сценарии или ограничения качества. Лицензия — Apache-2.0.
jonatasgrosman/whisper-large-pt-cv11 — модель автоматического распознавания речи, созданная Jonatas Grosman на основе openai/whisper-large-v2 и дообученная на португальском языке на обучающей и части валидационной выборок Common Voice 11. Она преобразует португальскую речь в текст и подходит для расшифровки записей и аудио с естественной речью. Модель использует архитектуру Whisper Large с 905,2 млн параметров. В README приведены оценки на тестовых выборках Common Voice 11 и Fleurs; результаты зависят от нормализации регистра и пунктуации, а в Fleurs также от различий в записи чисел. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
cautroi/whisper-large-v3-id — дообученная модель распознавания речи на базе OpenAI Whisper large-v3, созданная Sanchit Gandhi. Она обучена на наборе Common Voice 11.0 и предназначена для преобразования речи в текст; карточка приводит WER 10,8842 на оценочной выборке. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors, запускается через Transformers. В метаданных для неё указан язык хинди. Базовая модель также поддерживает многоязычное распознавание и перевод аудио в текст. Лицензия — Apache-2.0. В карточке нет подробностей об условиях оценки и ограничениях качества, поэтому приведённый WER следует рассматривать только как результат на указанной оценочной выборке.
sam8000 выпустил дообученную на наборе FLEURS модель OpenAI Whisper large-v3-turbo для автоматического распознавания речи на болгарском языке. Это мультиязычная модель архитектуры Whisper с 905,2 млн параметров, предназначенная для преобразования аудио в текст; в метаданных указана поддержка входного аудио. На тестовой выборке автор сообщает WER 9,9711 и WER Ortho 28,9047. Модель распространяется в формате Safetensors по лицензии MIT. Подробности о составе обучающих данных, кроме указания FLEURS, и о конкретных ограничениях в карточке не приведены.
Модель sam8000/whisper-large-v3-turbo-greek-greece — дообученная на датасете FLEURS версия мультиязычной Whisper Large-v3-Turbo от OpenAI. Это модель распознавания речи, которая принимает аудио и преобразует его в текст. В метаданных указана архитектура WhisperForConditionalGeneration, библиотека Transformers и размер около 905,2 млн параметров. Название модели указывает на настройку для греческого языка в Греции; README также приводит метрики оценки на тестовом наборе: WER 11,0591 и WER Ortho 26,8701. Лицензия — MIT. README не содержит дополнительных сведений о сценариях применения или ограничениях.
Модель juancopi81/whisper-medium-es-train-valid — версия Whisper Medium, дообученная разработчиком juancopi81 на наборе Common Voice 11.0 для автоматического распознавания речи. Она принимает аудио и генерирует текст; карточка сообщает WER 5,9456 на тестовой выборке и WER 7,02 на google/fleurs. Модель содержит 455,8 млн параметров и представлена в форматах PyTorch и Safetensors. Модель подходит для транскрибирования испанской речи и оценки систем распознавания на речевых наборах данных. Лицензия — Apache-2.0. Карточка не описывает ограничения применимости и подробные условия оценки качества, поэтому приведённые метрики относятся только к указанным тестовым наборам.
Whisper Medium Vaani Telugu — дообученная командой ARTPARK-IISc модель распознавания речи на базе OpenAI Whisper Medium. Она предназначена для автоматической транскрибации речи на телугу в текст; в метаданных указан датасет ARTPARK-IISc/Vaani. Модель имеет архитектуру Whisper с 455,8 млн параметров и принимает аудио, выдавая текст. Поддерживаемый язык — телугу. Репозиторий содержит веса в формате safetensors и распространяется по лицензии MIT.
bofenghuang/whisper-small-cv11-german — версия Whisper small, дообученная для распознавания немецкой речи на немецкой части набора Common Voice 11.0. Модель разработана на основе openai/whisper-small и использует архитектуру Whisper с 153,1 млн параметров; для распознавания аудио требуется частота дискретизации 16 кГц. Модель преобразует немецкую речь в текст, включая регистр букв и пунктуацию. В карточке приведён WER 11,35 на Common Voice 11.0. Она подходит для транскрибации немецких голосовых записей и аудио, записанного в условиях, близких к данным обучения. Распространяется по лицензии Apache-2.0.
Whisper Small Dv — модель распознавания речи, созданная Sanchit Gandhi путём дообучения мультиязычной openai/whisper-small на наборе Common Voice 13. Она принимает аудио и преобразует речь в текст; модель построена на архитектуре Whisper и содержит 153,1 млн параметров. В оценке на тестовом наборе указаны WER 14,0661 и орфографический WER 63,8972, однако README не уточняет условия и язык этой оценки. Модель подходит для транскрибирования записей речи, в том числе для экспериментов с данными Common Voice. Базовая Whisper также поддерживает распознавание речи и перевод аудио на английский, но карточка этой производной модели подтверждает только задачу распознавания речи. Модель распространяется по лицензии Apache-2.0.
DocWolle/whisper_tflite_models — набор моделей Whisper в формате TensorFlow Lite для приложения Whisper на F-Droid. Модели принимают аудиопризнаки размером 80 × 3000 и предназначены для автоматического распознавания речи; отдельные варианты позволяют выбрать транскрибацию или перевод, а также принудительно задать язык распознавания. Выход представляет собой последовательность токенов с текстом без временных меток. Репозиторий содержит преобразованные модели TFLite на основе Whisper; точные размеры и варианты базовых моделей в доступной карточке не приведены. README показывает обёртки с лимитом генерации до 450 новых токенов. Лицензия — MIT. Модели рассчитаны на встраивание в приложение Whisper и локальный запуск совместимой средой TensorFlow Lite.
AlexN/xls-r-300m-fr — модель автоматического распознавания французской речи, дообученная автором на датасете Mozilla Foundation Common Voice 8.0 для французского языка. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,9 млн параметров. Модель принимает аудио и преобразует речь в текст; её можно применять для расшифровки французских записей и голосовых сообщений. Модель основана на facebook/wav2vec2-xls-r-300m и распространяется в формате PyTorch. В карточке не приведены сведения об условиях лицензии и оценке качества, поэтому перед использованием следует проверить лицензию репозитория и самостоятельно оценить точность на целевых аудиозаписях.
Belle-whisper-large-v3-zh — модель распознавания китайской речи, созданная командой BELLE-2 дообучением Whisper large-v3. Она предназначена для транскрибации китайской речи, в том числе записей встреч и аудио со сложной акустической обстановкой. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст; в README приведены результаты на AISHELL-1, AISHELL-2, WenetSpeech и HKUST, включая улучшение относительно исходной Whisper large-v3 на китайских тестах. Архитектура — WhisperForConditionalGeneration семейства Whisper; размер — около 905,2 млн параметров. Модель доступна в форматах PyTorch и Safetensors и использует библиотеку Transformers. Распространяется по лицензии Apache-2.0. Заявленные в карточке улучшения относятся к указанным тестовым наборам; качество на других языках и типах аудио не описано.
Canary 180M Flash в формате GGUF — это квантованные конверсии мультиязычной модели NVIDIA для автоматического распознавания речи и перевода в автономном режиме. Модель упакована для работы с transcribe.cpp и разработана на базе nvidia/canary-180m-flash; конверсию выполнил handy-computer. Она принимает монофонические WAV-файлы с частотой 16 кГц и преобразует речь в текст. Модель содержит 182 млн параметров и использует encoder-decoder архитектуру с 17-слойным FastConformer-энкодером и 4-слойным Transformer-декодером. Поддерживается распознавание английского, немецкого, испанского и французского языков, а также двунаправленный перевод между английским и немецким, испанским или французским. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером от 139 до 756 МБ. К сильным сторонам относятся автономная работа, компактный размер, высокая скорость инференса и близкое соответствие результатам эталонной реализации NeMo: для LibriSpeech test-clean заявлен WER от 1,90% до 1,94% в зависимости от квантования. Ограничения включают отсутствие потокового режима, определения языка и временных меток в текущем порте; поддерживаются только указанные четыре языка, а вход должен быть предварительно подготовлен в формате 16 кГц mono WAV. Модель распространяется по лицензии CC-BY-4.0, допускающей коммерческое использование при соблюдении условий лицензии.
alvanlii/distil-whisper-small-cantonese — модель распознавания речи на кантонском языке, созданная как дистиллированная версия alvanlii/whisper-small-cantonese на основе Whisper Small от OpenAI. Это плотная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров; в декодере 3 слоя вместо 12 у стандартной Whisper Small. Модель принимает аудио и выдаёт текстовую транскрипцию; в README описан сценарий обработки аудио с частотой дискретизации 16 кГц и чанками до 30 секунд. Модель рассчитана на транскрибирование кантонской речи, включая данные zh-HK. На тестовом наборе Common Voice 16.0 yue указана CER 9,7% без пунктуации и 11,59% с пунктуацией; авторы также сообщают о меньшем времени инференса по сравнению с Whisper Small. Для работы требуется около 2 ГБ видеопамяти. Модель опубликована в формате safetensors под лицензией Apache-2.0. Метаданные указывают Common Voice 11.0 среди тегов датасетов, тогда как README описывает обучение на CantoMap, Cantonese-ASR и Common Voice и оценку на Common Voice 16.0.
FLM-Audio — аудиоязыковая модель CofeAI, созданная на основе RoboEgo/FLM-Ego. Это плотная LLM-архитектура с 7,1 млрд параметров, аудиоэнкодером для входящей речи и декодером для генерации аудио. Модель поддерживает двусторонний диалог в реальном времени: одновременно слушает, говорит и формирует внутренний монолог; в README заявлены английский и китайский языки. Модель предназначена для голосового общения, распознавания речи и синтеза речи. Обучение включало постобучение на аудиоданных и дообучение на многоходовых речевых диалогах с обработкой перебиваний и шумов. В метаданных указан контекст 8192 токена и формат safetensors. Авторы сообщают об устойчивости к шуму и перебиваниям и о низкой задержке, однако приведённые результаты относятся к описанным авторами тестам. README ограничивает назначение исследовательским использованием; для коммерческого использования предлагается связаться с авторами. Модель может генерировать предвзятый или оскорбительный контент, поэтому качество и безопасность ответов требуют оценки в конкретном сценарии.
Fun-ASR-Nano-2512-GGUF — это квантованные и неквантованные GGUF-версии модели Fun-ASR-Nano-2512, подготовленные handy-computer для работы с transcribe.cpp. Базовая модель разработана Tongyi Lab и распространяется через FunAudioLLM. Модель предназначена для офлайн-преобразования речи в текст и принимает монофонические WAV-файлы с частотой 16 кГц. Модель поддерживает китайский, английский и японский языки, а также семь китайских диалектов и 26 региональных вариантов мандаринского языка. Архитектура включает замороженный SenseVoiceEncoderSmall, двухслойный аудиоадаптер и встроенную языковую модель Qwen3-0.6B; общий объём обучаемых параметров составляет около 800 млн. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 557 МБ до 1,67 ГБ. Поддерживается обратная текстовая нормализация. Сильные стороны модели — высокая точность на английском, китайском и японском языках, компактные квантованные варианты и возможность локального запуска на CPU, Metal или Vulkan через transcribe.cpp. Ограничения: модель не поддерживает потоковую обработку, автоматический перевод, определение языка, временные метки и встроенное разбиение длинных записей на фрагменты. Указана лицензия FunASR Model Open Source License Agreement v1.1.
GLM-ASR-Nano-2512-GGUF — это преобразованная и квантизированная версия модели GLM-ASR-Nano-2512 от zai-org, подготовленная для работы с CrispASR. Модель предназначена для автоматического распознавания речи и транскрибации аудиозаписей, включая длинные аудиофайлы. Репозиторий cstr/glm-asr-nano-GGUF не обучает и не дообучает модель, а только переводит её веса в формат GGUF и предоставляет варианты с разной степенью квантизации. Архитектура включает Whisper-энкодер с размерностью 1280 и 32 слоями, проектор на 4 кадра и Llama-подобную языковую модель с размерностью 2048, 28 слоями и GQA 16/4. Объём модели составляет около 1,5 млрд параметров. Поддерживаются мандаринский китайский, китайские диалекты, английский и кантонский; модель не является универсальной мультиязычной системой и не заявляет поддержку японского, корейского и европейских языков. Доступны варианты F16 размером 4,3 ГБ, Q8_0 размером 2,3 ГБ и Q4_K размером 1,3 ГБ, причём Q4_K обозначен как оптимальный компромисс между размером и качеством. По данным README, модель превосходит OpenAI Whisper V3 на указанных тестах, показывая средний уровень ошибки 4,10. Для использования требуется CrispASR; обновлённые файлы содержат BPE-слияния токенизатора и поддерживают однопроходную обработку аудио длительностью до 655 секунд, тогда как стандартный режим использует фрагменты по 30 секунд. Однопроходный режим может пропускать начальные участки без речи. Модель распространяется по лицензии MIT, при этом условия upstream-модели zai-org сохраняются.
granite-4.0-1b-speech-gguf — это GGUF-квантизированная версия Granite-4.0-1b-speech, разработанного IBM Granite и адаптированного для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и двунаправленного перевода речи между английским и французским, немецким, испанским, португальским и японским языками. Перевод выполняется только через английский язык, поэтому прямые направления между неанглийскими языками не поддерживаются. Модель представляет собой audio-LLM с Conformer-энкодером, block-local Shaw attention, проектором BLIP-2 Q-Former и авторегрессионным Granite-4.0-1b-base в роли декодера. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживаются английский, французский, немецкий, испанский, португальский и японский языки; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,60 до 4,63 ГБ. Сильные стороны модели — компактность, возможность локального запуска на устройствах с ограниченными ресурсами, высокая точность английского распознавания и поддержка многоязычного ASR и перевода. На наборе LibriSpeech test-clean заявленная WER составляет 1,41–1,48% в зависимости от квантизации, однако фактическое качество зависит от языка, аудио и выбранного варианта. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает хинди в названии модели, а базовая модель каталога имеет подтверждённую поддержку хинди. Модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В README приведены результаты оценки: loss 0.5186 и Global WER 26.4368. Описание набора данных, условия оценки и подробные сценарии применения в карточке не раскрыты, поэтому результаты нельзя переносить на другие данные без проверки. Лицензия — MIT.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка сообщает о дообучении на наборе данных, обозначенном как None. На оценочном наборе указаны loss 0,5552 и Global WER 22,7742. Модель использует архитектуру WhisperForConditionalGeneration и распространяется в формате safetensors через библиотеку Transformers. Метаданные базовой модели подтверждают поддержку хинди. Лицензия — MIT. Карточка не описывает дополнительные ограничения или сценарии использования.