I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиBlgn94/whisper-small-mn — модель распознавания речи на монгольском языке, дообученная разработчиком Blgn94 на основе openai/whisper-small. Это модель семейства Whisper с архитектурой WhisperForConditionalGeneration; репозиторий содержит веса в форматах Safetensors и ONNX. Она принимает аудио и преобразует его в текст, например для транскрибирования записей на монгольском языке. Для проверки на отложенной части валидационной выборки указаны WER 22,1% и CER 10,3%. Для обучения использован датасет примерно из 60 часов аудио и 57 320 фрагментов: MBSpeech, Mozilla Common Voice 20 и Google FLEURS. Лицензия модели — CC-BY-4.0.
AnyGPT-base — базовая мультимодальная авторегрессионная модель команды OpenMOSS-Team, построенная на архитектуре LLaMA и объединяющая текст, изображения, речь и музыку через дискретные представления и предсказание следующего токена. Модель содержит 6,7 млрд параметров, использует формат PyTorch и имеет контекст 2048 токенов. Для обработки модальностей применяются отдельные токенизаторы и компоненты реконструкции: SpeechTokenizer и Soundstorm для речи, SEED-tokenizer для изображений, Encodec-32k для музыки и unCLIP SD-UNet для восстановления изображений. Модель предназначена для преобразования данных между модальностями: генерации изображений, описания изображений, распознавания речи, синтеза речи, генерации музыки и создания описаний музыки. README указывает, что AnyGPT-base может выполнять эти задачи в заданном формате инструкций; примеры и метки языковой поддержки в метаданных относятся к английскому. Авторы отмечают нестабильность генерации из-за ограничений данных и вычислительных ресурсов, поэтому результат может требовать повторной генерации или настройки декодирования. Лицензия — исходная лицензия LLaMA 2.
Eurydice 24b v2 — языковая модель Aixon Lab для диалогов с несколькими ролями. Это дообученная на пользовательском наборе данных причинная трансформерная модель семейства Mistral, основанная на mistralai/Mistral-Small-3.1-24B-Instruct-2503. Веса представлены в формате Safetensors; модель содержит 23,4 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста, общения, ответов на вопросы, анализа и создания историй. В карточке особо отмечены понимание контекста, творческая генерация и естественный диалог. Основной язык — английский; заявлена возможная поддержка других языков, но их перечень и результаты оценки не приведены. Лицензия — Apache 2.0. Модель может наследовать смещения и ограничения обучающих данных и базовой модели. Разработчик не приводит метрик производительности, поэтому качество следует оценивать на целевых сценариях.
zeromodels/gemma-4-12b-it — конверсия Gemma 4 12B Instruct в формате Keras 3 от zeromodels. Модель содержит около 11,95 млрд параметров и представлена в bfloat16; реализация запускается на TensorFlow, PyTorch и JAX. Вариант предназначен для генерации ответов по тексту, изображениям и аудио: принимает эти типы входных данных и выдаёт текст. Доступен также текстовый режим. В README указано окно скользящего внимания 1024 токена; это не следует трактовать как полный размер контекста. Модель унаследована от google/gemma-4-12B-it и распространяется по лицензии Apache 2.0.
GLM-5.3-Flash-NVFP4-FTW — подготовленный к запуску артефакт модели GLM-5.3 Flash, первоначально разработанной и опубликованной Z.ai. Версию NVFP4 выпустила Red Hat AI, FreeToken предоставил формат FTW и runtime-компоненты, SparkLab — средства подготовки и развёртывания на NVIDIA DGX Spark, а OakMind AI выполнила конвертацию, измерения и публикацию артефакта. Повторного обучения не проводилось. Модель предназначена для генерации текста и диалоговых сценариев с текстовым вводом и выводом. Она основана на Mixture-of-Experts архитектуре: содержит 320 млрд параметров, из которых 18 млрд активируются для отдельного запроса. Артефакт оптимизирован для одного NVIDIA DGX Spark с чипом Grace Blackwell GB10 и использует unified memory, хранение экспертных блоков на локальном NVMe и разреженное выполнение MoE. В исходной модели присутствуют компоненты для работы с изображениями, но в данном пути SparkLab они отключены. Приведённый профиль демонстрирует около 4,98 токена в секунду при пакетном размере 1, однако задержка зависит от NVMe-доступа и состояния кэша экспертов. К сильным сторонам относятся возможность запуска полной модели на одном DGX Spark, снижение объёма резидентных весов за счёт сочетания NVFP4 и FP8 W8A16, а также совместимые с OpenAI и Anthropic API сценарии обслуживания через SparkLab. Ограничения включают зависимость производительности от дискового ввода-вывода, заметную задержку первого запроса при холодном кэше, отсутствие активной поддержки vision-компонентов и то, что опубликованные показатели являются единичным performance-тестом, а не гарантией качества или ёмкости в любых сценариях. Лицензия в README не указана.
Модель dianavdavidson/indic_whisper_hi_multi_gpu_iv_hindi_only_62612_ratio_alldata_lr_1e-4_lgid_None_epochs_100_FT — дообученная версия WhisperForConditionalGeneration на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио на хинди. В карточке указаны результаты оценки: loss 0,2428 и Global WER 25,6713. Набор данных, подробности обучения и дополнительные ограничения не описаны. Модель распространяется в формате Safetensors по лицензии MIT.
Карточка модели chenQAQ/japanese-wav2vec2-large-rs35kh на Hugging Face совпадает с карточкой reazon-research/japanese-wav2vec2-large-rs35kh, поэтому описание составлено по ней. Японская модель автоматического распознавания речи Reazon Research на архитектуре wav2vec 2.0 Large, дообученная на крупномасштабном корпусе ReazonSpeech v2.0. Она преобразует японскую речь в текст и подходит для расшифровки коротких записей и длинных аудиоматериалов. В README приведены результаты по метрике CER: среднее значение составило 16,25% на указанных тестовых наборах, а на JSUT-BOOK для длинной речи — 30,98%. Метаданные указывают класс Wav2Vec2ForCTC, около 405,7 млн параметров и поддержку Transformers. Модель принимает аудио и выдаёт текст; заявленный язык — японский. Распространяется по лицензии Apache-2.0.
Японская модель автоматического распознавания речи Reazon Research на архитектуре wav2vec 2.0 Large, дообученная на крупномасштабном корпусе ReazonSpeech v2.0. Она преобразует японскую речь в текст и подходит для расшифровки коротких записей и длинных аудиоматериалов. В README приведены результаты по метрике CER: среднее значение составило 16,25% на указанных тестовых наборах, а на JSUT-BOOK для длинной речи — 30,98%. Метаданные указывают класс Wav2Vec2ForCTC, около 405,7 млн параметров и поддержку Transformers. Модель принимает аудио и выдаёт текст; заявленный язык — японский. Распространяется по лицензии Apache-2.0.
Sunfall v0.6.1 — разговорная модель генерации текста семейства Llama, опубликованная crestf411. Она предназначена для диалогов и генерации ответов; в метаданных также указаны обучающие наборы LimaRP-DS и NuminaMath-CoT. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Заявленная длина контекста — 131 072 токена. Репозиторий не уточняет базовую модель и детали обучения, поэтому происхождение Sunfall по доступным сведениям определить нельзя. Модель распространяется по лицензии Llama 3; перед использованием следует учитывать её условия и ограничение аудитории, отмеченное тегом not-for-all-audiences.
unsloth/LFM2-1.2B-unsloth-bnb-4bit — 4-битная версия модели LFM2-1.2B, разработанной Liquid AI и подготовленной Unsloth. Это гибридная Liquid-модель для edge AI и локального запуска на устройствах, включая смартфоны, ноутбуки и автомобили. Она поддерживает выполнение на CPU, GPU и NPU и предназначена для эффективного использования памяти и высокой скорости инференса. Модель содержит около 1,17 млрд параметров, 16 слоёв, включая 10 сверточных и 6 attention-слоёв, использует архитектуру с мультипликативными gates и короткими свёртками, а также поддерживает контекст до 32 768 токенов. Модель обучена на 10 трлн токенов и рассчитана на английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Она предназначена для агентских сценариев, извлечения данных, RAG, творческого письма и многоходовых диалогов; для узких задач рекомендуется дополнительная настройка. К сильным сторонам относятся компактность, скорость обучения и инференса, эффективность на CPU и сравнительно высокая производительность среди моделей аналогичного размера в задачах знаний, математики, следования инструкциям и многоязычности. Ограничения связаны с небольшим размером: модель не рекомендуется для ресурсоёмких задач, требующих глубоких знаний или программирования. В карточке указана лицензия LFM Open License v1.0; конкретные условия использования следует проверять в тексте лицензии Liquid AI.
Moonshine Streaming Small — Spanish — это модель распознавания испанской речи от Moonshine AI. Она транскрибирует аудио по мере поступления, не дожидаясь окончания высказывания, и рассчитана на локальный запуск на устройствах с ограниченными ресурсами. По метаданным, модель содержит 48,2 млн параметров; карточка описывает потоковую архитектуру с аудиофронтендом 50 Гц и оконным Transformer-энкодером. Модель доступна в формате Safetensors, работает через Transformers и поддерживает контекст до 4096 токенов. Обучение сочетает небольшую коллекцию человеческих расшифровок и крупный испаноязычный корпус с автоматически созданными псевдоразметками. В оценке на двух наборах чтения WER составил около 4,9%, однако эти результаты не характеризуют спонтанную речь, телефонные записи и тяжёлые диалекты. Возможны ошибки в именах, числах и переключении языков, а на коротких или шумных фрагментах — зацикливание текста. Для корректной потоковой работы при обработке нужно передавать attention mask. Лицензия — MIT.
Moonshine-Tiny-FR — компактная модель распознавания французской речи, созданная дообучением UsefulSensors/moonshine-tiny. Она принимает монофоническое аудио с частотой 16 кГц и выдаёт французскую текстовую расшифровку. Модель содержит 27 млн параметров и использует архитектуру Moonshine: свёрточное извлечение признаков, Transformer-блоки в энкодере и авторегрессионный Transformer-декодер. Указанная длина контекста — 194 токена. Модель предназначена для транскрибации аудиофайлов и речи в реальном времени, голосовых команд, средств доступности и запуска на мобильных и периферийных устройствах. В README приведены результаты оценки на французском тестовом наборе Multilingual LibriSpeech: WER 21,8% и скорость около девяти раз быстрее реального времени на CPU. Лицензия — MIT. По описанию, модель лучше работает на аудиокнигах и стандартном французском произношении; региональные акценты, сильный фоновый шум и очень короткие записи могут ухудшать распознавание. Возможны повторы и галлюцинации текста, особенно при жадном декодировании. Авторы отмечают, что это proof of concept и что для большей надёжности нужны дополнительные улучшения данных.
Ogaal-Labs/Ogaal-ASR-CT2-INT8 — конвертированная в CTranslate2 модель распознавания речи, основанная на Ogaal-Labs/Ogaal-ASR и предназначенная для запуска через faster-whisper. Исходная модель — дообученный на сомалийской речи Whisper large-v3; конверсия INT8 ориентирована на ускорение инференса на CPU и снижение потребления памяти при сохранении токенизатора и конфигурации для сомалийского языка. Модель принимает аудио и преобразует речь в текст. В README приведён пример транскрибации с faster-whisper на CPU. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и базовой моделью. Подробности обучения, оценки качества и ограничения приведены в карточке исходной модели.
Røst v1 Whisper 1.5B — модель распознавания датской речи, разработанная Alvenir и дообученная на первом выпуске датасета CoRaL. Она основана на Whisper large-v3 от OpenAI и предназначена для преобразования датской речи в текст. В метаданных указано 905,2 млн параметров; модель использует архитектуру WhisperForConditionalGeneration и библиотеку Transformers. В карточке датская модель названа современной для своей задачи. Для сопоставления приведены результаты других моделей на CoRaL: ошибка символов (CER) 4,3% и ошибка слов (WER) 10,4% у Alvenir/coral-1-whisper-large; эти показатели не относятся к данной модели. Модель распространяется по лицензии OpenRAIL. Результаты оценки самой Røst v1 в карточке не приведены.
Модель lgris/sew-tiny-portuguese-cv8 разработана lgris и представляет собой дообученную версию lgris/sew-tiny-pt для автоматического распознавания речи. Она использует архитектуру SEW с CTC-декодированием и содержит 50,4 млн параметров. Модель обучалась на Common Voice 8.0 и предназначена для преобразования португальской речи в текст. На оценочной выборке указаны loss 0,4082 и WER 0,3053. Модель принимает аудио и выдаёт текст; опубликованные веса имеют формат PyTorch. Лицензия — Apache-2.0.
TIGER-speech-small — компактная модель разделения речи, разработанная исследователями Университета Цинхуа. Она принимает смешанную аудиозапись и разделяет перекрывающуюся речь на отдельные аудиосигналы, в том числе в условиях шума и реверберации. В архитектуре TIGER используются разделение частотных полос, многошкальное селективное внимание и внимание по полным частотным кадрам. Авторы описывают модель как эффективную по числу параметров и вычислительным затратам; в статье её оценивали на Libri2Mix, LRS2-2Mix и EchoSet. Модель предназначена для разделения речи нескольких говорящих в записях и акустических сценах. Карточка указывает английский язык, формат весов safetensors и лицензию Apache-2.0. В метаданных эта версия связана с базовой моделью JusperLee/TIGER-speech как дообученная; сведения о точном размере и длине контекста не приводятся.
getonit/transcription-cleanup-llama3.2-1b — текстовая генеративная модель, опубликованная пользователем или организацией getonit на Hugging Face. По названию репозитория и сообщению об изменении «transcription-cleanup-1b v5_punct» она предназначена для очистки и пунктуационного оформления транскрипций. В карточке модели также указаны английский язык, разговорный режим и задача генерации текста. Модель основана на архитектуре LlamaForCausalLM с примерно 1 млрд параметров, 16 слоями, размером скрытого состояния 2048, 32 attention heads и 8 key-value heads. Заявлено контекстное окно до 131 072 токенов; опубликованная MLX-версия использует 4-битное квантование и занимает около 695 МБ. Поддерживается запуск через MLX и совместимый OpenAI API-сервер. Сильные стороны — небольшой размер, низкие требования к памяти и специализация на обработке транскрипций, однако в доступной карточке отсутствуют результаты оценки качества, подробности обучающего набора, точные границы возможностей, сведения о поддерживаемых языках помимо английского и описание ограничений. Лицензия в доступных материалах не указана, поэтому условия коммерческого и иного использования по этим данным установить нельзя.
BuzzASR/urdu — одноязычная модель автоматического распознавания речи на урду, разработанная в рамках набора BuzzASR и дообученная из openai/whisper-large-v3. Она принимает аудио и генерирует текстовую транскрипцию; модель построена на архитектуре Whisper large-v3 и содержит 905,2 млн параметров. Для распознавания используется токенизатор Whisper, а языковая и задачная подсказка встроена в конфигурацию генерации. Модель предназначена для транскрибации речи на урду. На тесте FLEURS указаны CER 7,5% и WER 21,8%; на объединённом тесте — CER 9,24% и WER 26,77%. Обучение использовало FLEURS и текстовые данные корпуса Goldfish. Модель оценивалась на тестовых разделах FLEURS и Common Voice, поэтому качество на других тематиках, диалектах и акустических условиях может отличаться. Лицензия — MIT.
NbAiLab разработала wav2vec2-large-voxrex-npsc-nynorsk — модель распознавания речи, дообученную на наборе NBAILAB/NPSC 16K_MP3_NYNORSK. Она принимает аудио и преобразует речь в текст, с акцентом на норвежский нюнорск. Модель основана на архитектуре Wav2Vec2 с CTC-декодированием и содержит 402,7 млн параметров. На оценочном наборе указаны значения Loss 0,4142 и WER 0,1576. Модель подходит для транскрибации записей на нюнорске; данные карточки не описывают ограничения по условиям записи или устойчивости к шуму. Веса опубликованы в формате PyTorch по лицензии Apache 2.0.
wav2vec2-large-xls-r-300m-lithuanian — модель распознавания литовской речи, дообученная infinitejoy на базе facebook/wav2vec2-xls-r-300m на литовской части Common Voice 7.0. Это аудиомодель на архитектуре Wav2Vec2ForCTC с 402,7 млн параметров, предназначенная для преобразования речи в текст. В README приведены результаты на тестовой выборке: WER 0,2486 и loss 0,1722. Модель подходит для транскрибирования записей и голосовых фрагментов на литовском языке. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Подробные сведения о рекомендуемых условиях применения и ограничениях в карточке отсутствуют.
jonatasgrosman/wav2vec2-large-xlsr-53-arabic — модель распознавания арабской речи, созданная Jonatas Grosman на основе facebook/wav2vec2-large-xlsr-53. Модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц, преобразуя его в текст на арабском языке. Модель дообучена на обучающей и валидационной частях Common Voice 6.1 и Arabic Speech Corpus. В оценке на тестовых данных Common Voice для неё указаны WER 39,59% и CER 18,18%; результаты зависят от набора данных и процедуры оценки. Подходит для преобразования арабской речи в текст и транскрибирования аудиозаписей. Распространяется по лицензии Apache-2.0.
Модель anton-l/wav2vec2-large-xlsr-53-estonian — дообученная на эстонском языке версия facebook/wav2vec2-large-xlsr-53, созданная на данных Common Voice. Это модель распознавания речи на базе Wav2Vec2 с архитектурой Wav2Vec2ForCTC и 402,7 млн параметров; она принимает аудио и преобразует эстонскую речь в текст. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель можно запускать без языковой модели; в README указано значение оценки 30,74% на тестовых данных Common Voice, но метрика не уточнена. Модель предназначена для транскрибирования записей на эстонском языке и построена на обучающих и валидационных данных Common Voice. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.
KBLab разработала wav2vec2-large-xlsr-53-swedish — модель распознавания шведской речи на основе архитектуры Wav2Vec2ForCTC с 402,7 млн параметров. Она дообучена на базе facebook/wav2vec2-large-xlsr-53: сначала на корпусе примерно из 1000 часов шведских радиопередач, затем на NST Swedish Dictation и Common Voice. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Модель предназначена для автоматической транскрибации шведской речи. В оценке на тестовой части Common Voice указаны WER 14,30% и CER 4,93%. Для более высокого качества авторы рекомендуют свою более новую модель wav2vec2-large-voxrex-swedish. Модель распространяется по лицензии Apache-2.0.
vumichien/wav2vec2-large-xlsr-japanese-hiragana — модель распознавания японской речи, дообученная автором на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Для обучения применялись данные Common Voice и японский речевой корпус лаборатории Саруватари Токийского университета (JSUT). Модель преобразует японскую речь в текст и рассчитана на входное аудио с частотой дискретизации 16 кГц. В оценке на японской тестовой выборке Common Voice указаны WER 24,74% и CER 10,99%. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0.
lgris/wav2vec2-podcasts-tagarela-v2 — модель распознавания речи на базе Wav2Vec2, разработанная автором репозитория и дообученная на полном наборе TAGARELA v2. Она преобразует речь в текст и рассчитана прежде всего на транскрибирование аудио на бразильском португальском. Модель содержит 113,3 млн параметров; в README указаны входное аудио 16 кГц, моно и словарь из 51 токена. В тестах README приведены WER 14,96% на TAGARELA v2, 23,75% на TAGARELA v1 и 23,98% на CORAA v1.1. Результаты показывают, что качество зависит от набора данных; метрики не гарантируют такую же точность на других источниках, акцентах или условиях записи. Модель распространяется по лицензии Apache-2.0.
aasem/wav2vec2-xls-r-300m-Urdu — модель автоматического распознавания речи, созданная дообучением модели Facebook wav2vec2 XLS-R 300M на наборе Common Voice 8.0 для урду. Она принимает аудио и преобразует речь на урду в текст; архитектура — Wav2Vec2ForCTC на основе wav2vec2, объём модели по метаданным составляет 402,7 млн параметров. В карточке приведены результаты на Common Voice: WER 0,2459 и CER 0,0691. Модель предназначена для транскрибирования записей и голосовых сообщений на урду. Репозиторий содержит веса PyTorch, для работы используется Transformers. Лицензия — MIT. Карточка приводит оценку на Common Voice, однако не описывает качество на других наборах данных и в иных акустических условиях.
Карточка модели mehdipakdel/wh на Hugging Face совпадает с карточкой AmirMohseni/whisper-small-persian, поэтому описание составлено по ней. Whisper Small Persian — модель распознавания речи, созданная Amir Mohseni дообучением openai/whisper-small на наборе данных Fleurs Farsi. Она построена на архитектуре Whisper и содержит 153,1 млн параметров. Модель предназначена для преобразования речи на персидском языке в текст. На приведённой в карточке оценке модель показала значение WER 25,8171 и loss 0,3818. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает ограничения применения и условия оценки подробнее.
Whisper Hindi Large-v2 — версия Whisper Large-v2, дообученная на корпусах распознавания речи на хинди в рамках Whisper fine-tuning sprint. Модель на архитектуре Whisper содержит около 905,2 млн параметров и предназначена для преобразования аудиозаписей на хинди в текст. Она подходит для транскрибирования речи и оценки качества распознавания на тестовых наборах. Для обучения использовались GramVaani ASR Corpus, ULCA ASR Corpus, Shrutilipi ASR Corpus и обучающая и валидационная части Google FLEURS. В README также указаны тестовые части GramVaani ASR Corpus и Google FLEURS для оценки. Доступны веса PyTorch и Flax; модель распространяется по лицензии Apache-2.0.
Модель MohammadGholizadeh/whisper-large-v3-persian-common-voice-17 — дообученная версия Whisper Large v3 от OpenAI для распознавания персидской (фарси) речи и преобразования аудио в текст. Она обучена на более чем 250 тысячах аудиозаписей Common Voice 17 и предназначена для транскрибации персидской речи, в том числе с обработкой аудио фрагментами до 30 секунд через Transformers pipeline. По данным карточки, увеличение обучающей выборки по сравнению с Common Voice 11 улучшило Word Error Rate и устойчивость распознавания. Модель не возвращает временные метки: попытка запросить их может вызвать ошибку. Для длинных записей в примере предлагается разбивать аудио на фрагменты. Лицензия — Apache-2.0.
Модель dianavdavidson/whisper-medium_iv_hindi_vaani_62509_ratio_alldata_lr_1e-4_lgid_None_mixratio_0.75_FT — дообученная версия Whisper Medium от OpenAI для автоматического распознавания речи. Она принимает аудио и генерирует текст; название указывает на настройку для Hindi, но карточка не описывает состав обучающих данных или условия записи. В оценке указаны loss 0,3762 и Global WER 28,5523. Модель построена на Whisper Medium с архитектурой WhisperForConditionalGeneration, содержит около 455,8 млн параметров и распространяется в формате safetensors. Лицензия — Apache-2.0.