I.7Речь, диалоги и встречи

Qwen3-ASR-Nepali — дообученная Siddhant Skarki модель Qwen3-ASR-1.7B для автоматического распознавания непальской речи и транскрибации аудио. Это плотная модель архитектуры Qwen3ASRForConditionalGeneration; в репозитории представлены веса safetensors. Обучение проводилось примерно на 157 часах общедоступной непальской речи, включая данные OpenSLR SLR54. По результатам оценки на трёх тестовых наборах, не использованных при обучении, модель показала средний WER 41,4% среди восьми проверенных открытых моделей. Она особенно хорошо справилась с разговорной речью IndicVoices-R и синтетической речью OpenSLR-43, а на чистой читаемой речи FLEURS уступила Meta MMS-1B. WER заметно различался между наборами, поэтому качество может зависеть от типа речи и набора данных. Лицензия указана как other; конкретные условия использования следует проверить в репозитории модели. Для загрузки в README приведён пример с библиотекой qwen_asr и PyTorch, с размещением модели на CUDA.

Модель wbbbbb/wav2vec2-large-chinese-zh-cn разработана на основе facebook/wav2vec2-large-xlsr-53 и дообучена для распознавания китайской речи. Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForPreTraining и примерно 407,9 млн параметров; она принимает аудио с частотой дискретизации 16 кГц и выдаёт текстовую транскрипцию. Для обучения использовались обучающая и валидационная выборки Common Voice 6.1, CSS10 и ST-CMDS. Модель предназначена для автоматической транскрипции речи на китайском языке, в том числе аудиозаписей для тестирования распознавания. В README приведены результаты оценки на тестовых данных Common Voice для zh-CN: WER 70,47% и CER 12,30%; это указывает на существенные ошибки распознавания, поэтому качество следует проверять на целевых данных. Веса доступны в форматах PyTorch и Safetensors, лицензия — Apache-2.0.

Модель scasutt/wav2vec2-large-xlsr-52_Swiss_German — версия wav2vec 2.0 XLSR, дообученная для распознавания швейцарских диалектов немецкого языка на датасете Swissdial. Она преобразует аудиозапись речи в текст и предназначена для сценариев автоматической транскрипции. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; модель доступна в формате PyTorch и рассчитана на входное аудио. В карточке приведён результат на тестовой выборке: WER 0,2909 и loss 0,2811. Модель опубликована под лицензией Apache 2.0. Карточка не описывает подробно условия записи и покрытия диалектов, поэтому качество на иных вариантах речи и в других акустических условиях по этим данным оценить нельзя.

ttop324/wav2vec2-live-japanese — модель распознавания японской речи на базе архитектуры wav2vec2, дообученная на японской хирагане. Автор дообучил facebook/wav2vec2-large-xlsr-53 на данных Common Voice, JSUT, CSS10, TEDxJP-10K, JVS и JSSS. Модель содержит 402,8 млн параметров и использует формат PyTorch. Модель принимает аудио и преобразует японскую речь в текст, записанный хираганой. Она предназначена для автоматической транскрипции японской речи; карточка также содержит раздел оценки, но сведения о результатах в предоставленном README отсутствуют. Модель распространяется по лицензии Apache-2.0. Количественные показатели качества и ограничения распознавания в доступных материалах не приведены.

Модель anuragshas/wav2vec2-xls-r-300m-sk-cv8-with-lm — акустическая модель распознавания речи на базе facebook/wav2vec2-xls-r-300m, дообученная на словацкой части Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров; входом служит аудио, а результатом — текстовая расшифровка речи на словацком языке. Модель предназначена для автоматического распознавания словацкой речи. В карточке приведены результаты на тестовой выборке Common Voice 8: WER 26,707 без языковой модели и 18,609 при оценке с языковой моделью. Репозиторий включает веса PyTorch, лицензия — Apache-2.0. Ограничения и дополнительные сценарии применения в карточке не описаны.

Whisper Base Hindi — модель автоматического распознавания речи, разработанная на основе Whisper Base и дообученная автором arun100 на подмножестве hi_in датасета google/fleurs. Она принимает аудио и генерирует текстовую расшифровку на хинди. Модель содержит 51,7 млн параметров и опубликована в формате safetensors. На оценочном наборе указаны loss 0,4468 и WER 27,7206. Модель предназначена для распознавания речи на хинди; качество на других языках и в иных условиях записи не описано. Лицензия — Apache-2.0.

Whisper Large V2 Cantonese — дообученная Simonl0909 версия мультиязычной модели OpenAI Whisper Large V2 для автоматического распознавания речи на кантонском языке. Модель содержит 905,2 млн параметров и принимает аудио, выдавая его текстовую транскрипцию. Она обучена на кантонской части набора Common Voice 11.0; на оценочной выборке указаны CER 6,7274 и loss 0,2807. Базовая Whisper Large V2 также поддерживает транскрибацию и перевод речи, но для этой версии подтверждено распознавание речи. Модель подходит для транскрибации кантонской речи в аудиозаписях и оценки качества распознавания на наборах данных. Репозиторий распространяется по лицензии Apache-2.0. Показатели на оценочной выборке не гарантируют такое же качество на других данных; README не описывает дополнительные ограничения.

Whisper largeV2 dutch MLS — дообученная модель распознавания речи на базе openai/whisper-large-v2, созданная для транскрибирования нидерландской речи. Она обучалась 4000 шагов на обучающей части набора facebook/multilingual_librispeech Dutch и использует архитектуру WhisperForConditionalGeneration с 905,2 млн параметров. Модель принимает аудио и выдаёт текст; в тесте MLS Dutch указана WER 10,5916, тогда как zero-shot версия базовой модели показала WER 9,3. Модель подходит для транскрибирования нидерландской речи, в том числе записей для оценки на MLS Dutch. Результат тестирования показывает, что это дообучение уступило базовой модели в zero-shot режиме, поэтому для этого набора данных его преимущество не подтверждено. Модель распространяется по лицензии Apache-2.0.

Модель tiantiaf/whisper-large-v3-msp-podcast-emotion — модель классификации эмоций в речи, разработанная на основе Whisper large-v3 и описанная в рамках бенчмарка Vox-Profile. Она дообучена на данных MSP-Podcast; система использует аудио без транскрипта и предназначена для распознавания девяти категорий: гнев, презрение, отвращение, страх, радость, нейтральное состояние, грусть, удивление и другие эмоции. Модель подходит для анализа эмоциональной окраски подкастов и другого онлайн-аудиоконтента. В README отмечено, что предсказания могут зависеть от содержания речи, поэтому результаты следует трактовать с учётом этого фактора. Репозиторий распространяется по лицензии OpenRAIL.

Это LoRA-модель на базе openai/whisper-large-v3-turbo, дообученная для транскрибирования телефонных разговоров на датском языке. Она предназначена для распознавания речи в узкополосном аудио с частотой 8 кГц, повышенной до 16 кГц, и адаптирована к шуму, артефактам кодеков и быстрой разговорной речи. При обучении использованы около 40 500 псевдоразмеченных сегментов телефонных звонков и 82 проверенные человеком коррекции, которые были усилены повторной выборкой. Модель основана на архитектуре Whisper и распространяется в формате safetensors под лицензией Apache-2.0; также заявлена совместимость с faster-whisper после конвертации в CTranslate2. Модель специализирована на датской телефонной речи и может хуже распознавать студийное и вещательное аудио. Поскольку псевдоразметку создавали моделью того же семейства, её систематические ошибки могут сохраняться; небольшой объём проверенных коррекций также ограничивает устойчивость к различным условиям записи.

Это модель распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров, опубликованная пользователем gary109. Согласно карточке, она дообучена на наборе GARY109/AI_LIGHT_DANCE — ONSET-IDMT-2. На оценочной выборке указаны loss 0,2794 и WER 0,2733. Модель предназначена для преобразования аудиосигнала в текст. README не раскрывает целевую лексику, язык распознавания или конкретные сценарии применения, поэтому область использования сверх распознавания речи по этим данным определить нельзя. Репозиторий содержит веса PyTorch; условия лицензии в доступных сведениях не приведены.

AudioRubrics — мультимодальная модель лаборатории Zhou при University of Maryland, полученная постобучением Qwen2.5-Omni-7B методом GRPO. В обучении использовались саморазвивающиеся критерии оценки, привязанные к аудио, и штраф за избыточные рассуждения; опубликован полный объединённый чекпойнт Omni. Модель предназначена для ответов на текстовые запросы об аудио и задач аудиорассуждения. Она принимает аудио и поддерживает диалог; базовая Qwen2.5-Omni также работает с текстом, изображениями и видео, однако карточка AudioRubrics подтверждает только аудиовход и задачу audio-text-to-text. Репозиторий содержит веса Safetensors. В README приведён запуск через vLLM с ограничением контекста 8192 токена и одним аудиофрагментом на запрос. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и связанных материалах. Модель ориентирована на английский язык; результаты и качество за пределами аудиорассуждения в карточке не описаны.

Ex-Omni-2D — мультимодальная диалоговая модель, разработанная авторами проекта Ex-Omni-2D. Репозиторий содержит веса языковой, визуальной и речевой частей модели, а также LoRA-адаптер видеогенератора для публичного inference-пайплайна. В метаданных архитектура указана как плотная Qwen3 с классом LlavaHerQwen3ForCausalLM; заявлен размер 7,6 млрд параметров и контекст до 40 960 токенов. Модель предназначена для выразительного диалога с визуальным присутствием и работы с разными модальностями, включая текст, изображения, речь и видео. Для запуска README предписывает использовать конфигурацию из inference-репозитория; пайплайн загружает дополнительные зависимости, в том числе Wan2.1-T2V-1.3B, Qwen3-VL-2B-Instruct, Qwen3-TTS, Whisper-large-v3 и OmniAvatar-1.3B. Полный последовательный Teacher включён, причинный Student в этой версии отсутствует. Лицензия — Apache-2.0.

phongdtd/fb-vindata-vi-large — модель распознавания речи на архитектуре Wav2Vec2ForCTC, разработанная путём дообучения facebook/wav2vec2-large-xlsr-53 на наборе PHONGDTD/VINDATAVLSP - NA. Она предназначена для преобразования аудио в текст; карточка указывает задачу automatic-speech-recognition и аудиовход. Размер модели — 402,8 млн параметров. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не приводит сведений о качестве распознавания, ограничениях или конкретных условиях записи, поэтому применимость к различным акцентам, шумным записям и другим речевым доменам не подтверждена.

handy-computer/gigaam-v3-rnnt-gguf — это GGUF-конверсия модели GigaAM-v3, разработанной ai-sage, адаптированная для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания русской речи и преобразования аудио в текст с использованием жадного RNN-T-декодирования. В основе используется 16-слойный Conformer-энкодер; исходная модель GigaAM-v3 содержит около 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с использованием цели HuBERT-CTC. Данная версия обучена выдавать строчные русские символы без пунктуации и использует словарь из 33 символов. Поддерживаются варианты квантования F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 183 до 888 МБ. Для аудио на наборе FLEURS ru заявлен WER около 8,07–8,12% в зависимости от квантования. Сильные стороны модели — специализированное распознавание русского языка, автономная работа без внешней языковой модели и небольшие требования к размеру в квантованных вариантах. Ограничения: потоковая обработка, перевод и автоматическое определение языка не поддерживаются; результат не содержит пунктуации и нормализации текста. Предусмотрены токенные временные метки. Для работы требуется transcribe.cpp, а входное аудио должно быть WAV с частотой 16 кГц и одним каналом. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Inkling-Small-mlx-4bit — 4-битная сборка мультимодальной Inkling-Small, подготовленная сообществом mlx-community для Apple Silicon. Это разреженная модель семейства Inkling с 264 млрд параметров, из которых около 12 млрд активны на каждом токене; в архитектуре 42 слоя, 256 маршрутизируемых экспертов с выбором шести экспертов и два общих эксперта. Модель принимает изображения, аудио и текст, а выдаёт текст. Сборка использует библиотеку MLX и занимает около 153,5 ГБ на диске. Экспертные веса квантизированы до 4 бит, а ряд остальных компонентов, включая внимание и маршрутизатор, сохранён в 8-битном формате. Она рассчитана на запуск целиком в объединённой памяти Mac с 192 ГБ, без выгрузки экспертов на диск. Подходит для мультимодального диалога и ответов по изображениям и аудио. Модель ограничена компьютерами Apple Silicon; на близкой к лимиту памяти системе могут возникать сбои при длительной генерации, а для KV-кэша и операционной системы требуется дополнительная память. Скорость и пиковое потребление памяти в README не измерены. Лицензия Apache-2.0; базовая модель также распространяется под Apache-2.0.

LFM2.5-CT-230M — аудиотекстовая модель слияния, опубликованная пользователем ray0rf1re. Она объединяет аудиоэнкодер FastConformer из Parakeet TDT 0.6B-v3 с текстовым декодером LiquidAI LFM2.5-230M через интерфейс мягкой латентной проекции, описанный в Click-to-Align, §3.2. Модель предназначена для обработки аудиовхода и генерации текстового ответа; карточка демонстрирует загрузку через Hugging Face Transformers с пользовательским кодом модели. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. В метаданных основная задача указана как audio-text-to-text, а английский отмечен как язык модели. Размер 230M приведён в названии модели; отдельные сведения о контексте и прикладных ограничениях в предоставленной карточке отсутствуют.

Это чекпойнт проекта MMS Zero-shot, разработанный Jinming Zhao и соавторами для распознавания речи на языках, для которых доступно мало размеченных данных. Модель основана на мультиязычной акустической архитектуре wav2vec2, обученной на данных 1 150 языков, и использует промежуточное представление uroman tokens. В карточке указано около 300 млн параметров, а метаданные репозитория указывают 402,7 млн параметров. Для нового языка текстовые данные в небольшом объёме отображаются в промежуточное представление, что позволяет использовать модель для транскрибации речи; при выводе можно дополнительно применять языковую модель. Репозиторий предназначен для автоматического распознавания речи, принимает аудио и выдаёт текст. Лицензия — CC-BY-NC 4.0, которая ограничивает коммерческое использование.

Moonshine Base GGUF — квантованные версии модели Useful Sensors, подготовленные проектом handy-computer для работы с transcribe.cpp. Это модель автоматического распознавания речи на базе encoder-decoder Transformer с 61 млн параметров, предназначенная для преобразования английской речи в текст. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц напрямую через трёхслойный Conv1d-стем, без использования STFT и mel-признаков. Архитектура включает по 8 слоёв энкодера и декодера, размер скрытого состояния 416 и частичный RoPE с коэффициентом 0,62. Доступны варианты F32, F16 и Q8_0 размером 248, 132 и 77 МБ соответственно. На LibriSpeech test-clean показатель WER составляет 3,28% для F32 и F16 и 3,26% для Q8_0. Модель подходит для локальной транскрибации английской речи на CPU, Metal или Vulkan через transcribe.cpp. Она поддерживает только английский язык и выдаёт текст без временных меток; потоковая обработка, перевод и автоматическое определение языка не поддерживаются. Основные ограничения — узкая языковая специализация и отсутствие timestamps и streaming. Модель распространяется по лицензии MIT, унаследованной от базовой модели UsefulSensors/moonshine-base.

my_awesome_asr_mind_model — русскоязычная модель распознавания речи, разработанная как дообучение jonatasgrosman/wav2vec2-large-xlsr-53-russian. Она построена на архитектуре Wav2Vec2 с выходной головой CTC и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает русский язык и библиотеку Transformers. В README приведены результаты оценки: loss 8,6914 и WER 0,9317. Высокий WER указывает на слабое качество распознавания в этой оценке, поэтому перед применением модель следует проверить на целевых аудиоданных. Датасет обучения не раскрыт. Лицензия — Apache-2.0.

fractalego/personal-speech-to-text-model — модель распознавания речи на базе Wav2Vec2, дообученная автором на примерно 1000 записях собственного голоса, чтобы лучше распознавать его акцент. Модель содержит 402,7 млн параметров и предназначена для преобразования речи в текст с учётом этого акцента. Модель принимает аудио и выдаёт текст; карточка указывает задачу automatic-speech-recognition. Она основана на facebook/wav2vec2-large-robust-ft-swbd-300h и распространяется в формате PyTorch. Автор предупреждает, что скачивать её имеет смысл только пользователям с таким же акцентом. Лицензия в предоставленных данных не указана.

RsGoksel/RsGoksel_ITU_Mainframe — модель распознавания турецкой речи, разработанная RsGoksel на основе Whisper large-v3-turbo и дообученная с помощью LoRA с последующим объединением весов. Она предназначена для преобразования аудио в текст на турецком языке; автор указывает на настройку для разных предметных областей, устойчивости к вариативности речи и медицинских сценариев, а также на оптимизацию для обобщения на ранее не встречавшиеся данные. Модель использует архитектуру Whisper и запускается через Transformers; для распознавания в примере задаются турецкий язык и режим транскрибации. Репозиторий распространяется по лицензии MIT. Карточка указывает на турецкую ASR-настройку, но не приводит численных результатов WER или подробных сведений о тестировании. Для работы с новой предметной областью и акустическими условиями качество следует оценивать отдельно. Для более быстрого вывода автор также указывает отдельную версию в формате CTranslate2.

Vekol-STT Sorani — компактная модель распознавания речи на центральнокурдском языке (сорани), разработанная Revge и дообученная на базе OpenAI Whisper Base. Она преобразует аудио в текст на арабском письме и предназначена для локальной работы без подключения к сети, в том числе на CPU. Модель содержит 51,7 млн параметров; доступны форматы ONNX и Safetensors, а README также описывает варианты размером 72 МБ и 36 МБ для int8 и int4. Для запуска можно использовать ONNX Runtime или Transformers с PyTorch. Модель обучалась на Common Voice 25.0 для ckb и FLEURS для ckb_iq. На тестовой выборке Common Voice с разделением по дикторам заявлены WER 29,0% и CER 7,95% без учёта пробелов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Качество распознавания зависит от аудио и может быть недостаточным для задач, требующих высокой точности; показатели README относятся к указанной тестовой выборке.

speech-seq2seq/wav2vec2-2-bert-large-no-adapter — модель распознавания речи, обученная с нуля на наборе LibriSpeech ASR. По метаданным, это плотная архитектура типа SpeechEncoderDecoderModel, работающая с аудиовходом; репозиторий содержит веса PyTorch. В карточке указана оценка WER 1,7858 на тестовом наборе, однако единица измерения и методика оценки не пояснены. Модель предназначена для преобразования речи в текст, в частности для распознавания аудиозаписей на материале LibriSpeech. Описание не содержит сведений о поддерживаемых языках, размере модели, длине контекста или практических сценариях использования. Лицензия в предоставленных данных не указана.

eugenetanjc/wav2vec2-base-timit-demo-google-colab — модель распознавания речи на базе архитектуры wav2vec2, дообученная из facebook/wav2vec2-base-960h. Она предназначена для преобразования аудиоречи в текст. Модель содержит 113,3 млн параметров; в репозитории доступны веса PyTorch. Карточка называет её демонстрационной, но не описывает обучающие данные, оценку качества или конкретные сценарии применения. Лицензия — Apache-2.0.

Aniemore/wav2vec2-emotion-v1-crosslingual — модель распознавания эмоций в речи, разработанная Aniemore. Она классифицирует аудио по семи классам: гнев, отвращение, энтузиазм, страх, счастье, нейтральность и грусть. Модель построена на архитектуре Wav2Vec2 и дообучена на смеси 27 939 аудиофрагментов на восьми языках и с тремя регистрами речи, включая спонтанную речь. Модель предназначена для анализа эмоциональной окраски разговоров, подкастов и других голосовых записей. По сравнению с предыдущим выпуском, обученным только на постановочной русской речи, она лучше справляется со спонтанной русской речью, но показывает более низкий результат на тесте постановленной речи. Доступны варианты весов fp32, int8, fp8 и int4; README приводит результаты для fp32, int8 и fp8. На тесте спонтанной русской речи показатель macro-F1 составляет 0,3454, поэтому предсказания отдельных эмоций, особенно редких классов, требуют осторожной интерпретации. Метрики на CAMEO не доказывают переносимость на новые языки из-за пересечения говорящих между обучающей и тестовой выборками. Модель распространяется по лицензии Apache-2.0; README указывает, что она унаследована от базовой модели facebook/wav2vec2-large-xlsr-53.

Это модель автоматического распознавания речи на базе Wav2Vec2, дообученная автором karanthgreeshma на facebook/wav2vec2-xls-r-300m с использованием Common Voice 13.0. Модель построена на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст. В карточке указана оценка WER 0,5229 на наборе оценки; это свидетельствует об ограниченной точности и требует проверки на данных целевого сценария. Модель опубликована в формате PyTorch под лицензией Apache-2.0. README содержит мало сведений о целевом языке и ограничениях применения.

Whisper-Hindi2Hinglish-Apex — модель распознавания речи от Oriserve, дообученная на базе openai/whisper-large-v3-turbo. Она преобразует речь на хинди в текст на хинглише — хинди, записанный латиницей, часто с английскими словами. Модель построена на архитектуре Whisper, содержит около 905 млн параметров и принимает аудио; карточка описывает настройку для шумной речи с индийским акцентом. По заявлению разработчиков, модель обучалась на примерно 700 часах аудио на хинди и показала улучшение среднего результата примерно на 42% относительно исходной предобученной модели на использованных бенчмарках. Она предназначена для транскрибирования разговоров и аудиозаписей на хинди в хинглиш; для запуска описано использование Transformers и OpenAI Whisper. В README также заявлено первое место в Speech-To-Text Arena, однако приведённые таблицы сравнивают результаты на отдельных наборах данных, а метрики WER рассчитаны по эталонным транскрипциям, предварительно транслитерированным в хинглиш. Модель распространяется под лицензией Apache-2.0. Карточка не приводит ограничений на длительность контекста; качество для языков и условий, отличных от шумной речи на хинди с индийским акцентом, не подтверждено описанными результатами.

Whisper Tiny GRPO — компактная модель распознавания речи, созданная wrice дообучением openai/whisper-tiny методом GRPO с наградой на основе ошибок слов и символов. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи; обучение проводилось на данных Common Voice для 49 языковых локалей с фиксацией языка по локали аудиоклипа. На отложенной выборке Common Voice после нормализации текста лучшая общая оценка составила WER 0,472 и CER 0,175. Модель использует архитектуру Whisper и формат safetensors; для запуска доступен pipeline Transformers. Репозиторий распространяется по лицензии MIT. Это экспериментальный proof of concept, а не настроенная для промышленного применения система. Результаты на реальных записях зависят от предметной области, акцента, языка и качества аудио; метрики README получены на срезе Common Voice.

CHATUtterance-zh_CN — модель проекта TalkBank, разработанная для сегментации высказываний в китайской речи. Это производная от BERT модель для классификации токенов, обученная на примерах диаризации высказываний из китайских корпусов CHILDES: ZhouAssessment, Zhang Personal Narrative и Li Shared Reading. Её можно применять как модель классификации токенов в Transformers или использовать вместе с набором инструментов TalkBank Batchalign в режиме transcribe для полного анализа. Модель содержит 129,5 млн параметров, работает с контекстом до 512 токенов и принимает текст, выдавая метки токенов. Она рассчитана на китайский язык; карточка не сообщает лицензию. Ее назначение специализировано на анализе речи и сегментации высказываний, поэтому перенос на другие языки и типы данных не подтверждён.