I.7Речь, диалоги и встречи

handy-computer/gigaam-v3-ctc-gguf — это GGUF-конверсия модели GigaAM-v3, разработанной ai-sage, для запуска в transcribe.cpp. Модель предназначена для офлайн-распознавания русской речи и преобразования аудио в текст с использованием жадного RNN-T-декодирования. Несмотря на идентификатор репозитория, в README указано, что представлен вариант с RNN-T-декодером. В основе лежит 16-слойный Conformer-энкодер; исходная GigaAM-v3 относится к моделям размером 220–240 млн параметров и предварительно обучалась на 700 000 часах русской речи с объективом HuBERT-CTC. Данная версия дообучена для вывода строчных русскоязычных текстов без пунктуации и использует символьный словарь из 33 элементов. Поддерживаются несколько вариантов точности и квантизации: F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, размер файлов составляет примерно от 183 до 888 МБ. Сильные стороны модели — работа полностью офлайн, поддержка различных уровней квантизации и хорошее качество на русской речи: заявленный WER на полном тестовом наборе FLEURS ru составляет около 8,07–8,12% в зависимости от формата. Модель не поддерживает потоковую обработку, перевод и автоматическое определение языка; выдаёт текст без пунктуации и нормализации, а временные метки доступны на уровне токенов. Для работы требуется transcribe.cpp и входной файл WAV с частотой 16 кГц и одним каналом. Лицензия — MIT, унаследованная от базовой модели.

Ichigo-llama3.1-s-instruct-v0.3-phase-2 — исследовательская модель Homebrew Research на архитектуре Llama 3.1, рассчитанная на совместное понимание аудио и текста и выдачу текстовых ответов. Это чекпойнт шага 7000 семейства Ichigo-llama3s, дообученный на базе homebrewltd/Ichigo-llama3.1-s-base-v0.3 примерно на 1 млрд токенов набора Instruction Speech WhisperVQ v3; WhisperVQ используется как токенизатор аудио. Модель имеет 7,5 млрд параметров и контекст 131 072 токена. Модель предназначена прежде всего для исследований понимания звука языковой моделью: например, для ответов на инструкции, содержащие аудио, и диалога по аудиовходу. В карточке указана поддержка английского языка. Авторы сообщают о результатах на MMLU и AudioBench, но предупреждают, что шум в обучающих данных завышает оценку на Speech Instruction benchmark. Репозиторий распространяется под лицензией Apache-2.0.

SatwikDutta/kid-whisper-tiny-en-myst — англоязычная модель автоматического распознавания речи, разработанная Satwik Dutta из University of Texas at Dallas и дообученная на openai/whisper-tiny.en. Она принимает аудио и преобразует английскую речь в текст. Репозиторий содержит веса в формате safetensors; базовая модель Whisper — компактная модель для распознавания английской речи. Модель подходит для транскрибации английской речи в приложениях и экспериментах. Карточка обозначена как находящаяся в работе и не сообщает о данных обучения, метриках, тестировании или конкретных сценариях; поэтому качество именно этого дообучения оценить по имеющейся информации нельзя. Лицензия — Apache-2.0.

Mahmoud Ashraf опубликовал конверсию чекпойнта MMS-300M из TorchAudio в формат Hugging Face Transformers. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; в README она описана как обученная на данных для принудительного выравнивания речи и текста. Модель предназначена для forced alignment: сопоставления заданного текста с аудиозаписью и определения временного положения слов или токенов. Это полезно для подготовки субтитров, разметки речевых данных и анализа произнесённой речи. Она принимает аудио и связана с распознаванием речи; для работы выравнивателя требуется текст, который нужно сопоставить с записью. Чекпойнт сохранён в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Moonshine-MN — модель распознавания монгольской речи, созданная дообучением UsefulSensors/moonshine-base на аудиозаписях Mozilla Common Voice. Она предназначена для преобразования монгольской речи на кириллице в текст; карточка также описывает сценарий потокового распознавания. Модель использует архитектуру Moonshine и принимает аудио, выдавая текст. В метаданных указан контекст 194 токена, а для финального чекпойнта на шаге 15000 заявлен WER 11,88%. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Moonshine Streaming Small — модель автоматического распознавания речи (ASR), разработанная Useful Sensors и представленная в формате GGUF командой handy-computer для работы с transcribe.cpp. Модель предназначена для преобразования английской речи в текст в пакетном и потоковом режимах, включая сценарии с низкой задержкой на периферийных устройствах. Это encoder-decoder модель примерно на 123 млн параметров с лёгким аудиофронтендом 50 Гц, эргодическим Transformer-энкодером со скользящим окном внимания и авторегрессионным декодером. Энкодер и декодер имеют по 10 слоёв; размерность скрытого состояния составляет 620 у энкодера и 512 у декодера. На вход подаётся монофонический WAV с частотой дискретизации 16 кГц. Поддерживается только английский язык; перевод, многоязычное распознавание, определение языка и временные метки не поддерживаются. Модель ориентирована на потоковое распознавание и использование на CPU или другом локальном оборудовании. Для LibriSpeech test-clean показатель WER составляет 2,53% в форматах F32 и F16 и 2,54% для Q8_0; доступны варианты размером 562, 282 и 199 МБ соответственно. К ограничениям относятся работа только с английской речью, отсутствие перевода и timestamps, а также необходимость предварительно подготовить аудио в формате 16 кГц mono WAV и использовать совместимое программное обеспечение transcribe.cpp. Лицензия модели — MIT, унаследованная от базовой модели UsefulSensors/moonshine-streaming-small.

Moonshine Streaming Tiny — компактная модель автоматического распознавания речи, разработанная Useful Sensors и представленная в формате GGUF командой handy-computer для работы с transcribe.cpp. Это 34-миллионная encoder-decoder-модель, предназначенная для преобразования английской речи в текст в пакетном и потоковом режимах с низкой задержкой, в том числе на периферийных устройствах. Модель принимает монофонический WAV с частотой 16 кГц и выдаёт транскрипцию. Архитектура сочетает лёгкий аудиофронтенд с частотой 50 Гц, эргодический Transformer-энкодер с ограниченным вниманием по скользящему окну и авторегрессионный декодер. Поддерживается только английский язык; перевод, многоязычная обработка, автоматическое определение языка и временные метки не поддерживаются. Доступны варианты F32 размером 178 МБ, F16 размером 90 МБ и Q8_0 размером 50 МБ. Сильными сторонами модели являются потоковая обработка, небольшой размер, пригодность для CPU и edge-устройств, а также близкое соответствие эталонной реализации Hugging Face. Для LibriSpeech test-clean заявлен показатель WER около 4,52–4,53%. Ограничения включают работу только с английской речью, отсутствие перевода и временных меток, необходимость входного аудио 16 кГц mono WAV и отсутствие поставляемых вариантов Q6_K, Q5_K_M и Q4_K_M. Модель распространяется по лицензии MIT, унаследованной от базовой модели UsefulSensors/moonshine-streaming-tiny.

Luigi выпустил потоковую модель распознавания речи Nemotron-3.5-ASR-Streaming-0.6B, дообученную на тайваньском мандаринском варианте китайского языка. Это плотная модель архитектуры FastConformer с RNNT-декодером; репозиторий содержит веса Safetensors для Transformers. В тестах Common Voice zh-TW версия v3 показала CER 9,81%, а на тесте Taiwan-Tongues — 14,85%. Английский результат на небольшом тесте LibriSpeech составил WER 2,79%. Модель предназначена для потоковой расшифровки речи, особенно на тайваньском мандаринском; README также указывает поддержку 25 языков. Она выдаёт упрощённый китайский текст: для традиционного письма README рекомендует преобразование через OpenCC. Модель уступает специализированной китайско-английской ASR-модели в приведённых тестах, слаба на длинных литературных текстах и не выполняет диаризацию или расстановку временных меток. Указана лицензия NVIDIA Open Model License для базовой модели; отдельная лицензия производной модели в метаданных обозначена как other.

lgris/sew-tiny-portuguese-cv7 — модель распознавания речи, дообученная разработчиком lgris на базе lgris/sew-tiny-pt на датасете Common Voice 7.0. Она принимает аудио и преобразует речь в текст на португальском языке. Архитектура SEWForCTC, число параметров — 50,4 млн; веса представлены в формате PyTorch. На тестовом наборе указаны значение WER 0,2745 и loss 0,4232. Модель подходит для транскрибации португальской речи, в том числе для экспериментов с распознаванием речи на записях из Common Voice. Лицензия — Apache-2.0.

ctaguchi/ssc-meh-model — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. В README приведены результаты оценки: loss 1,8542, CER 0,3340 и WER 0,8345. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. Датасет обучения, поддерживаемые языки и предполагаемые сценарии использования в карточке не описаны; приведённые метрики указывают на ошибки распознавания, поэтому качество для конкретных данных следует оценивать отдельно.

Step-Audio-R1 — аудиоязыковая модель компании StepFun для понимания и рассуждений по аудио. Она принимает аудиовход и генерирует текстовые ответы с цепочками рассуждений, опирающимися на акустические характеристики, а не только на текстовую расшифровку. Модель предназначена для анализа речи, окружающих звуков и музыки, в том числе для задач, где полезно выделить больше вычислений на этапе вывода. В README описан подход Modality-Grounded Reasoning Distillation (MGRD), который обучает модель связывать рассуждения с аудиосигналом. Для запуска авторы указывают Linux, Python 3.10 или новее, GPU NVIDIA с CUDA и специализированную сборку vLLM; приведённый пример сервера задаёт максимальную длину контекста 16 384 токена. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Размер модели в доступных данных не указан.

harpertoken/talk — модель распознавания английской речи, созданная путём лёгкой донастройки Whisper Small на коротких фрагментах живой речи, записанной через микрофон. Это encoder-decoder-модель семейства Whisper с 153,1 млн параметров; она принимает монофоническое аудио с частотой 16 кГц и преобразует речь в текст. Модель и процессор загружаются из репозитория через Transformers. Модель предназначена для транскрибирования коротких записей английской речи, например с микрофона. Донастройка выполнена на небольшом объёме записей из одной комнаты, с одного устройства и, вероятно, от одного говорящего; сами аудиоданные не опубликованы. Контрольных измерений точности нет, поэтому качество адаптации не подтверждено. Лицензия — MIT.

TR-Omni-E4B — модель турецкого речевого диалога с архитектурой thinker–talker, разработанная Furkan Bekmezci. Компонент thinker на базе Gemma 4 E4B принимает речь, изображения и текст в любых сочетаниях и формирует ответ; речь обрабатывается напрямую, без промежуточной расшифровки ASR. Отдельный talker, инициализированный на основе Trendyol-TTS и VoxCPM2, синтезирует речь по предложениям с частотой 48 кГц, используя текстовые токены ответа и скрытые состояния thinker. Общий размер — 4,5 млрд эффективных параметров. Модель предназначена для голосового общения на турецком языке, включая сценарии с изображениями, а также для распознавания турецкой речи и ответов голосом или текстом. В тесте Common Voice 17 для турецкого языка авторы сообщают WER 10,2%; сохранена возможность отвечать на вопросы по изображениям. Лицензия — Apache-2.0. Ограничения включают фактические и арифметические ошибки, единственный синтетический голос, слабое распознавание эмоций и обработку только турецкого языка. Синтез речи выполняется по предложениям; модель работает в полудуплексном режиме, а потоковая передача и перебивание зависят от приложения. Не предназначена для медицинских, юридических и финансовых решений.

Uni-MoE 2.0-Omni — открытая омнимодальная модель команды HIT-TMG, предназначенная для понимания, рассуждений и генерации в сценариях с несколькими модальностями. Версия Omni объединяет обработку разных типов входных данных с генерацией изображений и аудио. Модель построена на архитектуре GrinQwen2VLForConditionalGeneration и дообучена на базе Qwen/Qwen2.5-7B-Instruct. Метаданные указывают 7,1 млрд параметров, контекст до 128 000 токенов и поддержку английского и китайского языков. В README описаны Omnimodality 3D RoPE и архитектура смеси экспертов с динамической ёмкостью; модель доступна в формате safetensors и использует лицензию Apache-2.0. Модель подходит для мультимодального диалога, анализа изображений и аудио, а также генерации изображений и аудио. Карточка не уточняет поддерживаемые аудиоформаты, качество на отдельных задачах или ограничения на длину генерируемых аудио и изображений.

Toan2408 phát triển mô hình ViT5-Base tinh chỉnh cho hiệu chỉnh lỗi và chấm điểm lại đầu ra nhận dạng tiếng nói tiếng Việt. Mô hình dùng kiến trúc T5 encoder-decoder, có 126,8 triệu tham số và độ dài ngữ cảnh 512 token; trọng số được cung cấp ở định dạng safetensors. README mô tả việc huấn luyện với Phonetic-Weighted Loss (hệ số 3,5) và Phonetic Syllable Gating để xử lý các nhầm lẫn âm vị đặc trưng của tiếng Việt, gồm phụ âm đầu, phụ âm cuối, vần và thanh điệu. Mô hình предназначена для постобработки ASR: исправляет гипотезу распознавания и помогает ранжировать варианты с учётом фонетических ошибок. Разработчик заявляет, что gating снижает риск исправления корректных фраз. Данные описывают работу с текстом на вьетнамском языке; вход — распознанный текст, выход — исправленный или переоценённый текст. Лицензия MIT.

Модель Kiran Pantha — дообученная версия kiranpantha/w2v-bert-2.0-nepali для автоматического распознавания непальской речи и преобразования аудиозаписей в текст. Она основана на архитектуре Wav2Vec2-BERT, использует CTC и содержит 402,7 млн параметров. Модель дообучена на датасете OpenSLR54-Balanced-Nepali. В README указаны результаты на оценочном наборе: WER 0,4302 и CER 0,1029. Репозиторий распространяется по лицензии MIT.

cahya/wav2vec2-base-turkish — модель автоматического распознавания речи, дообученная на турецком наборе Common Voice 7.0. Она построена на архитектуре Wav2Vec2 с CTC-головой и содержит 113,3 млн параметров. Модель принимает аудио и преобразует турецкую речь в текст. В README приведены результаты оценки на Common Voice 6.1, 7.0 и 8.0: WER составляет соответственно 9,437, 8,147 и 8,335, а CER — 3,325, 2,802 и 2,336. Для дообучения также использовались Media Speech и Magic Hub. Модель распространяется по лицензии Apache-2.0; показатели оценки относятся к указанным наборам данных и не гарантируют аналогичное качество на других типах записей.

Hyuk разработал Hyuk/wav2vec2-korean-v2 — дообученную модель распознавания речи на архитектуре Wav2Vec2 с декодированием CTC. Модель содержит 404,1 млн параметров и предназначена для преобразования корейской речи в текст. В README приведён результат оценки: loss 0,4514 и WER 0,1679. Модель подходит для транскрибирования корейских аудиозаписей и голосового ввода. Репозиторий содержит веса PyTorch. В README не описаны обучающие данные, условия оценки и ограничения применения; лицензия в доступных сведениях не указана.

DrishtiSharma/wav2vec2-large-xls-r-300m-bg-v1 — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на болгарской части набора Mozilla Common Voice 8.0. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров; принимает аудио и выдаёт распознанный текст на болгарском языке. Модель предназначена для преобразования болгарской речи в текст, в том числе для оценки качества распознавания на тестовых и проверочных аудиоданных. В карточке приведены результаты на тестовом наборе Common Voice 8.0: WER 0,4689 и loss 0,5197. Модель распространяется под лицензией Apache 2.0.

wav2vec2-large-xls-r-300m-georgian — модель распознавания речи на основе архитектуры Wav2Vec2ForCTC, дообученная infinitejoy на грузинском наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - KA. Она преобразует аудиозаписи речи в текст и подходит для транскрибирования грузинской речи. Репозиторий содержит веса PyTorch; в метаданных указано 402,7 млн параметров. Базовая модель — facebook/wav2vec2-xls-r-300m. На оценочной выборке указаны Loss 0,3666 и WER 0,4211. Модель распространяется по лицензии Apache-2.0.

Wav2Vec2-Large-XLSR-53-Slovene — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на словенской части Common Voice. Она принимает аудиозаписи речи с частотой дискретизации 16 кГц и преобразует их в текст на словенском языке. Архитектура — Wav2Vec2ForCTC; размер модели составляет около 402,7 млн параметров. Модель подходит для расшифровки словенской речи и оценки систем распознавания на тестовых данных Common Voice. В README приведён результат тестирования 36,97 %, но не уточнена метрика, поэтому значение нельзя интерпретировать как конкретную точность. Модель распространяется по лицензии Apache-2.0.

CuongLD разработал wav2vec2-large-xlsr-vietnamese — модель распознавания вьетнамской речи, дообученную на базе facebook/wav2vec2-large-xlsr-53. Это акустическая модель Wav2Vec2 с выходной CTC-головой; размер модели составляет 402,7 млн параметров. Модель преобразует аудиозаписи речи в текст и подходит, например, для расшифровки голосовых сообщений и записей. В обучении использовались Common Voice и Infore_25h; для входного аудио требуется частота дискретизации 16 кГц. В карточке приведён результат оценки 58,63% на тестовых данных Common Voice, но метрика не уточнена. Модель рассчитана на вьетнамский язык. Репозиторий содержит веса PyTorch и Flax. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи на базе wav2vec 2.0 XLS-R, дообученная автором davidilag на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; число параметров — 1,3 млрд. В README приведены результаты оценки: WER 24,1682 и CER 3,8304, однако описание набора данных и условий оценки отсутствует. Модель предназначена для транскрибирования речи. Метаданные не определяют поддерживаемые языки, поэтому нельзя надёжно указать язык или область применения. Файлы представлены в формате safetensors, используется библиотека Transformers. Лицензия — Apache-2.0.

Модель sarpba/whisper-hu-large-v3-turbo-finetuned — дообученная на пользовательском наборе данных мультиязычная модель Whisper Large v3 Turbo от OpenAI, предназначенная для автоматического распознавания речи и преобразования аудио в текст. Она содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; веса опубликованы в формате safetensors. В README приведены результаты оценки: loss 0,0287 и WER 0,0748. Модель ориентирована на венгерскую речь. README сообщает, что в нативном формате F32 она работает хорошо, но при квантовании через CTranslate2 качество резко ухудшается: вывод может сильно обрезаться, особенно на аудио длительностью около 10 секунд или меньше. Репозиторий распространяется по лицензии MIT.

bayartsogt/whisper-large-v2-mn-13 — дообученная модель семейства Whisper от OpenAI, созданная автором bayartsogt на базе openai/whisper-large-v2 для распознавания речи на монгольском языке. Это плотная модель архитектуры WhisperForConditionalGeneration с 905,2 млн параметров, принимающая аудио и преобразующая речь в текст. В метаданных указаны наборы Common Voice 11.0, FLEURS, ulaanbal-v0 и youtube-mongolian-v1; на оценочной выборке приведены WER 20,024 и CER 6,601. Модель подходит для транскрибирования монгольской речи, в том числе записей из открытых речевых корпусов и видео. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. README не описывает подробные ограничения и сценарии применения; качество на других данных может отличаться от результатов на указанной оценочной выборке.

ElizabethMwangi/whisper-large-v3-swahili-nss-afrivoice-5domains — модель распознавания речи на базе Whisper Large V3, разработанная Elizabeth Mwangi. Это этап 2 дообучения для распознавания нестандартной суахилийской речи из Кении; исходная модель была дообучена на корпусе AfriVoice по пяти предметным областям, а этот чекпойнт дополнительно обучен на наборе CDLI Kenyan Swahili Nonstandard Speech. Архитектура — WhisperForConditionalGeneration, около 905,2 млн параметров; модель принимает аудио и выдаёт текст на суахили. На тестовом наборе нестандартной речи автор сообщает WER 0,329 и CER 0,171; для лёгкой, средней и тяжёлой степени нестандартности WER составляет соответственно 0,21, 0,25 и 0,35. Лицензия — Apache-2.0. Показатели относятся к указанному тестовому набору, поэтому качество на других данных может отличаться.

Модель sitwala/whisper-large-v3-turbo-anv-zul-50h — дообученная версия Whisper large-v3-turbo от OpenAI, созданная на наборе данных dsfsi-anv/za-african-next-voices. Она предназначена для автоматического распознавания речи и преобразования аудио в текст; архитектура — WhisperForConditionalGeneration, размер — 905,2 млн параметров. В оценке на указанном в карточке наборе получен WER 32,6072 и loss 0,4603. Модель принимает аудио и выдаёт текст. Суффикс «zul» в названии указывает на фокус на языке зулу, однако карточка не приводит явного списка поддерживаемых языков. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

Это дообученная версия Whisper Medium, созданная автором репозитория на основе openai/whisper-medium и обученная 500 шагов на испанской версии датасета Common Voice 17.0. Данные были приведены к частоте 16 кГц; текст не проходил дополнительную обработку. Модель предназначена для автоматической расшифровки испанской речи в текст. В README приведены результаты на оценочной выборке: WER 6,159 и WER Ortho 10,8189. Архитектура Whisper содержит 455,8 млн параметров; модель работает с аудиовходом и текстовым выводом. Используется библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает ограничения и дополнительные сценарии использования; качество за пределами указанного оценочного набора не установлено.

Whisper Small Hi — модель распознавания речи, созданная Sanchit Gandhi дообучением openai/whisper-small на наборе Common Voice 11.0. Она предназначена для преобразования аудиозаписей на хинди в текст; архитектура — Whisper с примерно 153,1 млн параметров. В метаданных указаны реализации PyTorch, TensorFlow и формат safetensors, а лицензия — Apache-2.0. На тестовой выборке модели указаны loss 0,4519 и WER 32,0113. Эти результаты относятся к оценке на Common Voice 11.0 и не гарантируют такое же качество на других источниках аудио. Карточка не приводит сведения о длине контекста и подробных ограничениях применения.

AllehellA/whisper-small-nigerian-en — дообученная модель распознавания речи на базе OpenAI Whisper Small. Она предназначена для транскрибирования аудио с нигерийским вариантом английского языка. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и доступна в формате Safetensors для библиотеки Transformers. В README приведены результаты оценки: WER 8,2943 и нормализованный WER 5,2181. Датасет обучения не назван, поэтому эти значения не позволяют судить о качестве на других выборках и условиях записи. Модель распространяется по лицензии Apache-2.0.