I.7Речь, диалоги и встречи

Wav2Vec2-Large-960h — модель распознавания речи, разработанная Facebook. Она основана на архитектуре wav2vec 2.0 и содержит 402,7 млн параметров; веса представлены в формате PyTorch. Модель предварительно обучена на речевых аудиозаписях, а затем дообучена на 960 часах размеченной речи из LibriSpeech. Модель предназначена для преобразования английской речи в текст. Она принимает аудио с частотой дискретизации 16 кГц и подходит для транскрибирования записей и аудиофайлов. В статье об архитектуре wav2vec 2.0 описан подход с маскированием речевого сигнала в латентном пространстве и контрастивным обучением; для этой модели в карточке приведены результаты на тестовых наборах LibriSpeech. Модель рассчитана на английскую речь и не заявлена как многоязычная. Для корректной работы входное аудио должно иметь частоту 16 кГц. Лицензия — Apache-2.0.

Wav2Vec2-Large-960h-Lv60 + Self-Training — англоязычная модель распознавания речи от Facebook. Это плотная модель архитектуры wav2vec2 с головой CTC и примерно 402,7 млн параметров. Она предварительно обучена и дообучена на речевых данных Libri-Light и LibriSpeech; при обработке аудио требуется частота дискретизации 16 кГц. Модель преобразует речь в текст и подходит для транскрибации аудиозаписей на английском языке. В README описан метод self-training и приведены результаты на наборах LibriSpeech, включая WER 1,8/3,3 на тестовых выборках clean/other при использовании всех размеченных данных. Репозиторий содержит версии весов для PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Указанные результаты относятся к конкретным тестовым наборам; качество на других условиях записи и для других языков не гарантируется.

cstr/wav2vec2-large-xlsr-53-english-GGUF — это модель автоматического распознавания английской речи, преобразованная из jonatasgrosman/wav2vec2-large-xlsr-53-english в формат GGUF. В основе лежит архитектура Wav2Vec2 с CNN-экстрактором признаков и 24 Transformer-слоями; модель предварительно обучалась на 53 языках в рамках XLSR-53, а затем дообучалась на англоязычных данных Common Voice с CTC-головой. Разработчик исходной модели — jonatasgrosman, конверсия в GGUF выполнена для использования с CrispASR. Модель предназначена для транскрибирования английской речи из монофонических аудиозаписей с частотой дискретизации 16 кГц и выдаёт посимвольные транскрипции. Она содержит 1024-мерное скрытое представление, 16 attention-голов и CTC-словарь из 33 токенов. Веса представлены в формате GGUF с точностью F16, размер файла составляет около 627 МБ, что упрощает применение в совместимых локальных инструментах, включая CrispASR. Сильными сторонами являются специализация на английской речи и поддержка эффективного формата GGUF; ограничения включают работу только с английским языком и необходимость подавать аудио в требуемом формате. Модель распространяется по лицензии Apache-2.0.

anton-l/wav2vec2-large-xlsr-53-russian — модель распознавания русской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной частях Common Voice. Она принимает аудио и преобразует речь в текст; для входного сигнала требуется частота дискретизации 16 кГц. Архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 402,7 млн параметров. Доступны веса в форматах PyTorch и Flax. Модель подходит для транскрибации русской речи и оценки систем распознавания на тестовых данных Common Voice. В README приведён результат тестирования 17,39 %, но метрика не названа. Модель распространяется по лицензии Apache-2.0.

smutuvi/wav2vec2-large-xlsr-sw — модель автоматического распознавания речи, дообученная на facebook/wav2vec2-large-xlsr-53 на датасете Common Voice 11.0. Она построена на архитектуре wav2vec 2.0 с классом Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст. На указанной в карточке оценочной выборке приведены loss 0,4334 и WER 0,3231; описание не уточняет язык записей или условия оценки. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи на архитектуре wav2vec2 с 402,7 млн параметров, разработанная как дообученная версия facebook/wav2vec2-xlsr-53-espeak-cv-ft. Она принимает аудио и преобразует речь в текст. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи. Модель дообучена на датасете audiofolder. README не содержит подробностей о составе данных, поддерживаемых языках, оценке качества или рекомендуемых условиях применения. Лицензия — Apache 2.0.

Модель voidful/wav2vec2-xlsr-multilingual-56 разработана voidful для автоматического распознавания речи. Это дообученная версия facebook/wav2vec2-large-xlsr-53, обученная на данных Common Voice для распознавания речи на 56 языках. Репозиторий содержит веса PyTorch и safetensors; для входной речи рекомендуется частота дискретизации 16 кГц. Модель подходит для транскрибирования аудиозаписей и построения систем распознавания речи на нескольких языках. В карточке приведены результаты WER и CER для части языков, но также указаны значительные риски смещений: предсказания могут воспроизводить вредные стереотипы. Лицензия — Apache-2.0.

whisper-base-mlx — модель автоматического распознавания речи, конвертированная в формат MLX из базовой версии Whisper. В README не указан разработчик исходной модели или конвертации. Модель предназначена для преобразования аудиозаписей в текст и запуска через библиотеку MLX, в том числе с примером использования функции whisper.transcribe. Из доступных данных известно, что модель совместима с MLX и относится к задаче automatic-speech-recognition. Архитектура, количество параметров, поддерживаемые языки, модальности, размер контекста, точность и производительность не указаны. Лицензия и ограничения на использование также не приведены, поэтому их необходимо уточнить по исходной модели и репозиторию.

WhisperKit Pro — набор моделей распознавания речи, подготовленных Argmax для работы с библиотекой WhisperKit и SDK Argmax. Репозиторий содержит варианты OpenAI Whisper, включая base, small и large-v3, а также Distil-Whisper large-v3; модели представлены в формате Core ML для локального запуска на устройствах Apple. Они преобразуют аудио в текст и подходят для расшифровки файлов и потокового распознавания речи. Возможности зависят от выбранного варианта: в репозитории есть англоязычные и многоязычные модели Whisper. Разработчик указывает лицензию argmax-fmod-license; доступ к Pro-возможностям SDK требует настройки Argmax SDK, а загрузка моделей через Hugging Face может требовать токен доступа. Репозиторий ориентирован на распознавание речи, а не на генерацию аудио.

bofenghuang/whisper-large-v2-french — дообученная версия Whisper large-v2 для распознавания французской речи. Модель разработана bofenghuang на основе openai/whisper-large-v2 и обучена на составном наборе из более чем 2200 часов аудио, включавшем Common Voice 11.0, Multilingual LibriSpeech, VoxPopuli, Fleurs, Multilingual TEDx, MediaSpeech и African Accented French. В метаданных указаны архитектура WhisperForConditionalGeneration, 905,2 млн параметров и библиотека Transformers. Модель преобразует французскую речь в текст и подходит для транскрибации записей и аудио из разных источников, в том числе речи с африканскими акцентами. Для распознавания входное аудио следует подавать с частотой дискретизации 16 кГц. Модель не предсказывает регистр букв и пунктуацию; приведённые в карточке показатели WER относятся к отфильтрованным и предобработанным тестовым наборам и не описывают все условия использования. Распространяется по лицензии Apache-2.0.

whisper-large-v3-bn-cv17 — модель распознавания речи, дообученная разработчиком на базе openai/whisper-large-v3 на наборе Common Voice 17.0 и данных IIT Madras SPRING-INX. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 905,2 млн параметров. На оценочном наборе указаны loss 0,0669 и WER 30,8364. Лицензия модели в предоставленных данных не указана.

LoS Whisper-large-v3 — мультиязычная модель автоматического распознавания речи, созданная Лабораторией языковых технологий Барселонского суперкомпьютерного центра (BSC) дообучением openai/whisper-large-v3. Она предназначена для транскрибации речи на испанском, каталанском, галисийском и баскском языках с пунктуацией. Модель имеет архитектуру Whisper и содержит 905,2 млн параметров. При обучении использовали 8 110 часов аудиоданных из публичных и институциональных наборов; объём данных выравнивали между четырьмя языками. Модель распространяется в формате PyTorch по лицензии Apache-2.0. Её можно применять для создания читаемых транскрипций аудиозаписей на поддерживаемых языках. В README отмечено, что демографические сведения о дикторах отсутствуют, поэтому возможны смещения, связанные с институциональными источниками обучающих данных.

asthrabala/whisper-medium-finetuned — модель автоматического распознавания речи семейства Whisper с 455,8 млн параметров. Она опубликована для использования с библиотекой Transformers и предназначена для преобразования аудиозаписей в текст. Модель подходит для транскрибации голосовых сообщений, интервью, встреч, лекций и других аудиоматериалов. README не содержит сведений о конкретном языке или наборе данных, на котором выполнялось дообучение, поэтому языковую специализацию и качество на отдельных типах аудио определить нельзя. В карточке модели не указаны разработчик, лицензия, результаты оценки, ограничения по применению и подробности обучения. Перед использованием в критически важных сценариях необходимы собственная проверка качества и уточнение условий лицензирования.

mlx-community/whisper-medium-mlx — модель автоматического распознавания речи, конвертированная в формат MLX из версии Whisper medium. Репозиторий предназначен для использования с библиотекой MLX и примерами MLX от ml-explore. Модель подходит для преобразования аудиозаписей в текст через функцию whisper.transcribe, поэтому может применяться в сценариях транскрибации локальных аудиофайлов. README не содержит сведений о точной архитектуре, количестве параметров, поддерживаемых языках, модальностях, размере контекста, производительности или ограничениях. Лицензия также не указана, поэтому условия использования по представленным данным определить нельзя.

Whisper-Small-CV11 — мультиязычная модель распознавания речи, созданная Burak Aydın путём дообучения стандартной архитектуры OpenAI Whisper Small на корпусе Whispered. Она содержит 153,1 млн параметров и предназначена для транскрибирования аудиозаписей на 11 языках. Модель работает в Transformers и совместима с обычными инструментами для Whisper; для загрузки не требуется доверять дополнительному коду репозитория. При оценке на CommonVoice 17 модель показала более низкий WER, чем исходная Whisper Small, на 10 из 11 языков; README приводит результаты для английского, немецкого и испанского. Обучение сохраняло замороженным энкодер и использовало 15 000 шагов. Модель подходит для расшифровки записанной речи с бытовых микрофонов, в том числе при фоновом шуме. Модель рассчитана на английский, немецкий, испанский, французский, русский, турецкий, арабский, грузинский, тайский, китайский и валлийский языки. Лицензия — Apache 2.0. По заявлению авторов, дообучение снижает качество для других языков Whisper; грузинский вариант на уровне Whisper Small не пригоден для использования. Качество на дальней речи, телефонном аудио 8 кГц и перекрывающейся речи не оценивалось.

optimum/whisper-tiny.en — английская модель распознавания речи семейства Whisper, экспортированная в формат ONNX с помощью Optimum. Она принимает аудио и генерирует текстовую расшифровку речи; размер модели составляет 29,4 млн параметров. Модель рассчитана на распознавание английской речи. Репозиторий опубликован под лицензией Apache 2.0. Формат ONNX позволяет использовать модель в совместимых средах инференса. Карточка не приводит дополнительных сведений о точности или специальных ограничениях распознавания.

X-ASR-zh-en — модель распознавания речи на китайском и английском языках, разработанная в рамках серии X-ASR на базе icefall. Это Zipformer transducer, обученный примерно на 1 млн часов открытых и собранных речевых данных и поставляемый в формате ONNX для запуска через sherpa-onnx. Модель поддерживает потоковое распознавание с вариантами размера чанка 160, 480, 960 и 1920 мс, а также офлайн-декодирование; в распознанном тексте поддерживаются пунктуация и регистр. Модель предназначена для транскрибации китайской и английской речи, в том числе в сценариях с низкой задержкой, а также для офлайн-распознавания. Её можно использовать в исследованиях, оценке качества, демонстрациях и экспериментах по развёртыванию. Фактическая задержка зависит от оборудования, параллельной нагрузки, разбиения аудио на чанки, настройки определения конца высказывания и конфигурации сервера. Технический отчёт с подробностями обучения и оценки ещё не опубликован. Лицензия — Apache-2.0.

hadiqa123 выпустил XLS-R53english — англоязычную модель автоматического распознавания речи, дообученную для декодирования аудио в текст. Она основана на facebook/wav2vec2-large-xlsr-53, использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст; в карточке приведена оценка WER 0,3033 на тестовом наборе, но его состав не описан. Лицензия — Apache-2.0.

Это публичное зеркало модели Cohere Transcribe от Cohere и Cohere Labs, подготовленное для установки в настольное приложение Yap и локальной транскрибации речи. Модель предназначена для автоматического распознавания речи; базовая Cohere Transcribe — специализированная ASR-модель на 2 млрд параметров, поддерживающая 14 языков. Репозиторий зеркалирует CohereLabs/cohere-transcribe-03-2026 и содержит веса в формате Safetensors для использования с Transformers. Лицензия — Apache 2.0. Языки транскрибации и ограничения качества в карточке этого зеркала не перечислены.

Shunya Labs Zero STT Hinglish — модель автоматического распознавания речи, созданная Shunya Labs на базе OpenAI Whisper Medium и дообученная для хинди-английской речи с переключением языков. Она преобразует аудио разговоров, подкастов и видео в текст, сохраняя естественное чередование хинди и английского, в том числе внутри фраз. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. Модель предназначена для расшифровки Hinglish: например, записей встреч, разговоров с клиентами и медиаконтента для субтитров. В примерах карточки встречаются записи смешанным письмом, включая латиницу для английских слов и деванагари для хинди. Для распознавания речи она обучалась на данных Vaani, Kathbath и Shrutilipi. Карточка заявляет более точную обработку естественных переключений между хинди и английским по сравнению с обычной мультиязычной Whisper Medium, однако количественных результатов оценки не приводит. Лицензия модели — OpenRAIL; для полного понимания условий использования следует учитывать текст лицензии в репозитории.

knkarthick/Action_Items — модель классификации текста на базе DistilBERT, дообученная на пользовательском наборе данных для выявления пунктов действий. Она относит входной фрагмент текста к одному из двух классов: «не является пунктом действия» или «пункт действия». Модель подходит для автоматического выделения задач и обязательств из заметок, стенограмм и деловой переписки. Поддерживает английский язык, использует архитектуру DistilBertForSequenceClassification и контекст до 512 токенов. Опубликована в формате PyTorch под лицензией Apache-2.0. Карточка не приводит метрик качества или подробностей о составе обучающего набора, поэтому пригодность для конкретного корпуса следует проверять отдельно.

Карточка модели Visionboxx/audio-flamingo-3 на Hugging Face совпадает с карточкой nvidia/audio-flamingo-3, поэтому описание составлено по ней. Audio Flamingo 3 (AF3) — открытая большая аудиоязыковая модель, разработанная NVIDIA для понимания речи, звуков и музыки, ответов на вопросы по аудио и рассуждений. Она подходит для анализа коротких и длинных аудиозаписей, голосового диалога и интерактивных помощников для работы со звуком и музыкой. Архитектура сочетает аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в AF3-Chat также предусмотрен потоковый синтез речи. Модель принимает аудио и текст, обрабатывает аудио длительностью до 10 минут и текстовый контекст до 16 000 токенов. Основной язык в карточке — английский. На выходе модель формирует текст, а в голосовом режиме может выдавать речь. Модель поддерживает многошаговый диалог с аудио и опциональное рассуждение; её обучали на наборах данных для речи, звуков и музыки. Для запуска предусмотрены PyTorch и Hugging Face Transformers; авторы ориентируют применение на NVIDIA A100/H100. Лицензия обозначена как other, а карточка ограничивает использование некоммерческими исследовательскими целями.

Это система извлекающего ответа на вопросы, созданная дообучением BERT-base-uncased для работы с текстами устной речи. Она использует архитектуру BERT с 136,7 млн параметров и предназначена для ответов по расшифровкам разговоров, интервью и других устных материалов. Модель обучалась на Spoken-SQuAD, где текстам добавляли шум, имитирующий разные уровни ошибок распознавания речи; контекстное окно составляет 512 токенов. На тестах Spoken-SQuAD F1 составил 74,15% без дополнительного шума, 55,2% при WER 44,22% и 42,24% при WER 54,82%. Модель обрабатывает английский текст и возвращает извлечённый из контекста ответ. Для использования требуется библиотека Transformers; веса доступны в форматах PyTorch и safetensors. Лицензия в предоставленных данных не указана.

istupakov/canary-1b-v2-onnx — это конвертированная в формат ONNX версия модели NVIDIA Canary 1B v2, подготовленная для использования с библиотекой onnx-asr. Модель разработана на базе NVIDIA Canary 1B v2 и предназначена для автоматического распознавания речи, а также автоматического перевода речи между языками. Модель принимает аудиофайлы, например WAV, и поддерживает распознавание на болгарском, хорватском, чешском, датском, нидерландском, английском, эстонском, финском, французском, немецком, греческом, венгерском, итальянском, латышском, литовском, мальтийском, польском, португальском, румынском, словацком, словенском, испанском, шведском, русском и украинском языках. Для некоторых сценариев доступен перевод распознанной речи на целевой язык, например с английского на французский. Ключевая характеристика модели — формат ONNX, позволяющий использовать её через onnx-asr, в том числе в окружении с CPU. В названии и идентификаторе базовой модели указано обозначение 1B, однако точные сведения об архитектуре, размере файлов, максимальной длительности аудио и размере контекста в README не приведены. Ограничения производительности и качества зависят от аудиозаписи, языка и аппаратной конфигурации. Модель распространяется по лицензии CC BY 4.0. Для загрузки и использования рекомендуется установить пакет onnx-asr с поддержкой CPU и Hugging Face Hub.

Claire-Mistral-7B-0.1 — языковая модель с архитектурой Mistral, разработанная LINAGORA и OpenLLM-France на основе Mistral-7B-v0.1. Это причинная декодерная модель на 7,1 млрд параметров, дообученная на французских диалогах; формат весов — PyTorch и Safetensors, контекст — до 32 768 токенов. Модель предназначена для продолжения диалогов и как основа для дальнейшей настройки на генерацию диалогов и понимание бесед, например для суммаризации встреч. Она обучалась на французских парламентских выступлениях, театральных текстах и интервью с разметкой говорящих; ожидаемые форматы запросов включают монолог и реплики нескольких участников. Основной язык обучения — французский, хотя модель может генерировать текст на других языках, известных исходной Mistral-7B-v0.1. Модель может воспроизводить характерные для устной речи повторы, запинки и другие разговорные конструкции. Для коммерческого использования лицензия CC BY-NC-SA 4.0 не подходит; при использовании необходимо соблюдать её условия.

Cohere Transcribe — открытая модель распознавания речи с аудиовходом и текстовым выходом, разработанная Cohere и Cohere Labs. Это специализированная плотная модель архитектуры Cohere ASR размером 2 млрд параметров, обученная с нуля для эффективной транскрипции. Она поддерживает 14 языков: арабский, немецкий, греческий, английский, испанский, французский, итальянский, японский, корейский, нидерландский, польский, португальский, вьетнамский и китайский. Модель доступна через Transformers и подходит для локального распознавания, а для онлайн-сервинга в README рекомендуется vLLM. По данным разработчиков, модель обеспечивает высокую точность транскрипции на поддерживаемых языках и может работать до трёх раз быстрее других специализированных ASR-моделей сопоставимого размера. Лучше всего она работает с аудио на одном заранее выбранном языке: автоматического определения языка нет, а переключение языков в речи обрабатывается непоследовательно. Модель не формирует временные метки и не выполняет диаризацию; на тишине и фоновых звуках может выдавать галлюцинации, поэтому для таких записей полезен предварительный VAD или шумовой порог. Лицензия — Apache-2.0.

Это 4-битная MLX-квантизация модели Cohere Transcribe 03-2026, опубликованная Spoke для локального распознавания речи на устройствах Apple Silicon. Модель выполняет транскрибацию аудио в текст; для загрузки используется библиотека mlx-speech, а не mlx-audio. В README указаны квантизация affine с размером группы 64 и результаты внутреннего теста Spoke на 250 образцах LibriSpeech test-clean: WER 1,28%, скорость 0,05× реального времени и пиковое потребление памяти 1,89 ГБ. Эти показатели относятся к описанному тесту и не гарантируют такие же результаты на других данных и устройствах. Базовая модель Cohere Transcribe — специализированная ASR-модель на 2 млрд параметров для 14 языков; языки в предоставленных метаданных не перечислены. Репозиторий распространяется по лицензии Apache-2.0.

Cohere Transcribe — специализированная модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Это open source-модель формата audio-in, text-out для транскрибации речи и поддерживает 14 языков: английский, немецкий, французский, итальянский, испанский, португальский, греческий, нидерландский, польский, арабский, вьетнамский, китайский (мандарин), японский и корейский. Представленная версия ONNX предназначена для использования, в частности, через Transformers.js. Модель содержит около 2 млрд параметров и построена на базе Conformer: аудиосигнал преобразуется в mel-спектрограмму, после чего обрабатывается оптимизированным для речи Conformer-энкодером и лёгким Transformer-декодером, генерирующим текст. На вход подаётся аудиоволна; при предварительной обработке она автоматически преобразуется к частоте 16 кГц, а многоканальный звук сводится к одному каналу. Модель обучалась с нуля методом supervised cross-entropy. К сильным сторонам относятся высокая точность транскрибации на поддерживаемых языках и эффективность: заявлен real-time factor до трёх раз выше, чем у других специализированных ASR-моделей сопоставимого размера. Модель рассчитана на работу с одним заранее указанным языком и не поддерживает явное автоматическое определение языка; на смешанной речи её результаты могут быть нестабильными. Она также не предоставляет временные метки и диаризацию говорящих, а фоновые шумы и тишина могут приводить к нежелательной транскрибации, поэтому рекомендуется использовать VAD или noise gate. Модель распространяется по лицензии Apache 2.0 без дополнительных условий.

Это версия Cohere Transcribe, подготовленная ctyau в формате CoreML FP16 для Apple Silicon. В основе лежит CohereLabs/cohere-transcribe-03-2026 — модель распознавания речи семейства Conformer и Transformer; карточка базовой модели указывает 2 млрд параметров, тогда как для этой версии в метаданных указано 151 млн. Модель принимает аудио после преобразования в log-mel спектрограмму и выдаёт текстовую транскрипцию. Поддерживаемый язык в метаданных — английский; контекст составляет 1024 токена. Экспорт использует CoreML MLState для кэширования состояний декодера и рассчитан на ускорение вывода на Apple Neural Engine и Apple GPU. README приводит результаты тестов на Apple M5 и описывает комплект файлов для интеграции в приложения диктовки и транскрибации. Заявленные скорости относятся к указанной конфигурации оборудования и не гарантируют такой же производительности на других устройствах. Модель распространяется по лицензии Apache-2.0. Для использования описанного stateful CoreML-пакета README указывает требования iOS 18 или macOS 15 и новее.

ctyau подготовил CoreML-версию Cohere Transcribe 2B с квантованием весов до INT8 (W8A16) для распознавания речи на устройствах Apple. Модель предназначена для преобразования аудио в текст и запуска на Apple Silicon и мобильных устройствах Apple; в README описано разделение на Conformer-энкодер и Transformer-декодер с выполнением энкодера на Apple Neural Engine и использованием GPU и Metal для декодирования. По метаданным, модель содержит 151 млн параметров и рассчитана на английский язык; лицензия CC BY-NC 4.0 ограничивает коммерческое использование. README приводит замеры на Apple M5 для аудиозаписи длительностью около 15 минут: INT8-вариант обработал её за 14,837 секунды. Эти показатели относятся к указанной конфигурации и не гарантируют такой же скорости на других устройствах. Модель основана на CohereForAI/c4ai-transcribe-2b и поставляется в формате CoreML.