I.7Речь, диалоги и встречи

facebook/mms-1b-all — многоязычная модель автоматического распознавания речи, разработанная Vineel Pratap и соавторами в рамках проекта MMS. Она построена на архитектуре wav2vec2 с CTC-выходом и содержит около 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; в карточке указана поддержка 1162 языков, а частота дискретизации аудио составляет 16 кГц. Модель предназначена для транскрибации речи на большом числе языков, в том числе малоресурсных, например для расшифровки записей и создания многоязычных систем распознавания речи. Опубликованные веса доступны в форматах PyTorch и safetensors. Лицензия CC-BY-NC 4.0 требует указания авторства и ограничивает коммерческое использование. Качество распознавания может различаться в зависимости от языка, диалекта и условий записи.

ziywang50/omniASR-LLM-300M — совместимая с Hugging Face копия модели omniASR-LLM-300M от Meta AI, подготовленная для интеграции с vLLM. Согласно карточке, веса совпадают с оригиналом; изменена упаковка: добавлены конфигурация модели и токенизатора, а также таблица языковых идентификаторов. Модель предназначена для автоматического распознавания речи и поддерживает более 1600 языков. Она принимает аудио и преобразует речь в текст. Репозиторий содержит веса в формате safetensors; в README приведён запуск через vLLM. Модель относится к семейству OmniASR-LLM, архитектура — плотная условная генерация. Лицензия Apache 2.0. В README не указаны точный размер именно этой версии и длина контекста. Для обработки аудио в исходной инструкции также упоминается необходимость libsndfile при использовании справочного пайплайна; требования vLLM могут отличаться.

Карточка модели Salahuddin1234/omnidoctor-qwen-omni на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Omnilingual-ASR-CTC-300M-CoreML-INT8-10s — это экспорт модели Meta Omnilingual ASR CTC-300M в формате CoreML, подготовленный для локального распознавания речи на устройствах Apple. Модель предназначена для автоматической транскрипции аудио на более чем 1600 языках и не требует указания языка при инференсе, что делает её подходящей для многоязычных приложений и сценариев с неизвестным языком входной речи. Модель построена по архитектуре в стиле wav2vec 2.0: энкодер с семислойным свёрточным экстрактором признаков, 24 слоями Transformer и линейной CTC-головой. Она содержит около 326 млн параметров, использует словарь из 10 288 SentencePiece-токенов и принимает моноаудио в виде нормализованной 16-кГц PCM-волны. Выходом являются логиты CTC. Данная сборка рассчитана на фрагменты длительностью до 10 секунд; более длинные записи необходимо разбивать на части или экспортировать модель с другим ограничением длительности. Веса подвергнуты INT8-палетизации методом k-means, при этом вычисления выполняются в FP16. Формат MLProgram поддерживает развёртывание на iOS 17 и macOS 14 с использованием CPU и Apple Neural Engine, что уменьшает размер модели примерно до 312 МБ и подходит для офлайн-инференса на Apple Silicon. Ограничениями являются фиксированная длина входа, необходимость самостоятельного CTC-декодирования и потенциальные ошибки распознавания, зависящие от языка и качества аудио. В README приведены ориентировочные показатели WER для пяти языков; заявленные характеристики скорости для Neural Engine являются ожидаемыми, а не подтверждёнными результатами тестирования этой сборки. Модель распространяется по лицензии Apache 2.0.

OWSM v4 base 102M — открытая мультиязычная модель распознавания речи из серии Open Whisper-style Speech Model, разработанная командой ESPnet под руководством Yifan Peng из CMU. Это encoder-decoder модель с 102 млн параметров, обученная на 320 тысячах часов публичных аудиоданных. Она предназначена для распознавания речи, определения языка, перевода речи и предсказания временных меток высказываний; поддерживает также длинные записи и перевод. Модель принимает аудио с частотой 16 кГц, обрабатывает его фрагментами до 30 секунд и доступна для запуска через ESPnet. OWSM v4 улучшает качество определения языка и мультиязычного распознавания по сравнению с OWSM v3.1. Она использует восьмикратное прореживание log-Mel-признаков, что даёт разрешение энкодера 80 мс. В карточке модели не перечислены отдельные поддерживаемые языки, поэтому конкретные языки здесь не указаны. Лицензия — CC BY 4.0.

mlx-community/parakeet-ctc-0.6b — версия модели Parakeet-CTC-0.6b, подготовленная сообществом mlx-community в формате MLX из nvidia/parakeet-ctc-0.6b. Это модель распознавания речи на архитектуре FastConformer с CTC, предназначенная для преобразования аудио в текст и доступная через библиотеки parakeet-mlx и mlx-audio. Базовая модель от NVIDIA NeMo и Suno.ai распознаёт английскую речь. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors; в карточке указана лицензия CC BY 4.0. Подробности об условиях работы и характеристиках распознавания приведены в карточке исходной модели.

Это версия модели распознавания речи NVIDIA Parakeet TDT 0.6B V2, преобразованная автором репозитория в формат safetensors с небольшими настройками для инференса через MLX. Репозиторий сохранён для обратной совместимости; в README рекомендована более новая копия в mlx-community. Модель предназначена для автоматической транскрибации аудио в текст и запускается, в частности, через библиотеку parakeet-mlx. Базовая модель NVIDIA ориентирована на английскую речь и формирует транскрипцию с пунктуацией, заглавными буквами и временными метками слов. Данных о размере контекста и результатах оценки этой версии в README нет. Модель основана на nvidia/parakeet-tdt-0.6b-v2 и распространяется по лицензии CC BY 4.0. Это конверсия с настройками для MLX, а не заявленная новая архитектура или самостоятельное дообучение; качество распознавания зависит от аудио и условий записи.

Модель сегментации речи разработана Hervé Bredin и Antoine Laurent для работы с pyannote.audio. Она анализирует аудиозаписи, определяет речевые участки и поддерживает обнаружение перекрывающейся речи и повторную сегментацию говорящих. В README приведены сценарии применения на данных AMI, DIHARD3 и VoxConverse, включая настройку порогов для детектирования речевой активности, перекрытий и повторной сегментации VBx. Модель распространяется в формате PyTorch и используется через pyannote.audio; README указывает на версию 2.0, находившуюся в разработке на момент публикации. Репозиторий создан 8 ноября 2022 года. Лицензия — MIT. В карточке не приведены сведения об архитектуре, числе параметров, длине контекста или поддерживаемых языках.

Qwen2.5-Omni-3B — мультимодальная модель семейства Qwen2.5-Omni, разработанная командой Qwen компании Alibaba Group. Она построена на плотной архитектуре Thinker-Talker и предназначена для диалогового взаимодействия с текстом, изображениями, аудио и видео; модель может выдавать текстовые ответы и естественную речь, в том числе потоково. Модель подходит для голосового и видеочата в реальном времени, распознавания и понимания речи, анализа изображений и видео, ответов на инструкции, а также генерации речи. В карточке приведены результаты по распознаванию речи, переводу, визуальным рассуждениям и пониманию видео; размер 3B обеспечивает более компактный вариант семейства. Позиционное кодирование TMRoPE синхронизирует временные метки видео и аудио. Модель доступна в формате safetensors и рассчитана на использование через Transformers; для поддержки рекомендуется актуальная версия библиотеки. В метаданных указана лицензия other, поэтому перед использованием следует проверить условия лицензирования репозитория. Число параметров, длина контекста и полный перечень поддерживаемых языков в предоставленных данных не приведены.

Qwen3-ASR-0.6B-Backpack-ASR — пакет Backpack с компактной многоязычной моделью распознавания речи Qwen3-ASR-0.6B, разработанной Qwen. Модель принимает аудио и преобразует речь в текст, включая определение языка. Подходит для транскрибации записей и интеграции в голосовые приложения; пакет рассчитан на использование в runtime Backpack и не заменяет выбранную пользователем чат-модель. В репозитории находятся неизменённые upstream-веса в формате safetensors и точности BF16; их размер — около 1,8 ГиБ, рекомендованный объём RAM — 5 ГБ. README сообщает об успешной проверке загрузки и детерминированного аудиовывода. Модель основана на Qwen/Qwen3-ASR-0.6B, веса не дообучались. Лицензия — Apache-2.0.

Qwen3-ASR-0.6B-int8-QAD — сжатая версия Qwen/Qwen3-ASR-0.6B для распознавания речи, подготовленная VinRobotics. Модель размером около 0,6 млрд параметров использует архитектуру Qwen3-ASR и принимает аудио, выдавая текстовую транскрипцию. Веса квантизированы до INT8 методом SmoothQuant, после чего модель дообучена с помощью дистилляции с учителем на псевдоразметке для восстановления части точности, потерянной при квантизации. Модель рассчитана на многоязычную транскрибацию речи; в метаданных перечислены 23 языка, включая русский, английский, китайский, арабский, французский, испанский и японский. В README приведены результаты WER для английского LibriSpeech dev-clean-2 и вьетнамского VIVOS; на этих наборах QAD улучшает результат относительно одной только INT8-квантизации, хотя показатели остаются немного хуже базовой FP16-модели. Квантизация предназначена для снижения потребления памяти и ускорения вывода на оборудовании с INT8 tensor cores. Лицензия — Apache-2.0.

cstr/qwen3-asr-1.7b-GGUF — это набор GGUF-квантизаций модели автоматического распознавания речи Qwen3-ASR-1.7B, разработанной Qwen. Репозиторий предназначен для запуска модели с CrispASR и содержит варианты Q4_K, Q8_0 и F16. Модель поддерживает 30 языков, 22 китайских диалекта, а также распознавание речи, вокала и песен с фоновой музыкой; принимает аудио длительностью до 5 минут. Указаны языки, включая английский, китайский, японский, корейский, немецкий, французский, испанский, португальский, русский и итальянский. Архитектура включает 24-слойный Whisper-подобный аудиоэнкодер с размерностью 1024, 2-слойный MLP-проектор и 28-слойный декодер Qwen3 с размерностью 2048. Размеры файлов составляют около 1,5 ГБ для Q4_K, 2,5 ГБ для Q8_0 и 4,7 ГБ для F16. Вариант Q4_K рекомендуется для большинства сценариев; после обновления аудиоэнкодер в нём хранится в Q8_0, что устраняет проблемы с пустыми или повторяющимися транскрипциями. На 11-секундном английском аудиофрагменте заявлена скорость 0,2 от реального времени на CPU с четырьмя потоками и идеальная точность транскрипции, однако это не гарантирует аналогичных результатов на всех данных. Модель подходит для локального многоязычного распознавания речи и перевода через CrispASR. Ограничениями являются необходимость совместимого запускающего ПО, зависимость качества и скорости от выбранной квантизации и оборудования, а также ограничение длительности входного аудио до 5 минут. Репозиторий содержит только конвертацию и квантизацию исходных весов без дообучения, слияния или изменения архитектуры. Распространяется по лицензии Apache 2.0; права и ограничения исходной модели Qwen3-ASR-1.7B сохраняются.

Qwen3-Omni-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-Omni, разработанная Alibaba Qwen. Это вариант с компонентом Thinker и цепочкой рассуждений: он принимает текст, изображения, аудио и видео, а отвечает текстом. Архитектура основана на схеме MoE Thinker–Talker, однако в этой версии используется только Thinker; заявленная конфигурация — 30B-A3B. Модель предназначена для мультимодальных диалогов, понимания аудио и аудио-видео, распознавания речи и ответов на вопросы по изображениям и видео. Она поддерживает потоковое взаимодействие с низкой задержкой и многоязычную работу: в README заявлены 119 языков для текста и 19 языков для входящей речи, включая русский. Модель можно запускать через Transformers и vLLM; пример конфигурации vLLM использует контекст до 65 536 токенов. В README заявлены сильные результаты на аудио- и видео-бенчмарках, но приведённые оценки не являются независимой проверкой для конкретных сценариев. Для работы требуется актуальная версия Transformers из исходников и значительные вычислительные ресурсы; пример запуска предполагает четыре GPU. Лицензия в метаданных обозначена как other, поэтому её конкретные условия следует проверять в карточке репозитория.

SbertPuncCase — русскоязычная модель восстановления пунктуации и регистра, разработанная Альмирой Муртазиной и Александром Абугалиевым. Она предназначена для обработки расшифровок речи и принимает текст в нижнем регистре, предсказывая для токенов знаки препинания и варианты регистра. Модель построена на базе ai-forever/sbert_large_nlu_ru и использует архитектуру BERT для классификации токенов. Она предсказывает 12 классов, сочетая варианты пунктуации и регистра. Размер модели — 525,7 млн параметров, длина контекста — до 512 токенов. Обучающие данные включали текстовые расшифровки интервью. Модель подходит для постобработки русского текста после распознавания речи. Она рассчитана на русский язык и не предназначена для работы с исходным текстом, где значимы прописные буквы. Лицензия — Apache-2.0.

SE-DiCoW — модель распознавания речи для извлечения реплик выбранного говорящего из разговоров с несколькими собеседниками, разработанная группой BUT Speech@FIT совместно с JHU CLSP/HLTCOE и CMU LTI. Это версия на базе Whisper large-v3-turbo с архитектурой DiCoW; метод self-enrollment автоматически выбирает информативный фрагмент речи целевого говорящего и использует его через cross-attention на слоях энкодера. Модель предназначена для транскрибирования речи выбранного участника при перекрывающихся репликах, например в совещаниях и смесях нескольких голосов. В карточке заявлено снижение tcpWER на 49,7% относительно исходной DiCoW на бенчмарке EMMA MT-ASR и особенно заметный выигрыш на сильно перекрывающейся речи Libri3Mix. Модель содержит 905,2 млн параметров, принимает аудио и выдаёт текст; поддерживает многоязычное распознавание. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README предупреждает, что это более старая версия; рекомендуется использовать обновлённую версию, совместимую с кодом обучения и инференса.

SenseVoiceSmall-GGUF-audiocpp — квантованный экспорт модели SenseVoiceSmall, разработанной FunAudioLLM, предназначенный для автоматического распознавания речи. Модель упакована в формат GGUF для запуска в runtime audio.cpp и содержит встроенную спецификацию sense_asr, метаданные SenseVoice, словарь SentencePiece, тензоры CMVN и 919 тензоров модели. Представленный файл использует квантование Q8_0, занимает около 254 МБ и рассчитан на прямой запуск на CPU через audio.cpp без внешней спецификации модели. В README явно указана поддержка китайского, английского, кантонского, японского и корейского языков. Модель подходит для локального распознавания аудиозаписей и потоков в сценариях, совместимых с интерфейсом audio.cpp; приведённый пример использует задачу ASR. К сильным сторонам относятся автономная упаковка всех необходимых компонентов, запуск на CPU и воспроизводимый экспорт из конкретной ревизии SenseVoiceSmall. Ограничения — отсутствие в предоставленных данных подробностей об архитектуре, размере исходной модели, максимальной длине контекста, производительности и поддерживаемых модальностях помимо речи. Модель распространяется по лицензии Apache-2.0.

NVIDIA Conformer-Transducer X-Large — англоязычная модель автоматического распознавания речи из семейства Conformer, разработанная NVIDIA и доступная через инструментарий NeMo. Она преобразует монофоническую аудиозапись WAV с частотой 16 кГц в текстовую строку; результат записывается строчными буквами английского алфавита с пробелами и апострофами. Модель использует архитектуру Conformer-Transducer с авторегрессионным декодированием и содержит около 600 млн параметров. Её можно применять для транскрибации аудиофайлов или дообучать на другом наборе данных с помощью NeMo. Модель обучалась на составном наборе из нескольких тысяч часов английской речи, включающем Librispeech, Fisher, Switchboard, Common Voice и другие корпуса. Модель подходит для транскрибации английской речи, но качество может снижаться на технической лексике, незнакомом просторечии и речи с акцентом. Лицензия — CC BY 4.0; при использовании необходимо соблюдать её условия.

Модель Transcript_Summerizer разработана Sandeep Ganga и дообучена на базе google/pegasus-large для создания кратких структурированных пересказов стенограмм. Это трансформерная модель типа encoder-decoder с 366,8 млн параметров, принимающая текст и генерирующая текст; в карточке заявлена поддержка английского языка, а контекст составляет 1024 токена. Модель предназначена для суммирования стенограмм встреч, лекций, подкастов и интервью, а также длинных неструктурированных текстов. Она выделяет основные выводы, убирает слова-паразиты и старается сохранять смысловую связность. Лицензия — Apache 2.0. Результаты могут отражать смещения данных дообучения; при работе со сложными или длинными стенограммами возможна потеря деталей, а пересказы могут содержать ошибки или галлюцинации. Для важных решений, особенно медицинских и юридических, их следует проверять человеком.

Ultravox v0.2 — мультимодальная речевая LLM от Fixie.ai, построенная на Llama 3 8B Instruct и Whisper-small. Модель принимает аудио вместе с текстом, например текстовую системную инструкцию и голосовое сообщение, и формирует текстовый ответ. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи. В карточке указаны скорость первого токена около 200 мс и генерация примерно 50–100 токенов в секунду на GPU A100 40 ГБ. Для обучения использовались данные GigaSpeech, AnyInstruct, BoolQ и SODA. Предпочтительная настройка модели не проводилась. Модель распространяется по лицензии MIT. Указан английский язык. Генерация аудио в этой версии не поддерживается; сведения о результатах оценки и тестовых наборах в карточке не приведены.

Карточка модели aoiandroid/ultravox-v0_5-llama-3_2-1b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_5-llama-3_2-1b, поэтому описание составлено по ней. Ultravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.

Ultravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.

Карточка модели Zzo1312/ultravox-v0_5-llama-3_2-1b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_5-llama-3_2-1b, поэтому описание составлено по ней. Ultravox — мультимодальная речевая языковая модель от Fixie.ai, объединяющая аудиовход с текстовой моделью Llama 3.2-1B-Instruct и Whisper large-v3-turbo. Она принимает речь и текст, например текстовую системную инструкцию и аудиосообщение пользователя, а ответ генерирует в текстовом виде. Модель предназначена для голосовых агентов, анализа устной речи и перевода речи между языками. В README указана версия Ultravox 0.5 с обозначением 1B; метаданные каталога указывают 4,8 млрд параметров. Модель построена на архитектуре Ultravox и поддерживает аудиовход, чат и интерфейс вызова инструментов. Для обучения использовались наборы данных распознавания речи и речевого перевода, а также продолжения, сгенерированные Llama 3.1 8B. Метаданные перечисляют широкий набор языков, включая русский; конкретные языки карточки охватывают более узкий перечень. Модель выдаёт текст и не генерирует аудио. В README отмечено, что к этой версии не применялась настройка предпочтений; качество перевода может зависеть от языковой пары и ограниченности модели версии 1B. Лицензия — MIT.

VibeVoice ASR Streaming 1.5B GGUF — это сборка модели автоматического распознавания речи Microsoft VibeVoice ASR Streaming 1.5B, подготовленная в формате GGUF для работы с audio.cpp. Модель предназначена для офлайн-транскрибации аудио и потокового распознавания речи в реальном времени, включая серверные сценарии. Указана поддержка английского, китайского, испанского, португальского, немецкого, японского, корейского, французского, русского и итальянского языков. Модель содержит около 1,5 млрд параметров и поддерживает потоковый режим ASR. Доступны варианты BF16, Q8_0 и Q4_K с различным соотношением качества и размера: примерно 5,64 ГБ, 3,34 ГБ и 2,12 ГБ соответственно. Для потоковой обработки требуется монофонический PCM-аудиосигнал с частотой 16 кГц и 16-битным знаковым форматом. В README также заявлена поддержка транскрибации с атрибуцией говорящих, однако подробности этой функции не приведены. Сильными сторонами являются нативная интеграция с audio.cpp, автономный формат GGUF и наличие нескольких вариантов квантования. На небольшом наборе из четырёх фрагментов LibriSpeech указанный WER составил 4,35% для BF16, 5,80% для Q8_0 и 7,25% для Q4_K при CUDA; результаты зависят от backend и размера тестовой выборки, поэтому не характеризуют качество во всех сценариях. Модель распространяется по лицензии MIT.

Voz — модель распознавания речи, созданная Desert Ant Labs на основе NVIDIA Parakeet TDT 0.6B v3. Разработчики преобразовали и сжали исходные веса для запуска на iPhone, iPad, Mac, Windows, в браузере и Node.js; по README, сами веса при этом не дообучались. Модель обрабатывает аудио окнами по 15 секунд и выдаёт текст транскрипции с временными отметками для отдельных слов. Поддерживаются 25 языков, включая русский. Для Apple-устройств используется Core ML с выполнением на Neural Engine; также доступны форматы ONNX и TFLite. Voz предназначена для локальной транскрипции записей, включая длинные файлы, с низкими требованиями к памяти и без отправки аудио с устройства. Заявленные результаты близки к Whisper large-v3-turbo, но точность зависит от языка и типа записи: модель лучше справляется с совещаниями, чем с подготовленной и дикторской речью; в подкастах разработчики советуют проверять примерно каждое десятое слово. Средняя ошибка временных отметок составляет около 83 мс для начала и 95 мс для конца слова. Модель распространяется на условиях CC BY 4.0, унаследованных от Parakeet TDT 0.6B v3.

Yehor разработал модель распознавания украинской речи на основе дообученной facebook/w2v-bert-2.0. Это плотная модель архитектуры Wav2Vec2-BERT с головой CTC, принимающая аудио и выдающая распознанный текст. В метаданных указано 402,7 млн параметров; модель обучалась на Common Voice 10.0 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведены метрики: WER 6,6% и CER 1,34%; также указана точность на словах 93,4% и символах 98,7%. Карточка рекомендует использовать обновлённую модель, поэтому результаты могут не отражать актуальное состояние проекта. Модель предназначена для автоматического распознавания речи на украинском языке.

facebook/wav2vec2-large-robust-ft-libri-960h — модель распознавания речи от Facebook на архитектуре Wav2Vec2 Large с плотной сетью и декодированием CTC. Она предварительно обучалась на Libri-Light, Common Voice, Switchboard и Fisher, а затем была дообучена на 960 часах англоязычной речи из LibriSpeech. Модель преобразует аудиозапись в текст и подходит для расшифровки аудиокниг, диктовки и телефонной речи. На вход следует подавать аудио с частотой дискретизации 16 кГц; метаданные указывают размер около 402,7 млн параметров. Репозиторий содержит веса PyTorch и safetensors. Модель ориентирована на английскую речь. Её применение ограничено качеством и условиями записи: шум, акценты и отличия от обучающих доменов могут ухудшать распознавание. Лицензия — Apache-2.0.

bond005/wav2vec2-large-ru-golos — акустическая модель распознавания русской речи, созданная как компонент системы Pisets для транскрибации лекций и интервью. Она основана на facebook/wav2vec2-large-xlsr-53 и дообучена на датасете SberDevices/Golos с аугментациями аудио, включая изменение высоты тона и скорости, а также реверберацию. Модель реализована на архитектуре Wav2Vec2ForCTC, содержит 402,7 млн параметров и работает с аудио, оцифрованным с частотой 16 кГц. Модель подходит для преобразования русской речи в текст, в том числе в условиях, отражённых тестами для ближней и дальней записи. В README приведены результаты на тестовых поднаборах Golos: WER 10,144% для crowd и 20,353% для farfield; CER — 2,168% и 6,030% соответственно. Модель распространяется по лицензии Apache-2.0. Для практического применения учитывайте требование к частоте дискретизации 16 кГц и возможное снижение точности при дальней записи.

jonatasgrosman/wav2vec2-large-xlsr-53-english — англоязычная модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на обучающей и валидационной выборках Common Voice 6.1. Это архитектура Wav2Vec2 с CTC-выходом, содержащая 402,7 млн параметров; модель принимает аудио и выдаёт распознанный текст. Для работы входную речь нужно подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации английской речи, в том числе записей, подобных материалам Common Voice. В README описана оценка на тестовой выборке Common Voice 6.0 и на speech-recognition-community-v2/dev_data. Указанная лицензия — Apache-2.0.

facebook/wav2vec2-large-xlsr-53-german — модель распознавания речи на немецком языке от Facebook. Она основана на архитектуре Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; в карточке приведена оценка 18,5% на тестовой части немецкого Common Voice. Доступны веса PyTorch и Flax. Модель предназначена для автоматической транскрипции немецкой речи, в том числе записей, похожих на аудиоматериалы Common Voice. Распространяется по лицензии Apache-2.0.

wav2vec2-large-xlsr-53-spanish-ep5-944h — акустическая модель для автоматического распознавания испанской речи, дообученная Карлосом Даниэлем Эрнандесом Меной на основе facebook/wav2vec2-large-xlsr-53. Модель использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Дообучение длилось пять эпох на примерно 944 часах испаноязычных аудиоданных, включая речь из CIEMPIESS, Common Voice, Fisher, CALLHOME и других корпусов. Модель предназначена для преобразования испанской речи в текст, в том числе для распознавания мексиканского испанского и речи из разных испаноязычных регионов. В карточке приведён результат оценки 0,112, но метрика и условия оценки не уточнены. Модель распространяется в форматах PyTorch и safetensors по лицензии CC BY 4.0.