I.7Речь, диалоги и встречи

SenseVoiceSmall-gguf — это конверсия и квантизированные GGUF-версии модели FunAudioLLM/SenseVoiceSmall, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и поддерживает китайский, кантонский, английский, японский и корейский языки. Она принимает монофонический WAV-аудиосигнал с частотой 16 кГц и обрабатывает фрагменты длительностью до 30 секунд за вызов. Модель использует 234-миллионный SAN-M encoder с одной CTC-головой и словарём SentencePiece на 25 055 токенов. Помимо автоматического распознавания речи, та же CTC-голова может выдавать идентификатор языка, простые метки эмоций, теги аудиособытий и управляющие теги обратной текстовой нормализации. Определение языка поддерживается, но потоковая обработка, перевод, встроенное разбиение длинных записей и временные метки отсутствуют. По умолчанию включена текстовая нормализация для удобного отображения регистра, пунктуации и чисел; доступен режим вывода произносимой формы. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 146 до 937 МБ. На тесте LibriSpeech test-clean заявленная частота ошибок слов составляет 3,13% для F32, F16 и Q8_0 и до 3,45% для Q4_K_M; качество зависит от языка и типа квантизации. Модель ориентирована прежде всего на офлайн-многоязычное распознавание, однако для длинных аудиозаписей потребуется внешняя сегментация. Использование регулируется лицензией model-license из FunASR MODEL_LICENSE, унаследованной от базовой модели; полные условия следует уточнять в лицензии FunAudioLLM/SenseVoiceSmall.

SpeakerKit Pro — модель для распознавания речи и определения говорящих, опубликованная Argmax. Репозиторий содержит формат Core ML и предназначен для использования с библиотекой WhisperKit; по карточке Hugging Face основная задача модели — автоматическое распознавание речи. Модель принимает аудио и может применяться в сценариях, где нужно преобразовать запись в текст. Теги репозитория указывают на связь с Whisper и diarization, однако README не описывает точные возможности разделения речи по говорящим, архитектуру, размер, языки или длину контекста. В карточке указана лицензия other, поэтому условия использования следует сверить с сопровождающей документацией. README содержит ссылки на блог, TestFlight и исследовательскую статью, но не приводит сведений о качестве распознавания или известных ограничениях.

Speechless-llama3.2-v0.1 — компактная языковая модель семейства Llama, разработанная Homebrew Research как часть семейства Ichigo v0.5. Она преобразует аудио в текст и предназначена для распознавания речи на английском и вьетнамском языках. Модель содержит 1,2 млрд параметров, использует архитектуру Llama и имеет контекст 131 072 токена; в репозитории представлены веса Safetensors. В README приведены результаты оценки: WER 3,27 на LibriSpeech ASR для английского и 3,99 на viet_bud500 для вьетнамского. Модель рассчитана на сценарии распознавания речи, в том числе для языков с ограниченными ресурсами. Лицензия Apache 2.0. README описывает её как исследовательскую версию; метаданные также отмечают возможности генерации текста, однако основное назначение этой карточки — преобразование аудио в текст.

SpeechLLM-1.5B — мультимодальная модель Skit AI для анализа аудиореплик в разговоре. Она принимает речь и предсказывает наличие речевой активности, текстовую расшифровку, а также категории пола, возраста, акцента и эмоции говорящего. В карточке описана версия размером 1,5 млрд параметров, дообученная на базе WavLM и TinyLlama с адаптерами; архитектура указана как SpeechLLMModel. В метаданных Hugging Face основной тег задачи — feature-extraction, а файлы представлены в формате safetensors. Модель рассчитана на англоязычную речь. В опубликованных результатах для LibriSpeech указана частота ошибок распознавания слов 11,51% на test-clean и 16,68% на test-other; на Common Voice точность определения возраста составляет 64,98%, акцента — 81,21%, пола — 94,76%. Эти результаты относятся к указанным наборам данных и не гарантируют такую же точность на других записях. Лицензия — Apache-2.0.

ctaguchi/ssc-aln-mms-model — дообученная модель распознавания речи на базе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с CTC-декодированием и содержит 1,3 млрд параметров; модель рассчитана на преобразование аудио в текст. Базовая MMS поддерживает более тысячи языков, однако язык и назначение конкретной дообученной версии не уточнены. В README приведены результаты оценки: Loss 1,1100, CER 0,2283 и WER 0,5834; набор данных не назван. Модель опубликована в формате safetensors и предназначена для использования с Transformers. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

ctaguchi/ssc-sco-mms-model — дообученная модель распознавания речи на основе facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров; принимает аудио и преобразует речь в текст. Базовая модель поддерживает более тысячи языков, но язык и набор данных, на которых дообучена эта версия, не указаны. В карточке приведены результаты оценки: CER 0,2065, WER 0,5486 и loss 0,7277. Эти значения относятся к оценочному набору, сведения о котором отсутствуют, поэтому их нельзя напрямую переносить на другие данные. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это побайтная копия модели NVIDIA stt_ar_fastconformer_hybrid_large_pcd_v1.0, созданная пользователем dev-ahmedhany для резервного доступа к исходному чекпойнту. Модель распознаёт арабскую речь и выдаёт текст с пунктуацией, капитализацией и диакритическими знаками (ташкиль). Она построена на архитектуре FastConformer и использует гибридный подход Transducer-CTC; для работы предназначена библиотека NeMo. Модель подходит для транскрибации арабской речи с восстановлением знаков препинания и диакритики. Репозиторий не меняет исходные веса NVIDIA. Лицензия — CC-BY-4.0.

NVIDIA FastConformer-Hybrid Large для французского языка — модель распознавания речи, разработанная NVIDIA и обученная с помощью NeMo. Она преобразует монофоническое аудио WAV с частотой 16 кГц в текст с заглавными и строчными буквами, пробелами, точками, запятыми и вопросительными знаками. Модель построена на архитектуре FastConformer с уменьшением частоты кадров в 8 раз с помощью глубинных свёрток. Это большая версия примерно на 115 млн параметров; обучение использует совместные функции потерь Transducer и CTC. Модель можно применять для вывода или дообучать на собственных данных. Она обучалась на суммарно 1800 часах французской речи из MCV12, MLS и VoxPopuli. Модель подходит для транскрибации французской речи в аудиозаписях и пакетной обработки файлов. Качество может снижаться на технической лексике, незнакомой разговорной речи и речи с акцентом; модель выводит только точки, запятые и вопросительные знаки. Лицензия — CC BY 4.0.

NVIDIA FastConformer-Hybrid Large (kk-ru) — модель распознавания речи, разработанная NVIDIA для транскрибации казахской и русской речи. Она принимает монофонический аудиосигнал WAV с частотой 16 кГц и возвращает текстовую строку в нижнем регистре. Модель построена на архитектуре FastConformer и содержит около 115 млн параметров. Это гибридная модель с декодерами Transducer и CTC, обученная на обоих типах функций потерь; по умолчанию используется Transducer. Для обучения использовались открытые корпуса казахской речи общим объёмом около 1550 часов и русской речи объёмом около 850 часов. Модель работает через NVIDIA NeMo и доступна как предварительно обученный чекпойнт для распознавания или дообучения. Модель не поддерживает потоковую обработку и не добавляет в результат заглавные буквы и пунктуацию. Качество может снижаться на технической лексике и разговорных вариантах речи, недостаточно представленных в обучающих данных. Лицензия — CC BY 4.0.

Underdog-Bark-0.8B-1.0 — компактная модель распознавания речи на базе архитектуры Qwen3-ASR, представленная ConwayResearch в 4-битном формате MLX. Она принимает аудио и предназначена для преобразования речи в текст; карточка указывает размер 0,8 млрд параметров в названии модели. Модель подойдёт для локального распознавания речи на устройствах Apple, поддерживающих MLX. Веса опубликованы в формате safetensors с 4-битной квантизацией. Модель распространяется по лицензии Apache-2.0. В карточке не приведены сведения о поддерживаемых языках, длине контекста и точности распознавания.

VibeVoice-ASR-BitNet GGUF — конверсия модели microsoft/VibeVoice-ASR-BitNet в формат GGUF для использования с CrispASR. Это модель автоматического распознавания речи, предназначенная для преобразования 24 кГц моноаудио в текст, в том числе при локальном запуске через CrispASR, C API или Python. Поддерживаются английский, китайский, французский, итальянский, корейский, португальский и вьетнамский языки. Архитектура включает двойной VAE-энкодер и декодер на базе Qwen2. Базовая модель содержит 1,5 млрд параметров; языковая модель имеет 28 слоёв, скрытое представление размером 1536, 12 attention-голов и 2 KV-головы. Аудиообработку выполняет ConvNeXt-подобный одномерный CNN-энкодер с акустическим представлением 64d и семантическим представлением 128d. Доступны варианты размером от 1,05 до 1,55 ГБ с разной степенью квантования; проекции LM используют тернарное квантование TQ2_0, а VAE и embedding — Q4_0, Q5_0, Q8_0 или F16. По данным README, все варианты показали идентичный результат транскрибации на тестовом аудио JFK, включая наиболее компактный вариант aggro, однако подтверждение качества ограничено этим тестом. Модель ориентирована на эффективное локальное распознавание речи с уменьшенным размером файлов и стандартной поддержкой ggml, но README не содержит сведений о точности на широком наборе данных, задержке, устойчивости к шуму или поддержке других аудиоформатов. Распространяется по лицензии MIT; репозиторий содержит только конверсию и квантование исходных весов без дообучения или изменения архитектуры.

mitkaj/w2v2BERT-CZ-CV-17.0 — модель распознавания чешской речи, созданная дообучением facebook/w2v-bert-2.0 разработчиком mitkaj. Она использует архитектуру Wav2Vec2BertForCTC и CTC-обучение на наборе Czech Common Voice; словарь модели содержит 51 токен. Модель принимает аудио и выдаёт текстовую транскрипцию на чешском языке. Модель предназначена для автоматического распознавания чешской речи, в том числе записей, похожих на данные Common Voice. В карточке указана оценка WER 5,83% на чешском тестовом наборе. Число параметров — около 402,7 млн. Длина контекста не указана в доступных материалах. Лицензия — MIT.

Bajiyo/w2v-bert-2.0-nonstudio_and_studioRecords_final — модель распознавания речи на основе архитектуры Wav2Vec2-BERT, дообученная разработчиком Bajiyo на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; репозиторий содержит веса в формате Safetensors. Модель насчитывает около 402,7 млн параметров и распространяется по лицензии MIT. На указанном в карточке наборе оценки модель получила loss 0,1772 и WER 0,1266. Эти результаты относятся только к этому набору; README не описывает его состав, языки, условия записи или методику оценки. Поэтому качество для конкретных языков и условий применения по этим цифрам определить нельзя.

nguyenvulebinh/wav2vec2-bartpho — модель распознавания вьетнамской речи, разработанная пользователем nguyenvulebinh на Hugging Face. Это последовательная архитектура speech-encoder-decoder: аудио подаётся на вход, а модель выдаёт текст. Карточка указывает поддержку нормализации распознанного текста, временных меток и сегментации речи нескольких говорящих. Модель предназначена для автоматической транскрибации вьетнамской речи, в том числе с разметкой времени и разделением реплик по говорящим. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Wav2Vec2-Base-VoxPopuli-Finetuned — модель распознавания речи, разработанная Facebook AI. Она основана на Wav2Vec2 Base: предварительно обучена на 10 тысячах неразмеченных примеров корпуса VoxPopuli, затем дообучена на транскрибированных испанских аудиозаписях. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и преобразует речь в текст на испанском языке. Модель предназначена для автоматической транскрипции испанской речи, в том числе аудиозаписей, похожих на данные VoxPopuli. Репозиторий содержит веса PyTorch. Лицензия CC BY-NC 4.0 требует указания авторства и не разрешает коммерческое использование.

Wav2Vec2-Base-VoxPopuli-Finetuned — модель Facebook AI для автоматического распознавания французской речи. Она основана на Wav2Vec2 Base, предварительно обученной на 10 тысячах часов неразмеченной речи из VoxPopuli, а затем дообученной на транскрибированных французских данных из этого корпуса. Архитектура — Wav2Vec2ForCTC, размер — 113,3 млн параметров; модель принимает аудио и выдаёт текстовую транскрипцию. Модель предназначена для преобразования французских аудиозаписей в текст, например для расшифровки речи в голосовых данных. Репозиторий содержит веса PyTorch. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

ceyda/wav2vec2-base-760-turkish — модель распознавания речи на турецком языке, разработанная на основе ceyda/wav2vec2-base-760 и дообученная на обучающей и валидационной выборках Common Voice. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 113,3 млн параметров. Модель принимает аудио с частотой дискретизации 16 кГц и преобразует речь в текст; её можно использовать без языковой модели. Модель подходит для транскрибации турецкой речи и оценки систем распознавания на тестовой выборке Common Voice. В README приведены результаты на этой выборке: WER 22,60 и CER 6,05. Модель распространяется по лицензии Apache-2.0.

Модель Multilingual Speech Recognition for Indonesian Languages разработана для проекта распознавания речи на индонезийских языках. Это дообученная facebook/wav2vec2-large-xlsr-53 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров. Она принимает аудио, рассчитанное на частоту дискретизации 16 кГц, и преобразует речь в текст без обязательного использования языковой модели. Модель обучалась на данных Common Voice для индонезийского языка, а также на высококачественных синтетических речевых данных для яванского и сунданского языков. Её можно применять для транскрибирования записей и в речевых интерфейсах, работающих с этими языками. README приводит результат оценки 11,57% на тестовой части Common Voice для индонезийского языка, но не уточняет метрику. Модель распространяется по лицензии Apache-2.0. Для работы следует подавать аудио с частотой 16 кГц; качество распознавания для разных языков и условий записи может различаться.

ctaguchi/wav2vec2-kac — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m и реализованная на базе Wav2Vec2ForCTC. Она принимает аудио и преобразует речь в текст. В карточке приведены результаты оценки: CER 0,0452 и WER 0,1986; набор данных и условия оценки не описаны, поэтому эти показатели нельзя напрямую сопоставлять с результатами других моделей. Модель содержит около 402,7 млн параметров, распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Суффикс kac в названии может указывать на язык, однако README и метаданные не подтверждают, какой язык поддерживается, поэтому языковые характеристики здесь не уточняются.

Модель Lguyogiro/wav2vec2-large-mms-1b-nhi-adapterft-ilv_fold1 — дообученная на наборе audiofolder модель распознавания речи, основанная на facebook/mms-1b-all. Она использует архитектуру Wav2Vec2ForCTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но карточка этой версии не уточняет целевой язык. На указанном наборе оценки модель показала loss 0,6054, WER 0,3871 и CER 0,1165. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.

jbetker/wav2vec2-large-robust-ft-libritts-voxpopuli — модель автоматического распознавания речи на архитектуре wav2vec2-large, разработанная jbetker дообучением facebook/wav2vec2-large-robust-ft-libri-960h на наборах LibriTTS и VoxPopuli. Она преобразует аудио в текстовые транскрипции с пунктуацией, что особенно полезно для подготовки текстов к синтезу речи, где пунктуация влияет на просодию. Модель содержит 402,8 млн параметров и доступна в формате PyTorch. В карточке указана оценка WER 4,45% на валидационном наборе LibriSpeech; для базовой модели приводится 4,3%. Обучение велось на чистом аудио, поэтому модель хуже подходит для шумных записей. Условия лицензии в предоставленных данных не приведены.

Модель oliverguhr/wav2vec2-large-xlsr-53-german-cv9 разработана как дообученная версия facebook/wav2vec2-large-xlsr-53 для распознавания немецкой речи. Это плотная модель архитектуры Wav2Vec2 с головой CTC и примерно 402,7 млн параметров. Она обучена на немецкой части Mozilla Common Voice 9.0 и предназначена для преобразования аудиозаписей речи в текст. На тестовой выборке указаны CER 2,27 и WER 9,48. Модель принимает аудио и выдаёт текст; основным языком является немецкий. Репозиторий содержит веса PyTorch и Safetensors, а также формат ONNX. Модель распространяется по лицензии Apache-2.0. README не описывает ограничения и условия записи аудио; результаты тестирования относятся к указанному набору данных и могут не отражать качество на других источниках речи.

Модель dianavdavidson/wav2vec2-large-xlsr-53-iv_hindi_vaani-62420-hinglish_mixed_scripts-alldata-1e-4-100-mix-0.3-FT — дообученная Dianavdavidson версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она построена на архитектуре Wav2Vec2ForCTC, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию модели она ориентирована на хинди и хинглиш со смешанными письменностями; оценка на тестовом наборе указана как Global WER 29,1776 и loss 0,7903. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

elgeish/wav2vec2-large-xlsr-53-levantine-arabic — модель автоматического распознавания речи на основе Wav2Vec2-Large-XLSR-53, дообученная на наборе Arabic Speech Corpus. Разработчик адаптировал её для распознавания арабской речи; карточка указывает арабский язык и задачу automatic speech recognition. Модель принимает аудио и выдаёт распознанный текст. Для входной речи требуется частота дискретизации 16 кГц. В репозитории представлены варианты PyTorch и Flax; модель содержит около 402,7 млн параметров. Лицензия — Apache-2.0.

UrukHan/wav2vec2-ru — акустическая модель распознавания речи на базе архитектуры wav2vec2 с декодирующей головой CTC. Она содержит 402,7 млн параметров и предназначена для преобразования аудиоречи в текст. В README указано, что модель обучалась с нуля; набор данных не назван. Для оценки приведены loss 0,5468 и WER 0,4124. Модель подходит для автоматической расшифровки аудиозаписей. Суффикс «ru» указывает на ориентацию на русский язык, однако README и метаданные не подтверждают поддерживаемые языки. Репозиторий содержит веса PyTorch; лицензия и сведения о контексте применения не приведены.

wav2vec2-xls-r-1b-scandinavian-E2-100h-30-epochs-20250123 — дообученная Davidilag модель распознавания речи на базе facebook/wav2vec2-xls-r-1b. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. В README приведены результаты на оценочном наборе: WER 21,627 и CER 4,5904; набор данных и условия оценки не описаны, поэтому эти значения нельзя уверенно переносить на другие записи. Модель предназначена для автоматической транскрипции речи. В метаданных указаны 1,3 млрд параметров, библиотека Transformers и формат safetensors. Лицензия — Apache-2.0. Язык или языки дообучения из карточки установить нельзя.

mpoyraz/wav2vec2-xls-r-300m-cv7-turkish — модель автоматического распознавания речи на турецком языке, созданная дообучением facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; при дообучении использовались проверенная часть Common Voice 7.0 TR, кроме тестовой выборки, и MediaSpeech. Для улучшения распознавания автор также подготовил турецкую n-граммную языковую модель на материалах Википедии с KenLM. Модель подходит для транскрибации турецкой речи и оценки систем распознавания на наборах Common Voice и Speech Recognition Community. В README приведены результаты: WER 8,62 и CER 2,26 на тестовой выборке Common Voice 7 TR, а также WER 30,87 и CER 10,69 на dev-наборе Speech Recognition Community. Эти значения относятся к указанным наборам и не гарантируют такую же точность на других записях. Модель распространяется по лицензии CC BY 4.0.

Larrycmu разработал эту модель дообучением facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Это плотная модель Wav2Vec2 с CTC-выходом, принимающая аудио и выдающая текст; репозиторий содержит веса в формате safetensors. Число параметров — около 402,8 млн. В карточке приведены результаты на тестовой выборке: CER 0,0746 и WER 0,3453. Язык распознавания и характеристики набора данных не раскрыты, поэтому применимость к конкретному языку и условиям записи по этим сведениям оценить нельзя. Лицензия — Apache-2.0.

patrickvonplaten/wavlm-libri-clean-100h-base-plus — модель распознавания речи, разработанная на основе WavLM Base Plus от Microsoft и дообученная на чистой части датасета LibriSpeech для автоматического распознавания речи. Это аудиомодель с архитектурой WavLMForCTC и 113,3 млн параметров; репозиторий содержит веса PyTorch. Модель преобразует речь в текст и подходит для транскрибирования аудиозаписей, в частности речи из сценариев, похожих на LibriSpeech. В карточке приведены результаты оценки на тестовой выборке: loss 0,0819 и WER 0,0683. Сведения о поддерживаемых языках, ограничениях применения и лицензии в предоставленных источниках отсутствуют.

whisper-accent-medium.en — дообученная модель на основе OpenAI Whisper medium.en для распознавания и транскрибирования английской речи с разными акцентами. Она использует архитектуру Whisper и реализует обусловливание декодера на выученные представления акцентов через Adaptive Layer Normalization (AdaLN). Акцент оценивается по скрытым состояниям энкодера с помощью классификатора, а обучались только добавленные компоненты и представления акцентов; энкодер и декодер Whisper оставались замороженными. Всего в модели 839 897 904 параметра, около 9% из них обучались. Модель предназначена для транскрибации английской речи с разнообразными акцентами. В README указаны результаты оценки: WER 0,0939 и точность определения акцента 0,9615. Это результаты на наборе оценки, поэтому качество на других аудиозаписях может отличаться. Модель распространяется по лицензии Apache-2.0 и сохранена в формате safetensors.