I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиЭто дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на датасете с названием None. В оценке модели приведены loss 0,5062 и Global WER 26,0112. Модель использует архитектуру WhisperForConditionalGeneration и формат весов safetensors; библиотека для работы — Transformers. Лицензия — MIT. Подтверждена поддержка хинди; сведений о других языках и параметрах контекста карточка не содержит.
lee1jun/kanary-v2-1b-ko-34800 — контрольная точка распознавания корейской речи с управляемым выводом. Модель обучена на базе Korean-tokenizer Canary v2 graft и продолжала обучение в два этапа: сначала на корпусах речи, затем на примерах с инструкциями по нормализации текста, передаче иностранных слов и пунктуации. Для загрузки используется библиотека NeMo и формат prompt проекта kanary. Модель принимает корейскую аудиоречь и выдаёт текст на корейском языке. Параметры itn задают запись чисел и символов либо их произношение словами, foreign управляет записью иностранных слов латиницей или хангылем, а pnc включает или отключает пунктуацию. Чекпойнт показал символьную ошибку CER 7,94% на dev-разделе KsponSpeech, что авторы используют для выбора контрольной точки. Это релиз-кандидат; оценка на других указанных тестовых наборах для этих же весов на момент публикации ещё ожидалась. Модель предназначена для корейской автоматической транскрипции, где важны управляемые форматирование и пунктуация. Лицензия — CC BY 4.0. Корейский язык — единственный поддерживаемый; маркер запрошенного написания иностранного слова не гарантирует точного распознавания этого фрагмента. Использованные наборы AI Hub распространяются на собственных условиях и не включаются в лицензию модели.
aadel4/kid-whisper-medium-en-myst — модель автоматического распознавания речи на базе OpenAI Whisper medium-en, дообученная на наборе Myst Train длительностью 125 часов. Она преобразует аудио в текст и предназначена для транскрибирования речи; в README приведена оценка WER 8,31 на Myst Dev длительностью 20,9 часа. Модель имеет архитектуру WhisperForConditionalGeneration и около 455,8 млн параметров, распространяется в формате PyTorch и использует библиотеку Transformers. Лицензия — Apache-2.0.
kodama-ja-streaming-small — японская потоковая модель распознавания речи, созданная независимым разработчиком на основе moonshine-ai/moonshine-streaming-small и дообученная на 35 000 часах ReazonSpeech v2. Предназначена для офлайн-транскрибации японской речи с низкой задержкой, в том числе на CPU и устройствах с ограниченными ресурсами. В репозитории есть графы ONNX для развёртывания через ONNX Runtime; заявлены архитектура Moonshine Streaming с энкодером и декодером по 10 слоёв и словарём из 32 768 токенов. Метаданные указывают 58,7 млн параметров, контекст 4096 токенов и форматы ONNX и safetensors. Модель показывает хорошие результаты на некоторых наборах диалоговой и эмоциональной речи и превосходит небольшую японскую модель Vosk в приведённых тестах. Ограничения заметны при шуме, коротких фразах и распознавании имён; потоковый режим уступает офлайн-режиму по точности, а частота галлюцинаций в ряде тестов составляет 0,10–0,12. Это не универсальная замена для японского ASR. Лицензия — Apache-2.0; модель независимая и не является официальным продуктом Moonshine AI или Useful Sensors.
LFM2.5-Audio-1.5B-bf16 — конвертированная в формат MLX модель семейства Liquid AI, опубликованная mlx-community. Это аудиомодель с плотной архитектурой: Conformer-кодировщик обрабатывает входящее аудио, языковая основа LFM объёмом 1,5 млрд параметров выполняет мультимодальную обработку, а Depthformer-декодер и нейронный декодер формируют аудио. Модель рассчитана на работу через библиотеку mlx-audio на устройствах Apple с поддержкой MLX. Модель поддерживает преобразование текста в речь, транскрибацию аудио в текст и речевой диалог с аудиовходом и аудиовыходом. Также доступны чередование текстовых и аудиофрагментов в ответе и потоковая генерация для приложений с низкой задержкой. Карточка указывает английский язык; другие языки не заявлены. Веса сохранены в safetensors в формате bf16. В метаданных указана лицензия other; конкретные условия следует сверять с оригинальной карточкой LiquidAI/LFM2.5-Audio-1.5B. Практическое использование и скорость зависят от аппаратной поддержки MLX; сведения о точности распознавания и перечне поддерживаемых голосов в предоставленных данных отсутствуют.
Это преобразованная в формат Transformers копия сквозной аудиоязыковой модели Liquid AI LFM2.5-Audio-1.5B. Веса и конфигурация перенесены из LiquidAI/LFM2.5-Audio-1.5B; дополнительного обучения не проводилось. Модель поддерживает сценарии распознавания речи, синтеза речи и голосового взаимодействия с чередованием текста и аудио. В репозитории есть настройки извлечения аудиопризнаков, шаблон мультимодального диалога, токенизатор и аудиодетокенизатор. Проверка подтвердила совпадение текстовых токенов, аудиокодбуков, последовательностей модальностей и форм волн с исходной реализацией в описанных тестовых сценариях; это проверка совместимости, а не оценка точности распознавания или скорости. Для загрузки требуется обновлённая реализация LFM2-Audio в Transformers, которая на момент карточки ещё не была доступна в выпущенном пакете. Для ASR требуется монофонический сигнал 16 кГц, а генерация ограничена размером пакета 1. Лицензия указана как other; в репозитории приложена исходная лицензия.
Llama-3.3-Argunaut-1-70B-SFT — дообученная командой DebateLabKIT версия Meta Llama 3.3 70B Instruct для диалогов об аргументации и критическом мышлении. Модель основана на плотной архитектуре Llama и содержит 69,5 млрд параметров; поддерживает генерацию текста с контекстом до 131 072 токенов. Обучение с учителем проведено с помощью TRL на смеси диалогов по анализу аргументов, построению карт аргументации и набора Tülu 3. Модель предназначена для ответов на вопросы об аргументах и синтаксисе Argdown, а также для создания и разбора структурированных аргументаций в формате диалога. Она использует мультиязычную базовую модель, однако карточка не уточняет языки, охваченные специализированными данными. Для работы необходима совместимая среда Transformers; веса опубликованы в формате safetensors. Лицензия — Llama 3.3 Community License.
MMS_10langs_simultane — дообученная модель распознавания речи на базе facebook/mms-1b-all, разработанная автором репозитория ilyes25. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC семейства wav2vec2, размер — 1,3 млрд параметров. В README приведены результаты оценки: loss 0,3003, WER 0,3716, BLEU 0,4691, ROUGE-1 0,6871, ROUGE-2 0,5597 и ROUGE-L 0,6859. Модель предназначена для автоматического распознавания речи. README не раскрывает набор данных, языки и условия оценки, поэтому результаты нельзя уверенно переносить на конкретные языки и сценарии. Лицензия CC BY-NC 4.0 допускает использование с соблюдением условий лицензии, включая некоммерческий характер.
csikasote/mms-1b-all-nyagen-combined-ft-62 — дообученная csikasote модель распознавания речи на основе facebook/mms-1b-all. Она построена на архитектуре wav2vec2 и использует CTC-декодирование; число параметров — 1,3 млрд. Модель дообучена на датасете NYAGEN - NYA. На оценочной выборке указаны Loss 0,3598 и WER 0,2645. Модель предназначена для преобразования аудиоречи в текст. Базовая модель поддерживает более тысячи языков, однако язык и сценарии, охваченные этим дообучением, в карточке не уточнены. Файлы модели представлены в формате safetensors, для работы используется Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
OmniLion — мультимодальная модель от LLJYY, объединяющая языковую и визуальную модель SEA-LION/Qwen3.6 с аудиокодировщиком Qwen3-ASR и обученным аудиопроектором. В одном процессе vLLM она принимает текст, изображения, видео, аудио или совместный аудио-видеоввод и формирует текстовый ответ. Репозиторий содержит веса SafeTensors; для запуска требуется соответствующий плагин vLLM. В README подтверждена работа на Linux ARM64 с NVIDIA GB10; проверена только точность BF16 на указанной конфигурации. Модель предназначена для диалоговых мультимодальных сценариев, включая вопросы по изображениям и видео, транскрибацию и понимание аудио, а также запросы по синхронным аудио и видео. Аудиофрагменты ограничены 30 секундами. Указаны слабые результаты для незавершённой речи и сохранения тамильской речи; возможны галлюцинации, также наследуются ограничения безопасности и смещения компонентов и последующего обучения. Лицензия в метаданных обозначена как other; подробные условия компонентов вынесены в LICENSES.md.
Это версия модели распознавания речи NVIDIA Parakeet TDT-CTC 0.6B для MLX, подготовленная сообществом mlx-community из репозитория nvidia/parakeet-tdt_ctc-0.6b-ja. Она преобразована для запуска с библиотекой MLX на совместимом оборудовании Apple и предназначена для преобразования японской речи в текст с пунктуацией. Модель относится к семейству FastConformer/Conformer и принимает аудио, выдавая текстовую транскрипцию. Репозиторий распространяется по лицензии CC BY 4.0; подробности о качестве распознавания и ограничениях следует сверять с карточкой исходной модели.
Карточка модели ubitec/pyannote-segmentation-3.0 на Hugging Face совпадает с карточкой pyannote/segmentation-3.0, поэтому описание составлено по ней. pyannote/segmentation-3.0 — модель сегментации речи и активности говорящих от Séverin Baroudi, обученная с помощью pyannote.audio 3.0. Она принимает монофонический звук длительностью 10 секунд с частотой 16 кГц и выдаёт матрицу по временным кадрам с семью классами: тишина или неречевая активность, три отдельных говорящих и три возможные пары говорящих при перекрытии речи. Модель подходит для определения голосовой активности, сегментации говорящих и обнаружения одновременной речи в аудиофрагментах; сама по себе она не выполняет диаризацию целых записей, для которой нужен дополнительный пайплайн и модель эмбеддингов говорящих. Обучение проводилось на объединении наборов AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Для использования требуется pyannote.audio 3.0, принятие условий модели на Hugging Face и токен доступа. Модель распространяется по лицензии MIT; README рекомендует рассмотреть сервис pyannoteAI для более быстрого и качественного промышленного применения.
Biggiraffe/Qwen3-0.6B-JSON-SFT-GRPO — компактная плотная языковая модель семейства Qwen3, дообученная на базе NotoriousH2/Qwen3-0.6B-JSON-SFT. Она предназначена для генерации текста в диалоговом формате; базовая модель ориентирована на извлечение метаданных, поручений, решений и препятствий из корейских протоколов совещаний с выдачей результата в JSON. Модель содержит около 507,9 млн параметров и поддерживает контекст до 40 960 токенов. Модель разработана Biggiraffe и обучалась с использованием Unsloth и библиотеки TRL. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0. Карточка этой версии не уточняет, меняет ли этап GRPO назначение базовой модели или какие метрики качества были получены.
handy-computer/Qwen3-ASR-1.7B-gguf — это набор GGUF-конвертаций модели Qwen3-ASR-1.7B, разработанный handy-computer на основе базовой модели Qwen/Qwen3-ASR-1.7B для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и преобразования аудио в текст с автоматическим определением языка. Она принимает монофонический WAV с частотой 16 кГц; потоковая обработка, перевод речи и временные метки не поддерживаются, а явная подсказка языка пока недоступна. Архитектура сочетает двунаправленный аудиоэнкодер с причинной языковой моделью Qwen3 и внедрением аудиотокенов. В версии 1.7B аудиоэнкодер имеет d_model=1024 и 16 голов внимания, а языковая модель — hidden_size=2048 и intermediate_size=6144. Заявлена поддержка 30 языков в данной конвертации, включая русский, английский, китайский, японский, корейский, немецкий, французский, испанский и другие. Доступны варианты BF16, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 1,32 до 4,09 ГБ. Сильные стороны модели — офлайн-работа, мультиязычность и высокая точность: для LibriSpeech test-clean указанный WER составляет 1,62% у BF16, F16 и Q8_0, 1,65% у Q6_K и Q5_K_M и 1,81% у Q4_K_M. Квантованные варианты позволяют снизить требования к памяти при небольшом ухудшении результата. Ограничения включают отсутствие streaming, перевода и временных меток, необходимость предварительного приведения аудио к формату 16 кГц mono WAV, а также различия качества между языками. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
neosophie/Qwen3-ASR-1.7B-JA — дообученная модель Qwen3-ASR-1.7B для автоматического распознавания японской речи. Она предназначена для транскрибации аудио, где важны точная запись японских имён, топонимов, организаций, компаний и продуктов, редких вариантов кандзи, а также технических выражений со смешением японского и английского. Модель может нормализовать произнесённые числительные в японской записи и распознавать диктовку математических выражений и кода. Архитектура — плотная Qwen3-ASR для генерации текста по аудиовходу; репозиторий содержит веса Safetensors и рассчитан на работу через Transformers. Заявлены японский и английский языки. Базовая модель поддерживает распознавание и потоковую обработку речи, однако карточка этой версии не уточняет, сохраняется ли потоковый режим после дообучения. Модель распространяется по лицензии Apache-2.0. Специализация на японских именах и написании не гарантирует точность для любых говорящих, условий записи и терминологии.
Qwen-Audio — мультимодальная большая аудиоязыковая модель семейства Qwen, разработанная Alibaba Cloud. Она принимает речь, природные звуки, музыку, пение и текст, а на выходе формирует текст. Модель рассчитана на универсальное понимание аудио и поддерживает более 30 задач без отдельной настройки под каждую из них. Модель имеет плотную архитектуру QWenLMHeadModel и содержит 11,4 млрд параметров; заявленная длина контекста — 2048 токенов. В карточке отмечены китайский и английский языки. Среди сценариев — распознавание речи, ответы на вопросы об аудиозаписях, классификация звуков и анализ музыки. Это предварительно обученная модель; Qwen-Audio-Chat — отдельная версия, полученная инструкционным дообучением, и её возможности не следует автоматически приписывать этой модели. README сообщает о сильных результатах на тестовых наборах AISHELL-1, cochlscene, ClothoAQA и VocalSound, но не приводит численных оценок. Для запуска указаны Python 3.8+, PyTorch 1.12+ и FFmpeg; для пользователей GPU рекомендована CUDA 11.4+. Лицензия в предоставленных данных не указана.
Realtime-Venus-Omni-heretic-ARA — производная модель justsumguy на основе inclusionAI/Realtime-Venus, которая, в свою очередь, дообучена на openbmb/MiniCPM-o-4_5. Это плотная мультимодальная архитектура RealtimeVenusOmni с 7,6 млрд параметров и контекстом до 40 960 токенов. Веса BF16 сохранены в формате safetensors; репозиторий также содержит ONNX-файлы. Модель предназначена для потокового аудиовизуального диалога в реальном времени: принимает текст, изображения, аудио и видео, а также может выдавать текст и речь. В этой версии применена abliteration языковой башни, направленная на снижение частоты отказов; визуальная и аудиобашни, синтез речи и связанные компоненты оставлены без изменений. Карточка сообщает о 4 отказах из 100 в повторной проверке после изменения весов. Модель поддерживает чат и интерфейс вызова инструментов. Для работы требуется Transformers с удалённым кодом; автор приводит пример загрузки через trust_remote_code. BF16-веса занимают около 18,7 ГБ и не помещаются на видеокарту с 16 ГБ памяти; автор предлагает сборку NVFP4 или NF4-квантизацию языковой части. Лицензия — Apache-2.0.
Røst-wav2vec2-315m-v2 — датская модель автоматического распознавания речи, разработанная компанией Alvenir в рамках проекта CoRal. Это Wav2Vec2ForCTC, дообученная на базе facebook/wav2vec2-xls-r-300m на корпусе CoRal-v2, содержащем разговорную и начитанную датскую речь разных возрастных групп, полов и диалектов. В метаданных указано 402,7 млн параметров; файлы представлены в формате safetensors. Модель предназначена для транскрибирования датской речи, в том числе диалектной, в разговорных записях и начитанном аудио. В оценке на CoRal-v2 для начитанной речи указаны CER 6,5% и WER 16,3%; результаты на разговорной речи предварительные и получены на тестовой выборке всего с пятью дикторами. Для оценки применялась языковая модель как постобработка. Модель распространяется по лицензии OpenRAIL, адаптированной под лицензию CoRal-v2. README указывает, что коммерческое использование допускается с ограничениями, включая синтез речи и биометрическую идентификацию; следует ознакомиться с условиями лицензии перед использованием.
SeloWhisper-ko-disfluency — модель распознавания корейской речи с разметкой речевых запинок, дообученная разработчиком репозитория на openai/whisper-large-v3-turbo. Она преобразует корейскую спонтанную речь в текст и вставляет специальные токены для заполнителей пауз, повторов и смеха прямо в расшифровку. Модель построена на архитектуре Whisper encoder–decoder и содержит около 905,3 млн параметров по метаданным Hugging Face. Модель предназначена для расшифровки разговорной корейской речи с сохранением признаков её спонтанности, например при анализе диалогов и подготовке транскриптов. В README приведены метрики на тестовых наборах разговорной речи; для сохранения тегов при декодировании нужно отключить пропуск специальных токенов. Репозиторий распространяется по лицензии MIT. Модель оптимизирована для корейской спонтанной речи и не настроена на новостное вещание, переключение языков или некорейскую речь. Возможны галлюцинации на тишине и очень коротких аудиофрагментах; автор рекомендует предварительно фильтровать такие фрагменты.
Это конверсия классификатора языков речи Silero в формат GGUF для использования с CrispASR. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц и выдаёт логарифмические вероятности для 95 языков и 58 языковых групп. В архитектуре используются обучаемый STFT-фронтенд, свёрточный энкодер в стиле MobileNet с трансформерными блоками и пулинг с весами внимания; модель содержит около 4 млн параметров. Модель подходит для определения языка речи в аудиозаписи и для автоматического выбора языка перед распознаванием речи в CrispASR, в том числе с бэкендами без встроенной идентификации языка. Наилучшие результаты указаны для фрагментов речи длительностью примерно 3–20 секунд. Конверсия выполнена из ONNX-модели snakers4/silero-lang-classifier-95; обучения или изменения возможностей не проводилось. Репозиторий распространяется по лицензии MIT.
Модель сегментации речи, разработанная evie-8 и дообученная на английской части набора Callhome с помощью diarizers на базе pyannote/segmentation-3.0. Она анализирует аудио и размечает активность и сочетания говорящих во времени, в том числе перекрывающуюся речь; модель можно подключить к конвейеру диаризации pyannote. В README приведены результаты оценки: Loss 0,4587 и DER 0,1824, а также показатели ложных срабатываний, пропусков и ошибок определения говорящего. Модель предназначена для сегментации аудио при диаризации английских разговоров. Репозиторий содержит веса safetensors, лицензия — MIT. Показатели оценки относятся к указанному набору и не гарантируют аналогичного качества на других типах аудио.
TEA-ASR-1.1-mini — компактная модель распознавания речи, разработанная участниками проекта TEA-ASR для повседневного тайваньского мандаринского языка. Это дообученная версия Qwen3-ASR-0.6B с плотной архитектурой Qwen3ASRForConditionalGeneration; в README указано 780 млн параметров. Модель преобразует речь в традиционный китайский текст с лексикой Тайваня и рассчитана на переключение между мандаринским и английским языками. Встроенные теги формата позволяют управлять записью английских фрагментов и стилем записи чисел. Модель предназначена для транскрибации аудио в компактных сценариях, где важны тайваньская лексика и смешанная китайско-английская речь. Она поставляется как единый checkpoint в формате Safetensors и работает через Transformers как Qwen3-ASR. По README, в версии 1.1-mini улучшена обработка переключения языков относительно первого поколения; численные результаты приведены для ASCEND и CSZS. Лицензия — MIT.
TEMPO SFT Stage 1 — аудиоязыковая модель на базе NVIDIA Audio Flamingo 3, дообученная на 51 512 синтетических примерах в течение двух эпох. Архитектура AudioFlamingo3ForConditionalGeneration объединяет аудиоэнкодер Whisper-large и языковую часть Qwen2-7B; для временной привязки используются специальные токены времени и time-aware projector. Модель принимает аудио и текстовые инструкции, а ответы формирует текстом с временными метками. Модель предназначена для распознавания речи с временными метками, диаризации говорящих, поиска интервалов по текстовому запросу, плотного описания событий и анализа временных изменений в музыке. Один декодер обслуживает эти сценарии через теги задач в запросе. Это ранний этап обучения TEMPO на синтетических данных; приведённые в карточке результаты показывают ограничения качества, особенно для распознавания речи с несколькими говорящими и определения аккордов. Поддерживается только английский язык. Временные метки ограничены 60 секундами, поэтому более длинные записи нужно делить на фрагменты; метки говорящих согласованы только внутри записи. Лицензия указана как other, конкретные условия использования в предоставленных данных не описаны.
kalmuraee/tokens — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice. Она использует архитектуру Wav2Vec2ForCTC и содержит 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. В README приведены результаты оценки на тестовой выборке: loss 0,9811 и WER 0,4608. Язык распознавания и конкретные сценарии применения в карточке не уточнены. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
anton-l/wav2vec2-base-superb-sd — модель на базе Wav2Vec2, опубликованная пользователем anton-l на Hugging Face и основанная на facebook/wav2vec2-base-960h. Она предназначена для покадровой классификации аудиосигнала в задачах определения говорящих и сегментации речи по говорящим. Модель имеет архитектуру Wav2Vec2 с трансформерным энкодером и классификационной головкой для аудиокадров, содержит около 113,3 млн параметров и работает через Transformers с PyTorch. В конфигурации определены два класса: speaker_0 и speaker_1. Модель принимает речевой аудиосигнал и возвращает классификацию для временных кадров, что позволяет оценивать, какой из двух условных говорящих активен в каждый момент. Модель подходит для базовой диаризации и анализа многоговорящих записей с двумя участниками. Она не выполняет транскрибацию текста и не определяет реальные имена людей без дополнительной обработки. Контекстное окно, поддерживаемые языки и лицензия в доступных источниках не установлены.
Aniemore/wav2vec2-bert-base-s-emotion-v1-crosslingual — мультиязычная модель распознавания эмоций в речи, разработанная Aniemore. Она дообучена на смеси 27 939 аудиофрагментов из восьми языков и трёх речевых регистров и классифицирует примеры по семи классам: гнев, отвращение, энтузиазм, страх, счастье, нейтральность и грусть. Архитектура — Wav2Vec2BertForSequenceClassification; модель принимает аудио вместе с расшифровкой речи и выдаёт метку эмоционального класса. Для скачивания доступны варианты fp32, int8, fp8 и int4. Модель ориентирована на анализ как постановочной, так и спонтанной речи. В README приведены результаты на русских тестовых наборах и наборе CAMEO на семи нерусских языках. На спонтанной русской речи она заметно лучше предыдущей версии распознаёт преобладающий нейтральный класс, но результаты на постановочной речи ниже. Модель унаследована от facebook/wav2vec2-large-xlsr-53 и bert-base-multilingual-cased; лицензия репозитория — Apache-2.0.
Модель Gabor Madarasz для распознавания венгерской речи и преобразования её в текст. Это дообученная на венгерских данных модель facebook/mms-1b-all с архитектурой Wav2Vec2ForCTC и примерно 1,3 млрд параметров. Она принимает аудио и предназначена для транскрибации записанной речи, например подкастов, аудиокниг и одноголосых записей. Модель рассчитана на венгерский язык. В тестах автор сообщает WER 0,3068 и CER 0,0727 на FLEURS, а также WER 0,1275 на выборке из Common Voice и Voxpopuli; результаты зависят от набора данных и условий записи. Лицензия — CC0-1.0. Для улучшения выбора слов автор рекомендует декодирование с языковой моделью, например KenLM через beam search.
RuudVelo разработал эту модель распознавания нидерландской речи, дообучив facebook/wav2vec2-xls-r-300m на Common Voice 8.0. Это плотная модель архитектуры wav2vec2 с CTC-выходом и примерно 402,7 млн параметров; для декодирования также обучена и использована языковая модель KenLM с 6-граммами. Модель предназначена для преобразования нидерландской речи в текст, в частности для аудиозаписей, подобных материалам Common Voice. Обучение проводилось 75 эпох на обучающей части Common Voice 8.0; тестовая выборка Common Voice 8.0 не использовалась для обучения или валидации. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Модель f77777/wav2vec2-large-xls-r-300m-firdous-malay-colab — дообученная на наборе Common Voice 13.0 модель распознавания речи на основе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, выдавая распознанный текст. Название указывает на настройку для малайского языка, однако README и метаданные не подтверждают язык обучения или область применения, поэтому эту специализацию нельзя считать установленной. Модель содержит около 402,7 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Она предназначена для преобразования речи в текст; сведения о качестве, ограничениях и оценке модели в карточке отсутствуют.
Pinwheel/wav2vec2-large-xls-r-300m-tr-colab — модель автоматического распознавания речи, размещённая пользователем или организацией Pinwheel на Hugging Face. Она предназначена для преобразования аудиозаписей в текст и может использоваться через библиотеку Transformers и класс AutoModelForCTC. По идентификатору модели вариант tr предназначен для турецкой речи, однако карточка модели не содержит подробного описания языка и набора данных. Модель основана на архитектуре wav2vec2 и содержит около 402,7 млн параметров. Она относится к семейству XLS-R и ориентирована на задачи speech-to-text. Сильной стороной является применение крупной предварительно обученной речевой модели для автоматического распознавания речи; точность зависит от качества аудио, акцента, предметной области и соответствия данных обучения реальным записям. Лицензия для этого конкретного репозитория в доступных данных не установлена.