I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиnineninesix разработал мультиязычную модель распознавания речи на основе OpenAI Whisper Medium и дообучил её для поддержки кыргызского языка. Модель принимает аудио и преобразует речь в текст; заявлена поддержка кыргызского, английского и русского языков. Она содержит около 455,8 млн параметров, использует архитектуру Whisper и доступна в формате Safetensors для Transformers. Для кыргызской транскрипции требуется пользовательский токенизатор из репозитория модели. Модель предназначена для расшифровки кыргызских медиа, образовательных материалов и звонков, в том числе в сценариях переключения между языками. В README описано обучение примерно на 2 000 часах кыргызского аудио и смеси английских и русских данных; на FLEURS сообщается о практических значениях WER около 0,2–0,4 для кыргызского. Это заявленные результаты карточки, а не независимая оценка. Лицензия — Apache-2.0. Качество распознавания английского и русского может быть ниже, чем у исходной Whisper Medium; на чистых тестовых данных возможен повышенный WER из-за обучения на шумном аудио. Для других языков пригодность не заявлена, а для специализированных предметных областей может потребоваться дообучение.
SalmanFaroz/Llama-2-7b-samsum — языковая модель семейства Llama 2, разработанная на основе meta-llama/Llama-2-7b-chat-hf и дообученная автором карточки методом QLoRA на наборе диалогов SAMSum. Модель предназначена для суммаризации разговоров на английском языке: она принимает текст беседы и генерирует её краткое изложение. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст длиной до 4096 токенов. Указаны библиотека Transformers и формат весов PyTorch. Лицензия — MIT. Карточка не приводит сравнительных оценок качества, поэтому качество на других жанрах текста и языках не установлено.
LinkSoul разработала LLaSM-Cllama2 — двуязычную речевую и языковую модель-ассистент на основе LLaSM, предназначенную для диалогов на китайском и английском языках с речевым и текстовым вводом. Репозиторий содержит плотную авторегрессионную архитектуру LlaaaLlamaForCausalLM с 6,6 млрд параметров, веса PyTorch и контекст до 2048 токенов. Модель обучалась на наборе инструкций LLaSM-Audio-Instructions и предназначена для мультимодальных диалогов речь–текст; Hugging Face помечает её основной задачей генерацию текста. Модель подходит для голосового общения с ассистентом и ответов на инструкции на китайском и английском языках. В README проект назван коммерчески применимым и указан Apache-2.0, тогда как метаданные этой карточки указывают лицензию openrail; перед использованием следует проверить лицензию именно распространяемых весов. README перечисляет семейство Chinese-Llama-2 и варианты LLaSM-Chinese-Llama-2-7B, но не позволяет однозначно установить точную базовую модель этого репозитория.
Malaysian Finetune Whisper Base — модель автоматического распознавания речи на базе Whisper Base, дообученная разработчиками Mesolitica на малайзийских аудиоданных. В обучении использовались наборы IMDA STT и Malay Conversational Speech Corpus, синтетические метки для малайзийских видео и аудиокниг Nusantara, а также закрытый Haqkiem TTS Dataset. Модель предназначена для транскрибации стандартной и местной разновидностей малайского языка, а также стандартного английского и малайско-английской разговорной речи Manglish. В репозитории указано 51,7 млн параметров; архитектура — WhisperForConditionalGeneration. Для обработки аудио длиннее 30 секунд README рекомендует разбивать его на фрагменты до 30 секунд и распознавать отдельно. Карточка показывает формат весов Safetensors. Лицензия в предоставленных данных не указана.
Malaysian Finetune Whisper Medium V2 — дообученная модель семейства Whisper, разработанная Mesolitica на основе Whisper Medium с использованием малайзийского набора данных. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. Модель содержит 455,8 млн параметров и распространяется в формате safetensors. Карточка указывает на настройку для малайзийских данных; метаданные также отмечают английский, китайский и тамильский языки, но не уточняют качество распознавания для каждого из них. Модель принимает аудио и выдаёт текст. Лицензия и длина контекста в доступных данных не указаны.
MGM-Omni-7B — мультимодальная чат-модель, разработанная авторами проекта MGM-Omni и представленная в одноимённой статье. Это компонент восприятия проекта, основанный на дообученной Qwen2.5-VL-7B-Instruct; модель имеет плотную архитектуру MGMOmniForCausalLM и 7,1 млрд параметров. Для работы с речевым выводом README указывает отдельную модель MGM-Omni-TTS. Модель предназначена для диалогов с текстом, изображениями, видео и аудио. Среди заявленных сценариев — понимание длинной речи, включая записи длительностью до часа, мультимодальные вопросы и ответы, а также совместная обработка нескольких типов входных данных. В экосистеме MGM-Omni также заявлены генерация длинной речи, потоковый аудиовывод и клонирование голоса по короткому образцу, но для речевого синтеза требуется отдельный компонент SpeechLM. Модель рассчитана на английский и китайский языки. Контекст составляет 128 000 токенов. Репозиторий содержит веса в формате safetensors, библиотека запуска — Transformers. Лицензия Apache-2.0. Описание возможностей и сравнительных результатов в README носит заявительный характер; заявленные речевые функции зависят от дополнительной модели MGM-Omni-TTS.
Модель csikasote/mms-1b-all-bigc_mini-train-drodat-gdro-1.15e-5-dat-0.207-no-sd-0.00-42 — дообученная версия facebook/mms-1b-all, созданная на наборе BIGC_MINI - BEM. Это плотная модель wav2vec2 с архитектурой Wav2Vec2ForCTC и 1,3 млрд параметров, предназначенная для автоматического распознавания речи и преобразования аудио в текст. В карточке приведены результаты оценки на тестовом наборе: Loss 35,7283 и CER 0,1251. Модель распространяется в формате safetensors и доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Данных о языках и более подробных сценариях обучения в карточке нет.
mms-300m-1130-forced-aligner-ONNX — ONNX-версия модели MahmoudAshraf/mms-300m-1130-forced-aligner, автоматически конвертированная и опубликованная сообществом onnx-community на Hugging Face. Модель основана на MMS-300M и преобразована для использования с Transformers.js; исходный чекпойнт подготовлен из torchaudio-модели и обучен на наборе данных для forced alignment. Модель предназначена для принудительного выравнивания известного текста и аудиозаписи: она помогает определить временные интервалы произносимых токенов, слов или фрагментов текста и получать временные метки слов. Это подходит для транскрибации с таймкодами, синхронизации текста с речью и анализа речевых записей. Для работы используются аудиофайл, текст и ISO-639-3-код языка; README также указывает поддержку более чем ста языков, включая русский, английский, немецкий, французский, китайский, японский и другие. Ключевая характеристика модели — архитектура на базе wav2vec2/MMS-300M с CTC-подходом и форматом ONNX. Версия ориентирована на запуск через Transformers.js, а исходный Python-процесс включает загрузку аудио, генерацию эмиссий, предварительную обработку текста, выравнивание и расчёт временных интервалов. README не содержит точных сведений о размере ONNX-файлов, длине контекста, метриках качества или ограничениях по длительности аудио. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с обязательной атрибуцией, но ограничивающей коммерческое применение.
hts98/Model2 — модель автоматического распознавания речи на архитектуре Whisper с 455,8 млн параметров. Разработчик указывает, что модель дообучена на основе hts98/Model1; задача обучения названа, но набор данных обозначен как None. Модель принимает аудио и генерирует текстовую транскрипцию. Она распространяется в формате PyTorch по лицензии Apache-2.0. Карточка не содержит сведений о целевых языках, сценариях применения, результатах оценки или известных ограничениях. Поэтому качество распознавания и пригодность для конкретных типов аудио по имеющимся данным определить нельзя.
Vkt/model-facebookptbrlarge — модель распознавания речи, дообученная на Common Voice на основе facebook/wav2vec2-large-xlsr-53-portuguese. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель принимает аудио и предназначена для преобразования речи в текст на португальском языке. В README приведены результаты на наборе оценки Common Voice: WER 0,1322 и loss 0,2206. Модель загружена в формате PyTorch и распространяется по лицензии Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения; результаты оценки относятся к указанному набору данных.
Moonshine Streaming Tiny — это компактная модель автоматического распознавания речи (ASR), разработанная UsefulSensors и представленная здесь в формате GGUF для использования с CrispStrobe/CrispASR. Репозиторий содержит только конвертации и квантованные варианты исходной модели, без дообучения, дистилляции или изменения архитектуры и возможностей. Модель предназначена для потоковой транскрипции английской речи с низкой задержкой, в том числе на периферийных устройствах. Она использует потоковую архитектуру encoder-decoder: фронтенд обрабатывает необработанный аудиосигнал без mel-спектрограмм, encoder применяет sliding-window Transformer, а autoregressive decoder формирует текст. Архитура включает по 6 слоёв encoder и decoder с размерностью 320, SiLU-gated MLP и частичным RoPE; поддерживается упреждение 80 мс. Размер модели — около 34 млн параметров. Доступны вариант F32 размером 168 МБ и квантованный Q4_K размером 31 МБ. Квантованный вариант требует меньше памяти и лучше подходит для устройств с ограниченными ресурсами, но README не приводит количественную оценку влияния квантования на качество. Модель поддерживает только английский язык; сведения о точности, обучающих данных и других ограничениях в карточке не указаны. Для работы требуется файл tokenizer.bin в той же директории, что и модель. Лицензия — MIT.
Immich/pipeline-error-propagation-dialogue-summarization-bart-pipeline-seed42 — модель BART-base, дообученная разработчиком Immich для суммаризации совещаний. Она обучена на подходящем подмножестве AMI Meeting Corpus с seed 42; вариант pipeline сравнивает суммаризацию полной встречи с иерархическим подходом, который делит диалог на сегменты, извлекает сведения и генерирует сводку. Модель содержит 95,2 млн параметров, принимает текст и выдаёт текст; максимальный контекст составляет 1024 токена. Модель подходит для создания кратких сводок встреч по расшифровкам диалогов. В карточке указана лицензия MIT. README описывает экспериментальный checkpoint и несколько seed того же варианта; качество и переносимость за пределы данных совещаний AMI не установлены.
Модель collinbarnwell/pyannote-segmentation-30 — открытая модель сегментации речи по говорящим, обученная Севреном Баруди с использованием pyannote.audio 3.0. Она принимает 10-секундные фрагменты монофонического аудио с частотой 16 кГц и выдаёт покадровую матрицу из семи классов: неречевой участок, речь каждого из трёх говорящих и перекрывающаяся речь пар говорящих. Модель подходит для определения активности речи, сегментации говорящих и обнаружения одновременной речи в коротких фрагментах. Для диаризации полной записи её нужно использовать в составе дополнительного конвейера: сама модель обрабатывает только 10-секундные фрагменты. Обучение проводилось на наборах AISHELL, AliMeeting, AMI, AVA-AVD, DIHARD, Ego4D, MSDWild, REPERE и VoxConverse. Лицензия репозитория — MIT; для загрузки базовой модели pyannote/segmentation-3.0 требуется принять условия её использования и получить токен Hugging Face.
oddadmix/qwen3-asr-0.6b-arabic-dialectal — дообученная Oddadmix модель распознавания речи на основе Qwen/Qwen3-ASR-0.6B-hf. Это мультимодальная LLM-ASR с плотной архитектурой Qwen3-ASR; в README указано 0,6 млрд параметров (также приведена оценка 938 млн). Модель предназначена для транскрибации арабской речи из разных диалектных регионов, включая левантийский, магрибский, египетский, заливный, суданский и иракский арабский, а также литературный арабский. Она принимает аудио и выдаёт текст без диакритических знаков. На тестовом наборе из 932 фрагментов дообученная версия показала WER 0,676 и CER 0,408 против 0,756 и 0,454 у базовой модели в режиме zero-shot. Модель дообучена всеми параметрами на примерно 36,8 тыс. обучающих примеров после фильтрации; данные включали аугментации шума, музыки, скорости, голоса и реверберации. Подходит для офлайн-транскрибации коротких записей и оценки распознавания арабских диалектов. По данным README, обрабатывает фрагменты длительностью до 30 секунд и не поддерживает потоковое распознавание. Качество на реальных записях и отдельных диалектах может различаться; магрибские диалекты названы наиболее сложными. Лицензия — Apache-2.0; автор рекомендует проверять качество на собственных данных перед производственным использованием.
whisper-base — это модель автоматического распознавания речи, подготовленная компанией Software Mansion для библиотеки React Native ExecuTorch. В репозитории размещены экспортированные программы ExecuTorch в формате .pte, готовые к запуску непосредственно на устройстве. Исходной моделью является whisper-base от OpenAI. Модель предназначена для сценариев преобразования речи в текст в приложениях на React Native и в собственных приложениях, использующих runtime ExecuTorch. Доступны варианты для backend Core ML, MLX, Vulkan и XNNPACK с точностью fp16, bf16, int8 или fp32; размер файлов составляет примерно от 97,8 до 380 МБ в зависимости от варианта. Точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Файлы опубликованы для ExecuTorch версии 1.4.1; обратная совместимость с более старыми версиями не гарантируется, а для новых версий также следует учитывать совместимость runtime. Репозиторий распространяется по лицензии Apache-2.0.
whisper-base.en — модель автоматического распознавания речи, опубликованная Software Mansion для библиотеки React Native ExecuTorch. Она основана на upstream-модели whisper-base.en от OpenAI и поставляется в виде программ ExecuTorch с расширением .pte, готовых к запуску непосредственно на устройстве. Модель предназначена для преобразования англоязычной речи в текст в мобильных приложениях и других сценариях on-device распознавания. В репозитории доступны варианты для backend Core ML, MLX, Vulkan и XNNPACK с точностями fp16, bf16, int8 и fp32. Размер файлов зависит от backend и точности и составляет примерно от 97,8 до 380 МБ. К сильным сторонам относятся поддержка нескольких аппаратных backend, варианты с пониженной точностью для потенциального сокращения размера и требований к ресурсам, а также интеграция с React Native ExecuTorch. Ограничения включают ориентацию на английский язык, необходимость совместимого устройства и runtime ExecuTorch версии 1.4.1; обратная и прямая совместимость с другими версиями не гарантируется. Сведения о размере архитектуры и длине контекста в README не указаны. Репозиторий распространяется по лицензии Apache-2.0.
RsGoksel/RsGoksel_ITU_Mainframe-balanced-ct2 — турецкая модель автоматического распознавания речи, созданная RsGoksel на основе openai/whisper-large-v3-turbo с помощью LoRA fine-tuning. Репозиторий содержит сборку CTranslate2 в формате float16 для быстрого вывода через faster-whisper и WhisperX. Модель предназначена для транскрибирования турецкой речи в разных предметных областях, включая чистую и менее устойчивую к шуму речь, а также медицинские записи. В README рекомендуется задавать язык tr и отключать condition_on_previous_text; качество оценивается метрикой mean-per-utterance WER после нормализации турецкого текста. Модель принимает аудио и выдаёт текст. Лицензия — MIT. README не приводит количественных результатов WER или подробностей о размере и длине контекста.
Shuka v1 — аудиоязыковая модель Sarvam AI, которая принимает речь и отвечает на вопросы о её содержании. Она построена как encoder-decoder: аудиоэнкодер Saaras v1 соединён небольшим проектором с декодером Llama 3 8B Instruct от Meta. При обучении обновляли только веса проектора размером около 60 млн параметров; остальная сеть оставалась замороженной. Модель обучали менее чем на 100 часах аудио. Shuka предназначена для диалога и ответов на вопросы по аудио на английском и хинди. Благодаря многоязычному аудиоэнкодеру она также показала работу в режиме zero-shot для вопросов по аудио на бенгальском, гуджарати, каннада, малаялам, маратхи, ория, пенджаби, тамильском и телугу. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель основана на Llama 3 8B Instruct и Saaras v1. Для использования весов действует лицензия Llama 3. README сообщает о тестировании на перечисленных языках, но не приводит количественных оценок качества.
Stream-Omni — разработанная Shaolei Zhang, Shoutao Guo, Qingkai Fang, Yan Zhou и Yang Feng сквозная мультимодальная чат-модель семейства StreamOmniLlama с 7,5 млрд параметров. Она принимает текст, изображения и речь, а в ответ генерирует текст и речь; при голосовом взаимодействии также может выдавать промежуточную транскрипцию и текст ответа, пока продолжается обмен аудио. Заявлена поддержка сочетаний мультимодальных входов и сквозное обучение на небольшом объёме мультимодальных данных. Модель предназначена для голосовых ассистентов и диалоговых сценариев, где нужно объединить речь, текст и зрительную информацию, например для общения по изображению с голосовым ответом. В метаданных указаны контекст до 131 072 токенов, формат safetensors и лицензия GPL-3.0. Карточка описывает возможности модели, но не приводит количественных оценок качества или подробных ограничений по отдельным входным форматам и языкам.
NVIDIA FastConformer-Hybrid Large для арабского языка — модель автоматического распознавания речи, разработанная NVIDIA и доступная для работы через NeMo. Она преобразует аудио в текст и поддерживает знаки пунктуации: точки, арабские запятые и вопросительные знаки. Модель построена на архитектуре FastConformer с гибридным декодером Transducer (RNNT) и CTC и содержит около 115 млн параметров. Она обучена на примерно 760 часах арабской речи из MASC, Common Voice 17.0 и Fleurs. На вход подаются монофонические WAV-файлы с частотой 16 кГц; модель работает в нестриминговом режиме. На выходе — арабский текст без диакритических знаков, которому может потребоваться обратная нормализация. Модель предназначена для транскрибирования арабской речи и разрешена для коммерческого и некоммерческого использования по лицензии CC BY 4.0. Точность зависит от шума, акцента, типа речи и контекста; качество может снижаться на диалектной речи и незнакомой терминологии. Она не предназначена для критически важных сценариев.
TEA-ASR-1 — модель распознавания речи, созданная JacobLinCool для повседневной речи на мандаринском китайском Тайваня. Она дообучена на основе Qwen3-ASR-1.7B: аудиоэнкодер заморожен, а небольшая LoRA-адаптация декодера объединена с весами в единый чекпойнт. Модель принимает аудио и выдаёт транскрипцию традиционными китайскими иероглифами с лексикой, характерной для Тайваня; она также рассчитана на естественное переключение между китайским и английским в речи. Модель предназначена для транскрибации разговоров, лекций и записей на тайваньском мандаринском, в том числе смешанной китайско-английской речи. В README указана версия на 2 млрд параметров и совместимость с API Qwen3-ASR; для распознавания тайваньской речи рекомендуется задавать язык Chinese, а для имён и терминов можно передавать контекстные подсказки. Автор приводит результаты сравнений на публичных наборах CommonVoice zh-TW, ASCEND и CSZS, полученные в одном протоколе; это собственные измерения автора, а не независимая оценка. Лицензия — MIT. Проверка описана для тайваньского мандаринского и китайско-английского переключения кодов, поэтому качество на других языках и речевых условиях этими данными не подтверждено. Заявленные скорость и потребление памяти измерялись на NVIDIA RTX 5090 с bf16 и не гарантируют такие же показатели на другом оборудовании.
Kotib/uzbek_stt_v1 — модель автоматического распознавания речи, разработанная командами Kotibai и Rubai и дообученная на базе OpenAI Whisper Medium. Она принимает аудио и преобразует узбекскую речь в текст; модель рассчитана прежде всего на узбекский язык и латинскую письменность, включая некоторые русские заимствования, произнесённые в узбекской речи. Архитектура Whisper, 455,8 млн параметров; модель использует формат safetensors и библиотеку Transformers. Для обучения использовали около 1 600 часов узбекского аудио, а оценку провели на 1 864 примерах из восьми тестовых наборов. В карточке указана общая доля ошибок WER 16,7%; на чистой речи — около 6–11%, на шумной или дополненной — около 12–24%. Модель подходит для расшифровки речи, диктовки, голосовых помощников и создания субтитров. Качество снижается при сильном шуме и частом переключении между языками; модель оптимизирована для узбекского. Лицензия — Apache-2.0.
w2v-bert-timit-demo — дообученная AbidGru модель распознавания речи на базе facebook/w2v-bert-2.0. Она использует архитектуру Wav2Vec2BertForCTC и предназначена для преобразования входящего аудио в текст. В репозитории указано 402,7 млн параметров; модель распространяется в формате safetensors и рассчитана на работу с библиотекой Transformers. Набор данных для дообучения не описан, поэтому область применения, языковую поддержку и качество распознавания по имеющимся сведениям определить нельзя. Лицензия модели — MIT.
Карточка модели sanchit-gandhi/wav2vec2-2-bert-grid-search на Hugging Face совпадает с карточкой sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search, поэтому описание составлено по ней. sanchit-gandhi/wav2vec2-gpt2-wandb-grid-search — модель распознавания речи на архитектуре SpeechEncoderDecoderModel. По карточке, её обучили с нуля на датасете LibriSpeech ASR; формат весов — PyTorch. Модель предназначена для преобразования аудиозаписей речи в текст. Карточка не приводит сведений о размере, контексте, языках, качестве распознавания или конкретных сценариях применения. Эти характеристики нельзя надёжно определить по имеющимся данным. Лицензия в доступных сведениях не указана.
saribalgar/wav2vec2-base-timit-ms — дообученная модель распознавания речи на архитектуре Wav2Vec2ForCTC, основанная на facebook/wav2vec2-base. Она принимает аудио и преобразует речь в текст; карточка сообщает метрики на оценочной выборке: loss 0,7589 и WER 0,3722. Модель содержит 113,3 млн параметров и опубликована в формате PyTorch. Модель распространяется по лицензии Apache-2.0. В README набор данных назван None, а описание сценариев применения и ограничений отсутствует, поэтому область обучения и поддерживаемые языки по доступным данным определить нельзя.
wav2vec2-finetuned-asr — модель автоматического распознавания речи, дообученная на основе facebook/wav2vec2-xls-r-300m. Она использует архитектуру Wav2Vec2ForCTC и принимает аудио, преобразуя речь в текст. Датасет дообучения не указан; сведения о поддерживаемых языках и целевых сценариях отсутствуют. На оценочном наборе указаны Loss 0,4425, WER 0,5418 и CER 0,3254. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. Результаты приведены без описания набора данных и методики оценки, поэтому их нельзя уверенно переносить на другие аудио и условия записи.
Это модель распознавания речи на основе архитектуры Wav2Vec2, разработанная автором репозитория ravirajoshi путём дообучения facebook/wav2vec2-xls-r-300m. Она преобразует аудио на хинди в текст и подходит для автоматической транскрипции речи. Модель содержит 402,7 млн параметров и распространяется в формате PyTorch. В карточке приведены результаты на тестовой выборке: WER 0,3200 и loss 0,7049. Модель выпущена под лицензией Apache-2.0. Название датасета в README указано как None, поэтому сведения о данных обучения ограничены.
RuudVelo разработал модель автоматического распознавания речи на базе архитектуры wav2vec2. Это дообученная на Common Voice версия facebook/wav2vec2-xls-r-300m с 402,7 млн параметров. Модель принимает аудио и преобразует речь в текст; карточка указывает нидерландский язык. На тестовой выборке Common Voice указаны loss 0,3923 и WER 0,1748. Модель опубликована в формате PyTorch под лицензией Apache-2.0. В карточке нет подробных сведений о сценариях использования и ограничениях распознавания.
Osolon разработал wav2vec2-large-xls-r-300m-pl — модель распознавания речи, полученную дообучением facebook/wav2vec2-xls-r-300m на Common Voice 10.0. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. На указанной в карточке оценочной выборке модель показала WER 0,1338 и loss 0,1589. Модель распространяется по лицензии Apache-2.0.
cstr/wav2vec2-large-xlsr-53-japanese-GGUF — это GGUF-конверсия и набор квантизированных вариантов модели jonatasgrosman/wav2vec2-large-xlsr-53-japanese, подготовленные для использования с CrispASR. Модель предназначена для автоматического распознавания японской речи и транскрибации аудиозаписей. В основе лежит архитектура Wav2Vec2ForCTC с размером скрытого состояния 1024, 16 головами внимания, 24 трансформерными слоями и CTC-словарём из 2341 токена. Поддерживается японский язык и аудиомодальность; текстовый ввод и генерация произвольного текста не заявлены. Доступны варианты F16 размером около 635 МБ, Q8_0 около 365 МБ и Q4_K около 221 МБ, причём Q4_K указан как целевой вариант для автоматической загрузки. Квантизация уменьшает требования к памяти, тогда как F16 и Q8_0 сохраняют более высокую числовую точность. Модель подходит для локального распознавания японской речи через CrispASR, включая транскрибацию аудиофайлов. Ограничения, точность на различных типах аудио, поддерживаемые форматы и требования к аппаратному обеспечению в карточке не указаны. Репозиторий содержит только конверсию формата и квантизацию исходных весов, без обучения, дообучения или изменения архитектуры и словаря. Лицензия Apache-2.0, такая же, как у исходной модели. Разработчиком исходной модели указан jonatasgrosman; данный репозиторий распространяет её преобразованные и квантизированные версии и не заявляет о создании новой модели.