I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиseastar105/whisper-medium-komixv2 — дообученная модель распознавания речи на базе OpenAI Whisper Medium, опубликованная автором seastar105. Она предназначена для транскрибации корейской речи, в том числе телефонных разговоров, совещаний, адресов и разговорной речи из теле- и радиопередач. Архитектура — WhisperForConditionalGeneration, модель содержит 455,8 млн параметров и принимает аудио, выдавая текст; веса доступны в форматах Flax и Safetensors. Автор сообщает, что на используемом им тестовом наборе среднее качество превосходит Whisper Large v3. В README приведены результаты сравнений на нескольких корейских наборах, однако таблица представлена не полностью, а совещания исключены из описанной оценки. Это утверждение не следует считать гарантией качества на других данных. Лицензия в предоставленных сведениях не указана.
Portuguese Medium Whisper — модель распознавания речи, созданная дообучением OpenAI Whisper Medium автором pierreguillou на наборе Common Voice 11.0. Она преобразует аудио на португальском языке в текст и подходит для транскрибации записей и оценки систем распознавания речи. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; в метаданных указан формат PyTorch. На тестовой выборке автор сообщает Loss 0,2628 и WER 6,5987. Модель распространяется по лицензии Apache-2.0. Показатели сравнения с другими версиями Whisper приведены автором на основе сходства тестовых наборов, поэтому их не следует считать прямым сравнением на идентичном тесте.
Whisper Medium TR — дообученная модель emre на базе мультиязычной OpenAI Whisper Medium для распознавания турецкой речи в текст. Она использует трансформерную архитектуру Whisper и содержит 455,8 млн параметров; обучение проводилось на начальных 10% обучающей и валидационной частей турецкого Common Voice 11.0 от Mozilla Foundation. Модель предназначена для транскрибирования турецких аудиозаписей; в README для оценочного набора указана WER 18,51. Модель принимает аудио и выдаёт текст. В обучении использовался weight decay 0,1 для снижения переобучения. Лицензия — Apache-2.0.
oddadmix/whisper-small-arabic-dialectal-v2 — модель oddadmix, полученная дообучением openai/whisper-small с 244 млн параметров на сбалансированном по диалектам наборе oddadmix/lahgtna-v3-small. Она предназначена для распознавания речи на разных диалектах арабского языка и выдаёт транскрипцию без диакритических знаков. Модель принимает аудио и генерирует текст; реализована на архитектуре Whisper и доступна в формате safetensors через Transformers. На сбалансированной тестовой выборке примерно из 2600 фрагментов указаны WER 0,4034 и CER 0,1528. Среди описанных результатов лучше распознаются диалекты Персидского залива и Леванта, а тунисский, алжирский и марокканский варианты даются сложнее. Лицензия — Apache-2.0.
jlvdoorn/whisper-small-atco2-asr — дообученная модель распознавания речи на базе мультиязычной Whisper Small от OpenAI. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и принимает аудио для преобразования речи в текст. Репозиторий распространяет веса в форматах PyTorch и safetensors. Модель предназначена для автоматического распознавания речи. В README приведены результаты оценки: loss 0,8297 и WER 33,4520; описание набора данных, сценариев применения и ограничений не предоставлено. Лицензия — Apache-2.0.
Это англоязычная версия модели OpenAI Whisper small, преобразованная командой handy-computer в формат GGUF для использования с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст, включая обработку длинных аудиозаписей с декодированием по фрагментам. Поддержка потоковой обработки, перевода и автоматического определения языка отключена; доступны сегментные временные метки. Модель построена на архитектуре Transformer encoder-decoder и обрабатывает аудио окнами длительностью 30 секунд. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 172 до 969 МБ. На тестовой выборке LibriSpeech test-clean заявленная частота ошибок слов составляет 2,97–3,11% в зависимости от варианта квантования. Квантованные версии требуют меньше памяти и могут быть удобнее для локального запуска, но точность зависит от выбранного формата и условий обработки. Модель ориентирована только на английский язык и не предназначена для перевода или мультиязычного распознавания. Для работы требуется transcribe.cpp; входные данные должны быть представлены как монофонический WAV с частотой 16 кГц либо предварительно преобразованы в этот формат. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
vumichien/whisper-small-ja — модель распознавания японской речи, полученная дообучением Whisper Small от OpenAI на японской части Mozilla Common Voice 11.0. Она принимает аудио и генерирует текстовую транскрипцию; архитектура — WhisperForConditionalGeneration, размер — 153,1 млн параметров. Модель подходит для преобразования японской речи в текст. На указанном в карточке наборе оценки достигнуты значения WER 13,4679 и CER 8,6022. Базовая Whisper Small также поддерживает несколько языков и перевод аудио на английский, однако карточка этой версии описывает дообучение именно для японского распознавания. Веса доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0.
kinit/whisper-small-sk — модель автоматического распознавания речи, созданная командой KInIT путём полнопараметрического дообучения openai/whisper-small на словацком речевом корпусе. Это encoder-decoder-модель семейства Whisper с 153,1 млн параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для транскрибирования словацкой речи в разных предметных областях и условиях записи. Для повышения устойчивости к реальным записям при обучении применялась аугментация фоновым шумом. В оценке на Common Voice 24.0 модель показала WER 14,15%, а на внутреннем тестовом наборе KInIT — 8,64%; результаты относятся к указанным наборам и не гарантируют аналогичное качество на других данных. Дообучение только на словацком привело к ухудшению распознавания других языков. Качество может снижаться на выраженно акцентированной, диалектной и специализированной речи; для надёжной обработки сегменты длиннее 30 секунд требуют разбиения. Потоковое распознавание без подходящей нарезки и критически важные транскрипции без проверки человеком не рекомендуются. Лицензия — Apache-2.0.
onnx-community/whisper-tiny — это версия модели openai/whisper-tiny с весами в формате ONNX, подготовленная для работы с библиотекой Transformers.js. Репозиторий поддерживается сообществом onnx-community и предназначен для запуска модели в JavaScript- и веб-средах, совместимых с Transformers.js. Модель рассчитана на задачи обработки и распознавания речи, однако в представленном README не указаны конкретные сценарии применения, поддерживаемые языки, размер модели, архитектурные параметры, максимальная длина контекста или сведения о модальностях. Известно лишь, что исходной моделью является Whisper Tiny, а ONNX-представление обеспечивает совместимость с веб-ориентированными инструментами. Ключевое преимущество — возможность использования модели в экосистеме Transformers.js и потенциального запуска в веб-приложениях без исходного формата весов. Ограничения, точность, требования к ресурсам и особенности производительности в README не описаны. Лицензия для этого репозитория также не указана.
Модель wrice/whisper-tiny-grpo-4bddbd7-cv22-tiny-klbeta02 — компактная модель распознавания речи на архитектуре Whisper, дообученная автором с помощью GRPO и смешанной функции вознаграждения на основе ошибок слов и символов. Она предназначена для преобразования аудиозаписей в текст; обучающие данные взяты из Common Voice для 77 языковых локалей, а язык каждого аудиофрагмента при обучении задавался по локали. В README приведены результаты валидации на срезе Common Voice: общий WER 0,656 и CER 0,270 после нормализации текста. Модель можно использовать для транскрибации аудиофайлов через Transformers pipeline. Это экспериментальный proof of concept, а не настроенная для производства система; фактическое качество зависит от предметной области, акцента, языка и качества аудио. Модель распространяется по лицензии MIT.
Rolv-Arild/xls-r-300m-npsc-4 — модель автоматического распознавания речи, разработанная путём дообучения facebook/wav2vec2-xls-r-300m на наборе NBAILAB/NPSC - 16K_MP3. Она использует архитектуру wav2vec2 с CTC-декодированием, принимает аудио и преобразует речь в текст. На оценочном наборе указаны loss 0,1957 и WER 0,1697. Модель предназначена для распознавания речи в сценариях, соответствующих данным NPSC; подробности о целевых условиях применения в карточке не приведены. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0.
Модель gary109/ai-light-dance_drums_ft_pretrain_wav2vec2-base-new_onset-idmt-2_8k — дообученная Gary109 версия wav2vec2-base для автоматического распознавания речи. Она содержит 113,3 млн параметров и использует архитектуру Wav2Vec2ForCTC; веса опубликованы в формате PyTorch. Модель дообучена на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-2, связанном с проектом AI Light Dance. Основной сценарий — преобразование аудио в текст. В README приведены результаты оценки на тестовой выборке: WER 0,3178 и loss 0,5029. Поддерживаемый язык и ограничения применения в доступной карточке не описаны. Условия лицензии в предоставленных данных не указаны.
Sunbird/asr-whisper-large-v2-salt — модель распознавания речи, разработанная на основе Whisper large-v2 и адаптированная для языков Уганды. Она дообучена на наборе SALT, Common Voice для луганда и FLEURS; при обучении добавляли шум и понижали частоту аудио до 8 кГц, чтобы приблизить данные к телефонным записям. Модель принимает аудио и выдаёт транскрипцию, пытаясь автоматически определить язык; для повышения точности распознавания язык можно указать явно. Модель предназначена для транскрибации речи на луганда, ачоли, лугбара, атесо, руньянколе и английском с угандийским акцентом. В карточке приведены метрики CER и WER для английского, лугандийского и ачоли; результаты для остальных языков в предоставленном фрагменте не раскрыты. Автоопределение языка может ошибаться, а базовый Whisper не поддерживает перечисленные языки. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.
AVSRCocktail — система аудиовизуального распознавания речи для многоголосых и шумных сцен, представленная как официальная реализация работы «Cocktail-Party Audio-Visual Speech Recognition» для Interspeech 2025. Модель сочетает анализ аудио и чтение по губам, чтобы распознавать речь при фоновых помехах и одновременной речи нескольких людей. Модель использует энкодер AV-HuBERT Large и Transformer-декодер с совместным обучением CTC и attention. Видеокадры области рта имеют размер 96 × 96, аудио подаётся с частотой 16 кГц; SentencePiece-токенизатор содержит 5000 единиц. Всего в модели около 403,7 млн параметров. README описывает оценку на LRS2 и AVCocktail, включая тесты с разным уровнем шума и числом помех; модель выдаёт распознанный текст. Указанный язык — английский. Для использования приведены скрипты оценки и обучения, а также поиск по лучу с размером по умолчанию 3. Ограничения: README не приводит численные результаты WER, поэтому качество в конкретных условиях по этой карточке оценить нельзя; заявленная область — англоязычная речь. Лицензия в предоставленных данных не указана.
Breeze-ASR-25-gguf — это набор GGUF-конвертаций модели Breeze-ASR-25, разработанной MediaTek Research и адаптированной для работы с transcribe.cpp. В основе лежит Whisper large-v2: encoder-decoder Transformer с обработкой аудио окнами по 30 секунд и чанковой расшифровкой длинных записей. Модель предназначена для автоматического распознавания речи, перевода, определения языка и получения сегментных временных меток. Модель оптимизирована для тайваньского мандаринского диалекта и английского языка, включая переключение между мандаринским и английским внутри одного предложения и между предложениями. Она выводит традиционный китайский и сохраняет токенизатор Whisper для 99 языков, однако остальные языки не оптимизировались и не проходили заявленную валидацию. Обучение проводилось примерно на 11 749 часах данных: синтетической китайской речи, английских записях Common Voice и реальных примерах китайско-английского переключения. Потоковый режим не поддерживается. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 997 МБ до 3,11 ГБ. На заявленных тестах показатели составляют 2,25–2,29% WER на LibriSpeech test-clean и 8,08–8,12% CER на китайском тесте FLEURS после приведения традиционного письма к упрощённому. Ключевые ограничения — специализация прежде всего на мандаринском и английском, отсутствие потоковой обработки и зависимость от transcribe.cpp. Модель распространяется по лицензии Apache-2.0.
WhisperLv3-FT-EP-CPP — модель распознавания речи на европейском португальском языке, созданная дообучением Whisper large-v3 на данных CAMOES (Capitalized, Punctuated and Pós-Acordo). Она предназначена для преобразования речи в текст, в том числе для исследований и оценки качества распознавания, а также для демонстраций и прототипов транскрибации. Модель основана на архитектуре WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В карточке не приведены длина контекста и подробные показатели качества. Лицензия в предоставленных данных не указана.
Это CPU-ориентированная версия модели CohereLabs cohere-transcribe-arabic-07-2026, разработанная автором репозитория sayedM. В основе — Conformer encoder–decoder для распознавания речи с примерно 2,07 млрд параметров; все 515 линейных слоёв динамически квантованы до int8. Модель принимает аудио и выдаёт текстовую транскрипцию. В README указана лицензия Apache-2.0. Сборка предназначена для транскрибации арабской речи, включая диалектную, и английской речи на процессоре без GPU. Дополнительная арабская CTC-голова на 57,5 млн параметров предлагает черновые токены для спекулятивного декодирования: по замерам автора, это ускоряет короткие клипы примерно в 1,42 раза при небольшом изменении WER относительно fp32. Язык декодирования следует задавать явно как «ar» или «en». Ограничения: квантование int8 снижает точность относительно fp32; модель предназначена только для CPU и не работает на CUDA. CTC-голова рассчитана только на арабский язык, поддерживает спекулятивное декодирование лишь при batch size 1 и применима к одночастным аудиозаписям; качество её черновиков зависит от близости аудио к диалектному составу обучающей выборки.
t8star/Confucius-R2t2-Comfy — это зеркало неизменённых файлов Confucius4-R2T2 Q8 от NetEase Youdao для использования в ComfyUI. Репозиторий содержит GGUF-декодер и аудиопроектор с квантизацией Q8_0, а также ONNX-файл FireRedVAD для определения голосовой активности; зеркало не является официальным выпуском NetEase Youdao или FireRedVAD. Модель предназначена для распознавания речи и создания черновой транскрипции аудиозаписи, которую затем следует сверить вручную. README описывает интеграцию в ComfyUI и Windows Voice Studio, поддержку китайского и английского языков, а также возможность задавать ключевые слова и контекст распознавания. Перевод и генерация временных меток для субтитров не заявлены. Файлы модели распространяются по прилагаемому соглашению NetEase Youdao, а файлы VAD — по Apache 2.0; при использовании и распространении необходимо соблюдать соответствующие условия и сохранять уведомления. Для Windows-интеграции README указывает требование к NVIDIA GPU и драйверу. Модель рассчитана на распознавание речи, но транскрипции требуют проверки человеком.
CrisperWhisper2 Korean Verbatim Base — модель распознавания речи на корейском языке, разработанная Sky-Kim на основе Whisper и семейства CrisperWhisper2. Она транскрибирует спонтанную речь дословно, сохраняя междометия, повторы и самопоправки, которые обычные системы распознавания часто опускают. Модель предназначена для расшифровки разговоров, встреч и других записей, где важна точная передача сказанного. Это компактная модель семейства Whisper с архитектурой WhisperForConditionalGeneration и примерно 51,7 млн параметров по метаданным. README указывает размер 74 млн параметров, ширину 512, по 6 слоёв энкодера и декодера и словарь на 51 896 токенов; модель выдаёт обычный текст без специальных тегов. Она обучена дистилляцией от корейской версии small и ориентирована на корейскую речь. В тесте на отложенной части KsponSpeech автор сообщает CER 0,167 и сохранение 92% дисфлюенций; модель компактнее whisper-small и показала немного меньший CER в приведённом сравнении. Модель принимает аудио и выдаёт текст. Она рассчитана на корейский язык; английский не поддерживается. Дословная транскрипция может иметь более высокий CER при сравнении с нормализованными эталонами, а опубликованные результаты получены на данных KsponSpeech и могут не переноситься на другие условия записи. Лицензия указана как other; README ограничивает использование некоммерческими и исследовательскими целями из-за лицензии учителя CrisperWhisper2.0 и условий KsponSpeech. Для коммерческого использования требуются отдельные разрешения на компоненты и данные.
MigoXV опубликовал конверсию весов NVIDIA Streaming Sortformer v2.1 в формат safetensors для загрузки нативным PyTorch-загрузчиком проекта sortformer-dia. Потоковая модель выполняет диаризацию аудио: определяет до четырёх говорящих и размечает их реплики по ходу поступления сигнала. Транскрипцию речи модель не выполняет. В репозитории сохранены исходные 990 тензоров и конфигурация, необходимая для архитектуры и потоковых параметров. Для запуска нужны реализация модели и среда проекта sortformer-dia; наличие safetensors само по себе не обеспечивает совместимость с Transformers AutoModel. README сообщает, что CUDA может использовать Triton-ядра проекта, а поддержка NPU не проверена. Используются веса NVIDIA по лицензии NVIDIA Open Model License; эта публикация не является официальным выпуском NVIDIA.
Sunbird AI подготовила faster-whisper-51-african-languages — версию модели Sunbird/SunflowerASR-51-african-languages в формате CTranslate2 с точностью float16 для запуска через faster-whisper. Базовая модель построена на Whisper large-v3 и дообучена для распознавания речи на 51 африканском языке. Модель принимает аудио и преобразует речь в текст. Для выбора языка нужно передавать в faster-whisper соответствующий стандартный код Whisper из таблицы README; автоматическое определение языка использовать не следует. При загрузке можно выбрать другой compute_type, например int8_float16, с заявленным ориентиром около 1,6 ГБ видеопамяти. Перед применением проверьте качество на целевых языках: экстрактор признаков faster-whisper не выполняет нормализацию, используемую в эталонном конвейере Transformers, поэтому результаты WER могут отличаться. Лицензия — Apache-2.0.
FireRedPunc — модуль восстановления пунктуации из системы FireRedASR2S, разработанной командой FireRedTeam. Это отдельная BERT-модель для расстановки знаков препинания в китайском и английском тексте; README указывает средний F1 78,90% и сравнивает результат с FunASR-Punc. Модель предназначена для постобработки распознанной речи и может использоваться самостоятельно, отдельно от остальных модулей FireRedASR2S. В метаданных задача обозначена как automatic-speech-recognition, однако описание самого FireRedPunc указывает на восстановление пунктуации. Репозиторий содержит форматы PyTorch и TensorFlow. Модель распространяется по лицензии Apache-2.0. Ограничения по размеру входного текста и подробности обучения в предоставленных материалах не описаны.
FunAudioLLM/Fun-ASR-Nano-2512-vllm — официальная упаковка модели распознавания речи FunAudioLLM для запуска через vLLM. Это плотная архитектура семейства Qwen3 с 507,9 млн параметров и контекстом 40 960 токенов; модель принимает аудио и выдаёт распознанный текст. Указанные для карточки языки — китайский, английский и японский. Репозиторий сохраняет исходные веса FunAudioLLM/Fun-ASR-Nano-2512 и добавляет структуру, необходимую для реализации FunASRForConditionalGeneration в vLLM. README сообщает, что тензоры в safetensors побитово совпадают с тензорами исходного чекпойнта. Упаковка предназначена для распознавания речи в приложениях и сервисах, использующих vLLM; проверенный сценарий — vLLM 0.27.1 на NVIDIA H100 80 GB с float32. Преимущество этой версии — совместимость с vLLM без изменения весов исходной модели. Проверка описана для одной конфигурации и одного китайского примера, поэтому качество на других наборах данных, ускорителях и версиях vLLM отдельно не подтверждено. Для временных меток, диаризации и потоковой обработки README рекомендует оригинальный чекпойнт через инструментарий FunASR. Лицензия — Apache-2.0.
GaussianMind — аудиоязыковая модель, совместно разработанная командой Хао Тана из Школы компьютерных наук Пекинского университета и Пекинской академией искусственного интеллекта (BAAI). Она построена на основе RoboBrain и OpenMOSS Audio и предназначена для сценариев, где нужно обрабатывать аудио и формировать текстовые ответы. В каталоге указаны архитектура RoboBrain Audio и класс RoboBrainAudioForConditionalGeneration; модель распространяется в формате safetensors и поддерживает чат и интерфейс вызова инструментов. Для загрузки README предлагает использовать Transformers и AutoProcessor с включённым trust_remote_code=True, поскольку репозиторий содержит собственный код Transformers. Лицензия — Apache-2.0. Карточка не приводит размер модели, длину контекста, конкретный список языков или подробные результаты оценки качества.
Granite Speech 4.1 2B GGUF — это квантизированная версия мультимодальной аудиоязыковой модели IBM Granite Speech 4.1 2B, подготовленная проектом handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания речи и автоматического перевода речи между английским, французским, немецким, испанским, португальским и японским языками. Перевод выполняется только между английским и каждым из пяти других языков, без прямых направлений вроде французский—немецкий. Входные данные — монофонические WAV-файлы с частотой 16 кГц. Архитектура включает Conformer-энкодер с локальным вниманием Shaw, проектор BLIP-2 Q-Former и авторегрессионный декодер Granite-4.0-1b-base. Размер модели — около 2 млрд параметров. Поддерживаются ASR, speech-to-text и speech translation; автоматическое определение языка, потоковая обработка и временные метки не поддерживаются. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M объёмом примерно от 1,60 до 4,63 ГБ. На LibriSpeech test-clean заявленная WER составляет 1,29–1,37% в зависимости от варианта, а опубликованные результаты для других языков показывают WER 4,14–9,80% и CER 6,3% для японского. Модель сочетает компактность, офлайн-работу, многоязычность и улучшенные пунктуацию и регистр по сравнению с Granite Speech 4.0 1B. Ограничения включают необходимость предварительного преобразования аудио в формат 16 кГц mono WAV, отсутствие streaming, определения языка и временных меток, а также ограниченный набор языков и направлений перевода. Распространяется по лицензии Apache-2.0, унаследованной от базовой модели.
Ichigo-llama3.1-s-instruct-v0.3-phase-3 — языково-звуковая модель от Homebrew Research на архитектуре Llama 3.1 с 7,5 млрд параметров. Она принимает текст и звук и выдаёт текст; контекст составляет 131 072 токена. Модель дообучена на основе homebrewltd/Ichigo-llama3.1-s-instruct-v0.3-phase-2 для улучшения взаимодействия с пользователем, в частности обработки неслышимых входов и многоходовых диалогов. Модель предназначена для понимания звука и текста, включая диалоговые сценарии; README приводит результаты оценок MMLU и AudioBench. Основной язык — английский. Лицензия Apache-2.0. Карточка не уточняет, какие именно типы аудио поддерживаются и как обрабатываются неслышимые входы; опубликованные оценки не гарантируют качество на других данных и сценариях.
parthiv11/indic_whisper_hi_multi_gpu — модель распознавания речи на основе Whisper, дообученная для индийских языков. Репозиторий содержит чекпойнты и реализацию на JAX для ускоренного запуска на GPU и TPU; в метаданных также указаны веса PyTorch. Размер модели — 455,8 млн параметров. Модель предназначена для преобразования речи в текст, в том числе для транскрибирования аудиозаписей. В README приведены результаты на бенчмарках для подмножества на хинди, однако численные результаты сравнения для этой модели в таблице не представлены. Указанная в README оценка ускорения JAX относится к реализации и не гарантирует такой же результат на любом оборудовании. Модель рассчитана на хинди; общий README описывает семейство как предназначенное для индийских языков, но подтверждённая метаданными поддержка указана только для хинди. Лицензия — MIT.
Это дообученная модель WhisperForConditionalGeneration на 455,8 млн параметров, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; карточка указывает дообучение на наборе данных None. На тестовой выборке приведены Loss 0,4623 и Global WER 30,7295. Модель принимает аудио и выдаёт текст; базовая модель предназначена для индийских языков, а для этого варианта подтверждена поддержка хинди. Выпущена в формате safetensors для Transformers под лицензией MIT.
Это дообученная модель Whisper, созданная на основе parthiv11/indic_whisper_hi_multi_gpu. Она предназначена для автоматического распознавания речи и транскрибирования аудио; метаданные подтверждают поддержку хинди. В README приведены результаты на наборе оценки: loss 0,3763 и Global WER 29,2620, но описание модели и сведения о данных обучения отсутствуют. Модель использует архитектуру WhisperForConditionalGeneration и формат safetensors. Репозиторий распространяется по лицензии MIT.
parthiv11/indic_whisper_nodcil — модель распознавания речи на основе Whisper, дообученная для индийских языков. Репозиторий содержит чекпойнт для использования и код обучения и оценки; заявлена поддержка ускоренного запуска через JAX на GPU и TPU наряду с форматом PyTorch. Модель имеет 455,8 млн параметров. Модель предназначена для преобразования аудио в текст, в том числе для транскрибирования речи на хинди и других индийских языках. В README приводятся результаты сравнения на бенчмарках для хинди, но подробные результаты этой модели в доступной карточке не представлены. Лицензия — MIT.