I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиgs224 разработал и дообучил Whisper-Tiny — компактную модель распознавания речи с архитектурой Transformer encoder-decoder и примерно 29,4 млн параметров. Модель настроена на транскрибацию польской речи, особенно голосовых команд, и принимает аудио, выдавая текст. Для дообучения использован набор FBK-MT/Speech-MASSIVE; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель может быть полезна для преобразования польских голосовых запросов в текст и распознавания команд. В приведённой оценке WER на тестовом наборе снизился с 0,8435 у базовой модели до 0,3176 после дообучения. Качество может быть ниже для диалектов, акцентов и данных, отличающихся от обучающего набора; регистр букв и пунктуация в эталонных транскрипциях влияют на оценку. Лицензия в предоставленных данных не указана.
Модель andrewbawitlung/xlsr-300m-mizonal3-E3-lus-v2026.06 разработана как дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи на языке lus. Она основана на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров; веса представлены в формате safetensors. Для обучения использован набор MiZonal v3.0, в эту версию добавлен примерно час разговорной речи. Конфигурация E3 применяет аугментацию изменения скорости речи. Модель предназначена для транскрибирования аудиозаписей на lus, в том числе разговорной речи. На оценочном наборе указаны WER 20,4476, CER 4,0148 и коэффициент реального времени 0,0025. Репозиторий опубликован под лицензией Apache-2.0. Карточка отмечает, что подробности эксперимента планируется представить в рецензируемой публикации.
XLS-R-300m-SV — модель распознавания шведской речи, дообученная на базе facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 7.0 для шведского языка (конфигурация sv-SE). Модель использует архитектуру wav2vec2 с CTC-декодером и содержит около 402,7 млн параметров; принимает аудио и преобразует его в текст. Опубликованные результаты на тестовой выборке Common Voice 7.0: WER 24,68% без языковой модели и 16,98% с языковой моделью. Модель выпущена под лицензией Apache-2.0. README не описывает дополнительные сценарии применения и ограничения; качество на других наборах данных не приведено.
aci-yoruba-phase8 — модель распознавания речи на базе архитектуры Wav2Vec2, дообученная Awesome-x. Она принимает аудио и преобразует речь в текст; в метаданных указано 402,7 млн параметров и формат весов Safetensors. В README приведён результат оценки: WER 0,3410 и loss 1,5843. Карточка не описывает назначение модели подробнее, набор данных, языковую поддержку и условия применения. Название указывает на йоруба, но отдельного подтверждения языка в карточке или метаданных нет. Лицензия также не указана в доступных сведениях.
Это классификатор из проекта EduBehaviors: Assertion-based schemas for auditable dialogue coding, предназначенный для определения, содержит ли высказывание учителя вопрос. Модель разработана для использования через пакет EduBehaviors-kit и дообучена на базе sentence-transformers/paraphrase-mpnet-base-v2 с помощью SetFit. Она принимает одно высказывание без дополнительного шаблона и выдаёт метку классификации. Модель содержит 136,7 млн параметров, использует архитектуру MPNet и поддерживает контекст до 514 токенов. Обучение проводилось на подмножестве высказываний учителей из TalkMoves Dataset, размеченном с помощью LLM. На тестовой выборке положительный класс достиг F1 0,922; согласие между LLM-аннотаторами по Krippendorff’s alpha составляет 0,867. Модель предназначена для анализа учебного диалога и аудируемой разметки речевых ходов. Результаты на высказываниях учеников не проверялись, а качество зависит от LLM-разметки; сведения о лицензии в предоставленных данных отсутствуют.
Moonshine Tiny — LiteRT — компактная модель автоматического распознавания речи, разработанная Moonshine AI, ранее Useful Sensors, и упакованная для выполнения через LiteRT. Модель основана на UsefulSensors/moonshine-tiny и предназначена для быстрой транскрипции английской речи и голосовых команд непосредственно на устройстве. Это encoder-decoder-модель с 27 млн параметров, поддерживающая только аудио и английский язык. Она принимает монофонический аудиосигнал с частотой 16 кГц в формате raw waveform, поэтому отдельное извлечение mel-спектрограмм не требуется. Обработка выполняется окнами по 5 секунд с нулевым дополнением коротких фрагментов; более длинные записи разбиваются на последовательные окна. Доступны варианты float32 и int8 с float32-энкодером, а также заранее скомпилированные варианты для некоторых NPU MediaTek и Qualcomm. К сильным сторонам относятся небольшой размер, возможность локального выполнения, поддержка ускорения на мобильных NPU и отсутствие требования к сетевому соединению. Ограничения включают фиксированное окно контекста 5 секунд, жадное декодирование с максимумом 64 токена на окно и отсутствие KV-кэша, из-за чего время декодирования увеличивается с количеством уже выданных токенов. Репозиторий не содержит tokenizer.json: токенизатор необходимо загрузить из базовой модели. Модель распространяется по лицензии MIT.
Moonshine tiny — компактная модель автоматического распознавания речи, разработанная Useful Sensors и преобразованная в формат GGUF проектом handy-computer для использования с transcribe.cpp. Модель основана на encoder-decoder Transformer с 27 млн параметров и предназначена для преобразования английской речи в текст. Модель принимает монофонический аудиосигнал в формате 16 кГц PCM напрямую через трёхслойный Conv1d-стем, без использования STFT или mel-признаков. Поддерживается только английский язык; перевод, определение языка и временные метки не поддерживаются. Доступны варианты F32 размером 110 МБ, F16 размером 59 МБ и Q8_0 размером 35 МБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 4,58% для F32 и F16 и 4,60% для Q8_0. Модель подходит для локальной транскрипции английской речи и сценариев, где важны небольшой размер и работа через transcribe.cpp. Потоковая обработка не поддерживается, а качество может зависеть от акустических условий и отличий аудио от обучающих данных. Распространяется по лицензии MIT, унаследованной от базовой модели UsefulSensors/moonshine-tiny.
Immich/pipeline-error-propagation-dialogue-summarization-bart-baseline-seed17 — контрольный чекпойнт модели BART-base, обученный на подходящей части корпуса совещаний AMI. Он предназначен для суммаризации диалогов и встреч; вариант baseline представляет либо суммаризацию полной встречи, либо иерархический конвейер сегментации, извлечения и генерации. Модель содержит 95,2 млн параметров, принимает текст, поддерживает контекст до 1024 токенов и выдаёт текстовое резюме. Чекпойнт с seed 17 служит каноническим запуском для качественных примеров в статье; доступны также отдельные репозитории с seed 42 и 73. Язык материалов AMI — английский, поэтому модель ориентирована на суммаризацию англоязычных встреч. Лицензия — MIT. Карточка описывает экспериментальный базовый вариант, а не специализированный продукт; доступный контекст ограничивает обработку длинных встреч.
S1-mini — компактная модель Superwhisper для нормализации результатов автоматического распознавания речи. Данная версия mlboydaisuke/S1-mini-CoreAI является портом модели superwhisper/s1-mini в формат Apple Core AI и предназначена для работы полностью на устройстве, включая iPhone и Mac. Модель принимает необработанный текстовый транскрипт на английском языке и преобразует его в связный письменный текст: удаляет слова-паразиты, исправляет фальстарты и самокоррекции, добавляет пунктуацию и заглавные буквы, а также записывает словами произнесённые числа, даты, время, валютные значения и адреса электронной почты в стандартном текстовом формате. Это специализированный постпроцессор для диктовки и speech-to-text, а не диалоговая или универсальная chat-модель. Размер модели составляет около 0,6 млрд параметров. Она основана на superwhisper/s1-mini и имеет quantized-связь с базовой моделью; в поставке используется decode-бандл размером около 759 МБ с int8-квантизацией по блокам для основной части и fp16 для связанной с embedding выходной головы. Поддерживается только английский язык. Модель рассчитана на локальное выполнение на GPU или Neural Engine через Apple Core AI, что обеспечивает сохранение транскриптов на устройстве и подходит для приватных сценариев диктовки. Ограничением является узкая специализация и необходимость обрабатывать длинные тексты частями: на iPhone суммарный объём prompt и генерации ограничен примерно 1024 токенами. Лицензия указана как s1-mini-license; согласно README, она основана на Apache-2.0 и требует сохранять идентификацию модели как «S1-mini» от «Superwhisper» при использовании, распространении или интеграции в продукт.
toloka/t5-large-for-text-aggregation — модель T5 Large, дообученная командой Toloka на агрегации текстовых ответов, полученных от нескольких исполнителей. Она принимает варианты ответов, разделённые вертикальной чертой, и формирует один итоговый ответ, исправляя разночтения и опечатки. Модель основана на архитектуре T5 для преобразования текста в текст и содержит 385,2 млн параметров. Она предназначена для агрегации краудсорсинговых транскрипций речи; обучение проводилось на частях train-clean, dev-clean и dev-other датасета CrowdSpeech. В README приведены результаты оценки по WER: 4,99 на test-clean и 10,61 на test-other. Контекст составляет 512 токенов, основной язык — английский. Модель применима для объединения нескольких вариантов одной транскрипции или другого короткого текста в единый результат. Она специализирована на сценарии агрегации ответов и не описана как универсальная модель суммаризации. Распространяется по лицензии Apache-2.0.
Taiwan-Tongues-ASR-CE-pretrained-v1.0 — модель распознавания речи, выпущенная проектом Taiwan-Tongues-ASR-CE. Это дообученная версия OpenAI Whisper large-v2 с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров. Весовой формат — Safetensors для Transformers; модель предназначена для дальнейшего дообучения на многоязычных речевых корпусах Тайваня. Для готового распознавания без дополнительного обучения авторы предлагают отдельную модель проекта в формате CTranslate2 для faster-whisper. Модель рассчитана на автоматическую транскрибацию речи, в том числе на китайском, тайваньском хоккиене, хакка и английском. В README приведены языковые коды zh, nan, hak и en для настройки обучения; метаданные карточки также указывают zh и en. Архитектура принимает аудио и генерирует текстовую расшифровку. Лицензия обозначена как other; README отсылает к условиям лицензии проекта Taiwan-Tongues-ASR-CE, не уточняя их содержание.
Talha/URDU-ASR — дообученная модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей на урду в текст. В README приведены результаты оценки на отложенной выборке: WER 0,2423, CER 0,0842 и loss 0,2822; автор сообщает о разбиении данных на обучающую и оценочную части в пропорции 80:20. Модель содержит около 402,7 млн параметров, распространяется в формате PyTorch и опубликована по лицензии Apache-2.0. README не называет использованный датасет и не описывает дополнительные сценарии применения; результаты оценки относятся к указанному автором разбиению данных.
w2vbert-lingala-sd3 — модель автоматического распознавания речи, разработанная как дообученная версия sulaimank/w2vbert-lingala-waxal-punct-v2. Она построена на архитектуре Wav2Vec2-BERT с CTC-выходом, содержит 402,8 млн параметров и принимает аудио, выдавая распознанный текст. По названию и базовой модели предназначена для распознавания речи на языке лингала; README приводит метрики оценки, включая WER 0,1038 с сохранением пунктуации и 0,0530 после её удаления. Модель подходит для транскрибации аудиозаписей на лингала. Данных о контекстном окне, составе обучающего набора, лицензии и конкретных ограничениях в предоставленных источниках нет.
Это акустическая модель распознавания речи на базе wav2vec2 XLS-R, дообученная автором raniczan для корейской и английской речи с переключением языков. Модель использует архитектуру Wav2Vec2ForCTC и выдаёт посимвольные вероятности по компактному алфавиту примерно из 105 корейских джамо и латинских символов; размер по метаданным — 403,1 млн параметров. Модель предназначена для транскрибирования корейской, английской и смешанной корейско-английской речи. Перед декодированием целевой текст нужно разложить на джамо в нормализации NFD, а результат распознавания собрать обратно в NFC. Обучение проводилось на 17,4 часах чистой синтезированной речи; акустический энкодер базовой модели был заморожен, а CTC-голова обучена заново. Модель распространяется по лицензии Apache-2.0. Обучение на синтезированной речи и ограниченный объём данных могут снижать качество на естественной речи и реальных аудиозаписях; требуется согласованная с моделью обработка корейского текста.
Это модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, дообученная на основе KasuleTrevor/wav2vec2-xls-r-300m-nyn_filtered-yogera-v3. В репозитории указано 402,7 млн параметров и формат safetensors. Название модели указывает на многоязычную фильтрацию для Yogera, однако README не описывает языки и обучающие данные, поэтому языковую поддержку по этим сведениям установить нельзя. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки: WER 0,6815 и CER 0,2155; они указывают на заметные ошибки распознавания и требуют осторожности при практическом применении. Условия лицензии в предоставленных данных не приведены.
mmwanje/waxal-whisper-small-spec_aug_v1 — мультиязычная модель автоматического распознавания речи, дообученная на базе OpenAI Whisper Small на данных Google WaxalNLP для языков лингала, шона и луганда. При обучении применялся SpecAugment к log-mel признакам; модель реализована как WhisperForConditionalGeneration и распространяется в формате safetensors. В метаданных указано 153,1 млн параметров и лицензия Apache-2.0. Модель предназначена для транскрибирования аудиозаписей на поддерживаемых языках. README называет этот чекпойнт лучшим по результату на отложенной выборке среди экспериментов первой фазы; приведённая оценка объединяет WER и CER, поэтому её нельзя напрямую интерпретировать как отдельную точность распознавания. Результаты зависят от языка и условий записи.
nurzhanit/whisper-enhanced-ml — дообученная модель распознавания речи семейства Whisper с архитектурой WhisperForConditionalGeneration. В README указано, что она обучена на датасете Common Voice 11.0; размер модели — 153,1 млн параметров. Модель предназначена для преобразования речи в текст на хинди. В README приведены результаты оценки: loss 0,0002 и WER 0,0. Эти значения относятся к указанному набору оценки; подробности его состава и методики не приведены, поэтому результат нельзя считать гарантией качества на других аудиозаписях. Модель опубликована в формате safetensors. Условия лицензии в доступных данных не указаны.
Whisper Large v3 Turbo Uzbek v1 — R. Nematov (Lynx) разработал эту модель на базе openai/whisper-large-v3-turbo для преобразования узбекской речи в текст. Это дообученная и дополнительно настроенная версия Whisper с 905,2 млн параметров, предназначенная для распознавания узбекской речи, включая региональные диалекты и акценты. В README указано, что модель адаптирована к узбекскому алфавиту, вариантам апострофа и распространённым разговорным выражениям, чтобы уменьшить смешение с близкими языками. Модель принимает аудио и выдаёт текст. Автор заявляет высокую скорость распознавания и хорошее качество на чистой литературной и дикторской речи, но это оценка из карточки, без описания независимого тестирования. Указаны данные DavronSherbaev/uzbekvoice-filtered и отобранные узбекские аудиозаписи. Модель опубликована в формате safetensors под лицензией Apache-2.0, разрешающей коммерческое и некоммерческое использование.
ranjan-prabhat/whisper-small-hi — дообученная модель распознавания речи на хинди, созданная на основе Whisper small от OpenAI. Это encoder-decoder Transformer с 153,1 млн параметров; модель принимает аудио и преобразует речь в текст. Обучение проводилось на хинди-разделе Common Voice 17.0. Модель предназначена для черновой расшифровки чёткой речи одного говорящего: например, голосовых заметок, начитки и повествования. Её также можно использовать как основу для дальнейшего дообучения под конкретный акцент, диалект или акустические условия. Проверялась на монофоническом аудио с частотой 16 кГц. На тестовой части Common Voice указана доля ошибок слов около 32%, поэтому для ответственных задач потребуется проверка человеком или дополнительное дообучение. Качество может снижаться на спонтанной речи, сильном шуме, одновременной речи нескольких людей и недостаточно представленных региональных акцентах. Модель распространяется по лицензии Apache-2.0.
duytran3112/whisper-sm-vivos — дообученная модель распознавания речи на базе openai/whisper-small, опубликованная на Hugging Face. Она предназначена для преобразования аудио в текст; карточка сообщает о дообучении на наборе данных, название которого указано как None. Модель построена на архитектуре Whisper, содержит 153,1 млн параметров и принимает аудио, выдавая текст. В оценке на тестовом наборе указаны Loss 0,2370 и WER 54,8563; высокий WER может ограничивать точность транскрибирования. Лицензия — Apache-2.0.
Это модель автоматического распознавания речи на архитектуре wav2vec2 с примерно 113,3 млн параметров, представленная в формате PyTorch. Согласно карточке, модель дообучена на наборе GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-2; на указанном тестовом наборе достигла WER 0,1844 и loss 0,4204. Метаданные указывают датасет ai_light_dance. Подробности о предназначении, языках и условиях использования в карточке не раскрыты. Лицензия не указана.
Belle-whisper-large-v3-turbo-zh — модель распознавания речи на основе Whisper, разработанная командой BELLE-2. Она прошла полное дообучение модели openai/whisper-large-v3-turbo для повышения точности распознавания китайской речи. В карточке заявлено относительное улучшение на 24–64% на китайских тестах AISHELL-1, AISHELL-2, WenetSpeech и HKUST по сравнению с исходной моделью. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст с распознанной речью. Она предназначена для транскрибирования китайской речи; в обучающие данные добавлялись знаки препинания, сформированные отдельной моделью punc_ct-transformer_cn-en-common-vocab471067-large. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и доступна в форматах PyTorch и Safetensors для библиотеки Transformers. Ограничение заявленного улучшения состоит в том, что оно относится к указанным китайским тестовым наборам; карточка не приводит оценок на других языках или в иных условиях записи. Лицензия — Apache-2.0.
Canary-Qwen-2.5B GGUF — это преобразованные в формат GGUF варианты модели NVIDIA Canary-Qwen-2.5B, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для автономного распознавания английской речи и преобразования её в текст с пунктуацией и капитализацией. Она принимает монофонические WAV-файлы с частотой 16 кГц и выполняет транскрибирование офлайн с помощью жадного декодирования. Архитектура NeMo SALM объединяет аудиоэнкодер FastConformer из 32 слоёв с параметром d_model=1024 и авторегрессионную языковую модель Qwen3-1.7B из 28 слоёв с hidden_size=2048; аудиоэмбеддинги подаются в языковую модель через специальную позицию в промпте. Общий размер модели составляет около 2,5 млрд параметров. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером от 1,74 до 5,08 ГБ. Для LibriSpeech test-clean все варианты показывают WER 1,63%. Сильные стороны модели — высокая точность английского распознавания, офлайн-работа, несколько вариантов квантизации и интеграция с transcribe.cpp. Ограничения: поддерживается только английский язык, потоковая обработка, перевод, автоматическое определение языка и временные метки не поддерживаются; модель принимает именно 16 кГц моно WAV. В данной конверсии она работает в режиме распознавания, без LLM-функций постобработки исходной модели. Лицензия — CC-BY-4.0, унаследованная от базовой модели NVIDIA.
Модель oddadmix/cohere-transcribe-arabic-07-2026-dialectal — полное дообучение модели CohereLabs/cohere-transcribe-arabic-07-2026, разработанное автором репозитория для распознавания арабской речи разных диалектов. Это ASR-модель на архитектуре Cohere ASR Conformer encoder-decoder с 2,07 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Она преобразует аудио в арабский текст без диакритических знаков; обучающие данные охватывают левантийский, магрибский, египетский, заливный, суданский и иракский диалекты, а также литературный арабский. Для пользовательского теста из 932 клипов автор сообщает WER 0,357 и CER 0,137 против WER 0,457 у базовой модели в режиме zero-shot. Эти результаты могут быть завышены из-за возможного пересечения исходных записей между обучающей и тестовой выборками. Модель предназначена для транскрибации арабской речи, включая записи с шумом, музыкой, изменением скорости, реверберацией и артефактами кодека. Она работает с отдельными аудиофрагментами длительностью до 30 секунд, не поддерживает потоковое распознавание; автор также отмечает, что пакетная генерация с padding может заметно ухудшать результат. Качество зависит от диалекта: магрибская речь распознаётся сложнее, а покрытие реальных условий требует отдельной проверки. Репозиторий распространяется по лицензии Apache-2.0; README характеризует модель как частную/внутреннюю и рекомендует оценивать её на собственных данных перед производственным применением.
Lakoc/DeCRED_small_cv — модель распознавания речи на базе архитектуры joint AED-CTC speech encoder-decoder, дообученная на наборе Common Voice 13.0. В README приведены результаты оценки: CER 0,0855 и WER 0,1935, а также значения потерь, замен, удалений и вставок. Модель предназначена для преобразования речи в текст. Карточка не уточняет язык аудиозаписей и сценарии применения; по названию датасета можно установить только источник обучения. Репозиторий содержит веса в формате Safetensors. Лицензия и ограничения применения в предоставленных данных не описаны.
DiaFill — модель SB Intuitions для генерации японских диалоговых сценариев в разговорном стиле. Она создаёт многоходовый диалог между двумя собеседниками на основе заданного сценария, жанра, темы и описания участников. Модель дообучена на закрытом наборе японских диалоговых сценариев, созданном в рамках проекта GENIAC. Модель основана на плотной архитектуре Llama и содержит 3,1 млрд параметров. Она принимает текст и генерирует текст; контекст составляет 8192 токена. Предусмотрены сценарии непринуждённой беседы и диалогов колл-центра: оформление процедур, техническая поддержка и сопровождение клиентов. Диалоги рассчитаны на естественную устную речь, с короткими репликами и словами-паразитами. Модель распространяется по лицензии MIT.
DiarizationLM-8b-Fisher-v2 — языковая модель для постобработки результатов диаризации বক্তоров, дообученная на обучающей части корпуса Fisher. Модель опубликована под идентификатором Google, однако в README отдельно указано, что это неофициальный продукт Google. Работа основана на исследовании DiarizationLM авторов Quan Wang, Yiling Huang, Guanlong Zhao, Evan Clark, Wei Xia и Hank Liao. Модель принимает текстовую гипотезу распознавания с маркерами говорящих и генерирует исправленную версию с более согласованным распределением реплик между говорящими. Она предназначена для сценариев улучшения speaker diarization и связана с системами автоматического распознавания речи. Обучение проводилось на 51 063 парах «промпт–завершение» из вариантов данных hyp2ora и deg2ref корпуса Fisher; использовался LoRA-адаптер ранга 256, 28 800 шагов и около девяти эпох. В качестве базовой модели использована unsloth/llama-3-8b-bnb-4bit — Llama 3 с размером около 8 млрд параметров и 4-битным представлением. Общее число параметров обучения составило 671 088 640. Максимальная длина входного промпта — 6000 символов, максимальная длина последовательности — 4096 токенов. README не указывает полный набор поддерживаемых языков; обучение и приведённый пример относятся к англоязычным данным Fisher. На тестовой части Fisher модель снизила WDER с 5,32% до 3,28%, а cpWER — с 21,19% до 18,37% относительно базовой системы; на Callhome WDER снизился с 7,72% до 6,66%, а cpWER — с 24,39% до 23,57%. Ограничения включают зависимость от входной ASR-гипотезы, специализацию на диалоговых данных и необходимость GPU с CUDA для рекомендуемого запуска. Лицензия указана как llama3.
Fish Agent V0.1 3B — голосовая модель компании Fish Audio, предназначенная для преобразования речи и звуковой информации в аудиоответы. В карточке она описана как Voice-to-Voice модель с архитектурой dual autoregressive без семантических токенов и традиционных семантических энкодеров и декодеров. Модель продолжает предобучение Qwen-2.5-3B-Instruct на 200 млрд голосовых и текстовых токенов; README также заявляет обучение на 700 000 часах многоязычных аудиоданных. Модель поддерживает английский и китайский, а также немецкий, японский, французский, испанский, корейский и арабский языки. Она предназначена для голосового взаимодействия и генерации речи; в метаданных указаны аудиовход, чат и интерфейс вызова инструментов. Метаданные задают основную задачу как audio-to-audio. Репозиторий содержит веса PyTorch. Лицензия CC-BY-NC-SA-4.0 требует указания авторства и распространяет производные работы на тех же условиях, с ограничением некоммерческого использования. Описание точных параметров контекста и количественных оценок качества в предоставленных данных нет.
FLANEC XL CD — модель семейства T5 на базе FLAN-T5, разработанная для задачи Generative Speech Error Correction в рамках GenSEC Task 1 на SLT 2024. Она принимает несколько вариантов распознавания речи от ASR-систем и генерирует одну исправленную транскрипцию, улучшая её грамматическую и языковую корректность. Модель предназначена для постобработки результатов распознавания английской речи в разных акустических и тематических условиях. Это encoder-decoder модель с 1,5 млрд параметров по метаданным Hugging Face; README указывает около 3 млрд для варианта XL. В карточке заявлена английская поддержка, контекст составляет 512 токенов. Модель обучена на данных HyPoradise, охватывающих новости, запросы о путешествиях, шумную и акцентированную речь, выступления и разговорную речь. Лицензия — MIT. Модель помогает исправлять ошибки ASR, но сама не распознаёт аудио: ей нужны текстовые гипотезы распознавания. Заявленное применение ограничено английским языком и постобработкой транскрипций; качество может зависеть от домена и качества входных гипотез.
GigaAM-v3 RNNT GGUF — это конверсия модели ai-sage/GigaAM-v3, подготовленная handy-computer для запуска в transcribe.cpp. Модель предназначена для автономного распознавания русской речи и преобразования аудио в текст без подключения к интернету. Она использует жадное декодирование RNN-T и не применяет внешнюю языковую модель. Модель основана на 16-слойном Conformer-энкодере и содержит около 220–240 млн параметров в исходной версии. Она обучалась на разнообразных русскоязычных аудиоданных, включая разговоры в колл-центрах, естественную речь, речь с фоновой музыкой и речь с особенностями произношения. Доступны варианты GGUF с представлением F32, F16 и квантованием Q8_0, Q6_K, Q5_K_M и Q4_K_M; их размер составляет примерно от 183 до 888 МБ. Модель выдаёт строчные русские символы без пунктуации, поддерживает токенные временные метки, но не поддерживает потоковую обработку, перевод и автоматическое определение языка. На полном тестовом наборе FLEURS для русского языка показатель WER составляет около 8,07–8,12% в зависимости от варианта квантования. Сильными сторонами являются офлайн-работа, компактные квантованные версии, отсутствие заметной потери качества при квантовании и оптимизация для запуска через transcribe.cpp на CPU, Metal и Vulkan. Ограничения включают поддержку только русского языка, отсутствие пунктуации и нормализации текста, невозможность потокового распознавания и необходимость подавать аудио в формате моно WAV с частотой 16 кГц. Модель распространяется по лицензии MIT, унаследованной от базовой модели.