I.7Речь, диалоги и встречи

seastar105/whisper-medium-ko-zeroth — дообученная модель распознавания речи на основе openai/whisper-medium, созданная для корейского языка. Она обучена на наборе данных Zeroth Korean и предназначена для преобразования корейской речи в текст. В карточке приведены результаты на наборе оценки: WER 3,6440 и CER 1,4840; размер модели — 455,8 млн параметров, формат весов — PyTorch. Модель подходит для транскрибации корейской речи в сценариях, близких к данным Zeroth Korean. Автор указывает, что существуют другие дообученные модели с ожидаемо более высокой точностью, и рекомендует их вместо этой. Модель распространяется по лицензии Apache-2.0.

Assertiveness_continuous — дообученная модель на базе microsoft/deberta-v3-base для классификации текста. По названию модели и метрикам RMSE и MAE она предназначена для непрерывной оценки напористости (ассертивности) в тексте. Модель содержит 211,6 млн параметров, использует архитектуру DeBERTa V2 и принимает последовательности длиной до 512 токенов. Репозиторий распространяет веса в формате safetensors. В README приведены результаты на оценочном наборе: RMSE 0,2439, MAE 0,1938 и корреляция 0,1575; описание набора данных, шкалы оценивания и intended use отсутствует. Базовая модель Microsoft ориентирована на английский язык, поэтому английский — предполагаемый основной язык этой модели. Лицензия — MIT.

Inkling-mlx-2bit — это сборка мультимодальной модели Inkling от Thinking Machines, подготовленная сообществом mlx-community для запуска на Apple Silicon через MLX. В основе лежит Inkling с архитектурой MoE: 975 млрд параметров всего и 41 млрд активных параметров. Модель включает текстовую часть, а также башни обработки изображений и аудио; репозиторий содержит загрузчик для самостоятельного запуска. Сборка получена из контрольной точки BF16 с 2-битной квантизацией экспертных слоёв и матричных операций в башнях зрения и аудио; внимание, эмбеддинги, нормализации, маршрутизатор и ряд других компонентов сохранены в BF16. Она предназначена для диалогов, анализа изображений и аудио, а также экспериментов с большими моделями на Mac. README приводит пример распознавания английской речи; метаданные также указывают поддержку диалогов и зрения. Весовая сборка занимает около 315 ГБ. Запуск возможен на одном Mac с выгрузкой экспертов на SSD или в распределённой конфигурации MLX; скорость при SSD-выгрузке зависит от накопителя и может быть низкой. При 2-битной квантизации распознавание сложной или акцентированной речи может быть менее точным. Лицензия — Apache-2.0.

ManhHoDinh/lfm25-titlegen-17-languages — экспериментальная модель генерации короткого информативного заголовка по тексту пользовательского диалога. Это этап supervised fine-tuning модели LiquidAI/LFM2.5-230M; архитектура — плотная LFM2, размер — 221,2 млн параметров. Для запуска предусмотрена библиотека Transformers, веса опубликованы в формате Safetensors. Заявленная длина контекста — 128 000 токенов. Модель предназначена для создания заголовков, сохраняющих основное намерение разговора, важные сущности и существенные оговорки. Вариант обучался для 17 языков, однако карточка отмечает, что проверенные примеры есть только для английского и вьетнамского; языковые результаты получены автоматическими оценками. Оценка на 2 550 тестовых примерах не устанавливает готовность к производству: проверка ограничена одним автоматическим оценщиком, отсутствует подтверждённый аудит носителями языка, а точность сохранения намерения и сущностей остаётся ограниченной. Лицензия указана как other; конкретные условия следует сверять с лицензией репозитория.

Карточка модели MergekitCloud/mergekit-67 на Hugging Face совпадает с карточкой MergekitCloud/mergekit-73, поэтому описание составлено по ней. MergekitCloud/mergekit-73 — объединённая языковая модель на основе Llama 3.1, созданная с помощью mergekit методом Model Stock. В слияние вошли четыре модели для диалогов и ролевого общения; базовой указана vicgalle/Humanish-Roleplay-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и предназначена для генерации текста в формате диалога. Заявленная длина контекста — 131 072 токена. Модель подходит для ведения диалогов и ролевых сценариев, в том числе с более свободными ответами. README не приводит результаты оценки качества или подробностей о поддерживаемых языках. В репозитории указаны веса safetensors; библиотека для работы — Transformers. Условия лицензирования в предоставленных данных не описаны.

MoshiRAG — компактная полно-дуплексная речевая языковая модель Kyutai, дообученная на базе kyutai/moshika-pytorch-bf16. Репозиторий содержит фронтенд модели в формате PyTorch с точностью bf16 и весами safetensors; модель принимает речь и формирует речевые ответы на английском языке. Модель предназначена для интерактивных голосовых диалогов с асинхронным поиском внешних сведений. Она может определить, когда ответу нужны дополнительные факты, и передать контекст диалога системе поиска, пока разговор продолжается. После получения справочного текста модель использует его для обоснования последующих частей ответа. Репозиторий содержит только речевой фронтенд: для системы также требуются бэкенд поиска и потоковая ASR-модель для транскрибирования речи пользователя. Модель разработана Kyutai и распространяется по лицензии CC-BY 4.0. Авторы отмечают ограниченные возможности, возможные смещения в темах, представленных в обучающих данных, и средний уровень токсичности относительно сопоставимых моделей. Обучена воспроизводить один голос; её не рекомендуют применять для профессиональных консультаций или вредоносного использования.

Palette-K-Midm — дообученная компанией Palette Lab модель KT Mi:dm-2.0 для подготовки корейских корпоративных документов. Она специализируется на извлечении решений из протоколов совещаний и генерации структурированного ответа, например JSON. Модель основана на плотной архитектуре Llama с 11 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для адаптации применён QLoRA с LoRA ранга 8: обучение на 397 синтетических примерах продолжалось одну эпоху, чтобы сохранить возможности базовой модели. В бенчмарке PALETTE-BENCH-KO v0.2 модель набрала 0,866 и заняла первое место среди семи моделей; преимущество над базовой моделью составило 0,010 на выборке из 32 заданий и не свидетельствует о превосходстве в общем понимании корейского языка. Извлечение решений из протоколов не улучшилось относительно базы, а интенсивное дообучение той же базы ухудшило результаты из-за катастрофического забывания. Модель лицензирована по Apache-2.0; базовая модель распространялась по MIT.

Sori-1B — модель понимания аудио, разработанная Сонуком Кимом и Human Interface Lab Сеульского национального университета. Она принимает аудиоклип и вопрос на естественном языке, распознаёт содержание и формирует ответ; модель предназначена для работы с речью, музыкой и окружающими звуками в одном сценарии. Архитектура объединяет аудиоэнкодер на основе LiquidAI/LFM2.5-Encoder-350M и языковую модель LFM2.5-350M-Base; в README указано 933 млн параметров. Этапы обработки аудио основаны на дистилляции выходов энкодера NVIDIA Audio Flamingo Next, а языковая модель обучена разработчиками проекта. Репозиторий доступен по условиям gated-доступа и лицензии other; карточка указывает академическое применение и активную исследовательскую разработку. Модель отвечает фразой, числом или списком, а при заданных вариантах может выбрать один из них. README заявляет поддержку аудио любой длительности без обрезки и обработку на CPU, однако модель работает в fp32, а проект обозначен как предварительная версия. Язык ответа и качество на разных языках отдельно не описаны; метаданные карточки указывают английский.

Tugstugi Regional ASR — модель автоматического распознавания речи, разработанная BengaliAI и дообученная на Whisper Medium от OpenAI. Она обучена на региональной бенгальской речи из набора Ben-10, включающего десять диалектов, и предназначена для преобразования такой речи в текст. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и принимает аудио, выдавая текстовую транскрипцию. Карточка связывает её с исследованием об обобщении моделей распознавания речи на региональные диалекты языков с ограниченными ресурсами. Лицензия — Apache-2.0. Модель ориентирована на бенгальскую речь и региональные диалекты. Карточка не сообщает о качестве на других языках или в условиях, отличающихся от обучающих данных; результаты на них могут быть менее надёжными.

UniMambaMia-AV-Qwen2-7B — аудиовизуальная видео-языковая модель из работы «Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy», представленной на Interspeech 2026. Она объединяет языковую модель Qwen2-7B с визуальным энкодером SigLIP2-so400m и аудиоэнкодером Qwen2-Audio; оба энкодера заморожены. Визуальная часть обрабатывает кадры с разрешением 384 пикселя и после пулинга формирует 144 токена на кадр. Модель предназначена для диалога и ответов на вопросы по аудиовизуальному видео, включая задачи AV-SpeakerBench и AVQA-Hard. Она принимает видео и аудио вместе с текстовыми инструкциями и генерирует текстовые ответы. Размер — 7,1 млрд параметров, контекст — 32 768 токенов; веса сохранены в float16. Лицензия — Apache-2.0.

patrickvonplaten/wav2vec2-2-bart-base — модель распознавания речи, созданная Патриком фон Платеном как дообученная комбинация facebook/wav2vec2-base и bart-base. Она принимает аудио и преобразует речь в текст; модель обучалась на чистой части набора LibriSpeech ASR и предназначена для автоматического распознавания речи. В карточке приведён результат на оценочной выборке: WER 0,0728 и loss 0,405. Архитектура — speech encoder-decoder на основе SpeechEncoderDecoderModel; файлы представлены в формате PyTorch. Сведения о поддерживаемых языках, контексте и лицензии в доступных данных отсутствуют. Практическое применение следует оценивать с учётом обучения на чистой английской речи из LibriSpeech: качество на шумных записях, других языках и предметных аудио не установлено.

Aniemore/wavlm-emotion-v1-crosslingual — модель распознавания эмоций в речи, разработанная Aniemore на архитектуре WavLMForSequenceClassification. Она дообучена на смеси 27 939 аудиофрагментов из восьми языков и трёх речевых регистров, чтобы распознавать эмоции в том числе в спонтанной речи. Модель относит аудио к семи категориям: гневу, отвращению, энтузиазму, страху, радости, нейтральному состоянию и грусти. Размер — 402,7 млн параметров; принимает аудио и выдаёт метки классов. Поддерживаемые языки: русский, английский, немецкий, польский, итальянский, французский, испанский и бенгальский. На тесте спонтанной русской речи macro-F1 составил 0,3633, а на тесте CAMEO для семи нерусских языков — 0,5048; авторы предупреждают, что результаты CAMEO не доказывают переносимость между языками из-за особенностей разбиения данных. На тесте актированной русской речи результат ниже, чем у предыдущей версии, поэтому для чтения или сыгранной речи она может подойти хуже. В репозитории доступны уменьшенные варианты int8, fp8 и int4. Модель распространяется по лицензии MIT; README отмечает, что лицензия наследуется от microsoft/wavlm-large.

Модель kpriyanshu256/whisper-medium-as-200-32-1e-05-bn — дообученная версия Whisper medium от OpenAI для автоматического распознавания речи. Она содержит 455,8 млн параметров и предназначена для преобразования аудио в текст; при дообучении использован Common Voice 11.0. Карточка приводит результат на оценочной выборке: WER 59,3214 и loss 1,1192. Модель принимает аудио и выдаёт текст. По названию карточки она связана с ассамским языком, однако README не подтверждает языковую область обучения, поэтому это назначение следует считать предположительным. Базовая Whisper medium — мультиязычная модель для распознавания и перевода речи, но для этой производной подтверждена только задача распознавания. Лицензия — Apache-2.0.

Модель wageehkhad/whisper-medium-finetuned-sada-asr — версия Whisper Medium, дообученная на наборе SADA22 для автоматического распознавания саудовской арабской речи. Она преобразует аудиозаписи в текст и использовалась как компонент распознавания речи в экспериментах по оценке диалектности арабского языка: полученную расшифровку передавали текстовому классификатору диалектности. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 455,8 млн параметров; опубликована в формате safetensors. Базовая модель — openai/whisper-medium. Основной сценарий — транскрибация саудовской арабской речи. Модель рассчитана на речевые сегменты длительностью до 30 секунд; более длинные записи можно обрабатывать с автоматическим разбиением на части в используемом pipeline. Дообучение ориентировано на саудовский диалект, поэтому качество на других арабских диалектах и передачах на литературном арабском может быть ниже. Лицензия — Apache-2.0.

sanchit-gandhi/xtreme_s_xlsr_2_bart_covost2_fr_en_2 — модель распознавания речи на основе архитектуры SpeechEncoderDecoderModel. В карточке указано, что модель обучена с нуля на наборе xtreme_s; метаданные подтверждают поддержку задачи automatic-speech-recognition и входных аудиоданных. Модель предназначена для преобразования речи в текст. README приводит результаты оценки: loss 1,7768 и BLEU 0,0000, однако не раскрывает описание модели, сценарии применения или детали обучающих данных. Идентификатор модели указывает на вариант для направления французский—английский, но README и метаданные не подтверждают язык входа и выхода. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют.

Fractalego Conversation QA — модель генерации текста на базе архитектуры GPT-2, обученная на наборе CoQA для ответов на вопросы в диалоге. Её можно использовать для последовательных вопросов и ответов с учётом контекста разговора через пакет conversation-qa. Модель принимает текст и генерирует текст; размер контекста составляет 1024 токена. Обучение на CoQA ориентирует модель на диалоговый формат вопросов и ответов. В метаданных указан формат PyTorch. Сведений о размере модели и лицензии в предоставленных источниках нет.

DiVA Llama 3 — голосовой ассистент на базе Llama 3.1 8B Instruct, разработанный авторами проекта DiVA. Модель рассчитана на сквозное взаимодействие с речью и текстом: принимает речь или текст и формирует ответы в голосовом сценарии. В метаданных Hugging Face указаны архитектура DiVAModel, 8 млрд параметров у базовой модели, формат safetensors и библиотека Transformers; обучение проводилось на корпусе Common Voice с использованием дистилляции. Базовая модель дообучена, лицензия репозитория — MPL-2.0. Карточка не уточняет языковой охват, длину контекста и точный формат выходного сигнала. Хотя README описывает голосового ассистента, метаданные указывают задачу feature-extraction, поэтому профиль задачи может не полностью отражать пользовательский сценарий. Практические ограничения и качество по отдельным языкам в карточке не описаны.

Fett-uccine-7B — разговорная языковая модель от Epiculous на архитектуре Mistral, созданная дообучением на диалоговых данных LimaRP, наборах theory of mind и Gnosis. Веса 8-битного LoRA-адаптера объединены с Mistral Instruct; модель рассчитана на общение в формате ChatML Instruct. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации диалоговых ответов и ролевых бесед. Репозиторий распространяется по лицензии AGPL-3.0.

Модель reazon-research/japanese-wav2vec2-base-rs35kh разработана Reazon Research и представляет собой Wav2Vec 2.0 Base, дообученную для автоматического распознавания японской речи на корпусе ReazonSpeech v2.0. Она принимает аудио и преобразует речь в текст; модель опубликована для использования через библиотеку Transformers. В карточке приведены результаты по Character Error Rate на нескольких японских наборах данных. Средний CER составил 20,40%; на JSUT-BOOK для длинной речи CER составил 82,84%, что указывает на существенное ограничение при транскрибировании длинных записей. В метаданных указано 115,6 млн параметров и лицензия Apache-2.0.

Kiriku-ASR — модель автоматического распознавания речи на волоф, разработанная IA Hub Senegal на основе дообучения Whisper Large-v2. Она предназначена для транскрибации аудио на волоф, в том числе речи из разных областей, таких как сельское хозяйство, банковское дело и городская жизнь. Для поддержки волоф в токенизатор добавлены специфические символы ñ, ë, ŋ, ɗ, ɓ и ƴ; их embeddings инициализированы на основе французских. Модель обучена на 88,27 часах проверенной речи и оптимизирована для работы без принудительного языкового токена. В карточке заявлен WER 20,70%; это показатель из README, не независимая оценка. Модель принимает аудио и выдаёт текст, а базовая Whisper Large-v2 является мультиязычной. Лицензия — Apache-2.0.

R1-AQA — модель для ответов на вопросы по аудио, разработанная mispeech на основе Qwen2-Audio-7B-Instruct. Она принимает аудиозапись и формулировку вопроса и генерирует текстовый ответ в диалоговом формате. Модель дообучена методом обучения с подкреплением GRPO примерно на 38 тысячах примеров. Разработчики сообщают о результатах на уровне state of the art на бенчмарке MMAU; это заявление относится к оценке на конкретном бенчмарке, а не гарантирует качество на любых аудиозадачах. В README также отмечено, что способности крупных аудиоязыковых моделей к рассуждению пока уступают человеческим, а польза явного пошагового рассуждения для AQA не подтверждена. Архитектура — Qwen2-Audio, около 8,2 млрд параметров согласно техническому отчёту базовой модели. Репозиторий содержит веса Safetensors и рассчитан на Transformers. Лицензия — Apache-2.0.

Карточка модели OpenMOSS-Team/SpeechGPT-7B-ma на Hugging Face совпадает с карточкой OpenMOSS-Team/SpeechGPT-7B-cm, поэтому описание составлено по ней. SpeechGPT-7B-cm — языковая модель с возможностями диалога между речью и текстом, разработанная командой OpenMOSS. Это этап дообучения SpeechGPT: модель создана на основе SpeechGPT-7B-ma и дообучена на наборе SpeechInstruct Cross-Modal Instruction, чтобы согласовать речевые представления с текстом и выполнять инструкции в разных форматах речи и текста. Модель предназначена для разговорных сценариев, в которых нужно связывать входящую речь и текстовые инструкции с текстовыми ответами или речевыми представлениями. Архитектура — плотная LLaMA, около 6,6 млрд параметров; формат весов — PyTorch, контекст — 2048 токенов. Данные SpeechInstruct-cross-modal основаны на англоязычных наборах распознавания речи. Авторы отмечают, что качество открытой версии ограничено: возможны ошибки распознавания задачи и неточности распознавания речи из-за небольшого объёма данных и числа этапов обучения. Для работы с аудио в описанном пайплайне используются отдельные mHuBERT и unit-vocoder. Лицензия в предоставленных данных не указана.

Модель разработана Peter Rupnik, Nikola Ljubešić, Ivan Porupski и Darinka Verdonik при финансировании проекта MEZZANINE. Это Wav2Vec2BertForAudioFrameClassification — дообученная версия facebook/w2v-bert-2.0 с 402,7 млн параметров, которая определяет заполненные паузы вроде «эээ» и «э-эм» в аудиозаписи. Модель выдаёт метку 0 или 1 для каждого 20-миллисекундного кадра; последовательные положительные кадры объединяются в интервалы. Модель обучена на размеченной словенской речи из корпуса ROG-Artur и оценивалась на словенском, хорватском, сербском, польском и чешском материале. На тестовой части ROG-Artur F1 составила 0,943; для чешского, хорватского и польского в ParlaSpeech указаны F1 0,874, 0,913 и 0,924 соответственно с постобработкой. Качество зависит от языка, сегментации аудио и постобработки: короткие предсказания и события на границах аудиофрагмента могут давать ложные срабатывания. Лицензия — Apache-2.0.

TheAIchemist13/whisper-hindi-base — дообученная на наборе данных, обозначенном в карточке как None, версия OpenAI Whisper Base для автоматического распознавания речи. Модель содержит 51,7 млн параметров и принимает аудио, выдавая распознанный текст. Карточка приводит результат оценки: loss 0,4967 и WER 52,9617; это указывает на заметные ошибки распознавания, поэтому качество на конкретных аудиозаписях следует проверять отдельно. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0.

akera/whisper-large-v3-kin-100h-v2 — модель автоматического распознавания речи на основе Whisper, предназначенная для транскрибирования аудио на киньяруанда. Репозиторий связан с оценкой того, как объём обучающих данных влияет на качество распознавания речи на киньяруанда и кикую; карточка описывает эксперименты с наборами данных разного размера. В метаданных указаны архитектура WhisperForConditionalGeneration, около 905,2 млн параметров, библиотека Transformers и формат safetensors. Модель принимает аудио и выдаёт текстовую транскрипцию. Для репозитория указана лицензия MIT. В README не приведены конкретные метрики качества именно этой версии, поэтому её точность для отдельных условий записи оценить по имеющимся сведениям нельзя.

kapilkd13/xls-r-hi-test — модель распознавания речи на базе Wav2Vec2, дообученная на facebook/wav2vec2-xls-r-300m для хинди на данных Mozilla Common Voice 7.0. Она принимает аудио и выдаёт распознанный текст; архитектура модели — Wav2Vec2ForCTC, число параметров — около 402,8 млн. В оценке на тестовом наборе указаны loss 0,7346 и WER 1,0479, что свидетельствует о слабом качестве распознавания в этой оценке. Модель предназначена для автоматической транскрипции речи на хинди. Опубликована по лицензии Apache-2.0.

moonshine-base-uk-gguf — это GGUF-конверсия модели UsefulSensors moonshine-base-uk, подготовленная handy-computer для работы с transcribe.cpp. Модель предназначена для автоматического распознавания украинской речи и преобразует монофонический аудиосигнал PCM с частотой 16 кГц в текстовую транскрипцию. Модель использует архитектуру encoder-decoder Transformer с примерно 62 млн параметров. Аудио обрабатывается трёхслойным стемом Conv1d без применения STFT и mel-фильтров. Доступны варианты F32 размером 248 МБ, F16 размером 132 МБ и Q8_0 размером 77 МБ. На тестовой выборке FLEURS для украинского языка показатель WER составляет около 14,4–14,5%; версия Q8_0 сохраняет качество, близкое к версиям с плавающей точкой. Модель рассчитана на локальное распознавание речи через transcribe.cpp и подходит для офлайн-транскрибации украинских аудиозаписей. Она поддерживает только украинский язык, не выполняет перевод, автоматическое определение языка и не формирует временные метки. Потоковая обработка также не поддерживается, поэтому модель ограничена сценариями пакетной транскрипции. Лицензия MIT унаследована от базовой модели.

Morocco-Darija-STT-large-v1.4 — модель распознавания речи, созданная дообучением openai/whisper-large-v3. Она предназначена для преобразования аудио в текст; название модели указывает на фокус на марокканском дарижа. В качестве основы используется мультиязычная архитектура Whisper large-v3 от OpenAI, а веса опубликованы в формате safetensors. В карточке приведены результаты оценки: loss 0.5198 и WER 0.8556. Датасет обучения не установлен, поэтому результаты не позволяют надёжно оценить качество на конкретных сценариях или разновидностях речи. Модель распространяется по лицензии Apache-2.0.

uwe311/Nemotron-Mini-4B-Instruct-heretic — англоязычная версия NVIDIA Nemotron-Mini-4B-Instruct, изменённая методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. Это плотная авторегрессионная Transformer-модель с 4,3 млрд параметров, поддерживающая диалоговую генерацию текста и контекст до 4096 токенов. В README приведено сравнение: доля отказов снизилась со 100 из 100 у исходной модели до 10 из 100 у этой версии; указанная KL-дивергенция относительно оригинала — 0,0568. Модель подходит для ролевых диалогов, ответов на вопросы по документам в RAG-системах и генерации ответов в приложениях, где нужно меньше отказов. README описывает базовую модель как оптимизированную для скорости и развёртывания на устройствах и упоминает применение в игровых сценариях NVIDIA ACE. Рекомендуется использовать исходный шаблон диалога; без него качество может снижаться. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели и условиях NVIDIA.

Quark-464M-v0.1.alpha — компактная разговорная языковая модель семейства Qwen2, выпущенная raincandy-u. Это alpha-версия для двуязычного общения на английском и китайском языках, ориентированная на быстрый запуск на устройствах с ограниченными ресурсами. Модель содержит около 464 млн параметров, использует архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 32 768 токенов. В карточке указано, что модель не проходила RLHF-донастройку; опубликованы результаты отдельных бенчмарков, но сам автор предупреждает, что выпуск предварительный и качество может меняться. Модель распространяется в формате Safetensors по лицензии other; конкретные условия лицензии в предоставленных данных не раскрыты.