I.7Речь, диалоги и встречи
В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 923 моделиsubspecs/Mag-Mell-R1-21B — слитая модель генерации текста, созданная методом passthrough с помощью mergekit на основе inflatebot/MN-12B-Mag-Mell-R1. Она предназначена для диалогов и генерации текста; базовая модель описана как подходящая для ролевых сценариев и художественного письма. Модель использует плотную архитектуру MistralForCausalLM, содержит 20,7 млрд параметров и рассчитана на контекст до 1 024 000 токенов. Репозиторий содержит веса Safetensors и поддерживает Transformers. Карточка не сообщает о специальных ограничениях или условиях лицензии, поэтому установить их по доступным данным нельзя. Языки также не установлены по карточке; базовая модель описана как диалоговая, но это не указывает конкретные языки.
Morax-24B-v1 — текстовая генеративная модель на архитектуре Mistral, созданная DarkArtsForge с помощью слияния SLERP двух моделей: Naphula/BeaverAI_Fallen-Mistral-Small-3.1-24B-v1e_textonly и TheDrummer/Precog-24B-v1. Модель содержит 23,4 млрд параметров, работает через Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов, творческого письма и ролевых сценариев. В карточке заявлены отсутствие отказов и возможность включать или отключать режим рассуждений; для лучших результатов рекомендуется шаблон Mistral V7 Tekken. Это слияние предобученных моделей, а не отдельное дообучение под специализированную область. Лицензия в предоставленных данных не указана.
Это GGUF-конверсия модели parakeet-ctc-1.1b, разработанной совместно командами NVIDIA NeMo и Suno.ai, подготовленная handy-computer для работы с transcribe.cpp. Модель предназначена для офлайн-распознавания английской речи и преобразования аудио в текст с использованием greedy CTC-декодирования, без внешней языковой модели. Она доступна для инференса и тонкой настройки в исходном формате через NeMo, а данная версия ориентирована на запуск в transcribe.cpp. Модель построена на 1,1-миллиардном FastConformer-XL encoder с линейной CTC-головой. Поддерживается английский язык; выходной текст формируется в нижнем регистре и не содержит пунктуации. Модель работает только в офлайн-режиме, не поддерживает потоковую обработку, перевод и автоматическое определение языка. Для временных меток доступны токеновые timestamps. Предполагается входной звук в формате WAV, 16 кГц, моно. Сильной стороной модели является высокая точность на LibriSpeech test-clean: WER составляет около 1,85% для F32 и большинства квантованных вариантов, 1,84% для Q5_K_M и 1,90% для Q4_K_M. Доступны варианты F32, F16, Q8_0, Q6_K, Q5_K_M и Q4_K_M размером примерно от 818 МБ до 4,25 ГБ, что позволяет выбирать между качеством и требованиями к ресурсам. Ограничения включают поддержку только английской речи, отсутствие пунктуации, перевода и streaming-режима, а также необходимость предварительной конвертации аудио в совместимый формат. Лицензия модели — CC-BY-4.0, унаследованная от базовой модели.
Klang Pianissimo — модель автоматического распознавания шведской речи, разработанная Klang как дообучение NVIDIA Parakeet TDT 0.6B v3. Она рассчитана на транскрибацию коротких аудиоклипов и длинных записей; поддерживает пунктуацию, заглавные буквы, временные метки слов и фраз, а также усиление пользовательского словаря для имён и терминов. Модель содержит около 600 млн параметров и использует энкодер FastConformer с декодером Token-and-Duration Transducer (TDT), сохраняя архитектуру и токенизатор Parakeet v3. На вход подаётся монофоническое аудио 16 кГц; локальное внимание обеспечивает контекст около 20,5 секунды в каждом направлении на слой и помогает обрабатывать длинные записи. В README приведены результаты для шведской речи: WER 4,46% на Common Voice и 6,51% на FLEURS. Разработчик сообщает о высокой скорости работы, включая обработку часа аудио за секунду на H100. Модель обучалась на примерно 50 000 часах шведской речи. Качество может снижаться при перекрывающейся речи, сильном фоновом шуме, редких именах и специальной лексике; форматирование чисел и пунктуацию может потребоваться исправлять. Оценка сосредоточена на шведском языке, поэтому качество для других языков и переключения языков не установлено. Лицензия — CC BY 4.0.
RareBit-v2-32B — слитая разговорная модель на архитектуре Qwen2, созданная ParasiticRogue на основе пяти моделей, включая Qwen/QwQ-32B, ArliAI/QwQ-32B-ArliAI-RpR-v4, EVA-UNIT-01/EVA-Qwen2.5-32B-v0.2, arcee-ai/Virtuoso-Medium-v2 и trashpanda-org/QwQ-32B-Snowdrop-v0. Она предназначена для диалогов и ролевых сценариев с генерацией естественной, творческой прозы, сохранением образа персонажа и рассуждениями. Модель содержит 32 млрд параметров, поддерживает контекст до 131 072 токенов и использует формат чата ChatML. Автор отмечает, что модель хорошо сохраняет характер и не отвечает от лица пользователя; при тестировании также не замечено крупных логических ошибок. При этом автор считает оценку предварительной и указывает на необходимость дальнейшего тестирования. Модель распространяется по лицензии Apache-2.0.
s2t-small-covost2-fr-en-st — компактная модель Speech to Text Transformer, обученная для сквозного перевода французской речи в английский текст. Разработчик — Facebook; модель основана на архитектуре Transformer encoder-decoder с предварительным свёрточным уменьшением длины аудиопризнаков. Она содержит 12,7 млн параметров и принимает речевые признаки, извлечённые из аудио WAV или FLAC. Модель предназначена для перевода французских высказываний на английский. Она обучена на франко-английской части CoVoST2, использует 80-канальные log-mel признаки, нормализацию CMVN и SpecAugment; энкодер предварительно обучен для распознавания английской речи. На тестовой части CoVoST2 для направления fr-en указана оценка BLEU 26,25. Лицензия — MIT. Поскольку README описывает именно перевод речи, тег распознавания речи из метаданных отражает семейство задачи, но практическое назначение этой версии — речевой перевод.
facebook/s2t-small-mustc-en-fr-st — модель Speech to Text Transformer, разработанная Facebook для сквозного перевода английской речи в текст на французском языке. Она обучена на англо-французской части корпуса MuST-C, содержащей записи выступлений TED Talks с транскрипциями и переводами. Модель построена на архитектуре Transformer encoder-decoder с последовательным авторегрессионным декодированием. Свёрточный модуль уменьшает длину речевых признаков перед подачей в энкодер; используются 80-канальные log-Mel фильтры и SentencePiece с словарём из 8 000 токенов. Размер модели — 14,6 млн параметров. На тестовой части MuST-C для направления en-fr указана оценка BLEU 32,9. Модель предназначена для преобразования английской речи во французский текст и может применяться для перевода выступлений и записей. Обучение энкодера предварительно выполнялось для распознавания английской речи, но основное назначение этой версии — речевой перевод. Репозиторий содержит веса PyTorch и TensorFlow; лицензия — MIT.
sfm_filtered_insert_xxf_character-6k_7k_8k_simpleavg_merge — объединённая языковая модель на архитектуре GPT-NeoX, созданная с помощью mergekit. В README указано, что при линейном слиянии за основу взят чекпойнт global_step8000, а также объединены чекпойнты global_step6000 и global_step7000. Модель содержит 8,8 млрд параметров и рассчитана на контекст до 16 384 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Карточка не описывает специальные предметные области или конкретные преимущества. Репозиторий содержит веса в формате safetensors; сведения о лицензии и ограничениях применения в доступных данных отсутствуют.
Akashpb13/Swahili_xlsr — акустическая модель распознавания речи на основе Wav2Vec2 XLS-R 300M, дообученная на Common Voice 7.0. Модель принимает аудио и с помощью CTC декодирования преобразует речь на суахили в текст. В метаданных указано 402,7 млн параметров; модель представлена в форматах PyTorch и Safetensors. Модель предназначена для транскрибирования записей и оценки распознавания речи на суахили. В README приведены результаты оценки: WER 0,188 и loss 0,159; метрики относятся к указанному автором набору оценки и не гарантируют аналогичного качества на других данных. README содержит несогласованность: в описании обучения упоминаются данные Common Voice на хауса, тогда как название модели и конфигурация оценки указывают на суахили. Лицензия — Apache-2.0.
Trifecta-Max-24b — разговорная языковая модель, созданная Entropicengine путём слияния трёх моделей методом DARE TIES с помощью mergekit. В качестве базовой модели использована darkc0de/XortronCriminalComputingConfig; также в слияние вошли TheDrummer/Cydonia-24B-v3 и Sorawiz/MistralCreative-24B-Chat. Модель построена на плотной архитектуре Mistral и содержит 23,4 млрд параметров. Она предназначена для генерации текста и диалогов, в том числе для ролевых сценариев; автор рекомендует для RP пресет Sphiratrioth. Контекст — до 32 768 токенов. Метаданные указывают английский язык базовой разговорной модели. Модель опубликована в формате safetensors и использует библиотеку Transformers. Сведения о лицензии в предоставленных данных отсутствуют.
Erik Mkrtchyan разработал модель w2v-bert-2.0-armenian-CV20.0 — дообученную на базе facebook/w2v-bert-2.0 модель распознавания речи с архитектурой Wav2Vec2-BERT и выходной головой CTC. Она принимает аудио и предназначена для преобразования армянской речи в текст. В оценке модели указаны loss 0,1436 и WER 0,1106. Модель содержит 402,7 млн параметров, опубликована в формате Safetensors и рассчитана на работу через Transformers. Лицензия — MIT. README не сообщает подробностей о наборе данных, условиях записи речи или ограничениях применимости, поэтому качество на других типах аудио и за пределами армянского языка по приведённой оценке определить нельзя.
jayashreedevi2020/wav2vec2-large-xls-r-300m-assamese — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе Common Voice 11.0. Она принимает аудио и преобразует речь на ассамском языке в текст; архитектура основана на Wav2Vec2 с CTC-выходом и содержит около 402,7 млн параметров. Модель подходит для транскрибирования записей и оценки распознавания ассамской речи. В README приведены результаты на оценочной выборке: WER 0,6470 и loss 0,9825; качество может зависеть от условий записи и соответствия аудио данным обучения. Лицензия — Apache-2.0.
imvladikon/wav2vec2-large-xlsr-53-hebrew — модель автоматического распознавания речи на иврите, созданная дообучением facebook/wav2vec2-large-xlsr-53 на нескольких загруженных образцах с YouTube. Она принимает аудио с частотой дискретизации 16 кГц и выдаёт распознанный текст; архитектура — Wav2Vec2ForCTC, число параметров — 402,7 млн. Модель подходит для транскрибирования ивритской речи в текст. Распространяется по лицензии Apache-2.0.
Wav2Vec2-Large-XLSR-53-Mongolian-v1 — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на монгольских данных Common Voice. Это модель архитектуры wav2vec2 с декодером CTC и примерно 402,7 млн параметров; доступны версии PyTorch и Flax. Для распознавания входную речь следует подавать с частотой дискретизации 16 кГц. Модель предназначена для транскрибации монгольской речи, в том числе записей, похожих на данные Common Voice; карточка приводит результат тестирования 34,64%, но не уточняет метрику в доступном описании. Распространяется по лицензии Apache-2.0.
gchhablani/wav2vec2-large-xlsr-mr-3 — модель распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 для маратхи. Она принимает аудио и выдаёт текстовую транскрипцию; для входной речи требуется частота дискретизации 16 кГц. Модель основана на архитектуре Wav2Vec2 с CTC и содержит около 402,7 млн параметров. Модель обучалась на OpenSLR SLR64 и наборах маратхи из Interspeech 2021: по 1412 примеров из каждого источника. В карточке приведены результаты тестирования 14,15% на OpenSLR и 27,14% на Interspeech; отдельно указано 19,05% для оценки на 10% данных маратхи из OpenSLR. Эти показатели относятся к описанным наборам и протоколам. Набор OpenSLR содержит только женские голоса, что ограничивает репрезентативность обучения. Модель распространяется по лицензии Apache-2.0.
Модель lgris/wav2vec2-large-xlsr-open-brazilian-portuguese — дообученная версия Wav2Vec 2.0 Large XLSR для распознавания речи на бразильском варианте португальского языка. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи, включая записи, похожие на обучающие данные: чтение предложений и аудиокниг, а также добровольческие записи. Модель содержит 402,7 млн параметров и использует архитектуру Wav2Vec2ForCTC. Для обучения объединили данные CETUC, Multilingual LibriSpeech, VoxForge, Common Voice 6.1 и Lapsbm; исходную модель дообучили в fairseq, а представленный репозиторий содержит конвертированную версию. В README приведены результаты с ошибкой распознавания 12,90% на тесте Common Voice и 35,22% на TEDx, что указывает на заметное снижение качества на речи вне обучающего домена. Модель распространяется по лицензии Apache-2.0. Она ориентирована на португальскую речь Бразилии; результаты на иных языках, акцентах и условиях записи не подтверждены приведёнными данными.
addy88/wav2vec2-malayalam-stt — модель автоматического распознавания речи на основе архитектуры Wav2Vec2 с 113,3 млн параметров. Она принимает аудио и преобразует речь на малаялам в текст; модель можно использовать напрямую, без языковой модели. Модель опубликована в формате PyTorch и предназначена для сценариев распознавания речи на малаялам. В карточке не указаны сведения о лицензии, поэтому условия использования по имеющимся данным определить нельзя.
AndrewMcDowell/wav2vec2-xls-r-1b-arabic — модель распознавания арабской речи, дообученная на базе facebook/wav2vec2-xls-r-1b на арабской части набора Mozilla Common Voice 8.0. Это плотная архитектура wav2vec2 с головой CTC, содержащая 1,3 млрд параметров и распространяемая в формате PyTorch. Модель принимает аудио и предназначена для преобразования арабской речи в текст. В карточке указаны результаты оценки на тестовой выборке: loss 1,1373 и WER 0,8607; высокий WER указывает на существенные ошибки распознавания. Лицензия — Apache-2.0.
GoranS/whisper-base-1m.hr — дообученная модель распознавания речи на основе OpenAI Whisper Base. Она предназначена для преобразования аудио в текст; языковой код карточки — hr, то есть хорватский. Модель содержит 51,7 млн параметров, использует архитектуру Whisper и доступна в формате safetensors через Transformers. В README приведены результаты оценки: loss 0,2480 и WER 17,3979. Данные не уточняют набор обучения, условия оценки и сценарии использования, поэтому эти результаты не позволяют судить о качестве на других аудиозаписях. Лицензия — Apache-2.0.
Shiry/whisper-large-v2-he — дообученная модель распознавания речи на основе OpenAI Whisper Large-v2. Она предназначена для преобразования аудиозаписей на иврите в текст. Модель содержит около 905,2 млн параметров и использует архитектуру Whisper; для дообучения применялся датасет google/fleurs, вариант he_il. В оценке на тестовой выборке указаны loss 0,5483 и WER 27. Модель принимает аудио и выдаёт текстовую транскрипцию. Репозиторий распространяется под лицензией Apache-2.0. Карточка не описывает дополнительные сценарии применения или ограничения качества, поэтому результат следует оценивать на записях, похожих на целевые по условиям записи и речи.
xezpeleta/whisper-medium-eu — модель автоматического распознавания речи, разработанная дообучением Whisper Medium от OpenAI на корпусе asierhv/composite_corpus_eu_v2.1. Модель на архитектуре Whisper содержит 455,8 млн параметров и предназначена прежде всего для транскрибации речи на баскском языке в текст. В карточке сообщается, что модель достигла WER 9,1045 на валидационной выборке обучающего корпуса и WER 7,14 на Mozilla Common Voice 18.0. Её применяют для профессиональной транскрибации и разработки приложений с распознаванием баскской речи. Модель доступна под лицензией Apache-2.0. Точность зависит от качества записи: шум, диалектная и неформальная речь, редкие слова и сложные языковые конструкции могут приводить к ошибкам. По сравнению с меньшими вариантами Whisper Medium требует больше вычислительных ресурсов и работает медленнее.
Это дообученная модель автоматического распознавания речи, созданная Andrew Bawitlung на основе openai/whisper-small и обученная на наборе MiZonal v3.0. В версии набора добавлен примерно час разговорной речи. Модель содержит 153,1 млн параметров и принимает аудио, выдавая его текстовую расшифровку; эксперимент E5 использует комбинированные аугментации: шум, изменение скорости и SpecAugment. Модель предназначена для транскрибирования речи на языке Lusoga (код lus), в том числе разговорной речи. На тестовом наборе автор сообщает WER 21,06, CER 7,30 и коэффициент реального времени 0,0263. Модель распространяется по лицензии Apache-2.0. README указывает, что подробности экспериментов и публикация находятся на этапе подготовки к рецензированию.
XLM-RoBERTa-capitalization-punctuation — модель на основе XLM-RoBERTa, дообученная для восстановления пунктуации и заглавных букв во вьетнамском тексте. Она предназначена для обработки обычного текста без пунктуации и в нижнем регистре, например расшифровок распознавания речи, а также для дальнейшего дообучения на текстах конкретной области. Модель предсказывает знаки точки, запятой, двоеточия и вопроса, а также восстанавливает обычное и сложное написание заглавных букв, например в названии YouTube. Для дообучения использован набор OSCAR-2109; README также сообщает о 5,6 млн текстовых примеров на вьетнамском языке. На 10 000 отложенных текстовых примерах приведены метрики по отдельным меткам, включая F1 0,82 для точки и 0,88 для сложного написания заглавных букв. Модель распространяется в формате PyTorch по лицензии CC BY-SA 4.0.
Модель masapasa/xls-r-300m-it-cv8 — версия wav2vec 2.0 XLS-R, дообученная на базе facebook/wav2vec2-xls-r-300m для автоматического распознавания итальянской речи. Она принимает аудио и выдаёт распознанный текст; модель содержит около 402,8 млн параметров и опубликована в формате PyTorch. Дообучение выполнено на итальянской части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0 (SV-SE); на оценочной выборке указаны loss 1,0278 и WER 1,0286. Модель подходит для транскрибации италоязычной речи и интеграции в системы распознавания аудио. Репозиторий распространяется по лицензии Apache-2.0. Применимость показателей качества за пределами указанной оценочной выборки не подтверждена.
chmanoj/xls-r-300m-te — модель распознавания речи, созданная дообучением facebook/wav2vec2-xls-r-300m на наборе OPENSLR_SLR66 для языка телугу. Она принимает аудио и преобразует речь в текст; архитектура основана на Wav2Vec2 с декодированием CTC, число параметров — 402,7 млн. В оценке на тестовом наборе указана WER 0,3467. Модель предназначена для автоматической транскрипции речи на телугу. Опубликована под лицензией Apache-2.0. Указанный показатель WER относится к оценочному набору OPENSLR_SLR66; качество на других записях может отличаться.
Sao10K разработал Kunou-v1 как универсальную разговорную модель и модель для ролевых сценариев; автор описывает её как младшую версию линейки Kunou. Это плотная языковая модель Qwen2 на 14 млрд параметров, дообученная на базе Qwen/Qwen2.5-14B-Instruct. Она предназначена для генерации текста и диалогов, включая ролевые беседы. В README указаны формат ChatML и рекомендуемые параметры генерации: температура 1,1 и min_p 0,1. Контекст модели — до 131 072 токенов. Модель принимает и выдаёт текст; метаданные также отмечают интерфейс вызова инструментов. Лицензия указана как other, поэтому условия использования следует уточнить в карточке модели. Автор характеризует проект как быстрый эксперимент без подробного описания методики обучения или гарантированных показателей качества.
saxyZ/audio.cpp-gguf-fork — это набор нативных конвертаций аудиомоделей в формате GGUF для проекта audio.cpp. Пакет не представляет собой одну модель: он объединяет веса множества базовых моделей, включая ACE-Step, Chatterbox, Fish Audio S2 Pro, Fun-ASR, Higgs Audio, IndexTTS, Irodori-TTS, Qwen3-TTS и ASR-модели. Разработчик самого набора в README явно не указан; конвертации предназначены для использования с audio.cpp. Модели охватывают широкий спектр аудиозадач: синтез речи и преобразование голоса, генерацию текста в аудио, автоматическое распознавание речи, разделение источников, диаризацию говорящих, музыкальную генерацию и обработку аудио. Доступны варианты с исходной точностью, F16 или BF16, а также квантованные версии Q8_0. Архитектура, число параметров, поддерживаемые языки и размер контекста зависят от конкретной базовой модели и для набора в целом не определены. Сильная сторона пакета — унифицированное представление GGUF и возможность локального запуска различных аудиомоделей через audio.cpp. README предупреждает, что автоматические проверки могут выявлять расхождения по длине, log-mel-признакам или транскрипции, даже если результат приемлем для слуха; совместимость и качество следует проверять для конкретного файла, backend и сценария. Лицензия указана как other, при этом лицензии отдельных исходных моделей различаются и включают MIT, Apache-2.0, CC-BY-4.0, CC-BY-NC-4.0 и другие, поэтому условия использования необходимо уточнять для выбранной модели.
KasuleTrevor разработал эту модель как дообученный чекпойнт Qwen3-ASR для распознавания речи на лугандийском языке, в том числе речи с нарушениями разной степени тяжести. Это выбранный чекпойнт 1000-го шага третьего этапа обучения на наборе cdli/ugandan_luganda_nonstandard_speech_v1.0; базовая модель — KasuleTrevor/cdli-qwen3-asr-lg-typical-1p7b-base-finetune. Модель принимает аудио и выдаёт распознанный текст. На тестовой выборке средний нормализованный WER по высказываниям составил 0,497, а CER — 0,231; без ограничения нормализованный корпусный WER составил 0,633, CER — 0,323. Ошибки чаще возникали на речи с тяжёлыми нарушениями: средний WER составил 0,597 против 0,397 для лёгких нарушений. Модель распространяется по лицензии Apache-2.0.
ConvTasNet — модель разделения аудио, обученная Joris Cosentino с использованием рецепта LibriMix в Asteroid. Она предназначена для разделения смеси речи трёх говорящих на отдельные аудиодорожки и обучена для задачи sep_clean на наборе Libri3Mix. Модель принимает звук с частотой дискретизации 8 кГц и рассчитана на три источника. В конфигурации указаны фильтробанк с 512 фильтрами, масочная сеть с 8 блоками и 3 повторениями. Модель пригодится для экспериментов и обработки смешанной речи; данные о качестве на тестовом наборе в доступном README опущены. Репозиторий распространяется по лицензии CC BY-SA 4.0; README также указывает лицензию CC BY 3.0 для этой работы и CC BY 4.0 для исходного корпуса LibriSpeech.
DarkAtom-12B-v3 — слитая чат-модель, созданная Khetterman с помощью mergekit на основе 18 моделей семейства Mistral. Для объединения применялся многоэтапный процесс Slerp, ModelStock и Ties с повторным слиянием вариантов моделей. Модель содержит 12,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате safetensors с точностью bfloat16; заявленный контекст — до 1 024 000 токенов. Модель предназначена для генерации диалогов, ролевых игр и творческого письма. Карточка и метаданные указывают поддержку английского и русского языков, а также интерфейс для вызова инструментов. Включение разных моделей в слияние не гарантирует одинакового качества во всех задачах; в карточке не приведены результаты оценивания. Лицензия в предоставленных данных не указана.