I.7Речь, диалоги и встречи

TakalaWang/Discussion-Phi-4-multimodal-instruct-audio-dimp-reasoning — дообученная модель семейства Phi-4 от TakalaWang на основе microsoft/Phi-4-multimodal-instruct. Это плотная модель с 3,8 млрд параметров для генерации диалогового текста; в каталоге также отмечен интерфейс вызова инструментов. Базовая модель поддерживает анализ изображений и аудио, распознавание речи и генерацию текстовых ответов, однако README не уточняет, какие из этих возможностей сохраняются или улучшаются после дообучения. Модель использует Transformers и формат safetensors, имеет контекст 4096 токенов и лицензию MIT. README сообщает о дообучении на неизвестном наборе данных и значении loss 16,1311 на оценочном наборе, но не раскрывает методику, поэтому качество и пригодность для конкретных сценариев по этим сведениям оценить нельзя.

DuplexJev-A — обучаемый коннектор для анализа речи, разработанный adventists-ai. Он соединяет замороженный аудиоэнкодер Qwen3-ASR-0.6B с замороженной языковой моделью Qwen3-32B в архитектуре Ultravox; сам коннектор использует cross-attention fusion и проектор, обучено 21,1 млн параметров. Модель выдаёт однотокенные ответы на вопросы о произнесённой речи без пошаговой генерации, поэтому за один проход можно получить решения для нескольких вопросов. Модель предназначена для ответов на вопросы по аудио, определения состояния хода разговора, выбора речевых заполнителей, распознавания говорящего и анализа паралингвистических признаков. В README приведены результаты на двуязычном наборе spoken QA qa100, бенчмарке ZJU-ML и задаче определения состояния хода Easy-Turn; отдельные проверки охватывают пол и эмоции. Для лучшей работы запросы следует формулировать на языке аудио и согласовывать варианты ответа с примерами обучения. Модель принимает аудио и текстовые запросы, выдаёт текстовые ответы. В карточке указаны английский и китайский языки; базовые компоненты — Qwen3-ASR-0.6B и Qwen3-32B. Лицензия — Apache-2.0. Коннектор работает только с указанными энкодером и LLM. Оценка проведена на небольших тестовых выборках с прочитанной или разыгранной речью, а потоковый ввод не проверялся; точность определения эмоций и пола ограничена, и результаты по эмоциям не следует использовать для принятия решений о людях.

YeungNLP/firefly-qwen-7b — модель Qwen-7B, дообученная в рамках проекта Firefly на более чем миллионе примеров многоходовых диалогов. В обучающие данные вошли набор moss, опубликованный проектом, и 20 тысяч примеров по школьной математике. Модель предназначена для генерации текста в формате одноходового и многоходового диалога, включая ответы на вопросы и решение школьных математических задач. Это плотная модель семейства Qwen с архитектурой QWenLMHeadModel и примерно 11,4 млрд параметров; заявленный контекст — 8192 токена. Репозиторий содержит веса PyTorch. Карточка не сообщает лицензию. Качество может зависеть от темы и формулировки запроса; данные об обучении указывают на диалоговый и школьный математический фокус, поэтому возможности за пределами этих сценариев не следует считать подтверждёнными.

LexPodLM-13B — языковая модель семейства LLaMA, разработанная 64bits и дообученная по схеме Vicuna на датасете с расшифровками и материалами подкаста Лекса Фридмана. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и 12,9 млрд параметров; она принимает текст и генерирует текст, поддерживает английский язык и имеет контекстное окно 2048 токенов. Модель предназначена прежде всего для диалогов и может давать развёрнутые, нюансированные ответы в стиле обучающих данных. Автор отмечает, что она может быть слабее в написании кода, поиске фактов и эссе. Приведённые в карточке оценки включают результаты на ARC, HellaSwag, MMLU и TruthfulQA, но сами по себе не гарантируют качество ответов в прикладных сценариях. Репозиторий содержит веса PyTorch; лицензия указана как other, поэтому перед использованием следует проверить условия лицензирования модели и базовой LLaMA.

Mahou-1.2-llama3-8B — диалоговая языковая модель Flammen AI для общения и ролевых сценариев. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров; она принимает текст и выдаёт текст, поддерживает чат и рассчитана на контекст до 8192 токенов. Модель обучена на разговорных данных Flammen AI с использованием формата ChatML. README описывает дообучение с помощью Direct Preference Optimization (DPO) и LoRA; для общения и ролевых диалогов модель предлагает использовать ChatML-шаблон и режим Instruct. В карточке приведены результаты оценивания на тестах рассуждения и здравого смысла. Лицензия указана как llama3. Модель предназначена для диалогового применения, однако опубликованные результаты и описание не гарантируют качество для всех сценариев; в README также не приведены подробные оценки безопасности или ограничения по темам.

Cosmobillian разработал модель распознавания коротких высказываний на турецком языке в шумных условиях. Это Whisper large-v3 с 905,2 млн параметров, дообученная на полных весах с замороженным энкодером и настройкой декодера; модель принимает монофонический звук с частотой 16 кГц и преобразует речь в текст. Она предназначена для записей с телефона, уличного шума, фоновой музыки и разговоров, эха и реверберации, включая звонки, влоги и спонтанную речь. Декодирование смещено в пользу турецкого языка, поэтому модель не следует рассматривать как универсальную мультиязычную Whisper. В карточке отмечена качественная проверка на нескольких примерах, но нет официальных WER- или CER-оценок на общедоступном наборе данных; результаты следует проверять на целевых записях. Модель менее подходяща для длинных аудио без разбиения на фрагменты и для медицинской или юридической диктовки без проверки человеком. Лицензия в предоставленных данных не указана.

Harveenchadha/vakyansh-wav2vec2-bengali-bnm-200 — модель автоматического распознавания речи, опубликованная пользователем Harveenchadha в рамках проекта Vakyansh, посвящённого speech-to-text для индийских языков. Она предназначена для преобразования аудиозаписей на бенгальском языке в текст и может использоваться через Transformers как pipeline automatic-speech-recognition или напрямую через AutoModelForCTC. Модель основана на архитектуре wav2vec2 и Wav2Vec2ForCTC. Конфигурация указывает 12 transformer-слоёв, 12 attention heads, hidden size 768, intermediate size 3072 и словарь из 65 токенов бенгальского письма. Ожидаемая частота дискретизации аудио — 16 кГц; входная модальность — речь, выходная — текст на бенгальском языке. Размер файла весов составляет около 378 МБ. Название указывает на обучение на объёме около 200 часов, однако подробности датасета и результаты оценки в карточке модели не приведены. Сильная сторона модели — специализированное распознавание бенгальской речи на основе wav2vec2 с готовой интеграцией в экосистему PyTorch и Transformers. Ограничения включают отсутствие подробной model card, опубликованных метрик качества, описания границ применимости и подтверждённой информации о поддержке других языков или модальностей. Лицензия в доступных материалах репозитория не указана, поэтому условия использования следует уточнять перед применением.

aufklarer/VoiceChat-11B-Perception-MLX-int8 — конверсия полного речевого пайплайна NVIDIA NemotronLabs VoiceChat 11B в формат MLX для Apple Silicon. Модель предназначена для потокового двустороннего общения голосом: воспринимает речь пользователя, обрабатывает языковые и функциональные каналы и генерирует ответную речь встроенным голосом Aria. В состав входят языковая модель Nemotron-H, потоковый энкодер FastConformer и декодер аудиокодека; полный чекпойнт содержит 11,1 млрд параметров. Вариант использует 8-битное представление и занимает около 12,11 ГБ; в тесте README его жадные выходы совпали с fp16-версией токен в токен. Модель принимает и выдаёт аудио, а языковой канал поддерживает английский. Репозиторий распространяется по лицензии OpenMDW 1.1. Пайплайн поддерживает потоковую работу, но в приведённом тесте на Apple Silicon не успевал обрабатывать речь в реальном времени. Генерация проверена для встроенного голоса Aria; клонирование пользовательского голоса не подтверждено и работает некорректно.

speech-seq2seq/wav2vec2-2-gpt2-medium-no-adapter-frozen-enc — речевая модель архитектуры SpeechEncoderDecoderModel, обученная с нуля на датасете LibriSpeech ASR. Она предназначена для автоматического распознавания речи: принимает аудио и генерирует текстовую расшифровку. В README указаны результаты на оценочной выборке: loss 6,5541 и WER 1,9877; по этим значениям качество распознавания выглядит низким. Модель загружает и обрабатывает аудио, выдаёт текст и распространяется в формате PyTorch. Метаданные указывают на связь с LibriSpeech ASR, но не подтверждают поддержку конкретных языков, размер модели или длину контекста. Условия лицензии в предоставленных данных отсутствуют.

atgarcia/wav2vec2-base-timit-demo-google-colab — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-base. Она принимает аудио и преобразует речь в текст. Модель построена на архитектуре Wav2Vec2ForCTC, содержит 113,3 млн параметров и представлена в формате PyTorch. В карточке приведены результаты оценки: loss 0,5255 и WER 0,3330. Название модели указывает на связь с TIMIT и демонстрацией в Google Colab, но README не уточняет обучающие данные, языки распознавания и предназначенные сценарии применения. Лицензия модели — Apache-2.0.

Модель infinitejoy/wav2vec2-large-xls-r-300m-bulgarian — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания болгарской речи. Она использует архитектуру wav2vec2 с CTC-выходом и обучена на болгарской части набора Mozilla Common Voice 7.0. Модель принимает аудио и преобразует речь в текст; в оценке на тестовой выборке указаны loss 0,4487 и WER 0,4674. Модель подходит для транскрибации болгарской речи, например записей и голосовых сообщений. Опубликована по лицензии Apache-2.0. Указанный WER свидетельствует о заметных ошибках распознавания, поэтому качество следует проверять на аудио, похожем на целевое; подробные ограничения и рекомендации в карточке не приведены.

syp1229/wav2vec2-large-xls-r-300m-korean_y_freq — модель автоматического распознавания речи на основе Wav2Vec2, дообученная автором репозитория на неизвестном наборе данных. Она принимает аудио и предназначена для преобразования речи в текст; название указывает на корейский язык, однако README не подтверждает языковой состав данных или область применения. Модель содержит 404 млн параметров и опубликована в формате Safetensors; базовая модель — facebook/wav2vec2-xls-r-300m. На указанном в README оценочном наборе приведены Loss 0,4522 и CER 13,5023. Лицензия — Apache-2.0. Сведения о длине контекста, условиях записи и ограничениях применения не приведены.

Andrew McDowell дообучил wav2vec2-xls-r-300m для автоматического распознавания японской речи на наборе Mozilla Foundation Common Voice 8.0 (конфигурация ja). Модель построена на архитектуре Wav2Vec2ForCTC, содержит 402,8 млн параметров и принимает аудио, выдавая текстовые символы каны. При обучении и оценке кандзи преобразовывались в хирагану; модель может выводить хирагану и катакану. Модель подходит для транскрибирования японской речи, в том числе записей, похожих на данные Common Voice. В README указаны CER 23,64% на Common Voice 8.0 и 30,99% на speech-recognition-community-v2/dev_data; для японского текста без пробелов CER уместнее WER. Репозиторий распространяется под лицензией Apache-2.0.

Это модель автоматического распознавания речи на телугу, созданная Liodon AI путём дообучения openai/whisper-large-v3. Она преобразует аудиозаписи на телугу в текст и подходит для транскрибации записей и речевых данных на этом языке. Модель основана на архитектуре Whisper large-v3 и обучена на примерно 119 тысячах аудиопримеров из датасетов Kathbath, IndicVoices-R и FLEURS. В карточке приведены промежуточные значения WER на валидационной части Kathbath: от 48,79% на шаге 0,10 до 40,78% на шаге 0,30; это указывает на ограничения качества данного чекпойнта. Указан epoch 1 checkpoint, а дальнейшее обучение продолжается. Лицензия — Apache-2.0.

xlsr-luganda-waxal — модель распознавания речи на основе Wav2Vec2 XLSR, созданная дообучением sulaimank/wav2vec2-xlsr-swahili-400hr. Она преобразует входящее аудио в текст и предназначена для автоматического распознавания речи. Архитектура — Wav2Vec2ForCTC; модель содержит около 402,7 млн параметров и распространяется в формате Safetensors. В карточке приведены результаты оценки: WER 0,2144, CER 0,0446 и Zindi 0,8705; набор данных и подробности тестирования не раскрыты. Название указывает на лугандийскую речь, но README не описывает поддерживаемые языки и сценарии подробнее. Лицензия — Apache 2.0.

AfriVoices East Africa — ASR multilingue edge — это система распознавания речи для шести восточноафриканских языков, разработанная для соревнования AfriVoices East Africa: ASR Hackathon. Акустическая часть основана на Facebook Wav2Vec2-BERT 2.0 с CTC-головой и общим символьным словарём из 67 символов; для декодирования используются отдельные 5-граммные языковые модели KenLM для каждого языка. Метаданные указывают 402,7 млн параметров и формат Safetensors. Модель предназначена для офлайн-транскрибации аудио на встраиваемых устройствах, включая Raspberry Pi 4 и Android. В README приведены результаты соревнования с макроусреднённым WER около 0,455 для лучшей конфигурации и показатели производительности на CPU; заявлено потребление памяти до 6,71 ГБ в прямом режиме и оконный резервный режим для длинных записей. Поддерживаются суахили, сомали, кикуйю, луо, календжин и маасаи. Лицензия — Apache-2.0.

Это дообученная модель распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров, опубликованная пользователем gary109. Она обучена на датасете GARY109/AI_LIGHT_DANCE - ONSET-IDMT-MDB-ENST2 для автоматического распознавания речи; в README указаны результаты на тестовой выборке: loss 0,5661 и WER 0,3416. Подходит для преобразования аудиозаписей в текст в сценариях, связанных с данными обучения. Язык распознавания и дополнительные сценарии в доступных материалах не описаны. Модель распространяется в формате PyTorch; сведения о лицензии отсутствуют.

DuplexJev-B — вариант модели DuplexJev от adventists-ai для извлечения текстовых ответов и закрытых решений непосредственно из речи. Она соединяет замороженный аудиоэнкодер adventists-ai/Qwen3-ASR-0.6B-Encoder с замороженной Qwen/Qwen3-32B через обученный коннектор в формате Ultravox. Вариант B передаёт выход последнего слоя энкодера через объединение кадров и SwiGLU-проектор; обучено 17,8 млн параметров коннектора. Модель предназначена для ответов на вопросы по аудиозаписи и классификации речевых событий, например определения конца реплики, подходящего заполнителя паузы или говорящего. Решение читается как распределение по одному токену без этапа генерации, что позволяет задавать несколько вопросов за один проход. Поддерживаются китайский и английский языки; запросы следует формулировать на языке аудиозаписи с вариантами ответа в стиле обучающих примеров. Лицензия — Apache-2.0. В опубликованных оценках приведены результаты на небольших наборах QA и определения состояния очереди речи; результаты зависят от формулировки запроса. Модель проверяли на прочитанной или сыгранной речи, а не на потоковом аудио. Классификация эмоций обучена на корпусах с актёрской речью, поэтому её не следует использовать для принятия решений о людях. Для работы необходимы указанные аудиоэнкодер и языковая модель.

Карточка модели MergekitCloud/mergekit-63 на Hugging Face совпадает с карточкой MergekitCloud/mergekit-73, поэтому описание составлено по ней. MergekitCloud/mergekit-73 — объединённая языковая модель на основе Llama 3.1, созданная с помощью mergekit методом Model Stock. В слияние вошли четыре модели для диалогов и ролевого общения; базовой указана vicgalle/Humanish-Roleplay-Llama-3.1-8B. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и предназначена для генерации текста в формате диалога. Заявленная длина контекста — 131 072 токена. Модель подходит для ведения диалогов и ролевых сценариев, в том числе с более свободными ответами. README не приводит результаты оценки качества или подробностей о поддерживаемых языках. В репозитории указаны веса safetensors; библиотека для работы — Transformers. Условия лицензирования в предоставленных данных не описаны.

moonshine-base-zh-gguf — это GGUF-конверсия модели UsefulSensors/moonshine-base-zh, подготовленная для работы с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования китайской, в частности мандаринской, речи в текст. Она подходит для локальной транскрипции 16 кГц монофонических аудиозаписей, но не поддерживает потоковую обработку, перевод, автоматическое определение языка или временные метки. Модель использует encoder-decoder Transformer с примерно 62 млн параметров. Она принимает необработанный PCM-аудиосигнал через трёхслойный Conv1d-стем без STFT и mel-фильтробанка и генерирует только текст транскрипции. Доступны варианты F32 размером 248 МБ, F16 размером 132 МБ и Q8_0 размером 77 МБ. На тесте FLEURS zh CER составила 16,65% для F32 и F16, а для Q8_0 — 17,00%; квантованный вариант немного уступает по точности, сохраняя меньший размер. Основные ограничения — поддержка только языка zh, отсутствие перевода, потокового режима, определения языка и временных меток, а также необходимость предварительно подготовить аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

MWirelabs/ne-asr — мультиязычная модель автоматического распознавания речи, разработанная MWirelabs и дообученная на базе openai/whisper-medium. Она предназначена для распознавания речи на восьми языках Северо-Восточной Индии. Модель использует архитектуру Whisper и содержит 455,8 млн параметров; принимает аудио и генерирует текстовую транскрипцию. В обучении использованы 150 483 образца из набора Vaani и собственного корпуса MWire. В README приведены результаты на тестах для кхаси (WER 16,89%), гаро (9,31%) и мизо (23,85%). Модель распространяется по лицензии CC BY 4.0; результаты для трёх языков показывают, что качество различается по языкам.

deepdml/output — модель распознавания речи на архитектуре Wav2Vec2ForCTC с 402,7 млн параметров. По README, это дообученная версия hf-test/xls-r-dummy, обученная на наборе MOZILLA-FOUNDATION/COMMON_VOICE_7_0 — AB. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки на тестовой выборке: Loss 156,8789 и WER 1,3456. Описание сценариев применения и ограничений в README не раскрыто. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют.

PersonaPlex-7B-MLX-8bit — 8-битная MLX-версия модели PersonaPlex 7B от NVIDIA, преобразованная для запуска на компьютерах Apple Silicon. Она основана на архитектуре Kyutai Moshi и предназначена для потокового полнодуплексного общения голосом: принимает аудио и генерирует аудиоответ, поддерживая одновременное слушание и речь. В состав входят временной трансформер на 32 слоя с размерностью 4096 и 32 головами, Depformer на 6 слоёв и аудиокодек Mimi; в README указаны 18 голосовых пресетов. Заявлена поддержка английского языка. Модель подходит для голосовых ассистентов и интерактивных диалоговых систем с речевым вводом и выводом. Для использования на Apple Silicon доступен Swift-интерфейс из проекта soniqo/speech-swift. Репозиторий описан как 8-битная конверсия исходной PersonaPlex, однако в метаданных указан тип производной finetune. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

shook-medium-amharic-2k — модель распознавания речи на архитектуре Whisper, разработанная b1n1yam. Это плотная модель примерно на 455,8 млн параметров, предназначенная для преобразования аудио в текст. В README указано, что модель обучалась с нуля, а на оценочном наборе получила loss 0,0532 и WER 9,1091; обучающий набор данных не назван. Карточка не описывает языковой охват и сценарии применения подробнее, поэтому подтверждённую поддержку амхарского языка по имеющимся сведениям установить нельзя. Модель доступна в формате safetensors для библиотеки Transformers. Информация о лицензии отсутствует в предоставленных источниках.

TrorYongASR-small — модель распознавания речи на архитектуре Encoder-Decoder, разработанная KHUN Kimang и опубликованная KrorngAI. Вариант Small содержит 135 млн параметров: аудиоэнкодер состоит из 12 слоёв с 12 головами внимания, текстовый декодер — из одного Transformer-блока с 24 головами. Аудио преобразуется в логарифмические мел-спектрограммы с 80 мел-полосами. Модель предназначена для транскрибации речи на кхмерском и английском языках. По тестам из карточки, английская речь распознаётся заметно лучше кхмерской: WER составляет соответственно 21,75% и 50,46%. Также модель обучалась для перевода между аудио на кхмерском и английском текстом, но эта возможность не оценена из-за малого объёма данных. Модель не выдаёт временные метки и не выполняет обнаружение речи; качество может снижаться при шуме, реверберации, разных акцентах и стилях речи. Лицензия указана как other; конкретные условия в карточке не приведены.

wav2vec2-2-bert-large — модель распознавания речи с архитектурой SpeechEncoderDecoderModel, опубликованная в репозитории speech-seq2seq/wav2vec2-2-bert-large. Согласно карточке, модель обучена с нуля на наборе LibriSpeech ASR и предназначена для преобразования речи в текст. Метаданные указывают на входные аудиоданные и формат PyTorch. В карточке приведены результаты оценки на тестовом наборе: loss 6,9670 и WER 1,9878. Описание модели, назначение и ограничения в README заполнены лишь частично; язык распознавания явно не указан. Условия лицензии в доступных данных не приведены.

thunninoi/wav2vec2-japanese-hiragana-vtuber — модель распознавания речи на основе Wav2Vec2ForCTC с 402,7 млн параметров, дообученная от vumichien/wav2vec2-large-xlsr-japanese-hiragana. Она предназначена для преобразования японской речи в текст и подходит для транскрибирования голосовых записей, в том числе речи VTuber. В README приведены результаты оценки: loss 0,4134 и WER 0,1884; сведения о наборе данных и подробных условиях тестирования отсутствуют. Модель использует PyTorch и распространяется по лицензии Apache-2.0.

SpideyDLK/wav2vec2-large-xls-r-300m-sinhala-low-LR-part1 — модель автоматического распознавания речи на архитектуре Wav2Vec2ForCTC, опубликованная пользователем SpideyDLK на Hugging Face. По названию репозитория она предназначена для распознавания сингальской речи; карточка модели содержит стандартный пример запуска через Transformers, но не описывает обучение, данные или оценку качества. Модель принимает аудио и выдаёт текстовую транскрипцию. В метаданных указано около 402,7 млн параметров и формат Safetensors. Сведения о лицензии, длине контекста и ограничениях качества в доступных источниках отсутствуют.

arbml/wav2vec2-large-xlsr-53-arabic-egyptian — модель распознавания речи на основе Wav2Vec2-Large-XLSR-53, дообученная для арабского египетского варианта. Карточка README противоречиво называет её Tamil, тогда как идентификатор модели указывает на арабский египетский; поэтому язык назначения нельзя установить уверенно. В метаданных указаны архитектура Wav2Vec2ForCTC, 402,7 млн параметров и обучение на Common Voice. Модель принимает речь в аудио с частотой дискретизации 16 кГц и преобразует её в текст. Для распознавания можно использовать без языковой модели. Репозиторий содержит веса PyTorch и Flax, задача Hugging Face — automatic-speech-recognition. Лицензия — Apache-2.0. README не содержит пригодного результата оценки качества.

Whisper-Medium + Adaptive Layer Attention — модель распознавания речи на хинглише, разработанная автором репозитория ajju3513 на основе openai/whisper-medium. Она предназначена для расшифровки речи со смешением хинди и английского, включая речь взрослых и детей, особенно при наличии аддитивного шума. Модель использует Whisper-medium с 455,8 млн параметров и дополнительной головой Adaptive Layer Attention, которая объединяет акустические представления нескольких слоёв энкодера. Обучение включало дистилляцию знаний от учителя, обрабатывающего чистую запись, к модели, обучаемой на шумной версии той же записи. Поддерживаются входное аудио и вывод текстовой расшифровки на хинди и английском; исходная модель Whisper рассчитана на аудио до 30 секунд в данном сценарии. Модель показывает устойчивость к синтетически добавленному шуму и обучена не выдавать текст на аудио без речи. Она специализирована для конкретного корпуса хинглиша, микрофона и профиля шума; реальные реверберации, перекрывающаяся речь и длинные записи не проверены, а ошибка распознавания на шумной речи остаётся заметной. Для загрузки пользовательского модуля ALA требуется trust_remote_code=True. Лицензия — Apache-2.0.