/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
1 801–1 830 из 26 923
OpenMOSS-Team
SpeechGPT-7B-cm

SpeechGPT-7B-cm — языковая модель с возможностями диалога между речью и текстом, разработанная командой OpenMOSS. Это этап дообучения SpeechGPT: модель создана на основе SpeechGPT-7B-ma и дообучена на наборе SpeechInstruct Cross-Modal Instruction, чтобы согласовать речевые представления с текстом и выполнять инструкции в разных форматах речи и текста. Модель предназначена для разговорных сценариев, в которых нужно связывать входящую речь и текстовые инструкции с текстовыми ответами или речевыми представлениями. Архитектура — плотная LLaMA, около 6,6 млрд параметров; формат весов — PyTorch, контекст — 2048 токенов. Данные SpeechInstruct-cross-modal основаны на англоязычных наборах распознавания речи. Авторы отмечают, что качество открытой версии ограничено: возможны ошибки распознавания задачи и неточности распознавания речи из-за небольшого объёма данных и числа этапов обучения. Для работы с аудио в описанном пайплайне используются отдельные mHuBERT и unit-vocoder. Лицензия в предоставленных данных не указана.

5278сент. 2023ctx2K
texthugging-face
ctaguchi
ssc-aln-model

ssc-aln-model — модель распознавания речи на архитектуре wav2vec2 с выходной CTC-головой, разработанная ctaguchi и обученная с нуля. Она предназначена для преобразования аудио в текст; размер модели — около 402,7 млн параметров. В репозитории опубликованы веса в формате safetensors для использования с библиотекой Transformers. На указанном оценочном наборе модель получила CER 0,5679 и WER 0,9768. Датасет, поддерживаемые языки, условия применения и лицензия в доступных сведениях не описаны, поэтому область применения и качество распознавания для конкретных языков оценить нельзя.

210нояб. 2025
textaudiohugging-face
SupraLabs
supra-title-50m-pre

Supra Title 50M — компактная языковая модель SupraLabs для автоматической генерации заголовков чатов. Это дообученная плотная модель семейства Llama на 51,8 млн параметров, основанная на SupraLabs/Supra-1.5-50M-Base-exp. Для обучения использованы наборы chat-titles-filtered-115K и supra-wild-titles-130k; модель выдаёт заголовок непосредственно в виде текста. Модель рассчитана на создание краткого заголовка по содержанию чата. Карточка указывает на контекст до 4 тысяч токенов, а метаданные — на нативный контекст 5120 токенов. Компактный размер предназначен для быстрого вывода на широком спектре оборудования. Указанный в карточке основной язык — английский. В репозитории представлены веса Safetensors. Лицензия — Apache-2.0. Карточка рекомендует для инференса отдельную GGUF-версию в квантовании Q8; эта рекомендация не относится к формату текущего репозитория.

4411июнь 2026ctx5.1K
textapache-2.0hugging-face
ghananlpcommunity
w2v2-lg-xls-r-300m-kasem

w2v2-lg-xls-r-300m-kasem — модель автоматического распознавания речи на основе Wav2Vec2, дообученная сообществом GhanaNLP на facebook/wav2vec2-xls-r-300m. Она принимает аудио и преобразует речь в текст; число параметров составляет около 402,7 млн. В карточке приведены результаты оценки: WER 0,30174 и eval_loss 1,99408. Модель предназначена для распознавания речи на языке Kasem. Она распространяется в формате Safetensors и рассчитана на использование с библиотекой Transformers. Лицензия CC BY-NC-SA 4.0 требует указания авторства, ограничивает коммерческое использование и предписывает распространять производные работы на тех же условиях.

60июль 2026
textaudiocc-by-nc-sa-4.0hugging-face
tiantiaf
whisper-large-v3-msp-podcast-emotion-dim

Модель tiantiaf/whisper-large-v3-msp-podcast-emotion-dim — модель классификации эмоций в речи, разработанная на основе Whisper large-v3 и обученная на данных MSP-Podcast. Она анализирует аудио без использования транскрипта и выдаёт три оценки от 0 до 1: возбуждение (от спокойного до активного состояния), валентность (от отрицательной до положительной) и доминантность (от слабого до сильного состояния). Модель предназначена для исследования и анализа эмоциональных характеристик речи, в том числе в подкастах и другом онлайн-контенте. В описании указано, что использован подход SAILER — решение с лучшим результатом в Speech Emotion Challenge на INTERSPEECH 2025; модель также связана с исследованием Vox-Profile. Обучение на MSP-Podcast может приводить к чувствительности предсказаний к содержанию аудио, что следует учитывать при интерпретации оценок. Репозиторий содержит веса в формате safetensors. Лицензия — OpenRAIL.

3394июнь 2025
audioopenrailhugging-face
kcz358
aero-realtime-4B

Aero Realtime 4B — плотная мультимодальная модель семейства Aero Realtime от разработчика kcz358 для потокового взаимодействия с аудио и видео. Она обрабатывает аудио, видеокадры и текст в едином авторегрессионном потоке, выравнивая их по времени; языковая голова на каждом аудиослотовом шаге предсказывает текстовый токен или токен тишины. Модель предназначена для анализа аудиовизуальных потоков в реальном времени и выдачи синхронизированных текстовых ответов. В карточке описаны пакетная обработка видео с аудио чанками по 80 мс и кадрами с частотой 1 кадр/с, а также потоковая подача данных через WebSocket. Для запуска приведены примеры с Transformers и vLLM-Omni, включая распределение модели на несколько GPU. Репозиторий содержит веса Safetensors, лицензия — MIT. Размер 4B указан в названии чекпойнта; подробности о языковой поддержке и нативной длине контекста в карточке не приведены.

4510авг. 2026ctx262.1K
textvideomithugging-face
jeiku
Fett-uccine_Mini_3B

Fett-uccine Mini 3B — разговорная языковая модель, созданная jeiku слиянием нескольких предварительно обученных моделей StableLM Epoch методом task arithmetic. В слияние вошли jeiku/Rosa_v1_3B, jeiku/Gnosis_256_StableLM, jeiku/Theory_of_Mind_128_StableLM и jeiku/LimaRP_StableLM; Rosa_v1_3B указана как базовая модель. Модель содержит 2,7 млрд параметров и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Карточка и метаданные характеризуют её как разговорную; семейство исходных моделей ориентировано на англоязычные диалоги и создание ИИ-компаньона. Данные не описывают отдельные гарантированные способности или результаты оценки качества. Репозиторий использует Transformers и формат Safetensors. Лицензия в предоставленных сведениях не указана.

223февр. 2024ctx4.1K
texthugging-face
FourOhFour
Maelstrom_4B

Maelstrom_4B — разговорная модель на 3,9 млрд параметров, созданная при участии нескольких участников Anthracite. Это слияние моделей Deedlit, NeuroCom, NeuroCom v2, Luxe и Zenith на базе производной от Minitron архитектуры Llama; модель предназначена для роли универсального ассистента и ролевых диалогов. Репозиторий содержит веса в формате Safetensors, модель использует Transformers и заявляет контекст до 131 072 токенов. При этом README уточняет, что на всех этапах модель настраивали с контекстом 8 тыс. токенов, поэтому заявленную длину контекста следует учитывать с этой оговоркой. Лицензия — Apache-2.0. Карточка не приводит оценок качества и подробностей о поведении модели в разных языках или сценариях.

342сент. 2024ctx131.1K
textapache-2.0hugging-face
flammenai
Mahou-1.2-phi-14B

Mahou-1.2-phi-14B — экспериментальная разговорная языковая модель команды flammen.ai, дообученная на базе microsoft/Phi-3-medium-128k-instruct. Модель с архитектурой Phi-3 содержит 13,8 млрд параметров, принимает текст и генерирует текст; поддерживает диалоговый режим и формат ChatML. В карточке указано контекстное окно 4096 токенов. Модель предназначена для диалогов и ролевых сценариев. Для ролевых ответов авторы рекомендуют оформлять речь без кавычек, а действия — в звёздочках. Модель выпущена как экспериментальная версия и не протестирована; описание также упоминает итеративное развитие и дообучение на разговорных данных flammen.ai. Распространяется по лицензии Apache-2.0.

271май 2024ctx131.1K
textapache-2.0hugging-face
adamo1139
Mistral-7B-AEZAKMI-v1

Mistral-7B-AEZAKMI-v1 — языковая модель adamo1139, дообученная на наборе AEZAKMI v1, созданном на основе airoboros 2.2.1 и airoboros 2.2. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors. Для обучения применялись Axolotl и QLoRA с NF4 double quantization, примерно два прохода по данным. Модель предназначена для непринуждённого общения в формате чат-бота; карточка отмечает естественную манеру ответов и отсутствие отказов как её особенности. Используется стандартный формат диалога ChatML. Автор предупреждает, что модель слаба в математике, загадках и сложных рассуждениях. Лицензия указана как other, поскольку автор не определил условия лицензирования с учётом лицензии исходного набора данных.

561нояб. 2023ctx32.8K
textotherhugging-face
cgato
Nemo-12b-Humanize-KTO-v0.1

cgato выпустил Nemo-12b-Humanize-KTO-v0.1 как первую публичную версию модели для диалогов и ролевых сценариев. Это плотная языковая модель семейства Mistral с 12,1 млрд параметров, дообученная методом KTO на 7122 ответах, оценённых человеком: 2398 ответов были приняты, 4724 отклонены. Для желательных ответов использовался вес в 2,5 раза выше. Автор стремился сократить употребление шаблонных фраз и повторов, используя мало синтетических данных. Модель принимает текст и генерирует текст, поддерживает чатовый формат ChatML с системным промптом и контекст до 131072 токенов. Она подходит для диалогов и ролевых бесед. Рекомендуемые автором форматы запуска — safetensors или ExLlama2; в GGUF некорректно обрабатывается конечный токен, что снижает качество. Автор также отмечает, что модель может писать реплики за пользователя в первых ответах, а мужские персонажи представлены в данных недостаточно. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения.

8722янв. 2025ctx131.1K
textcc-by-nc-4.0hugging-face
lijiang
Omni-Diffusion

Omni-Diffusion — мультимодальная модель семейства Dream, представленная как модель для совместного понимания и генерации текста, речи и изображений. Она использует дискретную диффузию с маскированием и моделирует совместное распределение мультимодальных токенов. Репозиторий содержит 7,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель предназначена для сценариев, где требуется связывать текст, речь и изображения в единой системе, включая мультимодальное понимание и генерацию. Для загрузки используется библиотека Transformers с пользовательской архитектурой и параметром trust_remote_code=True. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. В карточке нет результатов оценки качества или подробностей о поддерживаемых направлениях преобразования между модальностями, поэтому практические возможности конкретных сценариев по имеющимся данным не уточнить.

6614март 2026ctx131.1K
textapache-2.0hugging-face
Vikhrmodels
salt-asr_wav-uni_1_tts_wav-uni_1-12k

Vikhrmodels/salt-asr_wav-uni_1_tts_wav-uni_1-12k — экспериментальная унифицированная модель распознавания и синтеза речи, разработанная Vikhrmodels. По README, авторы расширили предварительно обученную LLM аудиотокенами и дообучили её для ASR и TTS; для представления речи использовался SpeechTokenizer. Модель имеет плотную архитектуру LlamaForCausalLM с 3,2 млрд параметров и контекстом 131 072 токена. Модель предназначена для преобразования аудио в текст и генерации коротких речевых фраз. README указывает поддержку генерации на английском, немецком и французском языках. В карточке приведены метрики качества речи и описано обучение на 150 часах вычислений A100, однако данных недостаточно, чтобы надёжно установить качество распознавания или синтеза в практических сценариях. Лицензия не указана в предоставленных источниках.

698дек. 2024ctx131.1K
texthugging-face
SpeakoFlow
speakoflow-mini

SpeakoFlow Mini 0.8B — специализированная англоязычная модель компании SpeakoFlow для очистки и коррекции текста, полученного из голосовой диктовки. Она предназначена для второго этапа post-ASR-обработки: исправляет самоисправления говорящего, диктуемые символы и команды форматирования, устраняет некоторые артефакты распознавания и грамматические оговорки, но сохраняет уже корректный текст без изменений. Модель используется в офлайн-голосовом ассистенте SpeakoFlow для Windows, macOS и Linux. Модель является дообученной версией Qwen/Qwen3.5-0.8B: применялось LoRA с рангом 16, после чего адаптер был объединён с базовой моделью и выполнена квантизация в формате GGUF. Размер варианта Q8_0 составляет около 833 МБ, медианное время обработки на настольном CPU — 2509 мс. Поддерживается английский язык. Модель предназначена для text generation и не является чат-моделью или универсальным перефразировщиком; размер контекстного окна в материалах не указан. К сильным сторонам относятся ориентация на минимальные изменения, сохранение правильного текста и работа без подключения к облачным сервисам. На закрытом тестовом наборе средняя точность exact match составила 70,7%, сохранение уже корректного текста — 92,6%, а точность исправлений для требующих изменений транскриптов — 48,8%. Ограничения включают узкую специализацию на очистке диктовки, англоязычную направленность и риск потери произнесённого слова: показатель content damage составил 10,7%, причём меньшее значение лучше. Модель распространяется по лицензии Apache-2.0.

14K12авг. 2026
textapache-2.0hugging-face
jenjenot
whisper_medium_tw_minnan

Модель jenjenot/whisper_medium_tw_minnan — дообученная версия OpenAI Whisper Medium для автоматического распознавания речи. Она предназначена для преобразования аудио в текст; обучение выполнено на наборе thomas0104/nan_tw_soap_opera. Модель содержит около 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors. Карточка и метаданные связывают её с китайским языком; название модели указывает на миньнаньский вариант китайского, однако карточка не уточняет языковое покрытие и качество распознавания. Лицензия в предоставленных данных не указана.

631апр. 2024ctx1K
textaudiohugging-face
nbeerbower
Bruphin-Mika-7B

Bruphin-Mika-7B — разговорная языковая модель на архитектуре Mistral, созданная автором репозитория слиянием моделей Epiculous/Mika-7B и nbeerbower/bruphin-theta методом SLERP с помощью mergekit. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; её нативная длина контекста — 32 768 токенов. Модель предназначена для генерации диалогов и ролевых ответов. Базовая Mika-7B описана как разговорная модель, обученная на синтетических RP-данных; слияние объединяет её с Bruphin Theta. Репозиторий распространяет веса в формате safetensors для Transformers. Лицензия — Apache-2.0.

321март 2024ctx32.8K
textapache-2.0hugging-face
1Developer
cali-whisper-tiny.en-drop-003-production

Это дообученная компанией 1Developer модель OpenAI Whisper Tiny для автоматического распознавания речи. Она обучена на наборе cali-name-dataset-short-version, а её архитектура относится к семейству Whisper и реализована классом WhisperForConditionalGeneration. Модель принимает аудио и преобразует речь в текст; карточка указывает английский язык. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Модель подходит для транскрибации английской речи и распознавания имён из обучающего набора. В README сообщаются значения WER Ortho 0,0 и WER 0,0, а также loss 0,0001 на оценочном наборе; размер и состав этого набора не раскрыты, поэтому результаты нельзя уверенно переносить на другие данные. Лицензия — Apache-2.0.

60июль 2026ctx1K
textaudioapache-2.0hugging-face
coding-zzz-oe
RECCON

RECCON — модель для извлечения из реплик диалога короткого фрагмента текста, который служит причиной или триггером заданной эмоции. Разработчик в карточке не назван; модель подготовлена для развёртывания на Hugging Face Inference Endpoints. Она решает задачу извлекающего вопросно-ответного поиска: на вход подаются текст высказывания и метка эмоции, на выходе — соответствующий текстовый фрагмент. В README указана база SpanBERT, а метаданные классифицируют веса как BERT-модель с 135,5 млн параметров и контекстом до 512 токенов. Модель обучалась на наборе RECCON, созданном на основе DailyDialog, и предназначена для анализа эмоциональных причин в диалогах. README описывает постобработку, которая ограничивает ответ коротким фрагментом, проверяет его наличие в исходном тексте и удаляет дубликаты пересекающихся фрагментов. В README есть расхождение: в описании базы указана SpanBERT, тогда как логика обработчика упоминает RoBERTa; архитектура в метаданных указана как BERT. Лицензия в предоставленных данных не приведена.

140сент. 2026ctx512
texthugging-face
ddwang2000
EchoChat

EchoChat — разговорная модель с аудиоусловием, опубликованная ddwang2000. Репозиторий содержит языковую модель на архитектуре Qwen2 с 7,1 млрд параметров, токенизатор и веса аудиоэнкодера Whisper; контекст составляет 8192 токена. Модель предназначена для диалоговой генерации текста и речевых токенов по аудиовходу. Это компонентный чекпойнт, а не готовый стандартный конвейер Transformers: для сквозной работы с аудио нужны совместимые извлечение признаков, промптинг и логика генерации. Для синтеза звуковой волны требуется отдельный совместимый декодер, которого в репозитории нет. Код аудиоэнкодера требует совместимой CUDA/FlashAttention-среды. Лицензия указана как other; README отсылает к LICENSE, каталогам лицензий и сторонним уведомлениям, поэтому условия следует сверять с этими файлами.

5491окт. 2026ctx8.2K
textotherhugging-face
Shahradmz
OLMo-1B-hf-PPO-constitution-1

Shahradmz создал OLMo-1B-hf-PPO-constitution-1 — дообученную с помощью TRL языковую модель семейства OLMo для генерации текста в диалоговом формате. Пример в карточке показывает, как передать вопрос пользователя и получить ответ; метаданные также отмечают поддержку чата. Модель построена на плотной архитектуре OlmoForCausalLM и содержит 1,2 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 2048 токенов и распространяется в формате safetensors. Лицензия и целевой язык в доступных сведениях не указаны.

150нояб. 2024ctx2K
texthugging-face
cstr
qwen3-asr-1.7b-ja-anime-GGUF

Qwen3-ASR-1.7B-JA-Anime-Galgame-GGUF — это квантованная версия модели автоматического распознавания речи Qwen3-ASR-1.7B, адаптированная upstream-разработчиком jaykwok для японской аниме- и галгейм-речи. Репозиторий cstr/qwen3-asr-1.7b-ja-anime-GGUF содержит только конвертацию весов в формат GGUF и их квантование; дополнительное обучение, дообучение, объединение или дистилляция не выполнялись. Модель предназначена для транскрибации аудио и рассчитана на использование с CrispASR и backend Qwen3. Архитектура включает 24-слойный Whisper-подобный аудиоэнкодер с размерностью 1024 и 16 головами внимания, двухслойный MLP-проектор 1024 → GELU → 2048 и 28-слойный декодер Qwen3 с размерностью 2048, 16 Q-головами и 8 KV-головами, SwiGLU и словарём из 151 936 GPT-2 BPE-токенов. Модель поддерживает более 30 языков, включая японский, английский и китайский, с улучшенной работой на японской речи из аниме и игр. Размер доступных файлов составляет около 1,3 ГБ для Q4_K и 2,5 ГБ для Q8_0; Q4_K рекомендован для большинства сценариев, а Q8_0 обеспечивает более высокое качество ценой большего потребления памяти. К сильным сторонам относятся специализация на японской аниме- и игровой речи, многоязычность и возможность локального запуска в компактном GGUF-формате. К ограничениям относятся компромисс между качеством и требованиями к памяти при квантовании, а также отсутствие в README данных о размере контекста, точных метриках качества, устойчивости к шуму и характеристиках других типов аудио. Модель распространяется по лицензии Apache 2.0 согласно лицензии базовой модели.

2.1K4июль 2026
textaudioapache-2.0hugging-face
tee-oh-double-dee
social-orientation

Social Orientation Tagger — англоязычная модель классификации диалоговых реплик, разработанная Todd Morrill при финансировании DARPA. Она дообучена на базе DistilBERT и обучена на Conversations Gone Awry с метками социальной ориентации, подготовленными с помощью GPT-4. Модель присваивает репликам одну из девяти меток, включая Warm-Agreeable, Arrogant-Calculating и Not Available; максимальная длина контекста — 512 токенов. Модель предназначена для анализа межличностного тона диалогов и может добавлять метки ориентации к репликам для последующих систем, например при оценке вероятного успеха разговора. В карточке приведены точности 33,29% на валидационной и 33,99% на тестовой выборках; без взвешивания классов указана точность 45%, поэтому предсказания следует трактовать с осторожностью. Лицензия — MIT.

1590март 2024ctx512
textmithugging-face
INo0121
whisper-base-ko-callvoice

INo0121/whisper-base-ko-callvoice — дообученная модель на базе OpenAI Whisper Base, предназначенная для распознавания корейской речи в телефонных разговорах с низким качеством звука. Для обучения использована часть набора AI-HUB с аудиозаписями телефонной речи; общая длительность аудио составила около 240 771 секунды. Модель содержит 51,7 млн параметров и работает с аудио на входе, выдавая распознанный текст на корейском языке. На оценочном наборе указаны loss 0,4941 и CER 30,7538. Модель ориентирована на учебное использование; README также ограничивает её применение учебными целями. Лицензия в метаданных — Apache-2.0.

273сент. 2023ctx448
textaudioapache-2.0hugging-face
jjnhuang
whisper-small-finetuned-iwslt-irish-transfer-welsh

Карточка модели jjnhuang/whisper-small-finetuned-iwslt-irish-transfer-welsh на Hugging Face совпадает с карточкой jjnhuang/whisper-small-finetuned-iwslt-welsh, поэтому описание составлено по ней. jjnhuang/whisper-small-finetuned-iwslt-welsh — дообученная на наборе данных CoVoST 2 модель OpenAI Whisper small с архитектурой WhisperForConditionalGeneration. Она предназначена для распознавания речи; число параметров — 153,1 млн. Базовая модель мультиязычная и поддерживает транскрибирование речи и перевод аудио на английский язык. В README приведены результаты оценки: WER 82,1085, BLEU 14,0988, chrF++ 33,5907 и COMET 0,5541. Высокий WER указывает на ограниченную точность распознавания в указанной оценке. Модель распространяется по лицензии Apache-2.0.

110июль 2026
textaudioapache-2.0hugging-face
camel-ai
CAMEL-13B-Role-Playing-Data

CAMEL-13B-Role-Playing-Data — диалоговая языковая модель команды CAMEL-AI, дообученная на LLaMA-13B на 229 тысячах разговоров, созданных с помощью предложенного авторами ролевого фреймворка CAMEL. Модель имеет плотную архитектуру LLaMA и около 12,9 млрд параметров; формат весов — PyTorch, контекст — до 2048 токенов. Модель предназначена для генерации текста в диалоге и ролевых сценариях. Авторы сообщают об офлайн-оценке с помощью EleutherAI Language Model Evaluation Harness; приведённый в README средний результат — 57,2, тогда как таблица результатов показывает среднее 45,03. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

21425июнь 2023ctx2K
texthugging-face
Nuo97
COMEDY_13B_DPO

COMEDY 13B — плотная языковая модель семейства Llama от авторов проекта COMEDY, предназначенная для генерации ответов в долгосрочном диалоге с опорой на сжатую память о прошлых беседах. Модель объединяет в одном процессе выделение воспоминаний по сессиям, их сжатие и генерацию ответа, не используя отдельную поисковую систему или базу памяти. Модель обучалась на китайском наборе Dolphin из 100 тысяч примеров для суммаризации отдельных сессий, сжатия памяти и генерации ответов с опорой на неё; стратегия обучения включала смешанное обучение нескольким задачам и DPO-выравнивание. В метаданных указаны 12,9 млрд параметров, контекст 4096 токенов, формат PyTorch и лицензия Apache-2.0. Она подходит для китайских чат-сценариев, где важно учитывать историю взаимодействий, профиль пользователя и изменения отношений между собеседниками. README не приводит количественных оценок качества или сравнения с альтернативами.

180февр. 2024ctx4.1K
textapache-2.0hugging-face
adventists-ai
DuplexJev-B-Para-SenseVoice-Small-Qwen3-4B

DuplexJev-B-Para-SenseVoice-Small-Qwen3-4B — аудиоязыковой коннектор для коротких вопросов о речи, разработанный adventists-ai. Он передаёт признаки замороженного энкодера SenseVoice-Small в замороженную языковую модель Qwen3-4B через обучаемый проектор SwiGLU с укладкой аудиокадров; обучено 11,5 млн параметров коннектора. Для вопросов с заранее заданными вариантами модель оценивает распределение вероятностей по вариантам за один проход без генерации токенов, что позволяет задавать несколько вопросов по одному аудиофрагменту. Модель предназначена для кратких решений по аудио, включая ответы на вопросы о произнесённом содержании и определение голосовых характеристик, например пола говорящего и эмоции. В README приведены результаты на задачах spoken QA и оценки задержки на GPU и CPU. Открытые вопросы на общие знания подходят хуже: даже Qwen3-4B, отвечая по транскрипту, показала лучший результат, чем аудиоконнектор. Модель не проверялась на потоковом аудио и на устройствах с NPU; требуется именно указанный в карточке энкодер и языковая модель. Модель объединяет компоненты SenseVoice-Small и Qwen3-4B, поэтому derivation — merge. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

210сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
utakumi
Hubert-common_voice-phoneme-ctc_zero_infinity

Модель utakumi/Hubert-common_voice-phoneme-ctc_zero_infinity — версия HuBERT, дообученная на японской части набора Mozilla Common Voice 13.0 для распознавания речи. Она использует архитектуру HubertForCTC и содержит 113,3 млн параметров; ожидаемый сценарий — преобразование японской речи в текст. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. На оценочной выборке указаны WER 1,0 и CER 0,1953. Высокий WER говорит о существенных ошибках при распознавании целых слов; результаты могут зависеть от данных и условий записи. Карточка не описывает ограничения применения и дополнительные сценарии.

150дек. 2024
textaudioapache-2.0hugging-face
flammenai
Mahou-1.3a-llama3-8B

Mahou-1.3a-llama3-8B — диалоговая языковая модель от flammen.ai, предназначенная для общения и ролевых сценариев. Это дообученная на базе flammenai/Mahou-1.3-llama3-8B версия семейства Llama 3 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Модель обучали три эпохи методом ORPO на разговорных данных flammen.ai; она поддерживает чатовый формат ChatML и рассчитана на контекст до 8192 токенов. Модель подходит для ведения диалогов и отыгрыша персонажей. Она принимает текст и генерирует текст; карточка указывает лицензию Llama 3. Качество ответов зависит от формулировки запроса и выбранных инструкций, а особый формат ChatML и настройки генерации могут потребовать соответствующей конфигурации интерфейса.

313май 2024ctx8.2K
textllama3hugging-face
kyutai
moshika-rag-candle-bf16

MoshiRAG — разработанная Kyutai компактная полно-дуплексная речевая языковая модель, предназначенная для диалога в реальном времени с асинхронным поиском внешних сведений. В этой версии используются Candle на Rust и точность bf16; репозиторий содержит только речевую фронтальную модель, а не систему поиска целиком. Модель непрерывно слушает и отвечает, а при необходимости запускает получение справочных текстов в параллельном бэкенде. Во время ожидания она может произносить краткие предварительные ответы, после чего использует найденные сведения для последующих фрагментов ответа. Для формирования контекста бэкенду нужны текст внутреннего монолога модели и транскрипция речи пользователя; для транскрипции требуется отдельная потоковая ASR-модель. Модель рассчитана на английский язык и дообучена на основе kyutai/moshika-candle-bf16. Лицензия — CC-BY 4.0. К ограничениям относятся сравнительно ограниченные возможности и смещения в сторону тем, чаще представленных в обучающих данных. Качество и безопасность ответов с опорой на источники зависят от выбранного поискового бэкенда; модель обучена использовать один голос. Разработчик не рекомендует применять её для профессиональных консультаций или имитации личности.

23013март 2026
audiocc-by-4.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей