/ Профессии
Универсальные способности и операции

I.7Речь, диалоги и встречи

В разделе собраны самостоятельные задачи, где AI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.

АудиоТекст
AI-задач
17
в этой профессии
Подходящих моделей
26 923
по типу задач и модальности
Категория
I. Универсальные способности
Основные типы
АудиоТекст

Рекомендованные модели

26 923 модели
Загрузки
Лайки
Дата выхода
1 831–1 860 из 26 923
patrickvonplaten
unispeech-large-1500h-cv-timit

UniSpeech Large с архитектурой CTC, дообученная автором репозитория на наборе TIMIT_ASR - NA на основе microsoft/unispeech-large-1500h-cv. Модель предназначена для автоматического распознавания речи и преобразования аудиозаписей в текст; в метаданных указано около 402,7 млн параметров. На оценочной выборке README сообщает Loss 0,3099 и WER 0,2196. Данные не уточняют поддерживаемые языки, условия записи и область применения набора TIMIT_ASR - NA, поэтому результаты нельзя уверенно переносить на другие наборы данных и сценарии. Репозиторий содержит веса в формате PyTorch; лицензия в предоставленных сведениях не указана.

1990март 2022
textaudiohugging-face
promotion
UW1-PROSPER

UW1-PROSPER — экспериментальная версия Qwen2.5-7B-Instruct, дообученная командой promotion методом PROSPER для генерации диалоговых ответов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и формат safetensors; контекст — до 32 768 токенов. В метаданных также заявлен интерфейс вызова инструментов. Модель обучали на предпочтениях ответов по протоколу WildChecklists: применили критерий худшей целевой функции и leave-two-out выборки. README описывает экспериментальное сравнение нескольких вариантов функции потерь и приводит оценки на языковых и диалоговых тестах. Эти результаты ограничены отфильтрованным набором запросов, одним seed и локальными судьями, поэтому их нельзя считать подтверждением превосходства или результатами официальных таблиц лидеров. Лицензия в предоставленных данных не указана.

4690сент. 2026ctx32.8K
texthugging-face
Andrew0425
AgenticASR-Refiner

Andrew0425/AgenticASR-Refiner — модель семейства Llama для генерации текста, связанная с работой AgenticASR о повышении качества распознавания речи в реальных сценариях с помощью агентного подхода. В репозитории размещены веса в форматах Safetensors и ONNX; модель содержит около 837,6 млн параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для сценариев уточнения результатов распознавания речи в рамках подхода AgenticASR. Карточка не описывает конкретный способ использования, входной формат или языковое покрытие, поэтому нельзя уверенно определить, принимает ли модель аудио напрямую или обрабатывает текстовые транскрипции. Метаданные указывают на текстовую генерацию и чат-возможность. Лицензия репозитория — Apache-2.0. README содержит только название связанной работы и не сообщает о результатах оценки или известных ограничениях.

432июль 2026ctx131.1K
textapache-2.0hugging-face
adventists-ai
DuplexJev-A-Emotion-Qwen3-ASR-0.6B-Qwen3-32B

DuplexJev-A-Emotion — исследовательский аудиотекстовый коннектор для извлечения закрытых решений непосредственно из речи. Его разработал автор проекта DuplexJev; модель объединяет замороженный аудиоэнкодер на основе Qwen3-ASR-0.6B с замороженной Qwen3-32B через обучаемый блок слияния на основе cross-attention и проекционный слой. Обучено 21,1 млн параметров коннектора; базовые модели остаются замороженными. Модель предназначена для классификации эмоций в речи и ответов на вопросы с выбором варианта, включая задачи о признаках голоса и ходе диалога. Она выдаёт распределение по вариантам ответа за один проход без генерации последовательности токенов. В карточке приведены результаты на небольших тестовых наборах китайской и английской речи; подсказки должны быть сформулированы на языке аудиозаписи. Для работы нужны указанные в карточке энкодер и LLM. Обучение использовало 26 тысяч актёрских реплик из ESD и CREMA-D. Качество проверялось на прочитанной и актёрской речи, а не на потоковом вводе; обучение на паралингвистических данных снижает точность на некоторых фактических вопросах о спонтанной речи. Эмоциональные метки получены из актёрских корпусов, поэтому модель не следует использовать для принятия решений о людях. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и запрещающая коммерческое применение.

190сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
adventists-ai
DuplexJev-B-Whisper-small-Qwen3-4B-2507

DuplexJev-B-Whisper-small-Qwen3-4B-2507 — аудиоязыковая модель семейства Ultravox от adventists-ai для ответов на короткие вопросы по речи и принятия решений по аудиоклипам. Whisper-small кодирует аудио, а Qwen3-4B-Instruct-2507 обрабатывает его представление; обучаемый коннектор объединяет кадры энкодера и проецирует их в пространство языковой модели. Энкодер и языковая модель заморожены, обучено 30,4 млн параметров коннектора. Модель выдаёт распределение вероятностей по вариантам ответа без генерации токенов, что позволяет задавать несколько вопросов за один проход. Предназначена для коротких решений по аудио, вопросов и ответов по услышанному, а также определения речевых и голосовых признаков, например эмоций и характеристик говорящего. В README приведены результаты на небольших наборах spoken QA и тестах паралингвистики. Заявленные измерения задержки относятся к обработке одного клипа длительностью 4,5 секунды и не описывают потоковый режим. Модель поддерживает английский и китайский языки согласно карточке. Распространяется по лицензии Apache-2.0. Она рассчитана на короткие решения, а не на открытые вопросы, требующие обширных знаний; оценивалась на чтении и актёрской речи и небольших тестовых выборках. Распознавание эмоций проверялось на актёрских корпусах, поэтому README предостерегает от использования таких результатов для решений о людях. Коннектор совместим только с указанными Whisper-small и Qwen3-4B-Instruct-2507.

270сент. 2026ctx1M
textaudioapache-2.0hugging-face
zorqelis-ai
soreqen-s1-mega

SoreQen S1 Mega — разговорный ассистент на английском и хинглише от ZorQelis AI, дообученный методом LoRA на базе Qwen/Qwen3.5-4B. Адаптер обучен на 25 080 примерах диалогов и сведений о личности ассистента; базовые веса при этом не изменялись. Модель предназначена для ответов на английском или хинглише в соответствии с языком и стилем пользователя. Она поддерживает контекст до 262 144 токенов. Унаследованные от базовой модели возможности включают понимание изображений, режим рассуждений и интерфейс вызова инструментов, однако адаптер специально на этих сценариях не обучался. В README отмечены улучшенное распознавание собственной идентичности без системного промпта и способность отвечать хинглишем латиницей. Малый размер базовой модели может приводить к уверенным, но неверифицированным числам; хинглиш генерируется латиницей, а модель не предназначена для критически важных решений или профессиональных консультаций. Лицензия — Apache 2.0.

321авг. 2026ctx262.1K
textapache-2.0hugging-face
internlm
internlm-xcomposer2d5-ol-7b

InternLM-XComposer2.5-OL — мультимодальная система на базе InternLM2, разработанная командой InternLM. Она предназначена для длительного потокового взаимодействия с видео и аудио, включая ответы на вопросы о визуальном содержимом. Модель содержит 7,4 млрд параметров и поддерживает контекст до 24 576 токенов. Модель загружается через Transformers с пользовательским кодом репозитория; для аудиокомпонента README также упоминает MS-Swift. Метаданные указывают на задачу visual-question-answering, а каталог дополнительно относит модель к text-generation. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в репозитории.

7550дек. 2024ctx24.6K
textotherhugging-face
nbeerbower
Mahou-1.3-M1-mistral-7B

Mahou-1.3-M1-mistral-7B — разговорная языковая модель на архитектуре Mistral, созданная nbeerbower путём слияния моделей с помощью mergekit. Она предназначена для коротких сообщений в диалоге, непринуждённого общения и ролевых сценариев с персонажами. Модель принимает текст и генерирует текст; для общения использует формат ChatML, а в ролевом формате речь выдаётся без кавычек, действия оформляются звёздочками. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Опубликованные веса находятся в формате safetensors. Лицензия — Apache-2.0. README рекомендует использовать режим инструкций и профиль Mahou; сведений о поддерживаемых естественных языках и результатах сравнительных оценок в предоставленных данных нет.

272июнь 2024ctx32.8K
textapache-2.0hugging-face
Nuo97
COMEDY_7B

COMEDY — диалоговая модель и framework для генерации ответов с долговременной памятью, разработанные авторами проекта COMEDY. Она обрабатывает историю разговоров без отдельного модуля поиска или базы данных: формирует краткие описания сессий, сжимает события в общую память, поддерживает профиль пользователя и изменения отношений с чатботом, а затем использует эту память в текущем диалоге. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров; заявленная длина контекста — 2048 токенов. Для обучения использован китайский набор диалогов Dolphin с 100 тысячами примеров по суммаризации памяти, её сжатию и генерации ответов с опорой на память; стратегия включает смешанное обучение нескольким задачам и DPO-выравнивание. Лицензия — Apache-2.0. Модель предназначена для китайских многоэтапных диалогов, где важно учитывать сведения из прошлых сессий, включая события и профиль собеседника. Карточка также помечает её как модель для ответов на вопросы; каталог указывает генерацию текста как основную задачу. Практическое ограничение — контекст 2048 токенов, а качество за пределами китайских диалогов в карточке не заявлено.

162февр. 2024ctx2K
textapache-2.0hugging-face
KnutJaegersberg
gpt2-chatbot

KnutJaegersberg/gpt2-chatbot — дообученная для диалога версия GPT-2 XL на датасете Deita-6k. Она генерирует ответы в текстовом формате и поддерживает многоходовый диалог в пределах возможностей базовой модели. В карточке приведён пример системного сообщения и пользовательского запроса; опубликованы результаты оценки на бенчмарках AI2 Reasoning Challenge и HellaSwag. Модель использует плотную архитектуру GPT2LMHeadModel, веса размещены в формате safetensors. Длина контекста — 1024 токена. Модель создана Knut Jaegersberg и распространяется по лицензии Apache-2.0. Карточка не уточняет языки обучения или целевые области применения.

12114май 2024ctx1K
textapache-2.0hugging-face
nbeerbower
KawaiiMahou-llama3-8B

nbeerbower/KawaiiMahou-llama3-8B — разговорная модель на архитектуре Llama 3, дообученная на базе flammenai/Mahou-1.1-llama3-8B. В репозитории указано, что исходная Mahou обучалась на японском наборе предпочтений с помощью Direct Preference Optimization; для этой модели заявлены 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для генерации текста в диалогах и ролевом общении. Она использует формат ChatML и рассчитана на запуск через Transformers; веса представлены в safetensors. Карточка указывает лицензию «other», поэтому конкретные условия использования следует сверить с файлами лицензии репозитория. В метаданных набора данных указан японский язык, но прямого утверждения о языковом покрытии самой модели нет.

273май 2024ctx8.2K
textotherhugging-face
zelk12
MT4-IMU-gemma-2-9B

zelk12/MT4-IMU-gemma-2-9B — объединённая модель для генерации диалогового текста, созданная автором репозитория с помощью mergekit методом SLERP из двух моделей Gemma 2: zelk12/MT4-IF-gemma-2-RIv0.1RPMHv0.1-9B и zelk12/MT4-MU-gemma-2-Rv0.4RGDv0.1-9B. Модель содержит 9 млрд параметров, использует плотную архитектуру Gemma2ForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Она предназначена для чат-сценариев и генерации ответов; описание базовых моделей указывает на уклон в психологию и психическое здоровье. Контекст модели составляет 8192 токена. Данных о лицензии в предоставленных источниках нет, поэтому условия использования определить нельзя.

201окт. 2024ctx8.2K
texthugging-face
fpadovani
arb-arab-100mb-after-ppt-shuff-dyck-100mb-ckpt500_seed455

Это дообученная на TRL модель генерации текста на основе fpadovani/arb-arab-100mb-ppt-shuff-dyck-100mb_seed455. Карточка показывает использование в формате диалога: модель получает вопрос пользователя и генерирует ответ. Модель построена на архитектуре GPT-2 и распространяется в формате safetensors. Контекст составляет 512 токенов. В карточке нет сведений о специализированной предметной области, языковой поддержке или лицензии; поэтому назначение модели следует считать общим, а её ответы и пригодность для конкретных сценариев — проверять отдельно.

9710сент. 2026ctx512
texthugging-face
adventists-ai
DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-1.5B

DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-1.5B — аудиотекстовая модель семейства Ultravox, разработанная adventists-ai как коннектор между аудиоэнкодером MOSS-Transcribe-Diarize и Falcon-H1-1.5B-Instruct. Замороженный Whisper-энкодер передаёт признаки замороженной языковой модели через обучаемый проектор SwiGLU с укладкой кадров; у коннектора 37,8 млн обучаемых параметров. Модель обрабатывает аудиоклип и типизированные вопросы, выдавая распределение вероятностей по вариантам ответа без генерации токенов; поддерживается пакетная оценка нескольких вопросов. Модель предназначена для коротких решений по речи и определения характеристик говорящего, включая речевые вопросы-ответы и паралингвистические признаки. В README приведены результаты на небольших тестовых наборах и задержки, сильно зависящие от аппаратуры; на CPU без Mamba-ядер работа медленная. Модель не оценивалась на потоковом аудио, а вопросы на общие знания ограничены возможностями небольшой языковой модели. Эмоциональные метки обучены на корпусах актёрской речи и не подходят для принятия решений о конкретных людях. Для работы нужны указанные энкодер и LLM. Лицензия — CC-BY-NC-4.0, допускающая использование на условиях некоммерческого лицензирования.

280сент. 2026
textaudiocc-by-nc-4.0hugging-face
adventists-ai
DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-3B

DuplexJev-B-Para-MOSS-Transcribe-Falcon-H1-3B — аудиомодель adventists-ai для ответов на типизированные вопросы о речи. Замороженный аудиоэнкодер MOSS-Transcribe-Diarize на архитектуре Whisper передаёт признаки через обучаемый коннектор в замороженную Falcon-H1-3B-Instruct. Коннектор содержит 38,8 млн обучаемых параметров; для чтения вариантов ответа модель оценивает распределение по однотокенным вариантам без генерации текста. Архитектура Falcon-H1 сочетает внимание и Mamba. Модель предназначена для коротких решений по аудиоклипам: spoken QA, распознавания паралингвистических характеристик, таких как пол и эмоция, и вопросов о говорящих. В карточке указаны английский и китайский языки. Представленные оценки получены на небольших тестовых наборах; модель не предназначена для потоковой обработки, а небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний. Эмоциональные метки получены на корпусах с актёрской речью и не должны использоваться для принятия решений о людях. Коннектор работает только с указанными энкодером и LLM. Лицензия — CC BY-NC 4.0, допускает использование с ограничениями, включая запрет коммерческого применения.

260сент. 2026
textaudiocc-by-nc-4.0hugging-face
adventists-ai
DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B

DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-0.6B — компактный аудиоязыковой коннектор для коротких решений по речи и определения характеристик говорящего. Его разработала adventists-ai; модель объединяет замороженный энкодер Qwen3-ASR-0.6B и замороженную Qwen3-0.6B через обучаемый проектор SwiGLU с укладкой кадров. Обучаемая часть содержит 9,4 млн параметров. Для ответа на типизированные вопросы модель оценивает одним проходом вероятности вариантов, без генерации токенов; это позволяет обрабатывать несколько вопросов за один проход. Модель предназначена для коротких вопросов по аудиофрагменту, например о его содержании, поле голоса или эмоциях. В карточке приведены результаты на наборах spoken QA и показатели задержки для GPU и CPU. Проверка ограничена чтением или актёрской речью и небольшими тестовыми наборами; потоковый ввод не оценивался. Точность вопросов на общие знания ограничена возможностями компактной языковой модели, а эмоции размечены на актёрских корпусах. Коннектор работает только с указанными энкодером и языковой моделью. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и некоммерческим ограничением.

350сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
adventists-ai
DuplexJev-B-SenseVoice-Small-Qwen3-0.6B

DuplexJev-B-SenseVoice-Small-Qwen3-0.6B — компактный аудиотекстовый коннектор для коротких решений по речи. Он объединяет замороженный энкодер SenseVoice-Small с замороженной языковой моделью Qwen3-0.6B; обучаемая часть — проектор SwiGLU с укладкой аудиокадров, содержащий 8,4 млн параметров. Модель преобразует аудио в представление для языковой модели и оценивает варианты ответа по распределению вероятностей одного токена, поэтому может обрабатывать несколько вопросов за один проход без генерации последовательности токенов. Модель предназначена для коротких задач по аудиоклипам, включая вопросы о содержании речи и признаки говорящего, например эмоции. README приводит результаты на небольших тестовых наборах и задержку для одного события решения; качество зависит от формулировки подсказки. Модель не рассчитана на открытые вопросы, требующие широких знаний, или на потоковую обработку. README предостерегает от использования меток эмоций для принятия решений об отдельных людях. Коннектор работает только с указанными энкодером SenseVoice и Qwen3-0.6B. Лицензия — Apache-2.0.

370сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
BusRune
L3.1-8B-Fabula

L3.1-8B-Fabula — дообученная модель BusRune на базе Meta Llama 3.1 8B, предназначенная для ролевых диалогов и ответов на общие вопросы. Она использует архитектуру LlamaForCausalLM с плотной структурой и формат весов Safetensors; размер составляет 7,5 млрд параметров. Для диалога применяется шаблон ChatML. В README указан максимальный размер входа 32 768 токенов, а метаданные модели указывают нативный контекст до 131 072 токенов. Модель ориентирована на генерацию текста в разговорном формате, включая ролевые сценарии и ответы на общие вопросы. Она дообучена на наборах инструкций и ролевых диалогов, связанных с Claude Opus. В карточке заявлен английский язык; лицензия — Llama 3.1.

221дек. 2024ctx131.1K
textllama3.1hugging-face
ga642381
Mercury-M19

Mercury-M19 — модель преобразования речи в речь с полнодуплексным режимом, разработанная авторами, публикующими её под кодовым именем, пока связанная статья проходит анонимное рецензирование. Чекпойнт дообучен на временно согласованный диалог: он обучался 2 эпохи на 4 440 самостоятельно сгенерированных полнодуплексных диалогах, а временные метки слов получены принудительным выравниванием синтезированного аудио. Модель предназначена для речевых диалогов, в которых важно учитывать время реплик и поддерживать одновременный обмен речью. Архитектура — плотная RaonDuplexModel; в репозитории указаны веса Safetensors. Аудио имеет частоту 24 кГц, кадры обрабатываются с частотой 12,5 кадра в секунду (шаг 80 мс). Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое. В отчёте о 100 отложенных диалогах приведены показатели согласованности текста и аудио, однако карточка не содержит полного набора результатов для этого чекпойнта. Обучающие данные, код и скрипты оценки не опубликованы, поэтому воспроизвести обучение и оценку по карточке нельзя.

50авг. 2026ctx131.1K
audiocc-by-nc-4.0hugging-face
OpenMOSS-Team
SpeechGPT-2.0-preview-7B

SpeechGPT 2.0-preview-7B — предварительная версия разговорной речевой модели команды OpenMOSS-Team. Это плотная модель семейства Qwen2 с архитектурным классом MIMOLlamaForCausalLM, содержащая 7,1 млрд параметров и поддерживающая контекст до 32 768 токенов. Модель объединяет обработку речи и текста для сквозного диалога с потоковым вводом и выводом речи. Модель предназначена для голосовых диалогов в реальном времени, включая прерывания собеседником, управление эмоциями, стилем и тоном речи, ролевое общение, рассказывание историй и декламацию. В README заявлены поддержка вызова инструментов, интернет-поиска и обращения к внешним базам знаний. Практическая задержка в описанных разработчиками испытаниях была менее 200 мс. Для речевого кодека указаны входная частота 24 кГц и скорость 750 бит/с. Обучение речи проводилось только на китайских данных; английский голосовой диалог не поддерживается. Модель опубликована в формате safetensors. Лицензия в предоставленных материалах не указана.

10413янв. 2025ctx32.8K
texthugging-face
qqjz
turnguide_loss_3_1

TurnGuide Checkpoint turnguideloss31 — дообученная модель на основе GLM-4-Voice-9B, разработанная для системы TurnGuide. Она поддерживает полнодуплексное голосовое общение с динамическим чередованием текста и речи на уровне ходов диалога. Этот вариант обучен с соотношением весов функции потерь для текстовых и речевых токенов 3:1; для инференса используется код TurnGuide, а речевой токенизатор и декодер GLM-4-Voice нужно подключать отдельно. Модель содержит 11,4 млрд параметров, использует архитектуру ChatGLM и контекст до 8192 токенов. Чекпойнт предназначен для исследовательского использования в голосовых диалоговых сценариях, где важны естественная смена реплик и совместная генерация текста и речи. Базовая языковая часть GLM-4-Voice рассчитана на китайский и английский языки. Для загрузки требуются пользовательский код GLM-4-Voice и параметр trust_remote_code=True. Условия использования определяются лицензиями исходной модели GLM-4-Voice и связанных компонентов; отдельная лицензия чекпойнта в предоставленных данных не указана.

110июнь 2026ctx8.2K
texthugging-face
speech-seq2seq
wav2vec2-2-roberta-large

Модель speech-seq2seq/wav2vec2-2-roberta-large — аудиомодель архитектуры SpeechEncoderDecoderModel, обученная с нуля на датасете LibriSpeech ASR для автоматического распознавания речи. Она принимает аудио и предназначена для преобразования речи в текст. В карточке приведены результаты оценки на тестовой выборке: WER 1.0 и loss 12.2365; значение WER указывает на крайне низкое качество распознавания в этой оценке. Модель опубликована в формате PyTorch. Лицензия в предоставленных данных не указана.

730март 2022ctx512
textaudiohugging-face
adventists-ai
DuplexJev-4B

DuplexJev-4B — архивированная аудиоязыковая модель от adventists-ai для извлечения решений и характеристик речи. Она принимает аудио вместе с текстовым вопросом и выбирает один вариант ответа: например, определяет, закончил ли говорящий реплику, кто говорит и какое настроение выражено. По README, модель объединяет замороженный аудиокодировщик Qwen3-ASR-0.6B, обученный коннектор на 12,6 млн параметров и замороженную языковую модель Qwen3-4B; всего около 4,2 млрд параметров, формат bf16. Архитектура позволяет получать распределение вероятностей по вариантам одним токеном и задавать несколько вопросов к одному аудиофрагменту. Модель рассчитана на короткую записанную или разыгранную речь и работает через vLLM с дополнительным плагином. В карточке приведены результаты на задачах выбора ответа, определения состояния хода диалога, пола говорящего и эмоции; модель уступает более крупной DuplexJev-32B в фактических вопросах по речи. Версия архивирована и заменена DuplexJev-4B-Para. Не проверялась на потоковом аудио; распознавание эмоций обучалось и оценивалось на эмоционально разыгранных корпусах, поэтому такие выводы не следует применять для принятия решений о людях. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но некоммерческое.

821сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
adventists-ai
DuplexJev-B-MOSS-Transcribe-Qwen3-4B-2507

DuplexJev-B-MOSS-Transcribe-Qwen3-4B-2507 — аудиотекстовая модель семейства Ultravox от adventists-ai для ответов на вопросы по речи и определения признаков говорящего. Она объединяет замороженный аудиоэнкодер MOSS-Transcribe-Diarize на архитектуре Whisper с замороженной Qwen3-4B-Instruct-2507; обучаемый коннектор с проектором SwiGLU содержит 38,8 млн параметров. Всего в базовых компонентах около 4 млрд параметров у языковой модели и 307 млн у аудиоэнкодера. Модель предназначена для коротких решений по аудиофрагментам: ответы на вопросы о сказанном, определение пола или эмоции говорящего. Для каждого вопроса она оценивает варианты ответа распределением по одному токену, что позволяет обрабатывать много вопросов за один проход без генерации текста. В README приведены результаты тестов на произнесённых вопросах и задержка на клипе длиной 4,5 секунды. Проверялась на прочитанной или разыгранной речи и небольших тестовых наборах; потоковый ввод не оценивался. Небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний, а метки эмоций основаны на разыгранной речи и не подходят для принятия решений о конкретных людях. Коннектор работает только с указанными аудиоэнкодером и языковой моделью. Лицензия — Apache-2.0.

250сент. 2026ctx1M
textaudioapache-2.0hugging-face
adventists-ai
DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-1.7B

DuplexJev-B-Para-Qwen3-ASR-0.6B-Qwen3-1.7B — компактная аудиотекстовая модель семейства Ultravox от adventists-ai для коротких решений по речи и определения паралингвистических признаков. Замороженный аудиоэнкодер Qwen3-ASR-0.6B передаёт представления через обучаемый коннектор с укладкой кадров и проектором SwiGLU в замороженную языковую модель Qwen3-1.7B. Обучены только 11,5 млн параметров коннектора; модель выдаёт оценки вариантов ответа за один проход без генерации токенов, позволяя задавать несколько вопросов за проход. Модель предназначена для spoken QA, короткой классификации речевых характеристик, включая пол и эмоции, и решений по коротким аудиофрагментам. В README приведены результаты на наборах qa100 и ZJU-ML, а также замеры задержки на H200 и CPU. Поддерживаемые в метаданных языки — китайский и английский. Качество зависит от формулировки запроса и ограничено возможностями небольшой языковой модели; модель слабо отвечает на общие вопросы, а результаты оценки эмоций основаны на актёрской речи и не подходят для решений о конкретных людях. Проверка потокового аудио, квантизации и NPU не проводилась. Коннектор работает только с указанными энкодером и LLM. Лицензия — CC BY-NC 4.0, с ограничением на коммерческое использование.

190сент. 2026ctx131.1K
textaudiocc-by-nc-4.0hugging-face
damerajee
Gaja-v2.00

Gaja-v2.00 — разговорная языковая модель от автора репозитория damerajee, дообученная на базе SarvamAI/OpenHathi для диалогов на хинди и хинглише. Это плотная модель семейства Llama с 6,7 млрд параметров, реализованная через Transformers и сохранённая в формате safetensors; максимальная длина контекста составляет 4096 токенов. Модель предназначена для чат-ботов, ответов на вопросы и ведения разговоров на хинди и хинглише. По README, дообучение проводилось на 5 тысячах примеров; автор также сообщает о результате выше Airavata на наборе OpenLLM Leaderboard, но подробные сравнительные условия не приведены. Модель рассчитана на экспериментирование с чат-ботами и может быть ограничена небольшим объёмом диалоговых данных и контекстом в 4096 токенов. Лицензия указана как llama2; перед использованием следует учитывать её условия.

771март 2024ctx4.1K
textllama2hugging-face
SLT-AI
SLT-0.5b-GoToSpeak

SLT-0.5b-GoToSpeak — компактная разговорная языковая модель, разработанная SLT-AI на основе Qwen2.5-0.5B. Модель с архитектурой Qwen2ForCausalLM содержит 494 млн параметров, принимает текст и предназначена для генерации ответов в диалоге. Контекстное окно составляет до 32 768 токенов. Модель дообучена методом supervised fine-tuning на 7 500 примерах: русских и английских диалогах, общих знаниях, простых задачах на Python и базовой математике с пошаговыми объяснениями. Подходит для чат-ботов, несложных вопросов и ответов, помощи с простым кодом и математикой. В репозитории доступны форматы safetensors и GGUF. Лицензия — Apache-2.0. Из-за небольшого размера модель рассчитана на простые задачи; качество ответов и актуальность знаний могут быть ограничены. Сведения о проверке фактической точности и покрытии языков за пределами русского и английского не приведены.

942июнь 2026ctx32.8K
textapache-2.0hugging-face
adventists-ai
DuplexJev-B-SenseVoice-Small-Qwen3-4B

DuplexJev-B-SenseVoice-Small-Qwen3-4B — компактная аудиотекстовая модель adventists-ai для ответов на короткие вопросы о речи и голосе. Замороженный аудиоэнкодер SenseVoice-Small передаёт признаки через обучаемый коннектор в замороженную Qwen3-4B. Коннектор использует стекирование кадров и проектор SwiGLU; у него 11,5 млн обучаемых параметров. На каждый вопрос модель выдаёт распределение по вариантам ответа без генерации токенов, поэтому за один проход можно обработать несколько вопросов. Модель рассчитана на короткие решения по аудиоклипам, распознавание речевых характеристик и подсказки о говорящем. В README приведены результаты для spoken QA, пола и эмоций, однако тесты проводились на небольших наборах и читаемой или актёрской речи. Авторы отмечают, что формулировка запроса влияет на результат, а качество ответов на вопросы, требующие общих знаний, ограничено возможностями небольшой языковой модели. Потоковый ввод не оценивался; коннектор совместим только с указанными энкодером и LLM. Лицензия — Apache-2.0.

160сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
adventists-ai
DuplexJev-B-Whisper-small-SmolLM3-3B

DuplexJev-B-Whisper-small-SmolLM3-3B — компактный аудиоязыковой коннектор семейства Ultravox от adventists-ai. Он соединяет замороженный энкодер OpenAI Whisper-small с замороженной языковой моделью SmolLM3-3B; обучаемая часть — проектор SwiGLU с укладкой аудиокадров и 29,4 млн параметров. Модель принимает аудио и отвечает на типизированные вопросы распределением вероятностей по вариантам за один шаг, без генерации последовательности токенов; за один проход можно задать несколько вопросов. Модель предназначена для коротких решений по речи: ответов на вопросы по аудиоклипам и определения характеристик говорящего, включая эмоции. В карточке приведены результаты на небольших наборах для устных вопросов и паралингвистических задач, а также измерения задержки. Указанные языки — китайский и английский; лицензия — Apache-2.0. Оценка проводилась на прочитанной или разыгранной речи и небольших выборках; потоковый ввод не оценивался. Небольшая языковая модель слабо отвечает на вопросы, требующие общих знаний, а распознавание эмоций обучалось на разыгранной речи, поэтому эти результаты не следует использовать для принятия решений о людях. Коннектор совместим только с указанными Whisper-small и SmolLM3-3B.

250сент. 2026ctx131.1K
textaudioapache-2.0hugging-face
Dharshna
interview-llama

Dharshna/interview-llama — дообученная модель для генерации текста на базе unsloth/llama-3-8b-Instruct-bnb-4bit. Разработчик — Dharshna; обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Модель семейства Llama с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она предназначена для диалоговой генерации текста на английском языке; название указывает на применение в подготовке к собеседованиям, но карточка не описывает конкретные сценарии или специализацию. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Карточка не приводит оценок качества или подробностей обучения, поэтому пригодность ответов для интервью следует проверять на целевых примерах.

200авг. 2026ctx8.2K
textapache-2.0hugging-face

Задачи профессии

17 задач
105Преобразование речи в текст. — AI преобразует аудиосигнал в текст, учитывая шум, акцент, темп речи и профессиональную лексику. Результат содержит стенограмму с таймкодами, знаками препинания и пометками фрагментов с низкой уверенностью. Качество оценивают по word error rate и отдельно проверяют имена, числа, термины и участки с перекрывающейся речью.
106Разделение записи по говорящим. — Для этой задачи система сравнивает объект с примерами и правилами классов, после чего назначает метку и выделяет сомнительные случаи. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: результат «Разделение записи по говорящим» в виде метки, класса, ранга или тематического слоя с уверенностью и объясняющими признаками. Критерии приёмки: по матрице ошибок, калибровке уверенности и отдельному анализу пограничных классов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
107Определение границ реплик и смены тем. — Практическая реализация: AI последовательно исключает несовместимые варианты и фиксирует признаки, на которых основан итог. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Входной контекст включает аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: установленное значение или вариант по задаче «Определение границ реплик и смены тем» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
108Восстановление плохо слышимых слов по контексту. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Исходные данные: роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Восстановление плохо слышимых слов по контексту» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
109Создание протокола встречи. — AI превращает запись встречи в структурированный протокол: выделяет темы, решения, аргументы, поручения, сроки и ответственных и связывает каждый пункт с таймкодом. На вход поступают запись, повестка и список участников. На выходе — редактируемый протокол и список действий; участники подтверждают спорные формулировки и ответственность за решения.
110Выделение решений, поручений, сроков и ответственных. — Для этой задачи система выделяет сущности, числа и отношения, нормализует формат и формирует машиночитаемую запись. Рабочие входы: аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: структурированные данные, полученные в рамках «Выделение решений, поручений, сроков и ответственных», с нормализованными значениями и ссылками на исходные фрагменты. Критерии приёмки: посимвольной или пополевой сверкой с оригиналом и проверкой обязательных полей; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
111Определение вопросов, оставшихся без ответа. — Практическая реализация: AI сопоставляет наблюдаемые признаки с критериями и устанавливает требуемое значение, состояние или вариант. Входной контекст включает потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: установленное значение или вариант по задаче «Определение вопросов, оставшихся без ответа» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
112Сводка позиции каждого участника дискуссии. — Механизм: AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Исходные данные: контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Сводка позиции каждого участника дискуссии», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Проверка: по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
113Поиск нужного момента внутри длинной аудиозаписи. — AI обходит разрешённые источники, объединяет найденное и отсеивает нерелевантные либо дублирующиеся результаты. Предметная логика: работает одновременно со спектральной структурой, ритмом и временной динамикой сигнала. К исходным данным относятся аудиодорожки, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: ранжированный список кандидатов по задаче «Поиск нужного момента внутри длинной аудиозаписи» со ссылками на источники, оценкой соответствия и фрагментами подтверждения. Надёжность оценивают по релевантности, полноте, отсутствию недопустимых источников и точности ссылок на подтверждение; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
114Оценка соблюдения сценария разговора. — Для этой задачи система собирает относящиеся к объекту показатели, приводит их к сопоставимому виду и рассчитывает оценку по явным критериям. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Рабочие входы: аудиопоток, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: оценка по задаче «Оценка соблюдения сценария разговора» в числовой или категориальной форме с расшифровкой факторов, допущений и неопределённости. Критерии приёмки: сверкой с экспертными оценками или фактическими исходами, а также анализом чувствительности к входным данным; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
115Определение намерения, темы и срочности обращения. — Практическая реализация: AI объединяет несколько источников свидетельств и выбирает наиболее обоснованное определение с оценкой уверенности. Входной контекст включает аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: установленное значение или вариант по задаче «Определение намерения, темы и срочности обращения» с оценкой уверенности и основаниями решения. Ошибки выявляют по точности относительно эталона, калибровке уверенности и разбору случаев, где источники расходятся; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
116Подсказки оператору или участнику разговора в реальном времени. — Механизм: AI объединяет историю, текущую ситуацию и обязательные условия, чтобы предложить следующий наиболее обоснованный шаг. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. Исходные данные: аудиопоток, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: несколько вариантов для «Подсказки оператору или участнику разговора в реальном времени», ранжированных по полезности, ограничениям и причинам выбора. Проверка: по полезности для пользователя, соблюдению ограничений и качеству результата после принятия рекомендации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
117Автоматическая генерация последующего письма по итогам разговора. — AI создаёт новый артефакт по требованиям, исходным фактам и примерам, сохраняя возможность последующего редактирования. Предметная логика: распознаёт речь, разделяет участников и связывает реплики с темами, решениями и действиями. К исходным данным относятся аудиопоток, контекст диалога, роли участников, повестка встречи и аудиозаписи. Формат результата: редактируемый артефакт по задаче «Автоматическая генерация последующего письма по итогам разговора», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
118Синтез речи из текста. — Для этой задачи система сначала определяет элементы, которые должны сохраниться, затем перестраивает форму представления и отмечает внесённые изменения. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Рабочие входы: текст, роли участников, повестка встречи, аудиозаписи и потоковая речь. Формат результата: преобразованный материал по задаче «Синтез речи из текста» с сохранённым содержанием и журналом значимых изменений. Критерии приёмки: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
119Клонирование или персонализация голоса при наличии прав и согласия. — Практическая реализация: AI обновляет персональные настройки по обратной связи и отделяет устойчивые предпочтения от случайного поведения. Предметная логика: оценивает релевантность и полезность вариантов, учитывая разнообразие и долгосрочные цели. Входной контекст включает профиль пользователя, повестка встречи, аудиозаписи, потоковая речь и контекст диалога. Формат результата: адаптированный вариант для «Клонирование или персонализация голоса при наличии прав и согласия» с указанием контекста и факторов, определивших персонализацию. Ошибки выявляют по пользовательской обратной связи, долгосрочной полезности и отсутствию нежелательной дискриминации; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
120Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи. — Механизм: AI преобразует исходный материал по заданным правилам, сохраняя смысл, структуру и критически важные детали. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. Исходные данные: текст, аудиозаписи, потоковая речь, контекст диалога и роли участников. Формат результата: преобразованный материал по задаче «Изменение темпа, произношения, акцента или эмоциональной окраски синтезированной речи» с сохранённым содержанием и журналом значимых изменений. Проверка: сравнением смысла и структуры до и после преобразования, а также поиском потерянных элементов; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий.
121Создание голосового интерфейса для управления системой. — AI собирает содержание и структуру из заданных ограничений, затем формирует несколько вариантов для выбора и доработки. Предметная логика: моделирует фонетику, просодию и тембр, сохраняя естественность и разборчивость. К исходным данным относятся текст, потоковая речь, контекст диалога, роли участников и повестка встречи. Формат результата: редактируемый артефакт по задаче «Создание голосового интерфейса для управления системой», согласованный с исходными фактами, форматом и ограничениями; тип артефакта — разговорный артефакт. Надёжность оценивают по соответствию фактам, требованиям, формату и качеству последующей экспертной доработки; по точности распознавания, атрибуции реплик, полноте решений и корректности выделенных действий. <a id="section-i-8"></a>

0 моделей