/ Модель

Характеристики

Лицензия
Apache 2.0
Библиотека
funasr
Опубликована
1 фев 2024

fsmn-vad

Поиск речи в аудиоАудио → label5 профессий

FSMN-VAD выделяет речевые сегменты в аудио для обработки длинных записей и подготовки данных к распознаванию речи.

3 241скачиваний за 30 дней26лайковвеса обновлены19 июн 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

FSMN-VAD — модель обнаружения речевой активности из экосистемы FunASR. Она использует архитектуру Feedforward Sequential Memory Network (FSMN) и определяет границы речевых и неречевых сегментов в аудио с частотой дискретизации 16 кГц.

Модель предназначена для выделения речи в длинных аудиозаписях и предварительной обработки аудио перед распознаванием речи. Поддерживаются потоковый и офлайн-режимы, настройка максимальной длины сегмента и обработка с низкой задержкой, в том числе для сценариев реального времени. Результат — временные границы речевых фрагментов в миллисекундах.

Модель распространяется по лицензии Apache-2.0. Карточка не сообщает размер модели и отдельные ограничения точности; качество может зависеть от условий записи и характеристик аудио.

Сценарии применения

  • выделение речи в длинных аудиозаписях
  • обнаружение начала и конца речевых фрагментов
  • предварительная сегментация аудио перед распознаванием речи
  • потоковое обнаружение речи в реальном времени

Ограничения

Модель рассчитана на аудио с частотой дискретизации 16 кГц. Карточка не приводит оценок качества на конкретных наборах данных.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

⭐ Powered by FunASR — please give us a GitHub Star!

This model is part of the FunASR ecosystem — one industrial-grade open-source toolkit for ASR · VAD · punctuation · speaker diarization · emotion / event · LLM-ASR. A Star really helps the project (and keeps you updated):

🌟 FunASR · 🌟 SenseVoice · 🌟 Fun-ASR · 🌟 FunClip

FSMN-VAD

Voice Activity Detection — accurately detect speech segments in audio, essential for long-audio processing pipelines.

FSMN-VAD uses a Feedforward Sequential Memory Network to detect speech/non-speech boundaries with high precision and low latency. It supports both streaming and offline modes.

Quick Start

from funasr import AutoModel

# Standalone VAD
model = AutoModel(model="funasr/fsmn-vad", hub="hf", device="cuda")
result = model.generate(input="long_audio.wav")
# Returns speech segments: [[start_ms, end_ms], [start_ms, end_ms], ...]
print(result[0]["value"])

Use as Part of ASR Pipeline

from funasr import AutoModel

# VAD automatically segments long audio before ASR
model = AutoModel(
    model="funasr/paraformer-zh",
    hub="hf",
    vad_model="funasr/fsmn-vad",
    device="cuda",
)
result = model.generate(input="meeting_2hours.wav")
print(result[0]["text"])

Features

  • Streaming and offline voice activity detection
  • Configurable segment length (max_single_segment_time)
  • Low latency for real-time applications
  • Works with all FunASR ASR models as a preprocessing step

Model Details

PropertyValue
ArchitectureFSMN (Feedforward Sequential Memory Network)
Sample Rate16kHz
ModesStreaming + Offline

Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · funasr

Нельзя запустить

Задача «voice-activity-detection» пока не поддерживается рантаймом.

Ревизия весов
df20e6b

0 моделей