Компактная BERT-модель размечает слова в речевых транскриптах, чтобы удалить дисфлюенции и получить очищенный текст без перефразирования.
15скачиваний за 30 дней0лайковвеса обновлены7 июл 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
stillerman/fdt-disfluency-small-29m — модель для очистки расшифровок разговорной речи от словесных запинок и других дисфлюенций. Она размечает каждое слово одним из тегов KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая процедура реконструкции формирует очищенный текст. Модель разработана в рамках проекта FluencyAI; для её обучения использовались синтетические дисфлюенции, добавленные к разговорным корпусам.
Это компактная BERT-модель для классификации токенов: в README указано 28,5 млн параметров, а в метаданных — 32,4 млн; максимальный контекст составляет 512 токенов. Для запуска в браузере доступна квантованная ONNX-версия int8 с transformers.js и WebGPU; заявленная скорость обработки — около 10–50 мс на высказывание. Модель предназначена для очистки живых речевых транскриптов, сохраняя формулировки, имена и числа: по конструкции она удаляет или корректирует разметку слов, но не перефразирует текст.
В README приведены метрики на валидации: exact-match 0,9325 и DELETE-F1 0,9885. Обучение частично использовало DailyDialog по лицензии CC BY-NC-SA, поэтому автор рекомендует считать модель исследовательским артефактом и не применять её в коммерческих целях без дополнительной проверки лицензионных условий. В метаданных указана лицензия Apache-2.0.
Сценарии применения
очистка транскриптов телефонных разговоров от слов-паразитов и запинок
удаление повторов и оговорок из расшифровок живой речи
постобработка транскриптов потокового распознавания речи
сохранение имён и чисел при очистке разговорного текста
Ограничения
Модель удаляет и размечает дисфлюенции, но не перефразирует текст. Обучение частично использовало DailyDialog с лицензией CC BY-NC-SA; автор рекомендует не использовать модель в коммерческих целях без проверки условий лицензирования.
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Disfluency deletion tagger for live speech transcripts: tags every
whitespace word KEEP / DELETE / KEEP_STRIP_COMMA / KEEP_CAPITALIZE,
then a ~15-line reconstruction turns tags into cleaned text. Deletion-only by
construction — it cannot rephrase, hallucinate, or alter names and numbers.
Architecture: BERT L4/H512 (28.5M params), v1 data mix