Модель на базе DistilBERT размечает слова в расшифровках разговорной речи, чтобы удалять запинки и очищать текст без перефразирования.
18скачиваний за 30 дней0лайковвеса обновлены7 июл 2026
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
stillerman/fdt-disfluency-distilbert-66m — модель разметки слов для удаления речевых запинок в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она присваивает каждому слову один из тегов: KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE; простая реконструкция по тегам формирует очищенный текст.
Модель основана на DistilBERT base cased и содержит 65,8 млн параметров. Она рассчитана на текстовые транскрипты: README описывает синтетические запинки, добавленные к разговорным корпусам, но не указывает языки обучения. Контекст — до 512 токенов. Для проверки на русском тексте пригодность не подтверждена.
На валидации указаны exact-match 0,9760 и F1 для класса DELETE 0,9935. Ограничение задачи — модель удаляет или локально форматирует слова и не предназначена для перефразирования; качество зависит от соответствия транскрипта данным обучения. Репозиторий включает квантованную ONNX-модель int8 для запуска в браузере через transformers.js; заявленное время обработки — около 10–50 мс на высказывание. Лицензия репозитория — Apache-2.0, однако данные обучения частично включали DailyDialog по CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не использовать её для коммерческого развёртывания без дополнительной проверки прав.
Сценарии применения
Удаление словесных запинок из расшифровок разговорной речи
Очистка транскриптов перед публикацией субтитров
Предобработка текстов для анализа диалогов
Очистка распознанных телефонных разговоров от речевых повторов
Ограничения
Модель выполняет только локальную разметку и не перефразирует текст; язык обучения в карточке не указан, поэтому поддержка русского не подтверждена. README предупреждает о включении DailyDialog с лицензией CC BY-NC-SA и не рекомендует коммерческое использование без проверки прав.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
Disfluency deletion tagger for live speech transcripts: tags every
whitespace word KEEP / DELETE / KEEP_STRIP_COMMA / KEEP_CAPITALIZE,
then a ~15-line reconstruction turns tags into cleaned text. Deletion-only by
construction — it cannot rephrase, hallucinate, or alter names and numbers.
Architecture: distilbert-base-cased (65.8M params), v1 data mix