/ Модель

Характеристики

Контекст
512 токенов
Лицензия
Apache 2.0
Архитектура
distilbert · dense
Опубликована
7 июл 2026

fdt-disfluency-distilbert-66m

Разметка токеновТекст → label4 профессии

Модель на базе DistilBERT размечает слова в расшифровках разговорной речи, чтобы удалять запинки и очищать текст без перефразирования.

18скачиваний за 30 дней0лайковвеса обновлены7 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

stillerman/fdt-disfluency-distilbert-66m — модель разметки слов для удаления речевых запинок в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она присваивает каждому слову один из тегов: KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE; простая реконструкция по тегам формирует очищенный текст.

Модель основана на DistilBERT base cased и содержит 65,8 млн параметров. Она рассчитана на текстовые транскрипты: README описывает синтетические запинки, добавленные к разговорным корпусам, но не указывает языки обучения. Контекст — до 512 токенов. Для проверки на русском тексте пригодность не подтверждена.

На валидации указаны exact-match 0,9760 и F1 для класса DELETE 0,9935. Ограничение задачи — модель удаляет или локально форматирует слова и не предназначена для перефразирования; качество зависит от соответствия транскрипта данным обучения. Репозиторий включает квантованную ONNX-модель int8 для запуска в браузере через transformers.js; заявленное время обработки — около 10–50 мс на высказывание. Лицензия репозитория — Apache-2.0, однако данные обучения частично включали DailyDialog по CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не использовать её для коммерческого развёртывания без дополнительной проверки прав.

Сценарии применения

  • Удаление словесных запинок из расшифровок разговорной речи
  • Очистка транскриптов перед публикацией субтитров
  • Предобработка текстов для анализа диалогов
  • Очистка распознанных телефонных разговоров от речевых повторов

Ограничения

Модель выполняет только локальную разметку и не перефразирует текст; язык обучения в карточке не указан, поэтому поддержка русского не подтверждена. README предупреждает о включении DailyDialog с лицензией CC BY-NC-SA и не рекомендует коммерческое использование без проверки прав.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

stillerman/fdt-disfluency-distilbert-66m

Disfluency deletion tagger for live speech transcripts: tags every whitespace word KEEP / DELETE / KEEP_STRIP_COMMA / KEEP_CAPITALIZE, then a ~15-line reconstruction turns tags into cleaned text. Deletion-only by construction — it cannot rephrase, hallucinate, or alter names and numbers.

  • Architecture: distilbert-base-cased (65.8M params), v1 data mix
  • Val metrics: exact-match 0.9760, DELETE-F1 0.9935
  • Training data: synthetic disfluency injection over conversational corpora — see stillerman/fdt-disfluency-synthetic
  • onnx/model_quantized.onnx (int8) is ready for transformers.js (device: "webgpu", dtype: "q8"); runs at ~10–50 ms per utterance in-browser.
  • ⚠️ Trained partly on DailyDialog (CC BY-NC-SA): treat as research artifact, not for commercial deployment as-is.

Trained on a DGX Spark as part of the FluencyAI digital-twin project.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модель выложена для браузера (ONNX / transformers.js).

Класс архитектуры
DistilBertForTokenClassification
Ревизия весов
dacec36

0 моделей