II.8Инженерия данных и аналитика

RF-DETR Seg Xlarge — модель сегментации объектов по экземплярам от Roboflow, представленная в семействе RF-DETR и доступная через Transformers. Она принимает изображение и предсказывает отдельную маску, ограничивающую рамку и оценку класса для каждого обнаруженного объекта; чекпойнт обучен на разметке COCO 2017 с 80 категориями объектов. Архитектура сочетает ViT-подобную основу в стиле DINOv2 с регистрами и чередованием оконного и полного внимания, многомасштабный проектор признаков и декодер в стиле Deformable DETR с головой предсказания масок. Модель предназначена для сегментации экземпляров на изображениях, в том числе в сценариях, где важны скорость и одновременное получение масок, рамок и классов. Репозиторий содержит веса SafeTensors; лицензия — Apache-2.0. Модель рассчитана на классы COCO, поэтому точность на других наборах объектов зависит от соответствия их категорий и изображений обучающим данным.

RobBERT-v2 Dutch Base — созданная исследовательской группой RobBERT предварительно обученная языковая модель для нидерландского языка на архитектуре RoBERTa. Она содержит 144 млн параметров, обучена на нидерландском токенизаторе и корпусах и поддерживает контекст до 514 токенов. Модель предсказывает замаскированные токены и служит основой для дообучения под классификацию текста, регрессию и разметку токенов. Модель применялась для анализа тональности и эмоций, распознавания именованных сущностей, разрешения кореференции, тегирования частей речи, обнаружения юмора и кибербуллинга, а также исправления орфографических ошибок. Карточка сообщает о сильных результатах на ряде нидерландских задач, в том числе при малом объеме данных. Доступны веса в форматах PyTorch, TensorFlow, Flax и safetensors. Лицензия — MIT. В статье об исследовании отмечены возможные гендерные смещения: модель чаще предпочитает местоимение «он» в шаблонах с названиями профессий и точность определения тональности может различаться в зависимости от указанного пола автора отзыва. Для прикладных задач классификации и разметки требуется дообучение на соответствующих данных.

Shirdel-Agent-4B — дообученная модель Tesleum на базе NVIDIA Nemotron 3 Nano 4B. Она предназначена для генерации ответов в агентных и образовательных сценариях программирования: решения математических задач с использованием Python, объяснения кода, отладки и оформления программ. Обучение проводилось на наборе Avelina/python-edu-cleaned с 7,6 млн примеров «задача — решение»; архитектура — плотная Nemotron H, формат весов — safetensors. Модель поддерживает текстовый ввод и генерацию текста, включая код. Метаданные указывают контекстное окно до 262 144 токенов и английский язык. Карточка отмечает улучшенную работу на запросах, похожих на обучающие данные, и не сообщает о квантизации. Лицензия — ECL-2.0.

Это конверсия классификатора языков речи Silero в формат GGUF для использования с CrispASR. Модель принимает монофонический PCM-аудиосигнал с частотой 16 кГц и выдаёт логарифмические вероятности для 95 языков и 58 языковых групп. В архитектуре используются обучаемый STFT-фронтенд, свёрточный энкодер в стиле MobileNet с трансформерными блоками и пулинг с весами внимания; модель содержит около 4 млн параметров. Модель подходит для определения языка речи в аудиозаписи и для автоматического выбора языка перед распознаванием речи в CrispASR, в том числе с бэкендами без встроенной идентификации языка. Наилучшие результаты указаны для фрагментов речи длительностью примерно 3–20 секунд. Конверсия выполнена из ONNX-модели snakers4/silero-lang-classifier-95; обучения или изменения возможностей не проводилось. Репозиторий распространяется по лицензии MIT.

SpanMarker для выявления акронимов и их расшифровок в английском тексте, обученная на наборе Acronym Identification. Модель разработана на основе некейс-чувствительного энкодера bert-base-uncased от Google и предназначена для распознавания именованных сущностей: она находит краткие формы и соответствующие им длинные названия, например SODA и successive convex approximation. Модель принимает текст и размечает фрагменты метками short и long. Максимальная длина последовательности — 256 токенов, максимальная длина сущности — 8 слов. В карточке приведены значения F1 0,9199 для всех сущностей, 0,9262 для коротких и 0,9074 для длинных. Лицензия — Apache-2.0; модель можно дообучить на собственном наборе данных. Поскольку энкодер не учитывает регистр, автор рекомендует кейс-чувствительную версию, если регистр в исходных данных всегда корректен.

墨 Sumi — японская модель для обнаружения персональных данных в тексте. Её разработал автор репозитория NagaYu: модель ModernBERT дообучена для токен-классификации японских PII и содержит 132,1 млн параметров. Она размечает 21 BIO-класс, соответствующий 10 типам данных, включая имена, адреса и телефонные номера; длина контекста — до 8 192 токенов. Доступны веса Safetensors и ONNX, включая динамическую INT8-квантизацию ONNX. Модель предназначена для поиска японских персональных данных и их маскировки перед передачей текста внешним системам, например hosted LLM. В README описаны особенности японской разметки, такие как фамилии, совпадающие с обычными словами, границы обращений и числовые строки, похожие на телефоны. Рекомендуется использовать модель вместе с правиловым слоем и калибровкой из пакета sumi: при прямом запуске классификатора эти компоненты и уточнение границ недоступны. Текстовый ввод размечается метками; модель не генерирует текст. Обучение и оценка проводились только на синтетических данных, поэтому качество на реальных документах может отличаться и требует проверки на собственных данных. Пропуски неизбежны, а порог обнаружения влияет на баланс полноты и ложных срабатываний; модель не гарантирует соблюдение законодательства и не является самостоятельным средством сертификации соответствия. Экспорт GGUF не поддерживается распространёнными средами выполнения для этой задачи; для CPU README рекомендует ONNX INT8. Лицензия — Apache-2.0.

cyttic/trocr-bigram5-BY — дообученная модель cyttic/exp2-frozen-benyehuda-cont для преобразования изображений с текстом в текст. Она использует архитектуру VisionEncoderDecoder и библиотеку Transformers; веса представлены в формате safetensors. По названию модели можно предположить связь с распознаванием биграмм и белорусским языком, однако README не подтверждает назначение суффикса BY или языковую поддержку. В карточке приведены результаты оценки: Loss 0.5955, CER 0.0292 и WER 0.0838. Датасет, сценарии применения, ограничения и условия лицензии не описаны, поэтому оценить качество за пределами указанного набора данных нельзя.

Wav2Vec2-XLS-R-2B — мультиязычная предварительно обученная модель Facebook AI для получения речевых представлений на основе архитектуры wav2vec 2.0. Она содержит 2,8 млрд параметров по метаданным и обучена на 436 тысячах часов неразмеченной речи из нескольких корпусов, включая VoxPopuli, Multilingual LibriSpeech, Common Voice, BABEL и VoxLingua107. Модель рассчитана на аудио с частотой дискретизации 16 кГц и охватывает 128 языков. Модель служит основой для дообучения под распознавание речи, перевод речи и классификацию, включая определение языка и другие задачи анализа аудио. В статье XLS-R сообщается о результатах на задачах распознавания и перевода речи для языков с разным объёмом обучающих данных. Это предварительно обученный чекпойнт, а не готовая система транскрибации: для прикладной задачи требуется дообучение и соответствующая выходная голова. Модель распространяется по лицензии Apache-2.0.

Wayu-Paxa-OCR-Zero — модель распознавания текста в областях документов, разработанная Wayu AI как полноточечное дообучение PaddleOCR-VL-1.6. Модель содержит 0,9 млрд параметров и обучена на 45 723 синтетических страницах, созданных по открытым англоязычным коллекциям документов без OCR-разметки реальных тайских документов. Она принимает изображения отдельных областей документа и выдаёт текст в формате, соответствующем типу области: Markdown для обычного текста, OTSL для таблиц и LaTeX для формул. Модель предназначена прежде всего для распознавания печатного тайского текста; также поддерживает английский и может распознавать тайский почерк, хотя ошибки остаются заметными. Это распознаватель фрагментов, а не целых страниц: для обработки страницы его следует сочетать с PP-DocLayoutV3, который обнаруживает области и упорядочивает их; готовый конвейер PaddleOCRVL объединяет эти этапы. По заявлению авторов, на их наборах медианная CER для печатного тайского снизилась с 6,64% у базовой модели до 1,24%, а для почерка — с 74,87% до 20,55%. Модель опубликована как исследовательский артефакт без обязательств по поддержке и доступности; лицензия — Apache-2.0. Результаты ограничены качеством синтетической обучающей выборки: слабее обрабатываются формы, чеки и плотные финансовые таблицы, особенно таблицы с объединёнными ячейками. Распознавание почерка остаётся несовершенным; тайский и английский — единственные языки, обучение и оценка которых описаны в карточке.

MKAlbani/whisper-small-ha — дообученная модель распознавания речи на базе openai/whisper-small, созданная на датасете Common Voice 16.1. Она предназначена для преобразования речи в текст; архитектура Whisper содержит около 153,1 млн параметров. В карточке приведены результаты оценки: WER 43,79 и WER Ortho 46,98. Модель принимает аудио и выдаёт текст. Базовый Whisper — мультиязычная модель, но карточка не уточняет языки, на которых проводилось дообучение; суффикс «ha» сам по себе не подтверждает язык. Весы опубликованы в формате safetensors. Лицензия — Apache-2.0.

zh-wiki-punctuation-restore — модель на базе BERT для восстановления пунктуации в китайском тексте. Она классифицирует токены и поддерживает шесть знаков: запятую ，、перечислительную запятую 、, точку 。, вопросительный знак ？, восклицательный знак ！ и точку с запятой ；. Модель предназначена для обработки текста без пунктуации, например после распознавания речи или при подготовке китайских текстов. Архитектура — BertForTokenClassification, размер — 129,5 млн параметров, максимальный контекст — 512 токенов. Репозиторий содержит веса PyTorch и safetensors. README предлагает установку пакета zhpr. Лицензия в предоставленных данных не указана.

AI-vs-Deepfake-vs-Real — модель классификации изображений, разработанная prithivMLmods. Она различает три класса: искусственно созданные изображения, дипфейки и реальные изображения. Модель построена на архитектуре Vision Transformer (ViT) и содержит 113,2 млн параметров; для использования предусмотрена библиотека Transformers. В карточке указана база google/vit-base-patch32-224-in21k, а метаданные каталога связывают модель с дообучением google/vit-base-patch16-224-in21k. Модель подходит для предварительной оценки изображений при исследовании генеративных моделей, фильтрации наборов данных, форензического анализа, модерации контента и сравнительного тестирования генераторов дипфейков. Она возвращает класс изображения, но не устанавливает подлинность с гарантированной надёжностью и не объясняет основания классификации. Качество может снижаться на незнакомых методах генерации, изображениях с необычным разрешением и данных, отличающихся от обучающих. Лицензия — Apache-2.0.

EIDORA предоставляет ONNX-конверсию AlexNet — сверточной нейронной сети, первоначально представленной Крижевским, Суцкевером и Хинтоном. Используется контрольная точка TorchVision AlexNet_Weights.IMAGENET1K_V1, предварительно обученная на ImageNet-1K; это не исходные веса авторов 2012 года. Модель предназначена для извлечения визуальных признаков из изображений и сравнения их сходства, а также для использования в качестве базового метода при сравнении моделей эмбеддингов. На вход подаётся RGB-изображение: короткая сторона масштабируется до 256 пикселей, затем выполняется центральное кадрирование до 224 × 224 пикселей. ONNX-граф включает нормализацию каналов ImageNet. На выходе — L2-нормированный эмбеддинг размерности 4096 из второго полносвязного слоя после ReLU; для сравнения в README рекомендовано косинусное сходство. Лицензия в метаданных — BSD-3-Clause; в README отдельно отмечено, что условия распространения предобученных весов следует учитывать отдельно.

Cipher-AI/AutoCorrect-EN-v2 — англоязычная модель автокоррекции опечаток, созданная дообучением T5-Base с помощью Transformers. Она принимает текст с ошибками и генерирует исправленный вариант; пример в карточке показывает восстановление искажённых слов в английском предложении. Модель содержит 123,8 млн параметров, использует архитектуру T5ForConditionalGeneration и формат safetensors. Для обработки модельного контекста метаданные указывают 512 токенов; в примере кода вход обрезается до 256 токенов. Поддерживаемый язык — английский. Модель предназначена для исправления опечаток в текстах и может использоваться в редакторах, формах ввода и конвейерах очистки текста. Она выпущена по лицензии Apache-2.0. Карточка демонстрирует коррекцию на примере, но не описывает качество на разных типах ошибок; назначение ограничено автокоррекцией и не подтверждает проверку грамматики или смысла текста.

BERTurk — некейсированная модель семейства BERT для турецкого языка, опубликованная командой цифровой библиотеки MDZ при Баварской государственной библиотеке. Это плотная модель с 211,6 млн параметров и словарём из 128 тысяч токенов; длина контекста составляет 512 токенов. Модель предварительно обучена на корпусе объёмом 35 ГБ, включающем отфильтрованный и сегментированный по предложениям турецкий OSCAR, Википедию, корпуса OPUS и специальный корпус Кемаля Офлазера. Модель предназначена как базовый энкодер для задач обработки турецкого текста и может служить основой для дообучения под разметку частей речи, распознавание именованных сущностей и другие задачи NLP. Репозиторий содержит веса в форматах PyTorch, Safetensors, TensorFlow и Flax. Лицензия — MIT. В карточке приведены результаты для PoS tagging и NER, однако сама модель является предобученной базовой моделью, а не готовым специализированным классификатором.

google/bert_uncased_L-10_H-128_A-2 — компактная англоязычная модель BERT от Google из набора BERT Miniatures, описанного в работе «Well-Read Students Learn Better». В этой конфигурации 10 слоёв, скрытый размер 128 и 2 attention-головы; модель содержит около 6,5 млн параметров и принимает последовательности длиной до 512 токенов. Доступны реализации PyTorch и Flax. Модель предназначена для задач понимания английского текста и может дообучаться для конкретных задач так же, как исходные модели BERT. Компактный размер подходит для сред с ограниченными вычислительными ресурсами; авторы отмечают, что особенно эффективно использовать её в дистилляции, перенося на неё метки, подготовленные более крупной и точной моделью. В README приведены результаты оценки семейства на GLUE, но отдельная строка для данной конфигурации в предоставленном тексте отсутствует. Модель является предобученным чекпойнтом компактной архитектуры BERT; её не следует считать готовой универсальной чат-моделью. Лицензия — Apache-2.0. Для использования следует учитывать англоязычную специализацию и меньшую ёмкость по сравнению с крупными BERT-моделями.

Компактная англоязычная версия BERT из семейства BERT Miniatures, опубликованная Google и описанная в работе «Well-Read Students Learn Better». Модель имеет 4 слоя Transformer, скрытый размер 128 и 2 attention-головы; в метаданных указано около 5 млн параметров и контекст до 512 токенов. Доступны веса в форматах PyTorch и Flax, лицензия Apache-2.0. Модель предназначена для задач понимания английского текста и развёртывания в условиях ограниченных вычислительных ресурсов. Её можно дообучать для конкретных задач так же, как стандартные модели BERT; авторы отмечают, что особенно полезна дистилляция, когда метки для дообучения генерирует более крупная и точная модель. Компактность снижает требования к ресурсам, но качество может уступать более крупным моделям. Модель только для английского языка, без регистра и использует WordPiece; README приводит результаты на GLUE для вариантов линейки, но не отдельную таблицу для этой конфигурации.

google/bert_uncased_L-4_H-256_A-4 — компактная англоязычная модель BERT из набора BERT Miniatures, разработанного Google и описанного в работе «Well-Read Students Learn Better». Это трансформерный энкодер с 4 слоями, размером скрытого представления 256 и 4 головами внимания; модель содержит около 12 млн параметров и принимает последовательности длиной до 512 токенов. Она обучена без учёта регистра с токенизацией WordPiece и предназначена для задач понимания английского текста с ограниченными вычислительными ресурсами. Модель можно дообучать для классификации и других задач обработки текста. Авторы отмечают, что она особенно эффективна при дистилляции, когда метки для дообучения созданы более крупной моделью-учителем. По результатам GLUE BERT-Mini показывает качество ниже более крупных вариантов из набора, что отражает компромисс между размером и точностью. Доступны веса в форматах PyTorch и Flax. Лицензия — Apache-2.0.

google/bert_uncased_L-6_H-256_A-4 — компактная англоязычная модель семейства BERT, опубликованная Google как часть набора BERT Miniatures. Это плотный трансформер с 6 слоями, размером скрытого представления 256 и 4 головами внимания; в репозитории около 14,1 млн параметров, контекст — до 512 токенов. Модель обучена без учёта регистра с маскированием токенов WordPiece и доступна в форматах PyTorch и Flax под лицензией Apache-2.0. Модель предназначена для запуска в условиях ограниченных вычислительных ресурсов и последующей настройки на задачи понимания текста, например классификацию и оценку сходства предложений. Авторы отмечают, что компактные варианты особенно эффективны при дистилляции знаний от более крупной и точной модели; их также можно дообучать обычным способом. README приводит результаты оценки семейства на GLUE, но не отдельные показатели именно этой конфигурации. Модель принимает текст и выдаёт контекстуальные представления токенов, которые обычно используют как основу для классификаторов и других задач NLP. Она рассчитана на английский язык и не предназначена для генерации текста. По сравнению с крупными BERT-моделями компактность снижает требования к ресурсам, но может ограничивать качество на сложных задачах; конкретные ограничения качества для этой конфигурации в карточке не приведены.

BidirLM/BidirLM-1B-Base — промежуточный чекпойнт семейства BidirLM, созданный авторами BidirLM на основе Google Gemma 3 1B. Веса Gemma 3 1B преобразовали для двунаправленного внимания, обучили с Masked Next Token Prediction на 30 млрд токенов из многодоменного корпуса, а затем объединили с исходными весами Gemma 3 1B в соотношении 50/50. Модель содержит 1 млрд параметров, использует плотную архитектуру BidirLMForMaskedLM и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для предсказания замаскированных токенов и как основа для последующей тонкой настройки под классификацию текста и разметку токенов. Она поддерживает множество языков; среди явно перечисленных — английский, арабский, немецкий, французский, испанский, хинди и японский. Для получения общих эмбеддингов авторы рекомендуют вариант BidirLM-1B-Embedding с дополнительным контрастивным обучением. Лицензия — Apache-2.0.

Chichu 2.5 Reasoning — компактная языковая модель на 494 млн параметров, разработанная Sebastianpro88 и дообученная на основе Sebastianpro88/Chichu-2.0-500M-Instruct. Модель использует архитектуру Qwen2 и генерирует текст; в карточке указана поддержка диалогов и пошаговых рассуждений с блоками `<think>`. Она предназначена для ответов на общие вопросы и задач по математике, логике и коду. Контекст модели составляет 32 768 токенов. В метаданных указан английский язык и лицензия other. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, однако карточка не приводит результатов оценки качества. Рассуждения модели могут содержать ошибки; условия лицензии следует уточнить в карточке репозитория.

CodeBERTa-language-id — модель Hugging Face для определения языка программирования по фрагменту исходного кода. Она создана дообучением CodeBERTa-small-v1 с добавленной головой классификации последовательностей и использует архитектуру RoBERTa. Модель предназначена для классификации образца кода по языку программирования. В README сообщается, что на оценочном наборе точность и F1 превышают 0,999. Размер модели — 96,6 млн параметров, контекст — 514 токенов. Репозиторий содержит варианты весов для PyTorch, TensorFlow и Flax; лицензия — Apache-2.0. Оценка в README относится к указанному набору данных и не гарантирует такую же точность на произвольном коде, коротких фрагментах или языках вне обучающей выборки. Это классификатор языков программирования, а не средство перевода или генерации кода.

CodeParrot-Multi (small) — авторегрессионная языковая модель семейства GPT-2, разработанная для генерации программного кода. Модель содержит 110 млн параметров и обучена на очищенной от близких дубликатов подвыборке GitHub-кода. Для обучения использовались контекст длиной 1024 токена и около 58 млрд токенов данных. Модель предназначена для продолжения фрагментов кода и генерации кода на Java, JavaScript, PHP, Python, C#, C++, Go, Ruby и TypeScript. Её можно использовать через библиотеку Transformers. Карточка сообщает об оценке на HumanEval, но не приводит значения pass@k, поэтому качество решения задач по этим данным оценить нельзя. Лицензия — Apache-2.0.

Coder-o1-mini-reasoning — компактная языковая модель kd13 для помощи с программированием и рассуждениями. Она дообучена на Qwen/Qwen2.5-Coder-1.5B и использует плотную архитектуру Qwen2 с 1,5 млрд параметров. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Взаимодействие рассчитано на диалоговый формат Harmony-style. Модель предназначена прежде всего для помощи с Python: написания и объяснения кода, поиска ошибок, разъяснения концепций и решения задач базового и среднего уровня. Также она может помогать с математическими и логическими рассуждениями, обучением начинающих и диалогами в стиле вызова инструмента для веб-поиска; само выполнение поиска зависит от внешней обвязки. Карточка описывает её как экспериментального лёгкого помощника, а веса доступны под лицензией Apache-2.0. Модель может ошибаться в рассуждениях, пропускать граничные случаи и выдавать код, требующий проверки. Она хуже подходит для сложных алгоритмических задач, больших многофайловых проектов и языков программирования, отличных от Python; формат вызовов инструментов может быть непоследовательным. Результаты следует проверять, особенно перед использованием кода в критичных или чувствительных к безопасности сценариях.

dbmdz/convbert-base-turkish-cased — модель ConvBERT с учётом регистра для турецкого языка, выпущенная командой MDZ Digital Library Баварской государственной библиотеки. Она предназначена для извлечения контекстных представлений текста и использования в качестве основы для прикладных NLP-задач, например разметки частей речи, распознавания именованных сущностей и ответов на вопросы. Архитектура ConvBERT улучшает BERT с помощью динамической свёртки по фрагментам; модель содержит 137,8 млн параметров и рассчитана на контекст до 512 токенов. Модель предварительно обучена на турецком корпусе объёмом 35 ГБ, включающем отфильтрованный и разбитый на предложения OSCAR, Википедию, корпуса OPUS и специальный корпус. Для загрузки используется Transformers. Лицензия — MIT, допускающая широкое использование с соблюдением её условий.

deepseek-coder-1.3b-typescript — модель генерации кода, созданная командой CodeGPT путём дообучения deepseek-ai/deepseek-coder-1.3b-base. Она предназначена для автодополнения и продолжения кода TypeScript, включая заполнение пропусков в коде по схеме fill-in-the-middle, и рассчитана на интеграцию с редакторами кода, например через расширение VS Code. Модель использует плотную архитектуру семейства Llama и содержит 1,3 млрд параметров. Контекстное окно — 16 384 токена; README также указывает на обучение на 0,5 млрд токенов и приводит значение loss 0,7681 на оценочном наборе. Модель принимает и генерирует только текст. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в репозитории.

Это англоязычная модель классификации текста на базе DistilBERT, дообученная на наборе SST-2 для определения тональности. Репозиторий содержит динамически квантованную до INT8 версию, подготовленную с помощью Intel Neural Compressor; доступны варианты PyTorch и ONNX. Модель принимает текст и относит его к одному из классов тональности, что подходит для анализа коротких отзывов и высказываний на английском языке. В приведённой оценке на SST-2 точность INT8-версии составляет 0,9025 против 0,9106 у исходной FP32-модели; размер указан как 165 МБ против 256 МБ. Контекст модели — до 512 токенов. Лицензия — Apache-2.0. Результаты и назначение ориентированы на классификацию тональности в стиле SST-2; карточка не подтверждает качество на других языках, длинных текстах или иных задачах классификации.

Orthogonal Model of Emotions (OME) — англоязычный классификатор эмоций, созданный databoyface путём дообучения distilbert/distilroberta-base на наборе данных OME v5.2. Модель использует архитектуру RoBERTa для классификации последовательностей, содержит 95,2 млн параметров и принимает текст длиной до 514 токенов. Классификатор относит примеры к 26 категориям, охватывающим доверие или любовь, счастье или удовольствие, ревность или зависть, стыд или вину, гнев или отвращение, страх или тревогу, печаль или травму, а также нейтральные и пограничные случаи. Подходит для разметки эмоциональной окраски англоязычных фраз и анализа эмоциональных категорий в текстовых корпусах. В README указаны точность 0,9803 и функция потерь 0,1073 на оценочном наборе; эти результаты относятся к тестированию авторов и не гарантируют такую же точность на других данных. Модель распространяется по лицензии MIT.

stillerman/fdt-disfluency-distilbert-66m — модель разметки слов для удаления речевых запинок в расшифровках разговорной речи, разработанная в рамках проекта FluencyAI digital-twin. Она присваивает каждому слову один из тегов: KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE; простая реконструкция по тегам формирует очищенный текст. Модель основана на DistilBERT base cased и содержит 65,8 млн параметров. Она рассчитана на текстовые транскрипты: README описывает синтетические запинки, добавленные к разговорным корпусам, но не указывает языки обучения. Контекст — до 512 токенов. Для проверки на русском тексте пригодность не подтверждена. На валидации указаны exact-match 0,9760 и F1 для класса DELETE 0,9935. Ограничение задачи — модель удаляет или локально форматирует слова и не предназначена для перефразирования; качество зависит от соответствия транскрипта данным обучения. Репозиторий включает квантованную ONNX-модель int8 для запуска в браузере через transformers.js; заявленное время обработки — около 10–50 мс на высказывание. Лицензия репозитория — Apache-2.0, однако данные обучения частично включали DailyDialog по CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не использовать её для коммерческого развёртывания без дополнительной проверки прав.

Модель stillerman/fdt-disfluency-distilbert-66m-v3 — теггер для очистки расшифровок разговорной речи от запинок, разработанный в рамках проекта FluencyAI. Она присваивает каждому слову один из тегов KEEP, DELETE, KEEP_STRIP_COMMA или KEEP_CAPITALIZE, после чего простая процедура реконструкции собирает очищенный текст. Модель основана на DistilBERT base cased и содержит 65,2 млн параметров; контекст — до 512 токенов. Модель предназначена для обработки потоковых и готовых транскриптов: удаления слов-паразитов, повторов и других речевых сбоев с сохранением исходных формулировок, имён и чисел. В README приведены exact-match 0,9787 и DELETE-F1 0,9952; для браузерного запуска доступен квантованный int8 ONNX-вариант для transformers.js, с указанной скоростью около 10–50 мс на высказывание. Лицензия репозитория — Apache-2.0, однако обучение частично использовало DailyDialog с лицензией CC BY-NC-SA; автор рекомендует считать модель исследовательским артефактом и не применять её для коммерческого развёртывания без дополнительной проверки прав.