Характеристики

Контекст: 512 токенов
Параметры: 137 млн
Лицензия: Apache 2.0
Архитектура: bert · dense
Базовая модель: bert-base-multilingual-uncased
Опубликована: 21 июл 2026

Ссылки

Hugging Face

bert-advanced-focal-llrd-ner

sc00byd00

Разметка токеновТекст → label

Дообученная многоязычная BERT-модель для распознавания именованных сущностей и разметки токенов в тексте.

12скачиваний за 30 дней0лайковвеса обновлены21 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sc00byd00/bert-advanced-focal-llrd-ner — дообученная модель на архитектуре BERT для распознавания именованных сущностей в тексте. В основе лежит google-bert/bert-base-multilingual-uncased с классификационной головой BertForTokenClassification; размер составляет 136,7 млн параметров, максимальный контекст — 512 токенов. Модель обучалась на CoNLL-2003 с Focal Loss для компенсации дисбаланса меток и с послойным уменьшением скорости обучения (LLRD).

Модель предназначена для разметки токенов и извлечения именованных сущностей, например имён людей, организаций и географических объектов. README сообщает об оценке на валидационной выборке CoNLL-2003, но не приводит численных метрик. Для базовой модели заявлена поддержка 102 языков; карточка этой модели помечена английским языком, поэтому фактическую многоязычную эффективность данного чекпойнта следует проверять отдельно. Лицензия — Apache-2.0.

Сценарии применения

извлечение имён людей из текста
поиск организаций в документах
распознавание географических названий
разметка сущностей в англоязычных новостях
автоматическая подготовка текстов для последующего поиска

Ограничения

Численные метрики качества в README не приведены. Карточка модели указывает английский язык; многоязычные возможности базовой модели не подтверждают качество этого чекпойнта на остальных языках.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Advanced Custom BERT for Token Classification (NER)

This checkpoint features a fine-tuned bert-base-uncased architecture using custom training dynamics.

Key Engineering Highlights

Custom Focal Loss Head: Replaced standard Cross-Entropy loss with Focal Loss (gamma=2.0) to mitigate severe background class (O) token imbalance.
Layer-wise Learning Rate Decay (LLRD): Applied exponential decay (ext{decay rate}=0.85) across transformer layers to preserve lower-level syntax representations while rapidly adapting top classification heads.
Optimized Gradient Dynamics: Implemented Gradient Accumulation (N=4, effective batch size 32) coupled with max norm gradient clipping (1.0) and FP16 mixed-precision acceleration.

Metrics

Evaluated on CoNLL-2003 validation set using seqeval.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForTokenClassification
Ревизия весов: b63aeb2