Характеристики

Лицензия: Apache 2.0
Базовая модель: opf-russian-pii-66k
Опубликована: 19 сен 2026

Ссылки

opf-ru-kk-general-v1

Разметка токеновТекст → label

Дообученная модель для поиска и разметки персональных и конфиденциальных данных в русских и казахских текстах перед фильтрацией или анонимизацией.

8скачиваний за 30 дней0лайковвеса обновлены21 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

OPF RU+KK General V1 — дообученная модель OPF для обнаружения и разметки персональных и конфиденциальных данных в тексте на русском и казахском языках. Она создана bbеглеровым на основе bbeglerov/opf-russian-pii-66k и представляет собой промежуточный общий чекпоинт, предназначенный для дальнейшей адаптации к конкретному домену.

Модель решает задачу token classification: выделяет фрагменты текста, содержащие PII, чтобы их можно было проверить, отфильтровать или анонимизировать. Её можно применять в конвейерах защиты персональных данных для обработки русско- и казахоязычных текстов. Весовые файлы представлены в формате safetensors; лицензия — Apache-2.0.

Сценарии применения

поиск персональных данных в русскоязычных текстах
поиск персональных данных в казахоязычных текстах
разметка фрагментов текста с конфиденциальной информацией
подготовка текстов к фильтрации или анонимизации
предварительная обработка данных перед доменным дообучением

Ограничения

README описывает модель как промежуточный общий чекпоинт, подготовленный к дальнейшему дообучению под доменный контекст; качество обнаружения для конкретных типов данных и сценариев в карточке не приведено.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

OPF RU+KK General V1 🛡️

OPF RU+KK General V1 — это модель для определения персональных и конфиденциальных данных (PII / Privacy Filter) в текстах на русском и казахском языках.Представляет собой промежуточный чекпоинт донастройки на смешанном русско-казахском датасете.

📌 Overview & Status

Base Model: bbeglerov/opf-russian-pii-66k
Dataset: bbeglerov/opf-ru-kk-stage1-v1 (af4eee21442534d5bf9771139524c8815fc0ed04)
Stage: General. Входной чекпоинт подготовлен к дообучению под доменный контекст.

⚙️ Hyperparameters & Training Setup

Parameter	Value
Epochs	`1`
Learning Rate	`5e-6`
Batch Size (Physical / Effective)	`8` / `16`
Gradient Accumulation	`2`
Weight Decay	`0.01`
Max Grad Norm	`1.0`
Context Length (`n_ctx`)	`128`
Output Precision	`BF16`

Revisions:

Input Checkpoint Revision: ae813a5aaeb31def75e87064818f0b1fbc65e31f
Privacy Filter Revision: f7f00ca7fb869683eb732c010299d901457f19c3

🚀 Quickstart & Usage

from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline

model_id = "bbeglerov/opf-ru-kk-general-v1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForTokenClassification.from_pretrained(model_id)

ner_pipeline = pipeline("token-classification", model=model, tokenizer=tokenizer, aggregation_strategy="simple")

# Пример текста / Text example (RU & KK)
text = "Менің атым Бауыржан, ИИН 010203501234, звоните на +77011234567"
results = ner_pipeline(text)

print(results)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Доступ к модели ограничен автором; у платформы нет доступа к весам.

Ревизия весов: 5ea7d6c