Характеристики

Контекст: 8 192 токена
Параметры: 97,6 млн
Лицензия: Своя лицензия
Архитектура: modernbert · dense
Библиотека: transformers
Опубликована: 10 мая 2026

Ссылки

Hugging Face

KyrgyzBert2

metinovadilet

Заполнение пропусковТекст → текст

KyrgyzBert2 — кыргызскоязычный ModernBERT-энкодер для заполнения пропусков и дообучения под задачи NLP.

596скачиваний за 30 дней0лайковвеса обновлены10 мая 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

KyrgyzBert2 — энкодерная языковая модель второго поколения, созданная разработчиком metinovadilet с нуля на архитектуре ModernBERT. Она предназначена для предварительного обучения энкодеров, исследований masked language modeling и последующего дообучения для задач обработки кыргызского языка. Модель содержит около 97,6 млн параметров, использует токенизатор byte-level BPE на 32 768 токенов и поддерживает контекст до 8192 токенов.

Модель подходит для предсказания замаскированных слов и как основа для настройки под конкретные задачи кыргызского NLP. Карточка позиционирует её для исследований, воспроизводимости и обучения; для высокорисковых решений и практического внедрения требуется отдельная проверка на целевом домене. Лицензия указана как other, поэтому условия использования следует уточнять в репозитории.

Сценарии применения

предсказание пропущенных слов в кыргызском тексте
предварительное обучение энкодеров для кыргызского NLP
дообучение энкодера для прикладных задач кыргызского языка

Ограничения

Предназначена для исследований и дообучения; без отдельной проверки не рекомендуется для высокорисковых решений и производственного применения. Условия лицензии с пометкой other требуют уточнения.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

KyrgyzBert2

This repository contains second-generation Kyrgyz-first encoder pretrained from scratch with a ModernBERT-style architecture.

Model

Name: KyrgyzBert2
Family: KyrgyzBERT
Architecture: ModernBERT-style encoder
Parameter count: 98.0M
Tokenizer: 32,768-token byte-level BPE

Notes

This is the simplified Hugging Face repository name for the model previously uploaded as a KyrgyzBERTv2 checkpoint.

Intended Use

This checkpoint is intended for base encoder pretraining, masked-language-model research, and downstream fine-tuning for Kyrgyz NLP. It is intended for research, reproducibility, and educational use by the Kyrgyz NLP community. It should not be used for high-stakes decisions or production deployment without separate validation for the target domain.

License and Usage

License metadata is set to other. The checkpoint is released for research and reproducibility. Downstream datasets and base models may have their own licenses or usage terms; users are responsible for following the corresponding dataset cards and upstream model licenses. The checkpoint is provided without warranty.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: ModernBertForMaskedLM
Ревизия весов: a3b64b7