Характеристики

Контекст: 64 токена
Параметры: 4,7 млн
Лицензия: MIT
Архитектура: bert · dense
Библиотека: transformers
Опубликована: 7 сен 2026

Ссылки

quechuabert

Заполнение пропусковТекст → текст3 профессии

Компактная BERT-модель для предсказания пропущенных токенов в текстах на южном кечуа с морфологической токенизацией PRPE.

36скачиваний за 30 дней1лайквеса обновлены7 сен 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

QuechuaBERT (PRPE) — небольшая модель BERT для заполнения пропусков в текстах на южном кечуа. Она использует класс BertForMaskedLM и морфологическую сегментацию PRPE из QuechuaTok; для токенизации требуется пользовательский токенизатор из пакета quechuatok. Модель обучена разработчиком на монолингвальных строках Llamacha и предназначена для языковых экспериментов и обработки низкоресурсного кечуа.

Модель содержит 4,7 млн параметров и рассчитана на контекст до 64 токенов. В README указаны около 20 тысяч строк обучения, 5 тысяч шагов MLM и итоговая обучающая потеря около 6,19; автор характеризует чекпойнт как ранний и не претендующий на качество SOTA. Веса опубликованы в формате safetensors.

Лицензия — MIT. Качество модели может быть ограничено небольшим размером, объёмом обучающих данных и ранним состоянием чекпойнта; для работы с ней нужна совместимая PRPE-токенизация QuechuaTok.

Сценарии применения

заполнение пропусков в предложениях на южном кечуа
исследование морфологии кечуа с masked language modeling
эксперименты с языковыми моделями для низкоресурсного кечуа

Ограничения

Это ранний экспериментальный чекпойнт с небольшим объёмом обучения и без заявленного качества уровня SOTA. Для корректной токенизации требуется PRPE-токенизатор QuechuaTok.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

QuechuaBERT (PRPE)

Small BertForMaskedLM for Southern Quechua, tokenized with the morphological PRPE segmenter from QuechuaTok.

Training note

CPU run: ~20k Llamacha lines, 5000 MLM steps, tiny BERT (hidden=256, layers=4). Final train loss ≈ 6.19. Early checkpoint for visibility, not a finished SOTA model.

Paper

Contreras, M. (2026). QuechuaTok. arXiv:2606.23943 — https://arxiv.org/abs/2606.23943

Usage

Install QuechuaTok, then load the model weights from this repo. Custom PRPE tokenizer lives in quechuatok.hf_tokenizer.

See QuechuaTok issue #8 and scripts/train_quechuabert.py.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 15c6a3c