Характеристики

Контекст: 512 токенов
Параметры: 436 млн
Лицензия: CC BY-NC 4.0
Архитектура: megatron-bert · dense
Опубликована: 9 янв 2023

Ссылки

PULI-BERT-Large

Заполнение пропусковТекст → текст

Крупная венгерская модель MegatronBERT для предсказания пропущенных токенов и получения контекстных представлений текста.

370скачиваний за 30 дней4лайкавеса обновлены8 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

PULI BERT-Large — крупная модель BERT для венгерского языка, опубликованная NYTK. Она построена на архитектуре MegatronBERT и обучена с использованием Megatron-DeepSpeed на корпусе объёмом 36,3 миллиарда слов; в карточке указано 1,5 миллиона шагов обучения. Модель содержит 435,7 млн параметров, распространяется в формате PyTorch и рассчитана на последовательности длиной до 512 токенов по метаданным Hugging Face.

Модель предназначена для работы с венгерским текстом, в том числе для предсказания пропущенных токенов в последовательности (fill-mask) и получения контекстных представлений текста. Её можно использовать как основу для задач анализа венгерского языка. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. README также сообщает ограничение max_seq_length=1024, что расходится с контекстом в 512 токенов, указанным в метаданных; перед использованием длинных последовательностей следует проверить фактическое ограничение реализации.

Сценарии применения

заполнение пропусков в венгерских предложениях
получение контекстных представлений венгерского текста
подготовка основы для моделей анализа венгерского языка

Ограничения

Лицензия CC BY-NC 4.0 не допускает коммерческого использования. README указывает max_seq_length=1024, тогда как метаданные задают контекст 512 токенов; фактический предел для длинных последовательностей следует проверить.

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PULI BERT-Large

For further details, see our demo site.

Hungarian BERT large model (MegatronBERT)
Trained with Megatron-DeepSpeed github
Dataset: 36.3 billion words
Checkpoint: 1 500 000 steps

Limitations

max_seq_length = 1024

Citation

If you use this model, please cite the following paper:

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
	booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
	year = {2023},
	publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
	address = {Szeged, Hungary},
	author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
	pages = {247--262}
}

Usage

from transformers import BertTokenizer, MegatronBertModel

tokenizer = BertTokenizer.from_pretrained('NYTK/PULI-BERT-Large')
model = MegatronBertModel.from_pretrained('NYTK/PULI-BERT-Large')
text = "Replace me by any text you'd like."
encoded_input = tokenizer(text, return_tensors='pt', do_lower_case=False)
output = model(**encoded_input)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Ревизия весов: b20139d