Характеристики

Контекст: 512 токенов
Параметры: 151 млн
Лицензия: CC BY 4.0
Архитектура: bert · dense

Ссылки

Hugging Face arXiv 2006.07890

crosloengual-bert

Заполнение пропусковТекст → текст3 профессии

Трёхъязычная BERT-модель для хорватского, словенского и английского языков, предназначенная для предсказания замаскированных токенов и межъязыковых задач.

3 737скачиваний за 30 дней7лайковвеса обновлены18 мая 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

CroSloEngual BERT — трёхъязычная модель семейства BERT, разработанная для хорватского, словенского и английского языков и обученная на корпусах на этих языках. Она использует архитектуру bert-base и предназначена, в частности, для предсказания замаскированных токенов и переноса знаний между тремя языками.

В карточке модели заявлено, что благодаря специализации на трёх языках она превосходит multilingual BERT, сохраняя возможности межъязыкового переноса, недоступные одноязычным моделям. Модель содержит 151,3 млн параметров, поддерживает контекст до 512 токенов и опубликована в форматах PyTorch и Flax.

Модель подходит для языковых экспериментов и задач на хорватском, словенском и английском, включая заполнение пропусков в тексте. Результаты оценки описаны в статье авторов о FinEst BERT и CroSloEngual BERT. Лицензия — CC BY 4.0.

Сценарии применения

заполнение пропущенных слов в хорватском тексте
заполнение пропусков в словенских предложениях
подстановка замаскированных токенов в английском тексте
исследование переноса знаний между хорватским, словенским и английским
сравнение специализированной трёхъязычной модели с multilingual BERT

Ограничения

Модель обучена для хорватского, словенского и английского языков; её преимущества заявлены для этой языковой комбинации и не подтверждают качество для других языков. В README результаты описаны со ссылкой на статью, но подробности оценки в карточке не приведены.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

CroSloEngual BERT

CroSloEngual BERT is a trilingual model, using bert-base architecture, trained on Croatian, Slovenian, and English corpora. Focusing on three languages, the model performs better than multilingual BERT, while still offering an option for cross-lingual knowledge transfer, which a monolingual model wouldn't.

Evaluation is presented in our article:

@Inproceedings{ulcar-robnik2020finest,
author = "Ulčar, M. and Robnik-Šikonja, M.",
year = 2020,
title = "{FinEst BERT} and {CroSloEngual BERT}: less is more in multilingual models",
editor = "Sojka, P and Kopeček, I and Pala, K and Horák, A",
booktitle = "Text, Speech, and Dialogue {TSD 2020}",
series = "Lecture Notes in Computer Science",
volume = 12284,
publisher = "Springer",
url = "https://doi.org/10.1007/978-3-030-58323-1_11",
}

The preprint is available at arxiv.org/abs/2006.07890.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForMaskedLM
Ревизия весов: 750255b