Характеристики

Контекст: 514 токенов
Параметры: 93,5 млн
Лицензия: Apache 2.0
Архитектура: roberta · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

SRoBERTa-F

Andrija

Заполнение пропусковТекст → текст3 профессии

Модель RoBERTa для хорватского и сербского языков, предсказывающая пропущенные слова в тексте.

76скачиваний за 30 дней1лайквеса обновлены3 янв 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Andrija/SRoBERTa-F — языковая модель семейства RoBERTa для хорватского и сербского языков, обученная автором модели на корпусах Leipzig, OSCAR, srWac, hrWac и cc100 общим объёмом 43 ГБ текста. В метаданных указаны архитектура RobertaForMaskedLM, 93,5 млн параметров и контекст до 514 токенов; в README размер модели округлён до 80 млн параметров.

Модель предназначена для заполнения пропусков в тексте: она предсказывает подходящее слово или фрагмент вместо маски. Автор приводит perplexity 6,02 на проверочном наборе из 1 620 487 предложений и отмечает, что обучение ещё можно продолжать. Лицензия — Apache-2.0.

Сценарии применения

подстановка пропущенного слова в хорватском тексте
подстановка пропущенного слова в сербском тексте
контекстное предсказание слов для хорватских текстов
контекстное предсказание слов для сербских текстов

Ограничения

Автор отмечает, что обучение модели можно было продолжить. README сообщает perplexity 6,02 на проверочном наборе, но не приводит сравнительных результатов или оценок для прикладных задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Transformer language model for Croatian and Serbian

Trained on 43GB datasets that contain Croatian and Serbian language for one epochs (9.6 mil. steps, 3 epochs). Leipzig Corpus, OSCAR, srWac, hrWac, cc100-hr and cc100-sr datasets

Validation number of exampels run for perplexity:1620487 sentences Perplexity:6.02 Start loss: 8.6 Final loss: 2.0 Thoughts: Model could be trained more, the training did not stagnate.

Model	#params	Arch.	Training data
`Andrija/SRoBERTa-F`	80M	Fifth	Leipzig Corpus, OSCAR, srWac, hrWac, cc100-hr and cc100-sr (43 GB of text)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: 75e99c4