Work in Progress Polish RoBERTa
The model has been trained for about 5% time of the target. We will publish new increments as they will be trained.
The model pre-trained on KGR10 corpora.
More about model at CLARIN-dspace
Характеристики
- Контекст
- 514 токенов
- Параметры
- 153 млн
- Архитектура
- roberta · dense
Ссылки
roberta-polish-kgr10
Незавершённая польская модель RoBERTa для предсказания пропущенных слов в тексте.
2 319скачиваний за 30 дней2лайкавеса обновлены20 мая 2021
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
CLARIN-PL RoBERTa KGR10 — польская языковая модель семейства RoBERTa, разработанная CLARIN-PL и предварительно обученная на корпусе KGR10. Модель предназначена для заполнения пропусков в тексте: она предсказывает подходящий токен на месте маски. В метаданных указана архитектура RobertaForMaskedLM и размер 153,2 млн параметров; контекст составляет до 514 токенов.
Карточка описывает модель как незавершённую: опубликованный чекпойнт прошёл около 5% целевого обучения, а новые версии планировалось выпускать по мере обучения. Доступны веса PyTorch и Flax. Сведения о лицензии в предоставленных данных отсутствуют.
Сценарии применения
- подстановка пропущенного слова в польском предложении
- получение вероятных вариантов продолжения польской фразы с маской
- анализ контекстных языковых зависимостей в польском тексте
Ограничения
Опубликована только примерно пятая часть целевого обучения, поэтому качество может быть ограниченным и модель следует считать экспериментальной. Лицензия в предоставленных материалах не указана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- e301525