Уменьшенная XLM-RoBERTa с украинским и частичным английским словарём для предсказания скрытых слов в тексте.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
ukr-models/xlm-roberta-base-uk — уменьшенная версия XLM-RoBERTa, опубликованная ukr-models. В модели сохранены украинские и часть английских токенов; словарь SentencePiece сокращён с 250 тысяч до 31 тысячи токенов, включая 25 тысяч наиболее частотных украинских токенов. Архитектура — XLM-RoBERTa для masked language modeling, около 137,3 млн параметров и контекст до 514 токенов.
Модель предназначена для заполнения пропусков в тексте: она предсказывает скрытый токен по окружающему контексту. Сокращённый словарь уменьшает размер модели по сравнению с исходной XLM-RoBERTa, сохраняя фокус на украинском и некоторую поддержку английского. Доступна в форматах PyTorch и Safetensors по лицензии MIT.
Карточка не приводит сравнительных оценок качества. Уменьшенный словарь ограничивает покрытие языков и токенов по сравнению с исходной многоязычной моделью; перед применением стоит проверить качество на целевом тексте.
Уменьшенный словарь содержит преимущественно украинские и часть английских токенов, поэтому модель не сохраняет широкое многоязычное покрытие исходной XLM-RoBERTa. В карточке нет сравнительных оценок качества.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a smaller version of the XLM-RoBERTa model with only Ukrainian and some English embeddings left.
sentencepiece vocabulary from 250K to 31K (top 25K Ukrainian tokens and top English tokens) the number of model parameters reduced to 134M parameters, and model size reduced from 1GB to 400MB.На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…