Характеристики
- Контекст
- 514 токенов
- Параметры
- 153 млн
- Архитектура
- roberta · dense
Ссылки
roberta-base-indonesian-1.5G
Предварительно обученная RoBERTa-модель для заполнения пропусков и последующей тонкой настройки на индонезийских текстах.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
cahya/roberta-base-indonesian-1.5G — предварительно обученная языковая модель RoBERTa, опубликованная пользователем Cahya для индонезийского языка. Она предназначена прежде всего для задачи заполнения пропусков в тексте: по контексту модель предсказывает наиболее вероятные токены вместо маскированного фрагмента.
Модель имеет около 153,2 млн параметров и поддерживает контекст длиной до 514 токенов. Она доступна для использования через Transformers и имеет реализации для PyTorch и JAX. Модель относится к архитектуре RoBERTa и может служить базой для последующей тонкой настройки под классификацию текста, анализ тональности и другие задачи индонезийского NLP.
Сильная сторона модели — адаптация к индонезийскому языку и совместимость с экосистемой Hugging Face. Она не является универсальной генеративной моделью и предназначена для masked-language modeling; для прикладных задач классификации или извлечения информации потребуется дополнительная настройка. Лицензия в доступных источниках не установлена.
Сценарии применения
- восстановление пропущенных слов в индонезийском тексте
- предсказание вариантов продолжения внутри предложения
- подготовка базовой модели для классификации индонезийских текстов
- дообучение для анализа тональности на индонезийском языке
- извлечение контекстных представлений индонезийских текстов
Ограничения
Модель предназначена для заполнения масок и не является готовой универсальной генеративной моделью или специализированным классификатором. Для прикладных задач обычно требуется дополнительное дообучение.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · fill-mask
Подбираем GPU…
- Класс архитектуры
- RobertaForMaskedLM
- Ревизия весов
- b2fd096