Характеристики

Контекст: 514 токенов
Параметры: 100 586
Архитектура: roberta · dense

Ссылки

Hugging Face

tiny-distilroberta-base

sshleifer

Заполнение пропусковТекст → текст3 профессии

Компактная модель RoBERTa для предсказания пропущенных токенов в тексте.

24 669скачиваний за 30 дней2лайкавеса обновлены22 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sshleifer/tiny-distilroberta-base — очень компактная языковая модель семейства RoBERTa, опубликованная Sam Shleifer на Hugging Face. Она предназначена для задачи заполнения пропусков в тексте: получает фрагмент с токеном <mask> и предсказывает подходящие варианты.

Модель использует архитектуру RobertaForMaskedLM и содержит около 100,6 тыс. параметров; максимальная длина контекста по метаданным — 514 токенов. Карточка демонстрирует запуск через Transformers с задачей fill-mask. Указаны веса для PyTorch, TensorFlow и Flax.

Малый размер делает её удобной для лёгких примеров и проверки интеграций, но не следует считать её полноценной заменой стандартной RoBERTa для прикладного качества. Язык данных и лицензия в доступных сведениях надёжно не подтверждены.

Сценарии применения

подстановка пропущенного слова в предложении
получение вероятных вариантов для маскированного фрагмента
демонстрация работы fill-mask в Transformers
проверка интеграции модели языкового моделирования

Ограничения

Модель очень мала по числу параметров и предназначена прежде всего для лёгких примеров и проверок; её качество на прикладных задачах не установлено. Язык обучения и лицензия не подтверждены использованными сведениями.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Автор не опубликовал карточку модели.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · fill-mask

Можно запустить

Подбираем GPU…

Класс архитектуры: RobertaForMaskedLM
Ревизия весов: d305c58