Характеристики

Контекст: 512 токенов
Параметры: 49,2 млн
Архитектура: bert · dense

Ссылки

frugalscore_medium_roberta_bert-score

Классификация текстаТекст → label3 профессии

Производная модели moussaKam/frugalscore_tiny_bert-base_bert-score. Компактная модель на основе BERT-tiny для недорогой оценки качества текстовой генерации с приближением метрики BERTScore.

15скачиваний за 30 дней0лайковвеса обновлены1 фев 2022

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Карточка модели moussaKam/frugalscore_medium_roberta_bert-score на Hugging Face совпадает с карточкой moussaKam/frugalscore_tiny_bert-base_bert-score, поэтому описание составлено по ней.

FrugalScore — компактная модель для оценки качества генерации естественного языка, разработанная как недорогая замена вычислительно затратной метрике BERTScore. Этот чекпойнт использует BERT-tiny в роли студента, обученного воспроизводить оценки BERT-Base с помощью BERTScore. Модель предназначена для автоматической оценки и сравнения сгенерированных текстов, например при проверке результатов систем генерации или переводов.

Модель построена на архитектуре BERT и содержит 4,4 млн параметров. Она принимает текст, имеет контекстное окно до 512 токенов и распространяется в формате PyTorch. README не сообщает поддерживаемые естественные языки и лицензию, поэтому их нельзя уточнить по доступным данным.

Сценарии применения

оценка качества ответов генеративной модели
сравнение вариантов сгенерированного текста
приближённая замена BERTScore при массовой оценке текстов

Ограничения

README не указывает лицензию и поддерживаемые языки; контекст ограничен 512 токенами. Модель является компактным приближением BERTScore, поэтому её оценки могут отличаться от оценок исходной метрики.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей I.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

FrugalScore

FrugalScore is an approach to learn a fixed, low cost version of any expensive NLG metric, while retaining most of its original performance

Paper: https://arxiv.org/abs/2110.08559?context=cs

Project github: https://github.com/moussaKam/FrugalScore

The pretrained checkpoints presented in the paper :

FrugalScore	Student	Teacher	Method
moussaKam/frugalscore_tiny_bert-base_bert-score	BERT-tiny	BERT-Base	BERTScore
moussaKam/frugalscore_small_bert-base_bert-score	BERT-small	BERT-Base	BERTScore
moussaKam/frugalscore_medium_bert-base_bert-score	BERT-medium	BERT-Base	BERTScore
moussaKam/frugalscore_tiny_roberta_bert-score	BERT-tiny	RoBERTa-Large	BERTScore
moussaKam/frugalscore_small_roberta_bert-score	BERT-small	RoBERTa-Large	BERTScore
moussaKam/frugalscore_medium_roberta_bert-score	BERT-medium	RoBERTa-Large	BERTScore
moussaKam/frugalscore_tiny_deberta_bert-score	BERT-tiny	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_small_deberta_bert-score	BERT-small	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_medium_deberta_bert-score	BERT-medium	DeBERTa-XLarge	BERTScore
moussaKam/frugalscore_tiny_bert-base_mover-score	BERT-tiny	BERT-Base	MoverScore
moussaKam/frugalscore_small_bert-base_mover-score	BERT-small	BERT-Base	MoverScore
moussaKam/frugalscore_medium_bert-base_mover-score	BERT-medium	BERT-Base	MoverScore

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры: BertForSequenceClassification
Ревизия весов: b73f9b7