/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense

bleurt-base-128

Классификация текстаТекст → label5 профессий

BLEURT — модель на основе BERT для оценки качества сгенерированного текста по текстовому входу.

809скачиваний за 30 дней3лайкавеса обновлены4 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Elron/bleurt-base-128 — версия BLEURT в формате PyTorch, основанная на оригинальной модели из статьи «BLEURT: Learning Robust Metrics for Text Generation» исследователей Google Research. Это модель семейства BERT с архитектурой BertForSequenceClassification и 136,7 млн параметров; она принимает текстовые последовательности и выдаёт оценку для задачи классификации текста. BLEURT предназначена для оценки качества текстовой генерации, например сравнения сгенерированного текста с эталонным.

Контекст модели составляет 512 токенов. Для загрузки используются AutoTokenizer и AutoModelForSequenceClassification из Transformers. Репозиторий содержит веса PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

Сценарии применения

  • оценка качества машинного перевода
  • сравнение сгенерированного ответа с эталоном
  • автоматическая оценка результатов генерации текста

Ограничения

Максимальная длина контекста составляет 512 токенов. Лицензия не установлена по предоставленным данным.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

\n## BLEURT

Pytorch version of the original BLEURT models from ACL paper "BLEURT: Learning Robust Metrics for Text Generation" by Thibault Sellam, Dipanjan Das and Ankur P. Parikh of Google Research.

The code for model conversion was originated from this notebook mentioned here.

Usage Example

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("Elron/bleurt-base-128")
model = AutoModelForSequenceClassification.from_pretrained("Elron/bleurt-base-128")
model.eval()

references = ["hello world", "hello world"]
candidates = ["hi universe", "bye world"]

with torch.no_grad():
  scores = model(**tokenizer(references, candidates, return_tensors='pt'))[0].squeeze()

print(scores) # tensor([0.3598, 0.0723])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
3dabe1a

0 моделей