/ Модель

Характеристики

Контекст
512 токенов
Параметры
137 млн
Архитектура
bert · dense

bleurt-base-512

Классификация текстаТекст → label3 профессии

PyTorch-версия BLEURT оценивает качество сгенерированного текста относительно эталона.

243скачиваний за 30 дней1лайквеса обновлены4 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Elron/bleurt-base-512 — версия BLEURT в формате PyTorch, опубликованная Elron на основе оригинальной модели BLEURT от Google Research. Это BERT-модель для классификации последовательностей с 136,7 млн параметров и контекстом до 512 токенов; её используют как обучаемую метрику для оценки качества текстов, созданных генеративными системами, сравнивая результат с эталонным текстом.

Модель подходит для автоматической оценки генерации текста в экспериментах, тестировании и сравнении языковых моделей. README показывает загрузку через Transformers как AutoModelForSequenceClassification. Репозиторий содержит веса PyTorch; лицензия в предоставленных данных не указана.

Сценарии применения

  • оценка качества машинного перевода по эталонному переводу
  • сравнение ответов языковой модели с эталонными ответами
  • автоматическая оценка систем генерации текста
  • сравнение вариантов генерации при разработке языковой модели

Ограничения

Для оценки требуется эталонный текст; метрика может не совпадать с человеческими оценками качества. Языковая специализация и лицензия не приведены в предоставленных данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

\n## BLEURT

Pytorch version of the original BLEURT models from ACL paper "BLEURT: Learning Robust Metrics for Text Generation" by Thibault Sellam, Dipanjan Das and Ankur P. Parikh of Google Research.

The code for model conversion was originated from this notebook mentioned here.

Usage Example

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("Elron/bleurt-base-512")
model = AutoModelForSequenceClassification.from_pretrained("Elron/bleurt-base-512")
model.eval()

references = ["hello world", "hello world"]
candidates = ["hi universe", "bye world"]

with torch.no_grad():
  scores = model(**tokenizer(references, candidates, return_tensors='pt'))[0].squeeze()

print(scores) # tensor([1.0327, 0.2055])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
4f4abee

0 моделей