/ Модель

Характеристики

Контекст
512 токенов
Параметры
4,4 млн
Архитектура
bert · dense

bleurt-tiny-128

Классификация текстаТекст → label4 профессии

Компактная модель BLEURT оценивает качество сгенерированного текста для автоматического сравнения языковых моделей и их результатов.

52скачиваний за 30 дней2лайкавеса обновлены4 окт 2021

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Elron/bleurt-tiny-128 — PyTorch-версия компактной модели BLEURT, разработанной на основе работы Thibault Sellam, Dipanjan Das и Ankur P. Parikh из Google Research. Модель использует архитектуру BERT с классификационной головой, содержит 4,4 млн параметров и принимает текстовые последовательности длиной до 512 токенов.

BLEURT предназначена для автоматической оценки качества текстовой генерации: она сопоставляет тексты и выдаёт оценку их соответствия. Её можно применять при сравнении вариантов перевода, суммаризации или других сгенерированных текстов, а также для оценки результатов языковых моделей. Репозиторий содержит веса PyTorch; README показывает загрузку через Transformers как модели классификации последовательностей.

Это конвертированная версия оригинальных моделей BLEURT. Лицензия в доступных данных не указана, поэтому условия использования определить нельзя.

Сценарии применения

  • оценка качества машинного перевода
  • сравнение вариантов автоматически созданного резюме
  • оценка ответов языковой модели
  • автоматическое ранжирование вариантов генерации по качеству

Ограничения

В README не уточнены языки и точные условия применения этой версии BLEURT; указана только общая задача оценки генерации текста. Лицензия в доступных данных не приведена.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

\n## BLEURT

Pytorch version of the original BLEURT models from ACL paper "BLEURT: Learning Robust Metrics for Text Generation" by Thibault Sellam, Dipanjan Das and Ankur P. Parikh of Google Research.

The code for model conversion was originated from this notebook mentioned here.

Usage Example

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch

tokenizer = AutoTokenizer.from_pretrained("Elron/bleurt-tiny-512")
model = AutoModelForSequenceClassification.from_pretrained("Elron/bleurt-tiny-512")
model.eval()

references = ["hello world", "hello world"]
candidates = ["hi universe", "bye world"]

with torch.no_grad():
  scores = model(**tokenizer(references, candidates, return_tensors='pt'))[0].squeeze()

print(scores) # tensor([-1.0563, -0.3004])

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · text-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForSequenceClassification
Ревизия весов
1607b0b

0 моделей