/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,6 млрд
Лицензия
cc
Архитектура
llama · dense
Опубликована
24 мая 2023

InstructScore

Генерация текстаТекст → текст6 профессий

InstructScore (SEScore3) сравнивает сгенерированный текст с эталоном и выдаёт оценки с диагностическими пояснениями.

15скачиваний за 30 дней9лайковвеса обновлены24 мая 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

InstructScore (SEScore3) — модель и инструмент оценки генерации текста, описанный авторами как метрика с пояснительным диагностическим отчётом. Она сравнивает эталонный текст с результатом генерации и возвращает оценки вместе с пояснениями; пример в карточке показывает проверку перефразирования предложения. В метаданных указаны архитектура LLaMA с плотной causal language model, 6,6 млрд параметров и контекст 2048 токенов. Репозиторий содержит веса PyTorch и заявляет лицензию CC.

Сценарии применения

  • оценка качества сгенерированных текстов относительно эталонов
  • сравнение перефразированного предложения с исходным
  • диагностика различий между ответом модели и эталонным текстом

Ограничения

Карточка не приводит количественных результатов оценки и подробностей о поддерживаемых языках или наборах данных. В примере используется пара эталонного и сгенерированного текста; другие режимы применения не описаны.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

InstructScore (SEScore3)

An amazing explanation metric (diagnostic report) for text generation evaluation

First step, you may download all required dependencies through: pip3 install -r requirements.txt

To run our metric, you only need five lines

Please visit our github: https://github.com/xu1998hz/SEScore3/

```
from InstructScore import *
refs = ["Normally the administration office downstairs would call me when there’s a delivery."]
outs = ["Usually when there is takeaway, the management office downstairs will call."]
scorer = InstructScore()
batch_outputs, scores_ls = scorer.score(refs, outs)
```

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
338afc4

0 моделей