/ Модель
Каталог

Характеристики

Контекст
512 токенов
Параметры
124 млн
Архитектура
t5 · dense
Опубликована
21 июн 2023

Ссылки

Hugging Face

rut5-base-summ

d0rj
СуммаризацияТекст → текст8 профессий

Дообученная ruT5-base для создания кратких изложений русскоязычных текстов и диалогов.

23 536скачиваний за 30 дней27лайковвеса обновлены5 окт 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

d0rj/rut5-base-summ — русскоязычная модель суммаризации, созданная дообучением ai-forever/ruT5-base. Это плотная модель архитектуры T5 с 123,8 млн параметров; она принимает текст и генерирует его краткое изложение. Обучение проводилось на объединённых наборах данных для суммаризации новостей, диалогов, встреч и других текстов, включая SAMSum на русском языке, Gazeta и WikiLingua. Контекст модели — до 512 токенов.

Модель предназначена для автоматического составления кратких сводок и пересказов, в том числе диалогов. Для её запуска можно использовать библиотеку Transformers и pipeline summarization. В репозитории также сохранены состояния обучения, позволяющие продолжить дообучение на собственных данных. Карточка упоминает оценку на валидационной выборке, но не приводит численных результатов; отчёт указан как находящийся в работе. Лицензия в предоставленных сведениях не указана.

Сценарии применения

  • составление краткого пересказа русскоязычной статьи
  • суммирование диалогов и переписок
  • подготовка сводки по стенограмме встречи
  • автоматическое сокращение длинного текста
  • дообучение модели суммаризации на собственных данных

Ограничения

Контекст ограничен 512 токенами, поэтому длинные документы могут потребовать предварительного разбиения. Карточка не приводит численных результатов оценки, а отчёт обозначен как находящийся в работе.

Для каких профессий подходит8

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельIII.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

rut5-base-summ

Model

Finetuned ai-forever/ruT5-base for text and dialogue summarization.

Data

All 'train' subsets was concatenated and shuffled with seed 1000 - 7.

Train subset = 155678 rows.

Metrics

Evaluation on 10% of concatenated 'validation' subsets = 1458 rows.

See WandB logs.

See report at REPORT WIP.

Notes

Scheduler, optimizer and trainer states are saved into this repo, so you can use that to continue finetune with your own data with existing gradients.

Usage

Summarization pipeline

from transformers import pipeline


pipe = pipeline('summarization', model='d0rj/rut5-base-summ')
pipe(text)

Text-to-text generation

from transformers import T5Tokenizer, T5ForConditionalGeneration


tokenizer = T5Tokenizer.from_pretrained('d0rj/rut5-base-summ')
model = T5ForConditionalGeneration.from_pretrained('d0rj/rut5-base-summ').eval()

input_ids = tokenizer(text, return_tensors='pt').input_ids
outputs = model.generate(input_ids)
summary = tokenizer.decode(outputs[0], skip_special_tokens=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
T5ForConditionalGeneration
Ревизия весов
118f905

0 моделей

    Создать бенчмарк