/ Модель

Характеристики

Контекст
1 026 токенов
Параметры
79,7 млн
Лицензия
MIT
Архитектура
bart · dense
Опубликована
2 мар 2022

kobart-summarization

Языковая модель3 профессии

Корейская модель на базе BART для автоматического суммирования текстов.

2 772скачиваний за 30 дней21лайквеса обновлены12 июн 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gogamza/kobart-summarization — модель семейства BART, предназначенная для суммаризации текстов на корейском языке. Она содержит около 79,7 млн параметров и использует архитектуру BartForConditionalGeneration; модель создана для генерации краткого пересказа по входному тексту.

Модель подходит для автоматического сокращения корейских статей и документов. Контекст составляет до 1026 токенов. Доступны веса PyTorch и safetensors; лицензия — MIT.

Сценарии применения

  • Суммаризация корейских новостных статей
  • Краткий пересказ корейских документов
  • Сокращение корейских текстов перед чтением

Ограничения

Контекст ограничен примерно 1026 токенами, поэтому длинные документы могут потребовать предварительного разбиения. Данные не содержат сведений о точности или оценке качества модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Korean News Summarization Model

Demo

https://huggingface.co/spaces/gogamza/kobart-summarization

How to use

import torch
from transformers import PreTrainedTokenizerFast
from transformers import BartForConditionalGeneration

tokenizer = PreTrainedTokenizerFast.from_pretrained('gogamza/kobart-summarization')
model = BartForConditionalGeneration.from_pretrained('gogamza/kobart-summarization')

text = "과거를 떠올려보자. 방송을 보던 우리의 모습을. 독보적인 매체는 TV였다. 온 가족이 둘러앉아 TV를 봤다. 간혹 가족들끼리 뉴스와 드라마, 예능 프로그램을 둘러싸고 리모컨 쟁탈전이 벌어지기도  했다. 각자 선호하는 프로그램을 ‘본방’으로 보기 위한 싸움이었다. TV가 한 대인지 두 대인지 여부도 그래서 중요했다. 지금은 어떤가. ‘안방극장’이라는 말은 옛말이 됐다. TV가 없는 집도 많다. 미디어의 혜 택을 누릴 수 있는 방법은 늘어났다. 각자의 방에서 각자의 휴대폰으로, 노트북으로, 태블릿으로 콘텐츠 를 즐긴다."

raw_input_ids = tokenizer.encode(text)
input_ids = [tokenizer.bos_token_id] + raw_input_ids + [tokenizer.eos_token_id]

summary_ids = model.generate(torch.tensor([input_ids]))
tokenizer.decode(summary_ids.squeeze().tolist(), skip_special_tokens=True)

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

У модели не указана задача.

Класс архитектуры
BartForConditionalGeneration
Ревизия весов
31f181b

0 моделей