Характеристики

Контекст: 1 024 токена
Лицензия: MIT
Архитектура: gpt2 · dense
Опубликована: 30 сен 2022

Ссылки

Hugging Face

gpt2-urdu-news

Imran1

Генерация текстаТекст → текст3 профессии

Дообученная на новостях на урду модель GPT-2 для генерации и продолжения текста в новостном стиле.

409скачиваний за 30 дней0лайковвеса обновлены7 апр 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

GPT-2 — дообученная Imran1 модель генерации текста на корпусе новостей на урду. Она обучалась с причинно-языковой целью на 1000 примерах и предназначена для продолжения и генерации текстов в новостном стиле на урду. Модель использует архитектуру GPT-2, представлена в форматах PyTorch и Safetensors и имеет контекст длиной 1024 токена. Автор сообщает о тренировочной потере 3,042 и предупреждает, что из-за малого объёма данных качество может быть невысоким. Лицензия — MIT.

Сценарии применения

генерация черновиков новостей на урду
продолжение фрагмента новости на урду
создание текстов в стиле новостного корпуса на урду

Ограничения

Модель обучалась всего на 1000 примерах, поэтому качество генерации может быть низким. В README приведена тренировочная потеря, но нет результатов независимой оценки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

IV.9Отраслевые задачиМедиа, журналистика, культура, архивы и игрыAI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент.44 задачи14 938моделей I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.6Универсальные способностиПеревод и языковая адаптацияAI помогает переносить смысл между языками, форматами и культурными контекстами.16 задач16 710моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

GPT-2

Fine tune gpt2 model on Urdu news dataset using a causal language modeling (CLM) objective.

How to use

You can use this model directly with a pipeline for text generation. Since the generation relies on some randomness, we set a seed for reproducibility:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Imran1/gpt2-urdu-news")

model = AutoModelForCausalLM.from_pretrained("Imran1/gpt2-urdu-news")

Training data

I fine tune gpt2 for downstream task like text generation, only for 1000 sample so it may not be good. Due to resources limitation.

Evaluation results

training loss 3.042

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: 9020620