Характеристики

Контекст: 1 024 токена
Архитектура: gpt2 · dense
Опубликована: 2 мар 2022

Ссылки

Hugging Face

gpt-for-est-large

tartuNLP

Генерация текстаТекст → текст3 профессии

GPT-2-модель TartuNLP, обученная с нуля для генерации текстов на эстонском языке.

205скачиваний за 30 дней1лайквеса обновлены17 ноя 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Эстонская авторегрессионная языковая модель семейства GPT-2, разработанная командой TartuNLP и обученная с нуля на 2,2 млрд слов из Эстонского национального корпуса, News Crawl и Common Crawl. Модель предназначена для генерации продолжений текста на эстонском языке. Для работы перед текстом требуется указывать доменный префикс, например «>generalwebnewsdoajwikiweb<».

Сценарии применения

генерация продолжений эстонских текстов
создание черновиков новостных материалов на эстонском
генерация текстов для веб-сценариев на эстонском

Ограничения

Контекст модели ограничен 1024 токенами; перед генерацией требуется доменный префикс. Описание карточки сообщает, что дополнительные сведения будут добавлены позднее.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей III.2Корпоративные функцииИсследование рынка и маркетингAI помогает понимать рынок, создавать коммуникации и улучшать эффективность маркетинга.22 задачи8 594модели III.4Корпоративные функцииКлиентская поддержка и customer successAI помогает быстрее решать обращения и предупреждать проблемы клиентов.20 задач9 831модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gpt-est-large

This is the large-size GPT2 model, trained from scratch on 2.2 billion words (Estonian National Corpus + News Crawl + Common Crawl). Previously named "gpt-4-est-large", renamed to avoid click-baiting.

Reference

Format

For training data was prepended with a text domain tag, and it should be added as prefix when using the model: >general<, >web<, >news<, >doaj< and >wiki< (standing for general texts, web crawled texts, news, article abstracts and wikipedia texts). Use the prefixes like this, e.g: ">web< Kas tead, et".

Model details

num. of layers: 24
num. of heads: 24
embedding size: 1536
context size: 1024
total size: 723.58M params

Further details to be added soon.

Framework versions

Transformers 4.13.0.dev0
Pytorch 1.10.0+cu102
Datasets 1.15.1
Tokenizers 0.10.3

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: a96a879