Небольшая модель на основе GPT-2 для авторегрессионной генерации корейского текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
kykim/gpt3-kor-small_based_on_gpt2 — небольшая авторегрессионная языковая модель для генерации текста на корейском языке, опубликованная kykim. Она основана на GPT-2 и использует класс GPT2LMHeadModel; для обучения применён корейский текстовый набор объёмом 70 ГБ, а токенизатор опирается на 42 000 токенов-подслов в нижнем регистре. Модель подходит для продолжения корейского текста и экспериментов с генерацией.
Доступна в форматах PyTorch, TensorFlow и Flax; заявленная длина контекста — 2048 токенов. В README приведён пример загрузки через Transformers с BertTokenizerFast, при этом из входных токенов удаляется CLS-токен. Лицензия в предоставленных данных не указана.
Модель рассчитана на контекст до 2048 токенов. В предоставленных данных не приведены оценки качества или условия лицензии.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
from transformers import BertTokenizerFast, GPT2LMHeadModel
tokenizer_gpt3 = BertTokenizerFast.from_pretrained("kykim/gpt3-kor-small_based_on_gpt2")
input_ids = tokenizer_gpt3.encode("text to tokenize")[1:] # remove cls token
model_gpt3 = GPT2LMHeadModel.from_pretrained("kykim/gpt3-kor-small_based_on_gpt2")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…