/ Модель

Характеристики

Контекст
1 024 токена
Лицензия
MIT
Архитектура
gpt2 · dense
Опубликована
2 мар 2022

spanish-gpt2

Генерация текстаТекст → текст3 профессии

Испаноязычная GPT-2, обученная с нуля для продолжения и генерации текста на испанском языке.

827скачиваний за 30 дней20лайковвеса обновлены19 мар 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mrm8488/spanish-gpt2 — авторегрессионная языковая модель GPT-2, созданная командой Manuel Romero, María Grandury, Pablo González de Prado, Daniel Vera, Sri Lakshmi, José Posada, Santiago Hincapie и Jorge в рамках Flax/JAX Community Week. Модель обучена с нуля на большом испаноязычном корпусе BETO объёмом около 20 ГБ с использованием Flax.

Модель предназначена для генерации текста на испанском языке по заданному началу. Контекст составляет 1024 токена; доступны веса в форматах Flax, PyTorch и safetensors. На отложенной выборке авторы указали loss 2,413 и perplexity 11,36. Репозиторий распространяется по лицензии MIT.

Сценарии применения

  • генерация продолжения испанского текста
  • создание черновиков на испанском языке
  • эксперименты с испаноязычной языковой моделью
  • оценка генерации текста на испанском

Ограничения

Контекст ограничен 1024 токенами. Карточка приводит метрики на отложенной выборке, но не описывает дополнительные оценки качества или ограничения применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Spanish GPT-2 trained on large_spanish_corpus

This is a Spanish GPT-2 model trained from scratch on the large_spanish_corpus aka BETO's corpus with Flax This is part of the Flax/Jax Community Week, organised by HuggingFace and TPU usage sponsored by Google.

Dataset

The dataset is about 20 GB. 95% of the data was used for training and the rest 5% for validation.

Metrics (on evaluation dataset)

  • Loss: 2.413
  • Perplexity: 11.36

Team members

Useful links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры
GPT2LMHeadModel
Ревизия весов
fc396ce

0 моделей