Характеристики

Контекст: 2 048 токенов
Размер весов: 54,6 ГБ
Лицензия: MIT
Архитектура: gpt2 · dense
Опубликована: 18 апр 2023

Ссылки

Hugging Face

mGPT-13B

ai-forever

Генерация текстаТекст → текст3 профессии

Многоязычная предобученная GPT-модель на 61 языке для авторегрессионной генерации текста с контекстом до 2048 токенов.

1 019скачиваний за 30 дней50лайковвеса обновлены5 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

mGPT 13B — многоязычная авторегрессионная языковая модель семейства GPT, разработанная AI Forever. Модель предварительно обучена на текстах объёмом около 600 ГБ, преимущественно из mC4 и Википедии, на 61 языке из 25 языковых семей. Для генерации текста её можно применять в многоязычных сценариях, в том числе для продолжения текста и создания черновиков.

Модель использует плотную архитектуру GPT-2 в библиотеке Transformers; в README архитектура описана как основанная на GPT-3. Контекстное окно составляет 2048 токенов, словарь — 100 тысяч токенов. Авторы сообщают о сравнительно низкой perplexity для многих языков, включая русский, однако это не гарантирует одинакового качества для всех языков и задач. Это базовая предобученная модель, а не специализированный чат-ассистент. Лицензия — MIT.

Сценарии применения

продолжение текста на русском и других поддерживаемых языках
создание черновиков и заготовок текста
генерация коротких многоязычных фрагментов
эксперименты с многоязычным языковым моделированием

Ограничения

Качество различается между языками, а контекст ограничен 2048 токенами. Это базовая модель генерации текста; README не описывает специализированную настройку для диалога или конкретных прикладных задач.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

🌻 mGPT 13B

Multilingual language model. This model was trained on the 61 languages from 25 language families (see the list below).

Dataset

Model was pretrained on a 600Gb of texts, mostly from MC4 and Wikipedia. Training data was deduplicated, the text deduplication includes 64-bit hashing of each text in the corpus for keeping texts with a unique hash. We also filter the documents based on their text compression rate using zlib4. The most strongly and weakly compressing deduplicated texts are discarded.

Here is the table with number of tokens for each language in the pretraining corpus on a logarithmic scale:

Languages

Afrikaans (af), Arabic (ar), Armenian (hy), Azerbaijani (az), Basque (eu), Bashkir (ba), Belarusian (be), Bengali (bn), Bulgarian (bg), Burmese (my), Buryat (bxr), Chuvash (cv), Danish (da), English (en), Estonian (et), Finnish (fi), French (fr), Georgian (ka), German (de), Greek (el), Hebrew (he), Hindi (hi), Hungarian (hu), Indonesian (id), Italian (it), Japanese (ja), Javanese (jv), Kalmyk (xal), Kazakh (kk), Korean (ko), Kyrgyz (ky), Latvian (lv), Lithuanian (lt), Malay (ms), Malayalam (ml), Marathi (mr), Mongolian (mn), Ossetian (os), Persian (fa), Polish (pl), Portuguese (pt), Romanian (ro), Russian (ru), Spanish (es), Swedish (sv), Swahili (sw), Tatar (tt), Telugu (te), Thai (th), Turkish (tr), Turkmen (tk), Tuvan (tyv), Ukrainian (uk), Uzbek (uz), Vietnamese (vi), Yakut (sax), Yoruba (yo)

By language family

Technical details

The models are pretrained on 16 V100 GPUs for 600k training steps with a set of fixed hyperparameters: vocabulary size of 100k, context window of 2048, learning rate of 2e−4, and batch size of 4.

The mGPT architecture is based on GPT-3. We use the architecture description by Brown et al., the code base on GPT-2 (Radford et al., 2019) in the HuggingFace library (Wolf et al., 2020) and Megatron-LM (Shoeybi et al., 2019).

Perplexity

The mGPT13B model achieves the best perplexities within the 2-to-10 score range for the majority of languages, including Dravidian (Malayalam, Tamil, Telugu), Indo-Aryan (Bengali, Hindi, Marathi), Slavic (Belarusian, Ukrainian, Russian, Bulgarian), Sino-Tibetan (Burmese), Kipchak (Bashkir, Kazakh) and others. Higher perplexities up to 20 are for only seven languages from different families.

Language-wise perplexity results

Family-wise perplexity results

The scores are averaged over the number of languages within each family.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Можно запустить

Подбираем GPU…

Класс архитектуры: GPT2LMHeadModel
Ревизия весов: 1927423