Компактная GPT-Neo-модель с 9,3 млн параметров для экспериментов и генерации короткого текста.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
AISE-TUDelft представила компактную авторегрессионную модель GPT-Neo для генерации текста. Она содержит 9,3 млн параметров; конфигурация включает 2 слоя, 4 головы внимания, размер скрытого состояния 512 и контекст до 512 токенов. В метаданных указан датасет TinyStories, а README приводит результаты на GLUE и BLiMP.
Модель подходит для экспериментов с генерацией короткого текста и изучения небольших GPT-подобных архитектур. README указывает GPT-Neo как базовую модель, но не описывает точный способ её создания. Репозиторий содержит веса PyTorch; сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют.
Контекст ограничен 512 токенами, а небольшое число параметров ограничивает сложность и связность генерации. Языковая специализация и лицензия в предоставленных данных не описаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
Basemodel: GPT-Neo
Configs: Vocab size: 10,000 Hidden size: 512 Max position embeddings: 512 Number of layers: 2 Number of heads: 4 Window size: 256 Intermediate-size: 1024
Results:
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…