Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 8,3 млн
- Архитектура
- gpt_neo · dense
- Опубликована
- 12 мая 2023
Ссылки
TinyStories-Instruct-3M
Компактная GPT-Neo-подобная языковая модель для генерации коротких простых историй на английском языке по текстовому условию.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
TinyStories-Instruct-3M — небольшая авторегрессионная языковая модель семейства GPT-Neo, опубликованная пользователем roneneldan на Hugging Face. Она предназначена для генерации текста и экспериментов с компактными языковыми моделями, в частности для создания коротких историй по заданному текстовому условию или инструкции. Модель поддерживает библиотеку Transformers и работает с задачей text-generation.
Модель содержит около 8,3 млн параметров и поддерживает контекст до 2048 токенов. По материалам проекта TinyStories, она ориентирована на простой английский текст и короткие детские истории. Малый размер упрощает локальный запуск и обучение, но ограничивает качество, длину и общую выразительность генерации; модель не предназначена для широкого спектра сложных прикладных задач. Лицензия в доступных источниках не установлена.
Сценарии применения
- генерация коротких детских историй
- продолжение простого английского рассказа
- создание учебных примеров для языковых моделей
- эксперименты с компактными моделями генерации текста
Ограничения
Малый размер модели ограничивает качество, длину и сложность генерируемого текста. Она ориентирована на простой английский язык и короткие истории, поэтому не подходит для надёжных ответов на общие вопросы или сложных прикладных сценариев.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GPTNeoForCausalLM
- Ревизия весов
- 59dda77