Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 80,8 млн
- Архитектура
- gpt_neo · dense
- Опубликована
- 12 мая 2023
Ссылки
TinyStories-2Layers-33M
Компактная англоязычная GPT-Neo-модель для генерации простых детских историй и экспериментов с небольшими языковыми моделями.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
roneneldan/TinyStories-2Layers-33M — авторегрессионная языковая модель семейства GPT-Neo, опубликованная пользователем Ronen Eldan на Hugging Face. Модель обучена на синтетическом наборе TinyStories, содержащем короткие простые истории на английском языке, и предназначена прежде всего для генерации связного продолжения текста и детских рассказов.
Модель поддерживает pipeline text-generation, использует библиотеку Transformers и PyTorch, имеет около 80,8 млн параметров и контекстное окно 2048 токенов. В названии заявлены два слоя; архитектурное семейство GPT-Neo указано в метаданных. Она подходит для экспериментов с компактными языковыми моделями, обучения и демонстрации генерации текста на ограниченном корпусе.
Сильной стороной является небольшой размер по сравнению с крупными LLM и специализация на простых повествовательных текстах. Модель не предназначена для надёжных ответов на общие вопросы, сложного рассуждения, профессиональных задач или многоязычной генерации; её качество за пределами распределения TinyStories может быть ограниченным. Условия лицензирования в доступных источниках не установлены.
Сценарии применения
- генерация коротких детских историй
- продолжение простого повествовательного текста
- обучение и демонстрация авторегрессионной генерации
- исследование компактных языковых моделей
Ограничения
Модель обучена на простых англоязычных историях, поэтому может плохо работать с общими знаниями, сложным рассуждением, профессиональными текстами и языками, отличными от английского.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GPTNeoForCausalLM
- Ревизия весов
- f9cb5b1