Характеристики
- Контекст
- 1 024 токена
- Размер весов
- 13,5 МБ
- Лицензия
- Не указана
- Архитектура
- gpt2 · dense
- Опубликована
- 29 июл 2024
Ссылки
tiny-random-distilgpt2
Intel/tiny-random-distilgpt2 — экспериментальная сверхкомпактная GPT-2-подобная модель Intel для генерации текста и тестирования NLP-пайплайнов.
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Intel/tiny-random-distilgpt2 — небольшая каузальная языковая модель семейства GPT-2, опубликованная организацией Intel на Hugging Face. Модель предназначена для генерации текста и совместима с библиотекой Transformers и форматом Safetensors.
Архитектура основана на GPT2LMHeadModel: 2 слоя, размер скрытого представления 64, 2 attention-heads и словарь из 50 257 токенов. В метаданных указаны 3,38 млн параметров, контекст до 1024 токенов и задача text-generation. Модель поддерживает текстовую модальность; сведения о поддерживаемых естественных языках отсутствуют.
Из-за очень малого размера модель подходит прежде всего для тестирования пайплайнов, интеграций и совместимости, а не для получения качественных ответов или производственного использования. В карточке нет описания датасета, обучения, оценки качества или специализированных областей применения. Лицензия указана как неизвестная, поэтому условия использования перед применением необходимо уточнить.
Сценарии применения
- тестирование загрузки GPT-2-моделей в Transformers
- проверка пайплайна генерации текста
- разработка и отладка интеграций с Hugging Face
- эксперименты с компактной каузальной языковой моделью
Ограничения
В карточке отсутствуют сведения о датасете, процессе обучения и результатах оценки качества; из-за малого размера модель не следует рассматривать как качественную универсальную LLM. Лицензия указана как unknown.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Автор не опубликовал карточку модели.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GPT2LMHeadModel
- Ревизия весов
- dc31ad7