yujiepan/starcoder-tiny-random
This model is randomly initialized, using the config from bigcode/starcoderbase-7b but with the following modifications:
{
"n_embd": 32,
"n_head": 8,
"n_inner": 128,
"n_layer": 1,
}
Характеристики
- Контекст
- 8 192 токена
- Размер весов
- 14,8 МБ
- Архитектура
- gpt_bigcode · dense
- Библиотека
- transformers
- Опубликована
- 1 авг 2023
Ссылки
starcoder-tiny-random
Миниатюрная случайно инициализированная модель GPTBigCode для тестирования генерации текста и совместимости компонентов Transformers.
1 085скачиваний за 30 дней0лайковвеса обновлены25 авг 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
yujiepan/starcoder-tiny-random — экспериментальная модель от yujiepan со случайной инициализацией весов, созданная на основе конфигурации bigcode/starcoderbase-7b. Она использует архитектурное семейство GPTBigCode и предназначена для генерации текста через библиотеку Transformers и формат safetensors.
Модель уменьшена до одного слоя, размерности эмбеддингов 32, 8 голов внимания и внутреннего слоя размерности 128. Максимальная длина контекста составляет 8192 токена. В README приведён пример генерации кода на Python, однако случайная инициализация означает, что модель не обладает выученными знаниями и не предназначена для качественной генерации текста или программного кода.
Модель может использоваться для тестирования загрузки, токенизации, совместимости конфигураций и работы конвейера text-generation на минимальном экземпляре GPTBigCode. Лицензия в предоставленных данных не указана.
Сценарии применения
- тестирование загрузки моделей Transformers
- проверка совместимости конфигурации GPTBigCode
- отладка конвейера text-generation
- тестирование генерации кода на минимальной модели
Ограничения
Случайная инициализация весов не позволяет ожидать содержательной или стабильной генерации текста и кода. Модель имеет крайне малый размер и предназначена главным образом для тестирования, а не для прикладного использования.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…
- Класс архитектуры
- GPTBigCodeForCausalLM
- Ревизия весов
- 4e4dee7