The Dolly v2 model but sharded to reduce the CPU memory required to load it on the GPU and also reduce the load time. By sharding it you don't need to load the full model on the CPU RAM before sending it to the GPU, just load it shard by shard.
Характеристики
- Контекст
- 2 048 токенов
- Параметры
- 8,8 млрд
- Размер весов
- 13,8 ГБ
- Архитектура
- gpt_neox · dense
- Опубликована
- 13 апр 2023
Ссылки
dolly-v2-6.9b-sharded-bf16
Шардированная версия Dolly v2 6.9B для генерации текста с меньшими требованиями к оперативной памяти CPU при загрузке на GPU.
28скачиваний за 30 дней0лайковвеса обновлены14 апр 2023
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Тесты пользователейпока нет
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Это версия модели Dolly v2 6.9B, разбитая на шарды автором репозитория diegi97. Шардирование снижает объём оперативной памяти CPU, необходимый при загрузке весов на GPU, и позволяет загружать модель по частям. В метаданных указаны архитектура GPT-NeoX, около 8,8 млрд параметров и контекст до 2048 токенов; формат файлов — PyTorch.
Модель предназначена для генерации текста. README описывает изменение способа загрузки, а не новое обучение или изменение возможностей исходной Dolly v2. В метаданных и README не приведены сведения о языках, лицензии или ограничениях исходной модели, поэтому здесь они не уточняются.
Сценарии применения
- генерация текста по запросу
- подготовка черновиков и продолжение текста
- развёртывание Dolly v2 в среде с ограниченной оперативной памятью CPU
Ограничения
Контекст ограничен 2048 токенами. README описывает только шардирование; сведения о качестве, поддерживаемых языках и лицензии в предоставленных источниках отсутствуют.
Для каких профессий подходит4
Разделы каталога профессий, в задачах которых используется эта модель
I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделейII.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделейI.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…
- Класс архитектуры
- GPTNeoXForCausalLM
- Ревизия весов
- ad0c4d2