Характеристики

Контекст: 2 048 токенов
Параметры: 1 млрд
Лицензия: Apache 2.0
Архитектура: llama · dense
Опубликована: 11 апр 2024

Ссылки

Hugging Face

csg-wukong-1B

opencsg

Генерация текстаТекст → текст3 профессии

Предварительно обученная малая языковая модель OpenCSG на 1 млрд параметров для генерации текста и кода.

49скачиваний за 30 дней14лайковвеса обновлены3 авг 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

csg-wukong-1B — OpenCSG 社区开发的 1B 参数小语言模型，基于 Llama 架构，使用 1T tokens 进行预训练。 Модель предназначена для генерации текста и программного кода; карточка сообщает о подаче модели на Open LLM Leaderboard и восьмом месте среди примерно 1,5B предварительно обученных малых языковых моделей. Контекст модели — 2048 токенов, веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0.

README содержит мало сведений о составе обучающих данных и качестве на конкретных задачах, поэтому результат следует проверять на целевых сценариях.

Сценарии применения

генерация продолжения текста
создание простых фрагментов программного кода
локальные эксперименты с малой языковой моделью

Ограничения

Контекст ограничен 2048 токенами; README не приводит подробных результатов оценки по отдельным задачам или описания обучающих данных.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

csg-wukong-1B [中文] [English]

The vision of OpenCSG is to empower every industry, every company, and every individual to own their models. We adhere to the principles of openness and open source, making the large model software stack of OpenCSG available to the community. We welcome everyone to use, send feedback, and contribute collaboratively.

Model Description

csg-wukong-1B is a 1 billion-parameter small language model(SLM) pretrained on 1T tokens. we will introduce more information about csg-wukong-1B.

Model Evaluation results

We submitted csg-wukong-1B on the open_llm_leaderboard, and the results show our model ranked the 8th among the ~1.5B pretrained small language models.

image/png

Training

Hardware

GPUs: 16 H800
Training time: 43days

Software

Orchestration: Deepspeed
Neural networks: PyTorch
BP16 if applicable: apex

OpenCSG介绍

OpenCSG的愿景是让每个行业、每个公司、每个人都拥有自己的模型。我们坚持开源开放的原则，将OpenCSG的大模型软件栈开源到社区，欢迎使用、反馈和参与共建，欢迎关注。

模型介绍

csg-wukong-1B 是一个1B参数量的小语言模型，该模型训练了1T tokens.

我们将在后面介绍更多关于这个模型的信息。

模型评测结果

我们把csg-wukong-1B模型提交到open_llm_leaderboard榜单上，结果显示我们的模型目前在~1.5B小语言模型中排名第8。