/ Модель

Характеристики

Контекст
2 048 токенов
Параметры
6,9 млрд
Размер весов
28,9 ГБ
Лицензия
Apache 2.0
Архитектура
moss · dense
Библиотека
transformers
Опубликована
13 июл 2023

moss-base-7b

Генерация текстаТекст → текст5 профессий

Базовая китайско-английская языковая модель MOSS на 6,9 млрд параметров для генерации текста и дальнейшего дообучения.

289скачиваний за 30 дней14лайковвеса обновлены6 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Moss-base-7b — предварительно обученная языковая модель на 6,9 млрд параметров от команды OpenMOSS. Это плотная авторегрессионная модель семейства MOSS, предназначенная для использования в качестве базовой модели и дальнейшего обучения методом SFT. Она работает с текстом и поддерживает китайский и английский языки. Модель рассчитана на контекст до 2048 токенов и доступна в формате PyTorch через Transformers.

Модель подходит для генерации текста и создания специализированных версий путём дообучения. Репозиторий распространяется по лицензии Apache 2.0. Карточка не описывает отдельные прикладные области или результаты оценки качества.

Сценарии применения

  • генерация текста на китайском языке
  • генерация текста на английском языке
  • создание специализированной модели с помощью SFT

Ограничения

Контекст ограничен 2048 токенами; карточка не приводит оценок качества модели.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Moss-base-7b是一个70亿参数量的预训练语言模型,可以作为基座模型用来进行SFT训练等。

Import from Transformers

To load the Moss 7B model using Transformers, use the following code:

>>> from transformers import AutoTokenizer, AutoModelForCausalLM
>>> tokenizer = AutoTokenizer.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("fnlp/moss-base-7b", trust_remote_code=True).cuda()
>>> model = model.eval()
>>> inputs = tokenizer(["流浪地球的导演是"], return_tensors="pt")
>>> for k,v in inputs.items():
        inputs[k] = v.cuda()
>>> outputs = model.generate(**inputs, do_sample=True, temperature=0.8, top_p=0.8, repetition_penalty=1.1, max_new_tokens=256)
>>> response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
>>> print(response)
郭帆
主演分别是吴京和屈楚萧 还有李光洁刘德华等等
这电影可以说是目前国内科幻片的天花板了
票房也是突破50亿大关啦
小编真的非常期待这部电影呀
所以呢今天就给大家整理了关于影片中的很多细节图哦~
不知道大家有没有注意到呢

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры
MossForCausalLM
Ревизия весов
4e94a7a

0 моделей