Характеристики

Контекст: 1 024 токена
Размер весов: 1,3 ГБ
Лицензия: Apache 2.0
Архитектура: hawk · dense
Опубликована: 15 авг 2023

Ссылки

Hugging Face

HawkLM-demo

Rexopia

Генерация текстаТекст → текст3 профессии

Демонстрационная предварительно обученная модель Hawk для экспериментов с генерацией английского текста.

139скачиваний за 30 дней0лайковвеса обновлены19 авг 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

HawkLM-demo — демонстрационная предварительно обученная языковая модель, разработанная Rexopia на архитектуре Hawk для генерации текста. Модель обучали на англоязычной выборке из RedPajama-1T без данных с тегами Arxiv и GitHub; в демо-версии использовано 3,3 млрд токенов. В метаданных указан контекст длиной 1024 токена и формат PyTorch.

Модель предназначена для экспериментов с генерацией английского текста и проверки работы архитектуры Hawk в Transformers. README не приводит результаты оценки качества, поэтому практическую пригодность для конкретных задач оценить нельзя. Лицензия — Apache 2.0.

Сценарии применения

генерация продолжений английского текста
эксперименты с архитектурой Hawk
проверка генерации текста в Transformers

Ограничения

Это демонстрационная версия, обученная на 3,3 млрд токенов; результаты оценки качества в карточке отсутствуют. Контекст составляет 1024 токена.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

HawkLM-demo

Model Details

Developed by: Rexopia
Reach me: ruiji.zhang@outlook.com
Language(s): English
License: Apache license 2.0
Pretrained model: True
Demo version: True

How to Get Started with the Model

Use the code below to get started with the model.

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Rexopia/HawkLM-demo", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Rexopia/HawkLM-demo", device_map="auto", trust_remote_code=True)

Training Data

We sampled English-only corpus from Redpajama-1T datasets without any Arxiv and GitHub tags. As the demo version presented, we only trained 3.3Bil tokens.

Evaluation

[More Information Needed]

Citation

[More Information Needed]

Model Card Contact

[More Information Needed]

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

Модели нужен код из репозитория; автор пока не в списке доверенных организаций.

Класс архитектуры: HawkForCausalLM
Ревизия весов: 658d5dc