Характеристики

Контекст: 32 768 токенов
Параметры: 68,7 млрд
Размер весов: 138 ГБ
Лицензия: Llama 2
Архитектура: llama · dense
Опубликована: 30 янв 2024

Ссылки

Hugging Face

WinterGoddess-1.4x-70b-32k

ChuckMcSneed

Генерация текстаТекст → текст9 профессий

Плотная языковая модель на архитектуре Llama с 68,7 млрд параметров и контекстом 32 768 токенов для генерации текста.

82скачиваний за 30 дней2лайкавеса обновлены4 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

Добавьте модель в бенчмарк
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Опишите свои задачи
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Запустите и опубликуйте
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Открыть конструктор бенчмарка

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

ChuckMcSneed/WinterGoddess-1.4x-70b-32k — версия модели Sao10K/WinterGoddess-1.4x-70B-L2 с контекстом 32 768 токенов. В README указано, что контекст расширен методом LongLoRA; архитектура — плотная LlamaForCausalLM с 68,7 млрд параметров, веса представлены в safetensors. Модель предназначена для генерации текста и работы с более длинными входами и продолжениями.

Автор приводит результаты бенчмарков NeoEvalPlusN и Open LLM Leaderboard, включая ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K. По его оценке, расширение контекста сопровождается снижением результатов на MMLU и GSM8K относительно базовой модели. Лицензия в метаданных указана как llama2; применимость лицензии следует оценивать по её условиям.

Сценарии применения

генерация продолжений длинных текстов
ответы на вопросы с длинным контекстом
анализ длинных текстовых материалов
решение текстовых задач на рассуждение

Ограничения

В приведённом сравнении версия уступает базовой модели по общему результату, особенно на MMLU и GSM8K. Заявленные результаты бенчмарков не гарантируют качество на других задачах.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.5Универсальные способностиСоздание и редактирование текстаAI помогает создавать и улучшать текстовые материалы, сохраняя смысл и требования автора.18 задач44 385моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель II.6Разработка и данныеДокументация и сопровождение разработкиAI помогает поддерживать понятную техническую документацию и ускорять передачу знаний.18 задач38 015моделей II.1Разработка и данныеАнализ требований и архитектура ПОAI помогает переводить потребности бизнеса в непротиворечивые требования и технические решения.20 задач18 191модель

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a 32k version of Sao10K/WinterGoddess-1.4x-70B-L2, extended using method discussed here.

Quants

Thanks for GGUF, @Nexesenex!

GGUF

Benchmarks

NeoEvalPlusN_benchmark

My meme benchmark.

Test name	WinterGoddess	WinterGoddess-32k
B	2	2.5
C	1.5	2
D	3	0
S	2.75	1.5
P	5.5	2.25
Total	14.75	8.25

Open LLM Leaderboard Evaluation Results

Leaderboard on Huggingface

Model	Average	ARC	HellaSwag	MMLU	TruthfulQA	Winogrande	GSM8K
Sao10K/WinterGoddess-1.4x-70B-L2	73.23	72.78	90.11	71.12	65.76	85	54.59
ChuckMcSneed/WinterGoddess-1.4x-70b-32k	69.4	71.16	89.12	66.42	63.87	82.56	43.29
Difference	3.83	1.62	0.99	4.7	1.89	2.44	11.3

Here the losses seem far less brutal than on my bench. It seems that extending with LongLORA kills MMLU and GSM8K performance.

Detailed results can be found here

Metric	Value
Avg.	69.40
AI2 Reasoning Challenge (25-Shot)	71.16
HellaSwag (10-Shot)	89.12
MMLU (5-Shot)	66.42
TruthfulQA (0-shot)	63.87
Winogrande (5-shot)	82.56
GSM8k (5-shot)	43.29

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры: LlamaForCausalLM
Ревизия весов: 26b3ed1