/ Модель

Характеристики

Контекст
4 096 токенов
Параметры
123 млрд
Лицензия
Llama 2
Архитектура
llama · dense
Опубликована
7 янв 2024

WinterGoliath-123b

Генерация текстаТекст → текст5 профессий

Объединённая модель Llama на 123,5 млрд параметров для генерации текста и диалогов в форматах Vicuna и Alpaca.

67скачиваний за 30 дней7лайковвеса обновлены2 фев 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

WinterGoliath-123b — текстовая генеративная модель на архитектуре Llama, созданная ChuckMcSneed с помощью mergekit путём объединения Xwin и WinterGoddess. В карточке автор описывает её как вариант Goliath с большей интеллектуальностью и более выраженным выравниванием, но с меньшей нейтральностью и развлекательностью; приведённые автором тесты носят неформальный характер.

Модель предназначена для генерации текста и диалогов в формате Vicuna или Alpaca. Она содержит 123,5 млрд параметров и рассчитана на контекст до 4096 токенов. В репозитории указаны веса safetensors; README также упоминает квантизованные варианты GGUF, AWQ и GPTQ. Основной язык и отдельные специализированные области применения в карточке не обозначены.

Лицензия — Llama 2. Выбор лицензии и связанные с ней условия использования следует учитывать при развёртывании модели.

Сценарии применения

  • генерация ответов в диалоговом интерфейсе
  • составление и продолжение текстов
  • ответы на запросы в формате Vicuna
  • ответы на запросы в формате Alpaca

Ограничения

Автор отмечает меньшую нейтральность и развлекательность по сравнению с Goliath; сравнительные результаты в README основаны на неформальных тестах. Контекст ограничен 4096 токенами.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

This is a merge of Xwin and WinterGoddess. Made using mergekit.

Smarter than Goliath, but a bit more aligned. Sidegrade rather than upgrade. Sacrifices neutrality and fun for smartness(on an empty context).

Prompt format

Vicuna or Alpaca.

Quants

Thanks, TheBloke!

32k version

HERE

Benchmarks

NeoEvalPlusN_benchmark

My meme benchmark.

Test nameGoliathWinterGoliath
B33
C22
D12
S55.5
P66
Total1718.5

Kanye Test

WinterGoliath kinda gets the rhyme, Goliath doesn't. Kanye test

Politiscales test

Politiscales for llama

namewhackyleft/right
alpindale/goliath-120b1.0667394561.544969782
ChuckMcSneed/WinterGoliath-123b0.5182775132.735962
Xwin-LM/Xwin-LM-70B-V0.11.4635211621.491684328
Sao10K/WinterGoddess-1.4x-70B-L20.3841517574.747980293

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

vLLM

Можно запустить

Подбираем GPU…

Класс архитектуры
LlamaForCausalLM
Ревизия весов
df8860b

0 моделей